Improving Carbon Emissions of Federated Large Language Model Inference through Classification of Task-Specificity

Konferenzbeitrag zu HotCarbon 2024 - Wir präsentieren ein Papier zur Reduzierung des Energieverbrauchs der LLM-Inferenz durch die Verwendung spezialisierter Open-Source-Modelle, die zuvor von einem Klassifikator ausgewählt wurden.