AI Everywhere – Watt now?

„ChatGPT, was ist die Frage auf Antwort 42“ - „Perplexity, wie kocht man Leaky, Leaky Soup“  -„Dall-E, generiere ein Bild im Stil von Monet, das eine Küstenlandschaft zeigt, in der Katzen auf Einhörnern die Dünen entlang reiten.“

Jeder hat wahrscheinlich schon die plötzlich aufgetauchte, scheinbar unerschöpfliche Quelle des Wissens genutzt, um sie mit völlig irrelevanten, aber interessanten Fragen zu quälen. Die Rede ist natürlich von KI.

Während wir mit den amüsanten Antworten herumalbern, springt irgendwo in Virginia ein Kohlekraftwerk aus der Reserve. Natürlich bietet KI ein gigantisches Potenzial in den unterschiedlichsten Bereichen: sei es in der Medizin, der Forschung, bei der Vorhersage von Stürmen, in der Archäologie oder ganz einfach bei der Optimierung von Geschäftsabläufen. KI revolutioniert die Art und Weise, wie wir arbeiten, leben oder forschen. Welche Dimension der Energiehunger von KI jedoch jetzt schon angenommen hat und wie man die Nutzung als User nachhaltiger gestaltet, erfahrt ihr in diesem Blogpost. 

Training Training Training...

Damit wir solche fundamental wichtigen Fragestellungen an einen digitalen Gesprächspartner übergeben können, muss dieser jedoch erst einmal dafür trainiert werden. Das bedeutet, dass Algorithmen Milliarden von Datensätzen in sich aufsaugen und in gigantischen Rechenzentren wieder und wieder an Parametern geschraubt wird, bis das Modell schlussendlich dazu in der Lage ist, komplexe Sachverhalte zu verstehen und in geraden Sätzen auf unsere Fragen zu antworten. 

Für das Training von OpenAIs GPT-4 wurden laut externen Schätzungen rund 50 Gigawattstunden (GWh) an Energie benötigt – genug, um alle Büros der codecentric AG die nächsten 131 Jahre lang mit Strom zu versorgen. Diese Zahl bezieht sich allerdings ausschließlich auf den Energiebedarf des Trainingsprozesses selbst. Nicht berücksichtigt ist dabei der Bau der Rechenzentren, die Herstellung der spezialisierten Hardware wie GPUs und TPUs, oder die Umwelt- und Energiekosten für deren Rohstoffgewinnung, Transport usw.

Einblicke in die gesamten Emissionen liefert immerhin das Open-Source-Sprachmodell BLOOM, bei dem die Umweltbilanz detailliert offengelegt wurde. Daraus geht hervor, dass rund 22 % der gesamten CO₂-Emissionen eines KI-Modells nicht aus dem eigentlichen Training stammen, sondern aus vorgelagerten Prozessen wie dem Bau und der Herstellung der Infrastruktur. Dies umfasst zum Beispiel den Energieaufwand für die Produktion der hochspezialisierten Chips, deren Lieferketten oft über mehrere Kontinente reichen.

Abgesehen von den nicht unerheblichen Energie- und Rohstoffmengen sind Rechenzentren durstiger als jedes Oktoberfest. Millionen Liter Trinkwasser werden täglich für die Kühlung von KI-Rechenzentren genutzt, das dann größtenteils durch Verdunstung entweicht. In Anbetracht dessen, dass wir 2050 davon ausgehen müssen, dass etwa 5 Milliarden Menschen unter Wasserknappheit leiden werden, eine eher ungünstige Entwicklung. 

Betrachten wir dann die eigentliche Nutzung der Modelle, wird es nicht besser.

Int.. Inf... Infer was? – Mit dem Modell reden

Sobald wir einen Prompt abschicken, beginnt die komplexe Rechenarbeit des Modells, die letztendlich in einer text-, bild- oder videobasierten Antwort endet. Dieser Ablauf wird als „Inferenz“ bezeichnet und ist die eigentliche Handlung des LLMs. Das Auswerten des Inputs, das Durchlaufen von Algorithmen und letztendlich die Formulierung eines Resultats. Wie energieintensiv dieser Vorgang ist, hängt von verschiedenen Faktoren ab:

Art und Größe des Modells: Je größer, komplexer und präziser ein Modell ist, desto größer ist auch der Energiebedarf, um eine Antwort zu generieren.

Länge unseres Prompts: Die KI zerlegt sämtliche Text-Ein- und Ausgaben in sogenannte „Tokens“. Dies ist die kleinste Einheit an Informationen, die von dem jeweiligen Modell zur Berechnung verwendet wird. Es kann ein einzelner Buchstabe oder eine Silbe, manchmal auch ein ganzes Wort sein. Je mehr solcher Tokens eine Anfrage enthält, desto größer wird der Energiebedarf für die Verarbeitung der Eingabe.

Länge der Antwort: Natürlich gilt dies auch für die Ausgabe. Hier ist der Effekt sogar noch drastischer. Je länger die Antwort des Modells ist, desto größer ist ihr Energieverbrauch. 

Komplexität der Aufgabe: Komplexe Aufgaben brauchen mehr Rechenleistung. Die Frage nach dem Geburtsdatum von Alan Turing (bevor ihr ChatGPT fragt, es ist der 23. Juni 1912) verbraucht viel weniger Energie als die Frage nach einem 4k-Werbespot für Spielzeug-Laserschwerter. 

Infrastruktur: Unabhängig von dem, was wir vom Modell verlangen, ist natürlich auch die verwendete Infrastruktur und die Anwendung von Optimierungstechniken relevant. Läuft das Modell auf einem zusammengeschusterten Server in einer amerikanischen Provinz, die ihre Stromversorgung hauptsächlich durch antiquierte Kohlekraftwerke sicherstellt, oder wird mit den modernsten Hightech-Prozessoren in der kühlen norwegischen Fjordlandschaft vor sich hin gerechnet?

Doch wie hoch ist denn nun eigentlich der Energiebedarf für eine Anfrage?

Gute Frage. Fakt ist, dass es aktuell niemand der großen Betreiber von KI-Modellen ernsthaft preisgeben will. Weder Google, noch Meta oder OpenAI sprechen offen über den Energiebedarf ihrer Modelle. Der Energiebedarf ist „Betriebsgeheimnis“. Sam Altman, der Gründer von OpenAI, hatte dieses Jahr immerhin bekannt gegeben, dass eine Anfrage an ChatGPT durchschnittlich 0,34 Wattstunden verbraucht, ohne näher zu erläutern, wie sich die Zahl zusammensetzt. 

0,34 Wattstunden - bei einem herkömmlichen 3-W-LED Leuchtmittel entspricht das immerhin einer Betriebsdauer von 6,8 Minuten. Mit 9 Anfragen am Tag könnte man also stattdessen auch sein Homeoffice für eine Stunde beleuchten. Klingt jetzt erstmal überschaubar. Für sich betrachtet ist das auch richtig, aber ratet mal welche Apps seit Monaten auf den ersten Plätzen der Download Charts stehen? Richtig, chatGPT, Perplexity und Co. sind beliebter als Instagram und TikTok. Allein chatGPT verzeichnet ca. eine Milliarde Anfragen am Tag. So werden aus 0,34 Wattstunden dann schnell mal 124 GWh pro Jahr. Damit könnte die codecentric AG die nächsten 327 Jahre alle Büro-Standorte betreiben. In Ländern ausgedrückt: Allein der Betrieb von ChatGPT macht etwa 30 Prozent des jährlichen Stromverbrauchs von Liechtenstein aus. Und das ist erst der Anfang.

Und natürlich ist eine einfache Anfrage nicht unbedingt die Regel. Komplexe mathematische Berechnungen, die Formulierung langer Texte oder das Analysieren und Zusammenfassen eben solcher kann schnell den Energieverbrauch um den Faktor 10 bis 100 oder sogar noch mehr ansteigen lassen. Interessanterweise liegt der Energieverbrauch zur Generierung von Bildern oftmals unterhalb dieser Werte. Modelle zur Textgenerierung arbeiten mit hunderten von Milliarden Parametern und verrichten zur Generierung ihrer Antwort häufig mehr Arbeit, als für die Erstellung eines Bildes in Standardqualität von 1024x1024 Pixel nötig ist. Schätzungen nach, liegen hier die Emissionen zwischen 0,6 und 1,2 Wh pro Bild, was meistens nicht an den Verbrauch einer komplexen Textaufgabe heranreicht.

Ein Blick in die Kristallkugel

Sicher ist, dass unser jetziger KI-Fußabdruck der kleinste ist, den wir jemals haben werden. Alleine in den USA wollen Apple, OpenAI und Co. über eine Billion Dollar in KI und die dafür notwendige Infrastruktur stecken. Nochmal zur Verdeutlichung: 1.000.000.000.000$ Damit einher geht ein fast exponentielles Wachstum des Energie- und Ressourcenbedarfs. Aufgrund mangelnder Transparenz können die meisten Studien und Prognosen jedoch nur vage Vermutungen über die zukünftige Entwicklung abgeben. So wird geschätzt, dass bis 2027 die KI-Nachfrage nach Wasser in den USA auf 5,2 bis 6,6 Milliarden Kubikmeter ansteigen wird (das entspricht 13,2 Billionen Dosen Bier oder dem jährlichen Wasserbedarf Dänemarks). Was den Energiebedarf betrifft, können wir schon seit 2017 beobachten, dass der Stromverbrauch für IT-Infrastruktur vier mal so schnell ansteigt, wie der durchschnittliche Energiebedarf. Bis 2028 geht man davon aus, dass in den USA Rechenzentren für 12 % des gesamten Stromverbrauchs verantwortlich sein werden. Eine genaue Abschätzung ist jedoch schwer bis unmöglich, da nicht abzusehen ist, wie schnell und in welchen Bereichen AI Einzug in den Alltag finden wird. Ganz dem Titel dieses Blogposts nach, sehr wahrscheinlich „everywhere“. So klingt es nicht unwahrscheinlich, wenn andere Studien davon ausgehen, dass bis Ende des Jahrzehnts der Energiebedarf dem von ganz Japan entsprechen wird. 

Auch beim Thema Elektroschrott macht KI keine halben Sachen. Schätzungen zufolge werden zusätzliche 5 Millionen Tonnen Elektroschrott anfallen, die dann aufwändig recycelt werden müssen. Wen das Thema Elektroschrott interessiert, wird am ENde dieses Artikels fündig.

Der eigene Fußabdruck

Zugeben: Das ist eine ganze Menge an negativen Superlativen, mit denen man die Entwicklung der KI betiteln kann. Milliarden Liter Wasser, Terawattstunden an Energie, Millionen Tonnen Müll... besser ist es, das Thema einmal für sich persönlich zu betrachten.

**Wie sieht der eigene KI-Fußabdruck aus? **

Nehmen wir mal an, wir schreiben werktags 10 „Standard“ Anfragen an ChatGPT, die die oben angesprochenen 0,34 Wattstunden an Energie und ca. 12ml Wasser verbrauchen. Zusätzlich schreiben wir 5 komplexe Anfragen mit dem 20-fachen Energie- und Wasserbedarf pro Tag. Bei 220 Arbeitstagen kommen wir auf 8,2 kWh und 290,4 Liter Wasser. Mit einem üblichen CO₂-Emissionsfaktor von 400g pro kWh summiert sich unser Fußabdruck grob auf ca. 3,28 kg CO₂ und 290,4 Liter Wasser pro Jahr. Das entspricht ungefähr dem CO₂-Ausstoß der Produktion eines einzelnen 240-g-Rumpsteaks. Hinsichtlich des Wasserverbrauchs reden wir dann nur noch von einer einzelnen Gabel Rumpsteak (19 g). 

Fazit: Wer sich umweltbewusst verhalten will, findet weitaus effizientere Hebel, als auf ein paar ChatGPT Anfragen zu verzichten, die einem dafür Stunden von Arbeit abnehmen würden. Man muss kein schlechtes Gewissen haben, wenn man mit KI seinen Arbeitsalltag effizienter gestaltet, da der eigene KI-Fußabdruck vergleichsweise gering ist. Viel Spannender ist es, die KI für etwas Positives einzusetzen. Überall findet KI bereits Einzug im Kampf gegen den Klimawandel, in der Forschung oder anderen Projekten.

Wer möchte, kann mit den nachfolgenden Tipps an seinem KI-Fußabdruck arbeiten, ohne sich großartig einschränken zu müssen.

Tipps zum nachhaltigeren Umgang als Anwender

Nutze sie dort, wo es sinnvoll ist: Manche Dinge gehen einfach immer noch am schnellsten, wenn man sie selbst erledigt. Nutze KI-Helfer dort, wo sie dir einen echten Mehrwert bieten.

Die Länge deines Prompts: Jedes Wort einer Anfrage wird verarbeitet, weshalb ausführliche, ausschweifende Prompts den Energiebedarf unnötig erhöhen. Formuliere kurze, zielführende Anfragen, ohne groß herumzureden. 

Die Länge der Antwort: Eine Halbierung der Antwortlänge führt häufig ungefähr zu einer Halbierung der Emissionen. Formulierungen wie „Erläutere den Begriff in einem Satz“ oder „Fasse den Text in 3 Zeilen zusammen“ können somit Energie- und Ressourcenverbräuche drastisch senken.

Das richtige Tool für deine Aufgabe: Je komplexer das Modell, desto höher ist sein Energiebedarf auch für einfache Anfragen. Häufig können aber auch viel schlankere Modelle ein ähnlich gutes Ergebnis abliefern, wenn sie speziell für diese Aufgabe konstruiert wurden.  Für mathematische Aufgaben gibt es WolframAlpha, fürs Übersetzen Deepl.com und für gefühlt jede Aufgabe gibt es individuelle Tools, die sich auf diesen einen Zweck fokussieren. Durch die richtige Wahl kannst du teilweise bis zu 90 % der Emissionen im Vergleich zu einem der großen LLMs einsparen. 

Tipps zum nachhaltigeren Umgang als Entwickler

Das richtige Modell - viele Modelle haben ihre Stärken und Schwächen und die richtige Wahl eines LLM oder SLM kann langfristig einen riesigen Einfluss auf die Emissionen haben. Eine Übersicht über die effizientesten Open-Source-Modelle gibt es hier. Für bestimmte Benchmarks zeigt sich ein teils drastischer Unterschied in den Emissionen bei nur geringer Abweichung in der Präzision. Es ist für spezifische Anwendungen also ratsam genau zu betrachten, ob es nicht vielleicht ein kompaktes, hocheffizientes Modell für den gewünschten Anwendungszweck gibt. 

Mixture of Experts schlägt Lonely Talent - Für vielseitige Anwendungsanforderungen kann der Einsatz einer MOE (Mixture of Experts) Struktur den Energie- und Rechenleistungsbedarf deutlich reduzieren. Hierbei wird eine Vielzahl spezialisierter Modelle durch einen Gating-Mechanismus integriert. Eingehende Anfragen können dann geclustert und dem jeweils darauf spezialisierten Modell zugewiesen werden. Demgegenüber werden bei einem einzelnen, komplexen LLM, dem „Lonely Talent“ auch bei einfachen Anfragen größere Ressourcenmengen aktiviert, die eventuell gar nicht nötig sind. 

Quantisierung - Durch sinnvolle Modellkompression lässt sich der Energiebedarf von LLMs senken, ohne die Präzision maßgeblich zu beeinflussen. Dabei werden Techniken wie Quantisierung, Pruning und Distillation eingesetzt, um die Modellgröße zu reduzieren, die Anzahl der Berechnungen zu verringern und somit den Rechenaufwand zu minimieren. Dies führt zu einer effizienteren Nutzung der Hardware und kann den Energieverbrauch um bis zu 44 % senken. 

Weiterführende Informationen

Wen das Thema neugierig gemacht hat, findet hier eine Vielzahl weiterführender Quellen und nützliche Links:

Doku: Wo landet eigentlich unser Elektroschrott? - Welcome to Sodom

Greenpeace Report über KI

BLOOM - das größte Open Source LLM mit transparenter Umweltbilanz

Ganzheitliche Umweltbetrachtung von KI

Initiative für gemeinnützigen Einsatz von KI

AI Energy Score Leaderboard

AI Efficiency Leaderboard

Ausführlicher MIT Artikel zum Thema

UN Bericht zum Energiebedarf von KI

TL:DR KI-Infrastruktur verschlingt gigantische Mengen an Energie, Wasser und Rohstoffen. Es werden in den nächsten Jahren über eine Billion Dollar in den weiteren Ausbau gesteckt. Prognosen erwarten, dass der Energiebedarf für KI den von ganz Japan überschreiten wird. Das Training von LLMs verbraucht zwar viel Energie, doch die Milliarden Anfragen pro Tag sind der wesentliche Energieverbraucher. Als normaler User ist dein KI-Fußabdruck aktuell ungefähr so groß wie der eines einzelnen Rumpsteaks. Du kannst die Emissionen drastisch reduzieren, indem du kurze präzise Anfragen ohne Füllwörter und Floskeln schreibst, die Antwortlänge beschränkst, das richtige Tool für deine Aufgabe wählst und natürlich KI nur dann einsetzt, wenn es auch sinnvoll ist.