Google und die Universität Berkeley zeigen, dass effizienteres Training von riesigen KI-Modellen möglich ist.

Laut einer Studie von OpenAI von 2018 verdoppelt sich die Leistung von KI-Systemen alle dreieinhalb Monate. Möglich wird das durch immer mehr Rechenleistung und spezialisierte Hardware.

Diese Entwicklung geht nicht spurlos am CO2-Fußabdruck der KI-Forschung vorbei: 2019 zeigte eine Studie, dass die Klimabelastung durch die damals häufigsten KI-Modelle für Sprachverarbeitung bis zu fünfmal größer als der eines Autos über dessen komplette Lebensspanne ist, nämlich knapp 284 Tonnen CO2.

In einer neuen Forschungsarbeit untersuchten jetzt Forscher von Google und der Berkeley-Universität Kalifornien den Fußabdruck der fünf großen Text-KIs T5, Meena, GShard, Switch Transformer und GPT-3. Sie wollen Wege aufzeigen, die CO2e-Emissionen (CO2-Äquivalente) von KI-Training zu reduzieren.

Bis zu 1000-fache Einsparungen möglich

Die Forscher kommen zu dem Schluss, dass KI-Training deutlich weniger Emissionen erzeugt, als es in der zuvor zitierten Studie beschrieben steht. So seien etwa die für das KI-Training genutzten Cloud-Datenzentren etwa zweimal energieeffizienter als klassische Datenzentren.

Eine Forschungsarbeit in Science zeige außerdem, dass der globale Energiebedarf von allen Datenzentren seit 2010 nur sechs Prozent und die verfügbare Rechenleistung um 550 Prozent gestiegen sei.

Je nach Trainings- oder Inferenzmethode könne der Energieverbrauch von neuronalen Netzen um den Faktor zehn schwanken. Die geografische Lage der Rechenzentren könne außerdem die CO2e-Emissionen um den Faktor fünf bis zehn reduzieren, je nach Verfügbarkeit erneuerbarer Energien. KI-spezialisierte Hardware wie Googles TPUs seien außerdem zwei- bis fünfmal effizienter als generische Hardware.

Über die Wahl des neuronalen Netzes, des Datencenters und der Prozessoren könne der Fußabdruck so 100- bis 1000-fach reduziert werden, schreiben die Forscher.

Schmutzfink GPT-3

Sauber sind die KI-Modelle dennoch nicht: Googles Modelle produzierten laut den Forschern zusammen 200 Tonnen CO2e-Emissionen, OpenAIs GPT-3 allein 552 Tonnen.

Das Training von GPT-3 benötigte besonders viel Energie.

OpenAIs GPT-3 wurde mit Nvidia Grafikkarten trainiert und ist ein sogenanntes dichtes neuronales Netzwerk. Das erhöht den Energieverbrauch. | Bild: Google

Wie solche Zahlen zu bewerten sind, ist eine der vielen ethischen Diskussionen in der KI-Forschung. Denn die Menschen, die am meisten unter den Folgen des Klimawandels leiden, profitieren umgekehrt nicht von englischsprachigen Text-KIs, betonte etwa die von Google gefeuerte KI-Forscherin Timnit Gebru in ihrer Forschungsarbeit über große Sprachmodelle.

Die Forscher hoffen, Emissionen durch KI-Training in Zukunft weiter reduzieren zu können. Sie liefern dafür Vorschläge: In Zukunft solle der Energieverbrauch und die CO2e-Emission in allen KI-Forschungsarbeiten veröffentlicht werden und KI-Konferenzen sollten Arbeiten auszeichnen, die Effizienzgewinne erzielen.

Titelbild: Google | Via: Arxiv

Weiterlesen über Künstliche Intelligenz:

steady2

MIXED.de Podcast: VR, AR und KI - jede Woche neu

Jetzt reinhören: Alle Folgen


Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.