Die großen Fortschritte der KI-Entwicklung entstehen durch mehr Daten, größere Netzwerke, mehr Rechenleistung. Könnten sie in Zukunft auch außerhalb der Cloud laufen?

Kabetec VR-Brille

Der Trend bei Sprach-KIs geht zu immer größeren Modellen, die immer mehr Daten schlucken. Zu diesen Riesen gehören Googles Sprach-KI BERT, OpenAIs GPT-2, Facebooks RoBERTa und Nvidias Megatron. Letztere ist die aktuellste Sprach-KI, 24-mal größer als BERT-large und fünfmal größer als GPT-2.

Doch die riesigen KI-Modelle benötigen viel Rechenleistung: Nvidia empfiehlt für das Training von Megatron 512 Grafikchips. Und wer OpenAIs GPT-2 nachtrainieren will, bringt mit der neuesten Version selbst schnelle Server-Grafikkarten an ihr Limit.

Da die Sprachmodelle viel Rechenleistung und Energie benötigen, laufen sie nur in der Cloud. Kleinere Modelle können zwar lokal ohne Internetverbindung auf dem Smartphone oder auf einem Roboter ausgeführt werden – aber sie leisten dafür deutlich weniger.

Es braucht also kleinere KI-Modelle, die dennoch an die Leistungsfähigkeit ihrer riesigen Verwandten herankommen. Doch wie soll das gehen?

Back to School (of AI)

Die Lösung könnte eine Art KI-Schule sein, in der die kleinen KIs von den großen lernen.

KI-Forscher nennen diesen Prozess Destillation: Ein großes KI-Modell agiert als Lehrer, ein kleines als Schüler. Beim Training gibt die große KI ihr Wissen weiter: bei einer Sprach-KI etwa die 20 wahrscheinlichsten Worte, die einen unvollständigen Satz vollenden.

Das kleine KI-Modell lernt so, die Ergebnisse des großen KI-Modells zu reproduzieren – ohne dessen Umfang anzunehmen.

Forscher haben diese Methode nun auf …

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: Intels VR-Linsen, Apples Tech-Brille und KI-Demokratie | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.