Eine Gruppe KI-Forscher arbeitet an einer Open-Source-Variante von GPT-3. Jetzt hat Eleuther AI eine erste Version von "GPT-Neo" veröffentlicht.
OpenAIs GPT-3 ist seit Mitte 2020 für ausgewählte Kunden verfügbar. Die mächtige Text-KI ist mittlerweile in über 300 Apps im Einsatz. Doch die Entscheidung, den Zugang zu GPT-3 erstens zu regulieren und zweitens zu verkaufen, stieß schnell auf Kritik von KI-Forschern und früheren Investoren wie Elon Musk.
Eleuther AI, eine Gruppe loser organisierter KI-Forscher, arbeitet daher seit einigen Monaten an einer Open-Source-Variante von GPT-3. Aktuell gibt es zwei Varianten: GPT-Neo und GPT-NeoX.
GPT-NeoX wird auf Grafikkarten trainiert, soll am Ende 175 bis 200 Milliarden Parameter groß sein und so die Leistung der größten GPT-3-Version mit 175 Milliarden Parametern erreichen oder sogar übertreffen. Das KI-Training mit dem 800 Gigabyte großen Text-Datensatz „The Pile“ könnte bereits im August abgeschlossen sein.
GPT-Neo wird dagegen auf von Google kostenlos verfügbar gestellten TPU-Chips trainiert. Googles kostenloses Trainingsangebot ist jedoch begrenzt - das GPT-Neo-Projekt liefert daher nur kleinere Text-KIs.
2,7 Milliarden-Variante ist die bisher größte Open-Source-Alternative zu GPT-3
Jetzt hat Eleuther zwei Varianten von GPT-Neo veröffentlicht. Die beiden Modelle sind 1,3 Milliarden und 2,7 Milliarden Parameter groß. Zum Vergleich: Die größte Variante von GPT-2 hat 1,5 Milliarden Parameter.
Laut Eleuther entsprechen beide Varianten in ihrer Leistung kleineren Versionen von GPT-3, etwa OpenAIs „GPT-3 Ada“, ein kleineres GPT-3-Modell mit 2,7 Milliarden Parametern.
Die größte Variante von GPT-Neo kann bereits glaubwürdige Texte generieren, etwa diesen Absatz über Forscher, die Einhörner entdecken:
“In a shocking finding, scientists discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.
It was a lot to take in at first, but despite their alien appearance, and despite their Germanic speech pattern, it turns out they were just regular unicorns. As great as it was to figure out they weren’t an alien life form, their bizarre speech pattern is a little confounding and doesn’t really explain the rudiments of their cognitive abilities. But they likely must be somehow connected to this caveman and even thought to be living there, because that’s how they came across the technology that made it possible to communicate with them in a foreign tongue.”
Via: Eleuther-Discord
Laut eines Twitter-Nutzers kann GPT-Neo auch rudimentären Code schreiben. Es habe sich allerdings ein kleiner Fehler eingeschlichen.
Wow GPT-Neo is pretty good at writing code ?
All I did was provide this prompt:
Below is the React code to create a red button that says "Click me!"Without token limits, you can have the model output code that's more complete than what GPT-3 would output. pic.twitter.com/N8S1XT0pLm
— zack ? 李文奎 (@wenquai) April 3, 2021
Beide Varianten von GPT-Neo können kostenlos über die Hosting-Webseite the-eye.eu heruntergeladen werden. Die Links findet ihr auf Github. GPT-Neo ist außerdem auf der NLP-Plattform Huggingface verfügbar.
Titelbild: Eleuther
