Meta veröffentlicht kostenlose GPT-3-Alternative

Meta veröffentlicht kostenlose GPT-3-Alternative

Metas KI-Abteilung veröffentlicht ein umfangreich trainiertes Sprachmodell, um die Forschung insbesondere an den Schwachstellen von Sprach-KI voranzutreiben. Die kommerzielle Nutzung ist nicht gestattet.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

OpenAIs Sprach-KI GPT-3 war ein Meilenstein der Entwicklung von KI-Systemen für natürliche Sprache. Erstmals konnte ein KI-Modell kurze Texte so glaubhaft und zusammenhängend formulieren, dass sie von Menschen nicht mehr als KI-generiert erkannt werden können. In der Folgezeit erwies sich das Modell als flexibel einsetzbar für viele weitere Anwendungsbereiche wie die Generierung von Code. Geringfügiges Nachtraining reichte OpenAI dafür aus.

Folglich sah OpenAI in GPT-3 erstmals ein Geschäftsmodell und bietet die Sprach-KI unter anderem über eine Schnittstelle an. Das eigentliche Modell ist für Forschende nicht verfügbar – was aber dem wissenschaftlichen Fortschritt zugutekommen würde.

In dieser Lücke positioniert sich jetzt Meta und bietet Forschenden sowie ausgewählten Partnern ein großes KI-Sprachmodell zur freien Untersuchung an.

Meta OPT: Großes KI-Sprachmodell für die Forschung

Der „Open-Pre-trained-Transformer“ (OPT) ist laut Metas Forschenden in Bezug auf Leistung und Größe mit OpenAIs GPT-3 vergleichbar. Die größte Version von OPT hat 175 Milliarden Parameter – wie GPT-3. Allerdings war das KI-Training laut Meta deutlich effizienter: Es soll nur ein Siebentel des CO₂-Fußabdrucks von GPT-3 verursacht haben.

Das größte OPT-Modell mit 175 Milliarden Parametern will Meta auf Anfrage ausgewählten Partnern aus der Forschung, Industrie, Regierungen und Zivilgesellschaften zur Verfügung stellen. Die sollen so etwa Gewichtungen und Zusammenhänge des neuronalen Netzes bei der Sprachverarbeitung analysieren können.

Empfohlener Beitrag

Deepmind: Künstliche Intelligenz ist noch lange nicht satt

Kleinere OPT-Modelle ab 125 Millionen bis 30 Milliarden Parameter stellt Meta frei zur Verfügung. Zusammen mit den Modellen veröffentlicht Meta außerdem den Code für das Training und eine Dokumentation des Trainingsverlaufs. Die Modelle dürfen nicht kommerziell verwendet werden (Lizenzvereinbarung).

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Die Lücke zwischen Industrie und Forschung schließen

Meta hofft, dass die wissenschaftliche Gemeinschaft „klare Richtlinien“ für den Umgang insbesondere mit den Problemen großer KI-Sprachmodelle findet wie Bias und Toxizität in KI-generierter Sprache. Forschungsarbeiten zeigten in der Vergangenheit unter anderem, dass GPT-3 in Trainingsdaten vorhandene Vorurteile nicht nur verstärkt, sondern zusätzlich neue generiert.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

„Ohne direkten Zugang zu diesen Modellen sind die Forscher nur begrenzt in der Lage, Strategien zur Aufdeckung und Abschwächung möglicher Schäden zu entwickeln, sodass diese nur in den Händen derjenigen liegt, die über genügend Kapital verfügen, um Zugang zu Modellen dieser Größenordnung zu erhalten“, schreibt Meta.

Die beschriebenen Probleme verzögern oder behindern den umfassenden Einsatz von KI-Sprachmodellen in der Praxis. Meta wiederum hat großes Interesse daran, entsprechende Modelle möglichst schnell und sicher auf den eigenen Plattformen einzusetzen, etwa für die Social-Media-Moderation oder die Sprachassistenz bei VR, AR und mit den eigenen Smart-Home-Geräten.

Insofern ergibt die Veröffentlichung von OPT für Meta Sinn, um den wissenschaftlichen Fortschritt zu beschleunigen. Zudem positioniert sich das Unternehmen durch die Veröffentlichung positiv beim raren wissenschaftlichen KI-Nachwuchs.

„Wir glauben, dass die gesamte KI-Gemeinschaft – akademische Forscher, Zivilgesellschaft, politische Entscheidungsträger und Industrie – zusammenarbeiten muss, um klare Richtlinien für verantwortungsvolle KI im Allgemeinen und verantwortungsvolle LLMs (große Sprachmodelle, Anm. d. Red.) im Besonderen zu entwickeln, da sie in vielen nachgelagerten Sprachanwendungen von zentraler Bedeutung sind“, schreibt Metas Forschungsteam.

Ein viel breiteres Segment der KI-Gemeinschaft benötige Zugang zu großen KI-Sprachmodellen, um „reproduzierbare Forschung zu betreiben und das Feld gemeinsam voranzutreiben.“

Die kleineren OPT-Modelle sind bei Github verfügbar, ein Antrag auf Zugang zum 175B-Modell kann hier gestellt werden.

Quellen: Meta AI Blog, Paper

Empfohlene Beiträge