OpenAIs GPT-3 lässt sich jetzt mit eigenen Daten trainieren

OpenAIs GPT-3 lässt sich jetzt mit eigenen Daten trainieren

OpenAIs Text-KI GPT-3 lässt sich jetzt über eine API nachtrainieren. Das soll bessere Ergebnisse für Kunden ermöglichen.

OpenAI bietet seit Juni 2020 Zugriff auf GPT-3 über eine API an. Im September 2020 endete die kostenlose Beta-Phase und OpenAI gab Preise bekannt. Seit der Veröffentlichung des API-Zugangs gibt es hunderte Apps, die auf GPT-3 setzen, darunter Feedback-Software wie Viable, Datensammler wie Airpaper oder die Suchengine Algolia.

Der Zugriff über die API erlaubte jedoch bisher keine Feinjustierung (fine-tuning) von GPT-3, der Prozess bei dem mit unglaublich vielen Daten vortrainierte KI-Modelle für spezielle Aufgaben nachtrainiert werden. Stattdessen müssen Nutzer die Art der gewünschten Ausgabe von GPT-3 über das Eingabefeld mit Beispielen programmieren.

___STEADY_PAYWALL___

Für spezialisierte Modelle braucht es Feinabstimmung per Datentraining

Ein Beispiel-Szenario: Wer aus den Daten seiner Kunden Tabellen generieren möchte, muss vor jede Kundeneingabe ein Beispiel oder mehrere Beispiele einer Datenübertragung in eine Tabelle anhängen. Die werden dann über die API an GPT-3 gefüttert und die Text-KI vervollständigt die Eingabe ausgehend von den Beispielen und überträgt die Kundeneingabe in eine Tabelle.

Die Menge an möglichen Beispielen ist jedoch stark eingeschränkt und die „Eingabe-Design“ genannte Methode reicht daher nicht an die Verbesserungsmöglichkeiten von richtiger Feinjustierung mit größeren Datensätzen heran.

Großen Kunden bot OpenAI daher bereits direkten Zugriff auf GPT-3 und mit diesem die Feinjustierungs-Option. OpenAIs Partner Microsoft veröffentlichte im Mai 2021 ein erstes eigenes GPT-3-basiertes Produkt: In der Entwicklungsplattform Power Apps verwandelt GPT-3 natürliche Sprache in Code-Vorschläge. In Zukunft soll GPT-3 auch der Azure-Cloud und anderen Microsoft-Produkten zugutekommen.

Ende Juni veröffentlichten Github und OpenAI gemeinsam Copilot, einen KI-Assistenten für Programmierer. Copilot basiert auf OpenAIs Codex, einer GPT-3-Variante, die mit auf Github verfügbaren Code trainiert wurde. Copilot soll im Spätsommer ebenfalls über eine API verfügbar und an die jeweiligen Bedürfnisse von Unternehmen anpassbar sein.

KI-Spezialisierung: Feinjustierung für GPT-3 startet als Beta

Diese Individualisierung von GPT-3 ist auch durch Feinjustierung möglich, denn OpenAI bietet das Daten-Nachtraining jetzt als Beta-Funktion für GPT-3 an: GPT-3 kann über eine neue API nachtrainiert werden. OpenAI verspricht hierbei bessere Ergebnisse im Vergleich zum eingangs erwähnten Eingabe-Design.

Kunden können während der Beta zehn kostenlose Feinabstimmungsanläufe pro Monat starten. Die Größe der Datensätze sind auf 2,5 Millionen Tokens beschränkt, das entspricht etwa 80 bis 100 Megabyte Text. Zum Vergleich: Das Eingabe-Design an GPT-3 ist auf 2.048 Tokens beschränkt, die Möglichkeiten wachsen also beträchtlich.

Das größte GPT-3-Modell Davinci ist von der Feinjustierung ausgeschlossen, lediglich die kleineren Modelle Curie, Babbage und Ada können nachtrainiert werden. Die Kosten pro Token für jede Anfrage steigen für nachtrainierte Modelle, etwa bei Curie von 0,006 auf 0,03 US-Dollar. Allerdings sind die Anfragen durch die Feinjustierung nicht mehr auf Beispiele in der Eingabe angewiesen und so insgesamt kürzer.

Laut OpenAI kann GPT-3 mit der neuen Beta-Funktion etwa zum besseren Chatbot trainiert, auf Produktbeschreibungen spezialisiert oder zum Werbespezialisten werden. Nachtrainierte Modelle fallen weiterhin unter die Nutzungsbedingungen und Sicherheitsrichtlinien von OpenAI.

Alle Informationen zur Feinjustierung für GPT-3 gibt es auf OpenAIs API-Webseite.

Titelbild: OpenAI

Weiterlesen über Künstliche Intelligenz: