Microsofts neue KI Turing-NLG ist die bislang am umfangreichsten trainierte Künstliche Intelligenz für natürliche Sprachverarbeitung.
Mit Turing Natural Language Generation (T-NLG) will Microsoft sprachverarbeitende Künstliche Intelligenz auf ein neues Level hieven. Zumindest technisch gelingt das: Turing-NLG ist die bislang am umfangreichsten trainierte Sprach-KI mit rund 17 Milliarden Parametern verteilt auf 78 Schichten. Benannt ist die KI nach dem berühmten Turing-Test, bei dem eine Künstliche Intelligenz einem menschlichen Gesprächspartner erfolgreich vorgaukeln muss, eine Person zu sein.
Mit T-NLG übertrifft Microsoft Nvidias im letzten Jahr vorgestellte Sprach-KI Megatron mit rund 8,3 Milliarden Parametern um mehr als das Doppelte. Megatrons Sprachmodell diente Microsoft als Grundlage für die Entwicklung, Nvidia wiederum setzte für Megatron auf OpenAIs Sprach-KI GPT-2 auf mit rund 1,6 Milliarden Parametern. Die Grundlage all dieser Systeme wiederum ist Googles Transformer-Architektur, für die ebenfalls schon ein besserer Nachfolger am Start ist.
Die Microsoft-Forscher gehen davon aus, dass es effizienter ist, ein großes Sprachmodell zu trainieren, das dann verschiedene Aufgaben im Bereich Sprache beherrscht wie Antworten auf Fragen oder Zusammenfassungen, anstatt für jede einzelne Sprachaufgabe ein eigenständiges Modell zu entwickeln und zu trainieren.
Hardware- und Software-Optimierung sorgen für mehr Deep-Learning-Effizienz
Trainiert wurde Turing-NGL mit Nvidia DGX-2 Systemen bestehend aus 16 Nvidia V100 Tensor Core GPUs, also Chips, die für das KI-Training optimiert sind. Microsoft optimierte den Trainingsprozess zusätzlich mit der Open-Source-Software Deepspeed sowie ZeRO. Die Trainingszeit konnte so um den Faktor drei reduziert werden.
Microsofts neue Sprach-KI soll bei der Beantwortung von Fragen, bei KI-Assistenten und beim Verstehen von Dokumenten unterstützen. Die Anwendungsszenarien seien vielseitig und “transformativ”, schreiben die Microsoft-Forscher.
Der Umfang von KI-Sprachmodellen wächst seit der Veröffentlichung von OpenAIs GPT-2 exponentiell. Offen ist, wann und in welcher Form bessere sprechende Computer im Alltag der Nutzer ankommen. Bild: Microsoft
Autoren könnten zum Beispiel bei der Zusammenstellung ihrer Inhalte unterstützt werden, indem die KI für sie lange Inhalte knapp zusammenfasst und Fragen zum Inhalt beantwortet. So eine Funktion könne zukünftig direkt in Microsoft Office integriert werden, schreiben die Forscher in ihrem Ausblick.
Das Ziel sei es, dass ein Computer “in jeder Situation so direkt, akkurat und fließend wie ein Mensch sprechen kann.” T-NLG könne nach vorheriger Analyse zum Beispiel Fragen zu einem persönlichen Dokument oder einer E-Mail-Konversation beantworten. Digitale Assistenten könnten Unternehmen beim Kundenkontakt unterstützen.
Beispielhaft erklären die Microsoft-Forscher ein Suchszenario: Anstatt auf eine Suchanfrage nur mit einem gefetteten Wort in einem Satz zu antworten, könne T-NLG eine direkte Antwort liefern.
| Frage | Who was Jason Mraz engaged to? |
| Antwort per Textauszug | Mraz was engaged to singer/songwriter and long-time close friend Tristan Prettyman on Christmas Eve 2010; they broke off the engagement six months later. |
| Direkte Antwort | Jason Mraz was engaged to Tristan Prettyman. |
Microsoft will Turing-NLG vorerst einer kleinen Gruppe Wissenschaftler zugänglich machen für weitere Tests und Feedback.
Quelle: Microsoft
Login mit Steady