Microsoft Translator: Bessere Übersetzungen mit neuer KI-Technik

Microsoft Translator: Bessere Übersetzungen mit neuer KI-Technik

Microsofts Translator erzielt bei Übersetzungen in zahlreiche Sprachen bessere Ergebnisse. Grundlage dieser Verbesserung ist eine KI-Architektur, die neuronale Netze Aufgaben spezifischer bearbeiten lässt und gleichzeitig effizienter rechnet.

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

Die sogenannte „Mixture-of-Experts“ (MoE) Architektur sieht vor, dass ein einzelnes neuronales Transformer-Netz durch eine Reihe von sogenannten Expertennetzen ersetzt wird. Das Modell entscheidet dann, welche Aufgabe an welches Expertennetzwerk delegiert wird. Ein Expertennetzwerk könnte etwa für einzelne Sprachen stehen.

Die KI-Architektur wird außerdem in die Breite statt in die Tiefe gebaut, was mehr Parameter bei weniger Schichten ermöglicht. Ziel der MoE-Architektur sind bessere Ergebnisse bei weniger Rechenaufwand.

Translator: Bis zu 15 Prozent bessere Übersetzungen

Microsoft verwendet den MoE-Ansatz jetzt für den eigenen Translator-Service und verbessert damit durch die Bank die Leistung des Programms. Am stärkten profitieren Übersetzungen von Englisch in Slowakisch mit rund 15 Prozent besseren Ergebnissen, ebenso wie Englisch in Bosnisch und Bulgarisch mit jeweils knapp 12 Prozent. Microsoft evaluierte die Übersetzungen in Blindtests mit Menschen.

Die MoE-Architektur sorgt auch bei Microsofts Übersetzungs-KI für bessere Ergebnisse. | Bild: Microsoft

Microsoft trainierte das MoE-Netz zudem nach derzeit gängiger Praxis „sparse“ (spärlich). So trainierte neuronale Netze aktivieren bei Bearbeitung einer Aufgabe nur jene Elemente, die gerade benötigt werden. Bei herkömmlich trainierten KI-Modellen ist bei jeder Aufgabe das gesamte Modell aktiv, was mehr Energieaufwand bedeutet. Microsoft vergleicht das mit der Beheizung eines Hauses über einzelne Heizkörper in Räumen anstatt über einen zentralen Ofen.

Microsoft setzte beim KI-Training zusätzlich sogenanntes Transferlernen ein, bei dem gemeinsame linguistische Elemente verschiedener Sprachen erkannt werden, sodass Sprachverständnisaufgaben von einer Sprache auf die andere übertragen werden können. Besonders profitieren hiervon selten gesprochene Sprachen, für die wenig Originaltrainingsmaterial bereitsteht.

Empfohlener Beitrag

Visuelle Darstellung eines neuronalen Netzes
Googles riesige Sprach-KI hat 1,6 Billionen Parameter
KI-Forscher von Google haben mit einer modifizierten Transformer-Architektur erstmals ein Sprachmodell mit mehr als einer Billion Parametern trainiert.

MoE-Architektur setzt sich durch

Das neue Translator-Modell ist Teil von Microsofts „Project Z-Code“ für multimodale KI-Modelle, die Daten wie Text, Sicht, Audio und Sprache kombinieren. Ziel sind laut Microsoft KI-Modelle, die sprechen, sehen, hören und verstehen können. Die im Rahmen von Project Z trainierten Modelle sollen auf dem MoE-Ansatz beruhen.

logo
  • checkMIXED.de ohne Werbebanner
  • checkZugriff auf mehr als 9.000 Artikel
  • checkKündigung jederzeit online möglich
ab 2,80 € / Monat
logo

Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen.
Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.

„Diese Architektur ermöglicht eine massive Skalierung der Anzahl der Modellparameter bei gleichbleibendem Rechenaufwand“, schreibt Microsoft. Beim Beispiel des Translators seien früher 20 verschiedene Modelle nötig gewesen, die zwischen zehn Sprachen über die Brückensprache Englisch übersetzten.

Das neue Z-Code-Produktionsmodell könne jetzt direkt alle zehn Sprachen ins Englische und aus dem Englischen übersetzen. Größere Z-Code-Forschungsmodelle könnten bis zu 101 Sprachen ohne die Brückensprache Englisch übersetzen. Laut Microsoft ergeben sich hierdurch 10.000 Übersetzungswege.

Neu ist der MoE-Ansatz nicht, Google forscht bereits seit Sommer 2020 daran und stellte im Dezember 2021 ein nach dem MoE-Prinzip konstruiertes riesiges KI-Sprachmodell vor. Zuvor zeigte Meta im November 2021 eine leistungsfähige Übersetzungs-KI, bei der einzelne Abschnitte im neuronalen Netz die Expertenrolle für verschiedene Sprachen übernehmen.

Googles Übersetzungs-KI M4Googles 1,6 Billionen-Parameter großer Switch Transformer und das chinesische 1,75 Billionen Parameter große Wu Dao 2.0 setzen ebenfalls auf MoE-Architekturen.

Mehr über Sprach-KI:

Quellen: Microsoft