Aktuelle Sprach-Benchmarks können kaum noch mit der rasanten Entwicklung riesiger Sprach-KIs mithalten. Google-Forscher arbeiten jetzt an einem Benchmark jenseits des Turing-Tests.

Im Oktober 1950 erschien Alan Turings Aufsatz „Computing Machinery and Intelligence“. Dort stellte Turing das erste Mal sein „Imitation Game“ vor: Ein Mensch unterhält sich über geschriebenes oder gesprochenes Wort mit einer Maschine. Erkennt der Mensch die Maschine nicht als solche, sondern verwechselt sie mit einem Menschen, ist der Test bestanden.

Schon in etwa 50 Jahren könne es Computer geben, die in mindestens 30 Prozent der Fälle einen Gesprächspartner in einem fünfminütigen Gespräch täuschen, schätzte Turing damals. Aus dem Imitationsspiel wurde der Turing-Test, der in der KI-Forschung und -Kultur seinen Platz als vermeintlich ultimativer Test für Maschinen-Intelligenz einnahm.

Doch Fälle wie der Chatbot „Eugene“, der sich als 13 Jahre alter Junge ausgab und so mehr als 30 Prozent menschlicher Tester täuschte, machen deutlich, dass Turings Bezeichnung „Imitation Game“ den Nagel auf den Kopf traf und trifft: Systeme wie Eugene imitieren menschliche Sprachfähigkeit – sie beherrschen sie nicht.

Aktuelle Sprachbenchmarks wie SuperGLUE (General Language Understanding Evaluation) machen dieses Defizit deutlich: Der Benchmark testet spe…

MIXED.de Podcast: VR, AR und KI - jede Woche neu

Jetzt reinhören: Alle Folgen


Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.