Facebooks neuer Chatbot Blender soll sogar Googles Meena hinter sich lassen.

Wenn man in Deutschland einen Chatbot “Blender” nennen würde, so wäre das nicht unbedingt ein Kompliment, aber durchaus korrekt. Immerhin versucht der Bot, mit aller Macht vorzutäuschen, ein Mensch zu sein. Facebooks neuem Chatbot soll dieses Unterfangen besonders gut gelingen.

Der englische Ausdruck Blender steht allerdings nicht für den Vortäuscher, sondern Mixer. Die Bezeichnung passt: Facebooks KI-Abteilung FAIR verwendete für das KI-Training des Bots 1,5 Milliarden öffentlich verfügbare Reddit-Kommentare. Auf dieser Datenbasis lernte der Bot die Grundlagen der Gesprächsführung.

Anschließend wurde das KI-Modell feinjustiert: Die Forscher trainierten die KI mit weiteren Datensätzen für emotionale Reaktionen, informationsbasierte Dialoge mit Wiki-Wissen und Dialoge zwischen zwei Personen für mehr Charakter. In Tests experimentierten sie mit verschiedenen Modellen und Ausrichtungen.

Today we’re announcing that Facebook AI has built and open-sourced Blender, the largest-ever open-domain chatbot. It…

Gepostet von Facebook AI am Mittwoch, 29. April 2020

Facebook Blender vs. Google Meena

Die Forscher verglichen Blenders Leistung mit Meena, einem Chatbot, den Google Ende Januar vorstellte und der laut Google seinerzeit einen neuen Standard setzte in maschineller Dialogkultur.

Im direkten Vergleich hat Facebook laut eigenen Angaben die Nase vorne: Das generierte Sprachmodell mit 9,4 Millionen Parametern ist mehr als dreimal so groß als Meenas mit 2,6 Millionen Parametern.

Dialoge über Themen wie Kochen, Musik, Filme, Haustiere oder Yoga kamen bei ersten Testern eher gut an: Bis zu 75 Prozent von ihnen bewerteten die Gespräche mit Blender als interessanter und realistischer im Vergleich zu Googles Chatbot Meena, der laut Google bei Tests nur knapp hinter den Qualitäten eines menschlichen Gesprächspartners rangiert und frühere Chatbos deutlich übertrifft.

Besonders interessant ist daher der A/B-Test, bei dem die Facebook-Forscher ein Chatbot-Gespräch gegen einen menschlichen Gesprächspartner antreten ließen: Bis zu 49 Prozent der Tester bewerteten den vorgelegten Computer-Dialog als menschlicher.

Wenn alles gut läuft, sind mit Blender realistische Konversationen möglich. Aber die Grenzen sind noch eng gesteckt. Bild: Facebook

Wenn alles gut läuft, sind mit Blender realistische Konversationen möglich. Aber die Grenzen sind eng gesteckt. Bild: Facebook

Facebooks Bot halluziniert Fakten

Trotz der Fortschritte sehen die Facebook-Forscher noch eine Menge Arbeit hin zu “tatsächlich intelligenten Dialog-Agenten”. In der Tat hat Blenders Gesprächskultur grundlegende Probleme, die unmittelbar mit den Trainingsdaten zusammenhängen.

Der Bot neigt zur Phrasenhaftigkeit, wiederholt Aussagen des Gesprächspartners und eigene Fragen, widerspricht sich selbst und vergisst Aussagen. Steigt man mit Tiefgang in ein Thema ein, generiert der Bot Falschaussagen.

Mitunter wiederholt Blender Aussagen, widerspricht sich selbst oder erfindet Dinge. Bild: Facebook

Mitunter wiederholt Blender Aussagen, widerspricht sich selbst oder erfindet Dinge. Bild: Facebook

Blender kann sich außerdem nicht an frühere Konversationen erinnern – würde man sich also laufend mit dem Bot unterhalten, würden Gespräche schnell langweilig und belanglos. Außerdem könne der Bot durch Konversationen keine Konzepte lernen und die Realität nicht als Fundament für Gespräche verwenden.

KI-Modelle, Beschreibungen und die wissenschaftliche Veröffentlichung zu Blender sind hier als Open Source verfügbar.

Quelle: Facebook

Weiterlesen über Künstliche Intelligenz:

steady2

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: Alles zur Facebook Connect 2020 | Alle Folgen


Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.