Das Risikokapitalunternehmen Loup Ventures hat mal wieder KI-Assistenten befragt: Der Google Assistant liegt wie gehabt vorne, aber Alexa gelingt der größte Sprung.

Zweimal im Jahr stellt Loup Ventures dem Google Assistant, Apples Siri und Amazons Alexa dieselben 800 Fragen und dokumentiert die Fortschritte. Getestet wird einerseits das Sprachverständnis, also ob der Sprachbefehl korrekt aufgenommen wurde, andererseits der Mehrwert der Antwort auf den Sprachbefehl.

Bemerkenswert ist, dass mittlerweile alle drei Assistenten in nahezu 100 Prozent aller Fälle den Menschen korrekt verstehen. Die Zeiten, in denen man Wort für Wort ins Mikrofon buchstabieren musste für eine exakte Transkription scheinen endgültig vorbei zu sein. Offenbar lohnt sich die Investition in menschliche Prüfer aller drei Unternehmen.

Bei der Qualität der Antworten liegt Googles Assistant nach wie vor deutlich vorne (86 % 2018 auf 93 % 2019) und konnte sich noch weiter von Siri distanzieren. Allerdings wird auch Apples KI-Stimme besser (79 % 2018 auf 83 % 2019) . Amazons Alexa holte im Vergleich zum Vorjahr deutlich auf von 61 Prozent korrekte Antworten auf beinahe 80 Prozent. Google und Siri haben den Vorteil, dass sie nativ ins jeweilige Betriebssystem integriert sind.

Amazons Alexa gelang die größte Qualitätssteigerung im Vergleich zum Vorjahr. Es reicht dennoch nicht, um Siri und den Assistant zu schlagen. Bild: Loup Ventures

Amazons Alexa gelang die größte Qualitätssteigerung im Vergleich zum Vorjahr. Es reicht dennoch nicht, um Siri und den Assistant zu schlagen. Bild: Loup Ventures

Die Ergebnisse aus 2017 und 2018. Bild: Loup Ventures

Die Ergebnisse aus 2017 und 2018. Bild: Loup Ventures

Getestet wurden die Smartphone-Versionen der jeweiligen Assistenten in den Fragekategorien:

  • Ortskenntnis (“Wo ist das nächste Café?”)
  • Einkauf (“Bestell’ mir Papiertücher”)
  • Navigation (“Wie komme ich mit dem Bus in die Innenstadt?”)
  • Information (“Was läuft im Kino?”)
  • Befehle (“Erinnere mich an ein Telefonat mit Peter”)

In vier der fünf Kategorien liegt Googles Asisstant vorne. Überraschenderweise besonders deutlich beim Online-Shopping, das eigentlich das Hoheitsgebiet von Amazon ist – sollte man meinen.

Dafür ist Alexa bei Informationen fast auf Augenhöhe mit Google. Apples Siri ist bei der Verarbeitung von Sprachbefehlen beispielsweise für die Terminerstellung besonders gut. Hier hängt Alexa stark hinterher.

Ausgerechnet beim Online-Einkauf hängt Google Amazon ab. Bild: Loup Ventures

Ausgerechnet beim Online-Einkauf hängt Google Amazon besonders deutlich ab. Bild: Loup Ventures

Insgesamt werden alle drei Assistenzsysteme kontinuierlich besser. Im Vergleich zum Loup-Ventures-Test im Sommer 2017 gibt es teils drastische Sprünge.

 

Assistant, Siri, Alexa: Seit 2017 / 2018 konnten sich die Assistenzsysteme deutlich verbessern. Bild: Loup Ventures

Assistant, Siri, Alexa: Seit 2017 / 2018 konnten die Assistenzsysteme deutlich verbessert werden. Bild: Loup Ventures

Falls dieses Entwicklungstempo beibehalten werden kann, könnten fließende, natürliche Gespräche mit digitalen Assistenten in wenigen Jahren möglich sein. Denn parallel zur Informationsverarbeitung wird auch die Sprachgenerierung der Systeme flexibler und glabwürdiger.

Quelle & Bilder: Loup Ventures

Weiterlesen über KI-Assistenz:


MIXEDCAST #169: Deepfake-Hollywood und VR-Hoffnung Oberhausen | Alle Folgen


Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.