Das Risikokapitalunternehmen “Loup Ventures” hat Googles Assistenten, Alexa, Siri und Cortana auf Sprachfähigkeit getestet. Google liegt deutlich vorne.

Insgesamt stellte Loup Ventures den KI-Assistenten 800 identische Fragen, verteilt auf die Kategorien Lokales, Shopping, Navigation, Information und Anweisung. Untersucht wurde, ob die Assistenten die Frage korrekt verstehen und zufriedenstellend beantworten können.

An den Ergebnissen für die Spracherkennung lassen sich gut die Deep-Learning-Fortschritte der letzten Jahre ablesen: Alle vier Assistenten knacken die 99-Prozent-Marke, Googles Assistent erreicht gar die 100 Prozent.

Bei den Antworten ist im Vergleich noch mehr Luft nach oben: Mit circa 88 Prozent korrekt beantworteten Fragen liefert der Google Assistent ein ordentliches Ergebnis. Siri (75 %), Alexa (72,5 %) und insbesondere Microsofts Cortana (63 %) sind nicht ansatzweise so verlässlich.

Alle Assistenten hören gut zu, aber nur Google gibt verlässlich richtige Antworten. Bild: LoupVentures

Alle Assistenten hören gut zu, aber nur Google gibt verlässlich richtige Antworten. Bild: LoupVentures

Im Vergleich zum Vorjahrestest stieg die Leistungsfähigkeit aller Assistenten: Google verbesserte sich von 81 auf 88 Prozent, Siri von 52 (Februar 2018) auf 75 Prozent, Alexa von 64 auf 72,5 Prozent und Cortana von 56 auf 63 Prozent.

Interessant ist auch die Verteilung der korrekten Antworten auf die jeweiligen Kategorien. Google brilliert bei Fragen zur lokalen Umgebung, zur Navigation und Information. Bei Anweisungen für die Smart-Home-Steuerung hingegen hat Apples HomePod die Nase vorne. Überraschend ist das schwache Abschneiden von Alexa bei Produktfragen.

Google hat lokale Angebote, Informationen und Navigation fest im Griff. Nur beim Befehle ausführen hat Apple die Nase vorne. Bild: LoupVentures

Google hat lokale Angebote, Informationen und Navigation fest im Griff. Nur beim Befehle ausführen hat Apple die Nase vorne. Bild: LoupVentures

Getestet wurden die jeweiligen Assistenten in der Smart-Speaker-Version. Einen Vergleich der Smartphone-Varianten gab es zuletzt im Sommer 2018. Auch hier verwies der Google Assistent die Konkurrenz auf die Plätze. Im Vergleich zu den Vorjahresergebnissen waren alle KI-Assistenten deutlich verbessert.

Die Ergebnisse der Smartphone-Assistenten. Auch hier sind deutliche Fortschritte erkennbar. Bild: Loup Ventures

Die Ergebnisse der Smartphone-Assistenten im Vergleich zwischen Juli 2018 und April 2017. Auch hier sind deutliche Fortschritte erkennbar. Getestet wurde mit derselben Methode wie bei den Smart Speakern. Bild: Loup Ventures

Weiterlesen über Künstliche Intelligenz:


VRODO heißt jetzt MIXED: Alle Infos
MIXED-Podcast #133: Hololens 2 | Alle Folgen