Von Schach zum Shooter: Die Deepmind-KI "FTW" benutzt Teamplay und dominiert menschliche Gegner im Ballerspiel Quake III Arena - selbst bei künstlich verzögerter Wahrnehmungsrate.
Im Quake-Spielmodus "Capture the Flag" ist Teamplay gefragt: Bis zu vier Spieler in einem Team müssen gemeinsam eine Flagge aus der gegnerischen Basis klauen und in die eigene tragen. Zugleich müssen sie ihre eigene Flagge vor gegnerischen Angriffen schützen. Diese Aufgabe kann nur mit guter Teamarbeit bewältigt werden.
Der Deepmind-KI "FTW" (Gamer-Slang für: "For the Win") gelingt das neuerdings besser als menschlichen Spielern, zeigt eine Deepmind-Veröffentlichung aus dem letzten Sommer. Die Ergebnisse wurden jetzt im Fachjournal "Science" publiziert.
Trainiert wurde FTW wie Deepminds Brettspiel-KI Alpha Zero nach dem bestärkenden Lernverfahren. Für jede gute Aktion gibt es eine Belohnung in Form von Punkten. Allerdings war das einzige Belohnungssignal für FTW der Sieg. Die KI bewegt sich in einer grafisch stark reduzierten Version des Originalspiels.
Den Weg zum Quake-Champion erarbeitete sich FTW eigenständig in Hunderttausenden simulierten Trainingsspielen. Nach etwa 450.000 Probe-Matches in rund drei Wochen war sie in der Lage, menschliche Teams zuverlässig zu besiegen.
Während des Trainings entstanden 30 Agenten mit unterschiedlichen Stärken und Schwächen. Die Forscher sprechen daher auch von einem Multi-Agenten-Training, bei dem die einzelnen Software-Einheiten voneinander lernen.
KI-Verhalten "vergleichbar mit Menschen"
Der Beitrag von damals wurde jetzt mit zwei neuen Kapiteln aktualisiert, in denen die Deepmind-Forscher die Leistung ihrer Team-KI einordnen und einen Ausblick auf weitere Fortschritte geben.
Einen wesentlichen Vorteil der KI entdeckten die Forscher in den "sehr schnellen Reaktionszeiten" der KI-Agenten im Vergleich zum Menschen mit seinen "langsameren biologischen Signalen". Die spielerische Dominanz sei daher zum Teil auf die schnellere Bildverarbeitung und präzisere motorische Kontrolle zurückzuführen.
Allerdings hätten Tests mit künstlich reduziertem Reaktionsvermögen gezeigt, dass die besseren Reflexe und die höhere Zielgenauigkeit nur ein Erfolgsfaktor seien.
FTW-Agenten mit einer Verzögerung von 267 Millisekunden - die soll vergleichbar sein mit der menschlichen Wahrnehmungsrate - seien guten menschlichen Spielern noch immer in 79 Prozent der Partien überlegen.
Bei der Analyse des KI-Verhaltens habe sich herausgestellt, dass die KIs eigenständig menschenähnliches Verhalten entwickelt hätten.
Beispielsweise wartete eine KI in der gegnerischen Basis auf die Flagge, was im Umkehrschluss bedeutet, dass sie sich wahrscheinlich darauf verließ, dass die Kollegen-KIs die eigene Flagge verteidigen.
Aufgabe der Forschungsarbeit sei es allerdings nicht gewesen, Teamwork zu definieren, sagt ein beteiligter Wissenschaftler der New York Times.
Die Frage, ob die KIs nun in einem sozialen Sinn tatsächlich kollaborativ agieren, oder die Kollaboration letztlich ein Ergebnis individueller Strategien ist, die durch die synchrone Lesart des Spiels verschmelzen, beantwortet die Forschungsarbeit daher nicht.
Weitermachen
FTW sei zwar speziell für den Spielmodus Capture the Flag in einem Videospiel entwickelt worden, die Ergebnisse seien aber generalisierbar, glauben die Forscher.
Seit der ersten Vorstellung der Arbeit im letzten Sommer sei es gelungen, die angewandten Lernmethoden auf alle Spielmodi von Quake III Arena anzuwenden. Die ersten Tests zeigten, dass die KI-Agenten auch hier in der Lage seien, den Menschen Paroli zu bieten (siehe Video unten).
Grundsätzlich unterstreiche die Arbeit das Potenzial von Multi-Agenten-Training, bei dem Künstliche Intelligenz in einem evolutionären Prozess laut Deepmind "natürlich" voneinander lernt.
Was freilich ausbleibt, ist eine Antwort auf die Frage, wie solche zweifelsohne eindrucksvollen KI-Experimente im großen Maßstab auf die echte Welt übertragen werden könnten. Die ist in ihrem vollen Umfang bekanntlich deutlich komplexer als selbst die anspruchsvollsten Videospiele.
Quellen: Deepmind, New York Times; Bilder: Deepmind
