Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Forscher der Universität Oregon entwickeln eine Methode, die Entscheidungen von Deep-Learning-KIs transparenter machen könnte. Eine Aufmerksamkeitsanalyse gibt Hinweise auf deren Strategie.

Mit Deep Learning trainierte KIs erzielen im Vergleich zu herkömmlichen Statistikverfahren teils erstaunliche Ergebnisse, zum Beispiel bei der Bildanalyse oder maschinellen Übersetzungen.

Leider verrät so eine KI nicht, wie ihre Entscheidung zustande kommt. Bei einer Übersetzung ist das womöglich nicht so relevant, sofern das Ergebnis passt.

Doch wenn es zum Beispiel um automatisierte Kreditvergabe oder autonomes Fahren geht, sollten die Algorithmen ihren Entscheidungsprozess transparent machen. Sonst könnten Menschen den Eindruck gewinnen, dass sie einer maschinellen Willkür ausgeliefert sind.

Anzeige
Anzeige

Die Nachvollziehbarkeit ist wichtig für die ethische oder juristische Bewertung einer KI-Entscheidung. Außerdem könnte die KI-Weiterentwicklung schneller voranschreiten, wenn Forscher ihre Aussetzer besser verstehen.

Aufmerksamkeitsanalyse gibt Hinweis auf KI-Strategie

Forscher der Universität Oregon untersuchten nun, wie eine Künstliche Intelligenz während eines Entscheidungsprozesses ihre Aufmerksamkeit verteilt. Sie trainierten eine KI für verschiedene Spiele auf der Klassikkonsole Atari 2600.

Während die KI die Spiele spielte, prüften die Forscher, auf welchen Pixelbereich sie ihre Aufmerksamkeit richtet. So konnten sie erkennen, wo die KI während des Spiels „hinschaut“ - und daraus ihre mögliche Strategie ableiten. Die Strategie wiederum ist die Grundlage für Entscheidungen.

Die KI (rechte Seite) lenkt ihre Aufmerksamkeit je nach Situation auf den eigenen Strich oder den Ball. Der weiße Pfeil zeigt die Richtung des Balls an. Bild: Greydanus et al.
Die KI (rechter Spieler) lenkt ihre Aufmerksamkeit je nach Situation auf den eigenen Strich oder den Ball. Der weiße Pfeil zeigt die Richtung des Balles an. Bild: Greydanus et al.

Im Klassikspiel „Space Invaders“ war beispielsweise unklar, ob die KI auf einzelne Gegner oder ganze Gegnergruppen feuert. Die Aufmerksamkeitsvisualisierung zeigt: Die KI zielt tatsächlich auf einzelne Gegner und hält dabei immer die Zone über dem eigenen Schiff im Auge – vermutlich, um sich gegen gegnerische Attacken schützen.

Die KI lernt Space Invaders. Anfangs spielt sie defensiv und schützt ihren Spieler. Später beginnt sie auf einzelne Schiffe zu zielen - im vierten Bild an der roten Wolke zu erkennen. Im letzten Bild hat sie ihre Aufmerksamkeit verteilt und zielt auch auf das Schiff mit dem höchsten Wert ganz oben am Rand. Bild: Greydanus et al.
Die KI lernt Space Invaders: Anfangs spielt sie defensiv und schützt ihren Spieler. Später beginnt sie, auf einzelne Schiffe zu zielen. Im vierten Bild ist das an der roten Wolke zu erkennen. Im letzten Bild hat sie ihre Aufmerksamkeit verteilt und zielt auch auf das Schiff mit dem höchsten Wert ganz oben am Rand. Bild: Greydanus et al.

Die Visualisierungsmethode eignet sich für alte Atari-Spiele. Doch was ist mit anderen, komplexeren Szenarien?

Empfehlung

Die Forscher schlagen vor, dass ihr Aufmerksamkeitsansatz mit anderen verfügbaren und zukünftigen Methoden kombiniert wird, um KI-Transparenz im größeren Maßstab zu realisieren.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!