Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Ein automatisches Sicherheitssystem verursacht wahrscheinlich zwei Flugzeugabstürze innerhalb kurzer Zeit. Was wir daraus über Automatisierung lernen können.

Es ist der zweite Absturz einer Boeing 737 Max 8 innerhalb von nicht einmal fünf Monaten: 157 Menschen sterben in Äthiopien.

Schon nach drei Minuten bat der Pilot um Notlandeerlaubnis, da das Flugzeug unkontrolliert beschleunigte. Vorher hatten Fluglotsen ungewöhnliche Steig- und Sinkgeschwindigkeiten registriert, wie die New York Times berichtet.

An der Absturzstelle wurde zudem ein Bauteil gefunden, das das Flugzeug nach oben oder unten steuert. Wie Bloomberg berichtet, war es auf Sinkflug eingestellt.

Anzeige
Anzeige

Nach kurzem Zögern empfiehlt der Hersteller Boeing ein Startverbot für alle 737 Max 8.

Wer hat Schuld?

Schon kurz nach Bekanntwerden der Absturzursache begannen die Schuldzuweisungen: War es ein tragischer Fehler einer Software, ausgelöst durch defekte Sensoren, war es menschliches Versagen oder ein Fehler Boeings?

Als Verursacher im Zielkreuz: Das automatische Steuersystem „MCAS“ („Maneurvering Characteristics Augmentation System“). Das hatte beim Absturz im Oktober 2018 in Indonesien eine entscheidende Rolle gespielt.

Die Aufgabe der MCAS-Software: Strömungsabrisse verhindern. Melden Sensoren der 737 Max einen zu hohen Anstellwinkel des Flügels, senkt das System die Nase der Maschine automatisch. So erhöht sich die Geschwindigkeit, der Strömungsabriss wird verhindert.

Beim Absturz der Lion-Air-Maschine in Indonesien lösten fehlerhafte Sensoren oder Software das MCAS-System aus. Der anschließende Sinkflug führte die Maschine direkt ins Meer.

Empfehlung

Konkret werden Boeing zwei Vorwürfe gemacht: Eine falsche Informationspolitik und eine gefährliche Software.

Neue Software, alte Informationspolitik

Boeing sieht sich mit dem Vorwurf konfrontiert, Piloten nicht ausreichend über die Einführung des Systems informiert zu haben.

Dahinter steht die Vermutung, dass der Absturz in Indonesien durch die Abschaltung des Systems wohl hätte verhindert werden können. Doch die Piloten im Cockpit der Maschine wussten das nicht.

Wie mittlerweile bekannt ist, waren die Piloten der Lion-Air-Maschine keine Ausnahme: Offenbar gab es einige Piloten, denen die genaue Funktion des automatischen Steuersystems unbekannt war und die nicht wussten, wie das System deaktiviert werden kann.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Wie die New York Times berichtet, boten einige Fluglinien ihren Pilotinnen und Piloten lediglich eine Stunde iPad-Training oder einen Videokurs an. Bis zum Jahresende sollen jetzt Flugsimulatoren installiert werden, die alle Systeme der 737 Max-Reihe enthalten.

Ein hochrangiger Boeing-Mitarbeiter erklärte die mangelnde Dokumentation gegenüber dem Wall Street Journal: Das Unternehmen habe sich entschieden "den Cockpitbesatzungen keine weiteren Details mitzuteilen, da es Bedenken hatte, durchschnittliche Piloten mit zu vielen Informationen und deutlich mehr technischen Daten zu überschwemmen, als sie benötigten oder verarbeiten könnten."

Allerdings: das neue System ist offensichtlich in der Lage, einen Flugzeugabsturz zu verursachen. Es scheint geboten, Piloten ausreichend über alle Einzelheiten so eines Systems zu unterrichten. Der Flugzeughersteller jedoch veröffentlichte eine ausführliche Vorgehensweise im Störfall erst nach dem ersten Absturz.

Neue Informationspolitik, alte Probleme

Die Piloten der Ethiopian Airline hingegen kannten die Anweisungen zur Steuerung der Software. Ein erster, offizieller Bericht kommt zu dem Schluss, dass die Piloten dem Boeing-Notfallplan folgten. Sie konnten den Absturz dennoch nicht verhindern.

Boeing muss sich daher der kritischen Frage stellen: Wie können fehlerhafte Sensoren zu einem Absturz führen? Warum gibt es keine sekundären Systeme, die eine solche Todesspirale verhindern?

Und: Verhindert der Notfallplan wirklich einen Absturz? Der jüngste Crash spricht eindeutig dagegen.

Boeing reagiert, indem es die Automatik einschränkt: Ein Software-Update soll ihre Befugnisse begrenzen und Piloten mehr Einfluss auf das Flugverhalten geben – auch wenn die Software aktiv ist. Ursprünglich für Ende 2018 geplant, wird das Update aktuell getestet. Bis dahin stehen die Maschinen für Passagierflüge still. Analysten rechnen mit bis zu neun Monaten Pause.

Zu einem Ende der Automatisierungswelle werden die Flugzeugabstürze nicht führen, denn das Prinzip ist nicht verkehrt. Auch für die Boeing 737 Max-Serie hätte die Automatisierung grundsätzlich die Flugsicherheit erhöht - hätte alles funktioniert wie vorgesehen.

Automatisierung erreicht unseren Alltag

Der Fall Boeing zeigt: Automatische Systeme sind nicht automatisch sicher.

Umso wichtiger ist es daher, dass Automatisierung durchdacht und geprüft ist, bevor sie im Alltag ankommt. Sie muss mit Menschen kooperieren, anstatt sie zu überstimmen.

Doch sie muss auch zugänglich sein: Kaum jemand dürfte heutzutage gewillt sein, dicke Handbücher zu wälzen oder Stunden in einer VR-Simulation zu verbringen, bevor zum Beispiel das selbstfahrende Auto in Betrieb genommen wird.

Skalierbare Systeme als Lösung?

Die Autoindustrie ist wohl auf dem richtigen Weg: Autonome Fahrsysteme sind so eingerichtet, dass sie in unsicheren Situationen die Kontrolle an den Fahrer übergeben. Gleichzeitig stellen sie sicher, dass sich dieser nicht komplett auf das System verlässt – er muss etwa eine Hand am Lenkrad haben oder die Augen auf die Straße richten.

Das ist ein Eingeständnis an die Grenzen der aktuellen Technologie: Die Systeme laufen nur, solange ein Mensch sie überwacht. Endgültige Sicherheit ist selbstverständlich dennoch nicht garantiert, die Unfälle mit Teslas Autopiloten zeigen das.

Doch die Idee skalierbarer Assistenzsysteme, die ihrem Nutzer Feedback geben und Kontrolle lassen, ist bisher in weiten Teilen erfolgreich. Sie hätte wohl auch im Fall Boeing das MACS-System weniger wirkmächtig werden lassen.

So hat ein automatisiertes System Menschenleben gekostet. Die Verantwortung dafür trägt Boeing, da das Unternehmen nicht ausreichend informierte und dem System zu viel Kontrolle ermöglichte. Ein skalierbares System hätte die unsichere Situation erkennen und die Kontrolle an die Piloten übergeben können.

Betrachtet man das katastrophale Resultat, bleib zu hoffen, dass Technologieunternehmen dem Trend skalierbarer Assistenzsysteme in den weiteren Automatisierungswellen folgen. Bis die volle Automation möglich – und vor allem sicher – ist, sollte der Mensch nicht entmündigt werden. Und vielleicht auch danach nicht.

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!