Gehörlose mit AR verstehen: Diese KI übersetzt Fingersprache

Gehörlose mit AR verstehen: Diese KI übersetzt Fingersprache

Künstliche Intelligenz und Augmented Reality in Kombination könnten eines Tages die Kommunikation zwischen Hörenden und Gehörlosen erleichtern. Ein Student hat eine App entwickelt, die in Echtzeit Gesten des Fingeralphabets erkennt und übersetzt.

Ricardo Santana studiert Luft- und Raumfahrttechnik an der Technischen Universität Delft und beschäftigt sich dort unter anderem mit KI-Technologie. In einem seiner Forschungsprojekte hat Santana eine KI auf die Erkennung von Zeichen aus dem nordamerikanischen Fingeralphabet trainiert.

In einem Video zeigt er das Ergebnis seiner Arbeit. Er buchstabiert seinen Namen allein durch Gesten. Die KI erkennt die Zeichen und zeigt den betreffenden Buchstaben über der Hand an.

___STEADY_PAYWALL___

AR-Brillen helfen verstehen

Künstliche Intelligenz unterstützt Gehörlose und Taubstumme bereits bei der Kommunikation, indem sie gesprochene in geschriebene Sprache übersetzt. Dies kann man etwa im hervorragenden Gehörlosen-Drama „Sound of Metal“ (Amazon-Link) sehen, das bei der diesjährigen Oscarverleihung in sechs Kategorien nominiert war, darunter Bester Film.

Der umgekehrte Kommunikationsweg, also vom gehörlosen zum hörenden Menschen, gestaltet sich schwieriger, da die Mehrheit weder das Fingeralphabet noch die Gebärdensprache versteht. Setzen sich AR-Brillen eines Tages durch, könnten sie die Gesten direkt im eigenen Sichtfeld übersetzen und auf diese Weise bei der Kommunikation helfen. Laut Human Rights Watch nutzen weltweit mehr als 70 Millionen Menschen Gebärdensprachen.

Quest-Handtracking erlaubt Gehörlosen-Kommunikation

Die Technologie dürfte darüber hinaus hörenden Menschen helfen, das Fingeralphabet oder die Gebärdensprache zu lernen. Erste Innovationen in diese Richtung kann man bereits in Virtual Reality beobachten: Ein Schweizer Student hat eine VR-App entwickelt, in der man das Fingeralphabet üben kann, indem man die Zeichen mit den eigenen Händen nachmacht. In einem Prüfmodus kann man anschließend ausprobieren, ob man die Gesten richtig gelernt hat.

Möglich macht dies das optische Hand- und Fingertracking der Oculus Quest, das Gehörlosen zudem erlaubt, sich mithilfe von Gebärdensprache in VR zu unterhalten.

Quelle und Titelbild: Ricardo Santana via Linkedin

Weiterlesen über KI: