Gehörlose mit AR verstehen: Diese KI übersetzt Fingersprache
Künstliche Intelligenz und Augmented Reality in Kombination könnten eines Tages die Kommunikation zwischen Hörenden und Gehörlosen erleichtern. Ein Student hat eine App entwickelt, die in Echtzeit Gesten des Fingeralphabets erkennt und übersetzt.
Ricardo Santana studiert Luft- und Raumfahrttechnik an der Technischen Universität Delft und beschäftigt sich dort unter anderem mit KI-Technologie. In einem seiner Forschungsprojekte hat Santana eine KI auf die Erkennung von Zeichen aus dem nordamerikanischen Fingeralphabet trainiert.
In einem Video zeigt er das Ergebnis seiner Arbeit. Er buchstabiert seinen Namen allein durch Gesten. Die KI erkennt die Zeichen und zeigt den betreffenden Buchstaben über der Hand an.
___STEADY_PAYWALL___AR-Brillen helfen verstehen
Künstliche Intelligenz unterstützt Gehörlose und Taubstumme bereits bei der Kommunikation, indem sie gesprochene in geschriebene Sprache übersetzt. Dies kann man etwa im hervorragenden Gehörlosen-Drama "Sound of Metal" (Amazon-Link) sehen, das bei der diesjährigen Oscarverleihung in sechs Kategorien nominiert war, darunter Bester Film.
Der umgekehrte Kommunikationsweg, also vom gehörlosen zum hörenden Menschen, gestaltet sich schwieriger, da die Mehrheit weder das Fingeralphabet noch die Gebärdensprache versteht. Setzen sich AR-Brillen eines Tages durch, könnten sie die Gesten direkt im eigenen Sichtfeld übersetzen und auf diese Weise bei der Kommunikation helfen. Laut Human Rights Watch nutzen weltweit mehr als 70 Millionen Menschen Gebärdensprachen.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Quest-Handtracking erlaubt Gehörlosen-Kommunikation
Die Technologie dürfte darüber hinaus hörenden Menschen helfen, das Fingeralphabet oder die Gebärdensprache zu lernen. Erste Innovationen in diese Richtung kann man bereits in Virtual Reality beobachten: Ein Schweizer Student hat eine VR-App entwickelt, in der man das Fingeralphabet üben kann, indem man die Zeichen mit den eigenen Händen nachmacht. In einem Prüfmodus kann man anschließend ausprobieren, ob man die Gesten richtig gelernt hat.
Möglich macht dies das optische Hand- und Fingertracking der Oculus Quest, das Gehörlosen zudem erlaubt, sich mithilfe von Gebärdensprache in VR zu unterhalten.
Quelle und Titelbild: Ricardo Santana via Linkedin
Weiterlesen über KI:
- Deepmind: Neue KI-Methode hilft, das Gehirn besser zu verstehen
- Microsoft-Forscherin: "KI ist weder künstlich noch intelligent"
- Google hat eine KI einen KI-Chip entwickeln lassen
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
