Tippen via Eye-Tracking: Entwickler zeigt coole VR-Demo

21.11.2022 Tomislav Bezmalinovic

Mit Meta Quest Pro tun sich neue Möglichkeiten auf. Ein Entwickler zeigt, wie man per Eye-Tracking in Virtual Reality schreiben kann.

In einem auf Youtube und anderen Kanälen veröffentlichten Video führt der iOS-Entwickler und XR-Enthusiast Fabio Dela Antonio sein Eye-Tracking-Experiment vor.

Man sieht eine virtuelle Tastatur und Antonios Blickpunkt, der über die einzelnen Tasten huscht. Nach und nach entsteht der Satz "Hello World". Der Blickpunkt wird per Eye-Tracking ermittelt.

Die Eingabe erfolgt, sobald der Blick eine halbe Sekunde auf einer virtuellen Taste ruht. Mehr als seine Augen braucht der Entwickler demnach nicht. In dem Video hält Antonio die Hände vor sich, um zu beweisen, dass er heimlich nicht doch auf einer Tastatur tippt.

Das "Blippen" ist kein Tastaturersatz

So interessant die Idee eines blickgesteuerten Tippens oder "Blippens" wirkt, sie dürfte physisches Tippen nicht ersetzen. Dafür dauert das Schreiben einfach zu lange. 12 Sekunden etwa für die Worte "Hello World".

Etwas schneller ging es, wenn man zum Bestätigen eine Controllertaste nutzen könnte. Dies würde jedoch nicht das zweite Problem dieses Ansatzes lösen: dass man gezwungen ist, beim Schreiben auf die virtuelle Tastatur zu schauen. Beim physischen Tippen ist das nicht mehr nötig, was im Falle des Zehnfingersystem auch noch schnelles Schreiben ermöglicht.

Nützlich wäre ein solches Feature aber dennoch. Etwa als Alternative für das umständlichere Tippen per VR-Controller und virtuellem Laserpointer, was noch immer die standardmäßige Eingabemethode bei Meta Quest 2 & Pro ist.

Ein großer Gewinn wäre das blickgesteuerte Tippen für Menschen, die ihre Hände aufgrund einer Behinderung nicht fürs Tippen verwenden können. Genau diese Gruppe hatte auch Antonio im Sinn. Er hofft, dass Meta ein solches Accessibility-Feature für Meta Quest Pro bringt.

• MIXED.de ohne Werbebanner
• Zugriff auf mehr als 9.000 Artikel

• Kündigung jederzeit online möglich

ab 3,50 € / Monat

Jetzt unterstützen

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Auf der Suche nach der XR-Tastatur

Effizientes Schreiben in VR und AR ist ein ungelöstes Problem (siehe Paradigmenlücke).

Neben dem oben genannten Laserpointer-Ansatz gibt es mit Meta Quest 2 & Pro die Möglichkeit, die physische Tastatur in die VR zu holen (Anleitung). Das Problem ist damit nur teilweise gelöst, schließlich will man eines Tages ohne echte Tastatur auskommen. Etwa mithilfe eines Armbands, das jede beliebige Oberfläche zur Tastatur macht.

Meta forscht zu diesem Zweck an einer KI-gestützten Fingertracking-Tastatur und demonstrierte außerdem ein "Pinchtype" genanntes System, bei dem man mit Pinchgesten Eingaben macht. Innovativ, aber gewöhnungsbedürftig.

Apropos Künstliche Intelligenz: Das von Smartphones bekannte Slide-To-Type-System, bei dem man die Finger über die Tastatur zieht und ein KI-Modell das intendierte Wort errät, könnte Antonios blickgesteuertes Tippen vereinfachen und beschleunigen. In diesem Fall reichte es womöglich, wenn man den Blick über die Buchstabenfolge schweifen ließe.

Seinen Prototyp könnt ihr bei Github herunterladen und via Sidequest (Guide) auf Meta Quest Pro installieren.

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.