Tippen via Eye-Tracking: Entwickler zeigt coole VR-Demo
Mit Meta Quest Pro tun sich neue Möglichkeiten auf. Ein Entwickler zeigt, wie man per Eye-Tracking in Virtual Reality schreiben kann.
In einem auf Youtube und anderen Kanälen veröffentlichten Video führt der iOS-Entwickler und XR-Enthusiast Fabio Dela Antonio sein Eye-Tracking-Experiment vor.
Man sieht eine virtuelle Tastatur und Antonios Blickpunkt, der über die einzelnen Tasten huscht. Nach und nach entsteht der Satz "Hello World". Der Blickpunkt wird per Eye-Tracking ermittelt.
___STEADY_PAYWALL___Die Eingabe erfolgt, sobald der Blick eine halbe Sekunde auf einer virtuellen Taste ruht. Mehr als seine Augen braucht der Entwickler demnach nicht. In dem Video hält Antonio die Hände vor sich, um zu beweisen, dass er heimlich nicht doch auf einer Tastatur tippt.
Das "Blippen" ist kein Tastaturersatz
So interessant die Idee eines blickgesteuerten Tippens oder "Blippens" wirkt, sie dürfte physisches Tippen nicht ersetzen. Dafür dauert das Schreiben einfach zu lange. 12 Sekunden etwa für die Worte "Hello World".
Etwas schneller ging es, wenn man zum Bestätigen eine Controllertaste nutzen könnte. Dies würde jedoch nicht das zweite Problem dieses Ansatzes lösen: dass man gezwungen ist, beim Schreiben auf die virtuelle Tastatur zu schauen. Beim physischen Tippen ist das nicht mehr nötig, was im Falle des Zehnfingersystem auch noch schnelles Schreiben ermöglicht.
Nützlich wäre ein solches Feature aber dennoch. Etwa als Alternative für das umständlichere Tippen per VR-Controller und virtuellem Laserpointer, was noch immer die standardmäßige Eingabemethode bei Meta Quest 2 & Pro ist.
Ein großer Gewinn wäre das blickgesteuerte Tippen für Menschen, die ihre Hände aufgrund einer Behinderung nicht fürs Tippen verwenden können. Genau diese Gruppe hatte auch Antonio im Sinn. Er hofft, dass Meta ein solches Accessibility-Feature für Meta Quest Pro bringt.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Auf der Suche nach der XR-Tastatur
Effizientes Schreiben in VR und AR ist ein ungelöstes Problem (siehe Paradigmenlücke).
Neben dem oben genannten Laserpointer-Ansatz gibt es mit Meta Quest 2 & Pro die Möglichkeit, die physische Tastatur in die VR zu holen (Anleitung). Das Problem ist damit nur teilweise gelöst, schließlich will man eines Tages ohne echte Tastatur auskommen. Etwa mithilfe eines Armbands, das jede beliebige Oberfläche zur Tastatur macht.
Meta forscht zu diesem Zweck an einer KI-gestützten Fingertracking-Tastatur und demonstrierte außerdem ein "Pinchtype" genanntes System, bei dem man mit Pinchgesten Eingaben macht. Innovativ, aber gewöhnungsbedürftig.
Apropos Künstliche Intelligenz: Das von Smartphones bekannte Slide-To-Type-System, bei dem man die Finger über die Tastatur zieht und ein KI-Modell das intendierte Wort errät, könnte Antonios blickgesteuertes Tippen vereinfachen und beschleunigen. In diesem Fall reichte es womöglich, wenn man den Blick über die Buchstabenfolge schweifen ließe.
Seinen Prototyp könnt ihr bei Github herunterladen und via Sidequest (Guide) auf Meta Quest Pro installieren.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
