Eye-Tracking per Sonar: Mit dieser Technologie wollen Forschende VR-Brillen effizienter machen
Sonar statt Kameras: Forschende entwickeln energieeffiziente und private Eye-Tracking-Technologie für VR-Brillen – jedoch nicht ohne Nachteile.
Forschende der Cornell University in New York haben Prototypen einer Sonar-ähnlichen Technologie entwickelt, die Kameras bei der Verfolgung von Augenbewegungen ersetzen soll. Dabei kommen winzige Lautsprecher zum Einsatz, die für jedes Auge Schall in Frequenzen oberhalb von 18 kHz aussenden. Diese liegen außerhalb des Hörbereichs der meisten Menschen.
Der Schall wird in Richtung des Gesichts gesendet, reflektiert und von vier Mikrofonen auf jeder Seite der Brille aufgenommen. Ein Algorithmus, den die Forschenden „GazeTrak“ genannt haben, interpretiert dann diese Schallwellen, um die Blickrichtung der Träger:in zu bestimmen.
Günstiger, leichter, aber weniger präzise als Kameras
Laut dem Forschungsteam soll die Sonartechnologie gleich mehrere Vorteile bieten: Sie reduziert den Stromverbrauch im Vergleich zu kamerabasierten Systemen und bietet mehr Privatsphäre für Nutzer:innen, da nicht permanent Kameras laufen. Zudem könnten die Herstellungskosten und das Gewicht von VR-Brillen reduziert werden.
In Tests mit 20 Teilnehmenden wies das sonarbasierte Eye-Tracking eine Genauigkeit von bis zu 3,6 Grad auf. Damit erreicht sie nicht die Präzision von aktuellen Geräten wie der Apple Vision Pro. Die Forschenden gehen aber davon aus, dass diese Leistung für die meisten Anwendungen in Virtual Reality reichen müsste.
Einen großen Nachteil hat das System bislang: Da sich die Form der Augäpfel bei jedem Menschen unterscheidet, muss das von GazeTrak verwendete KI-Modell für jede:n Nutzer:in separat trainiert werden. Um das Eye-Tracking-Sonar kommerzialisieren zu können, müssten genug Daten gesammelt werden, um ein universelles Modell zu erstellen.
Präzise Menüführung, Foveated Rendering: Eye-Tracking bietet zahlreiche Vorteile
Eye-Tracking ist eine Schlüsseltechnologie für Virtual Reality, die es ermöglicht, durch Menüs zu navigieren, indem man mit den Augen auf bestimmte Punkte blickt oder Blickkontakt mit anderen Avataren in virtuellen Umgebungen aufzunehmen. Wie angenehm die Nutzererfahrung durch präzises Eye-Tracking werden kann, zeigt aktuell die Apple Vision Pro.
Auch Renderverfahren, die den Fokuspunkt von Nutzer:innen berücksichtigen, indem sie gezielt aufwendige Darstellungen des angesehenen Bereichs bieten und weniger detaillierte Darstellungen in der Peripherie erzeugen (Foveated Rendering), werden durch Eye-Tracking ermöglicht, etwa auf der Playstation VR 2. Die Technologie ermöglicht zudem innovative Steuerungsmethoden, wie das VR-Spiel Before Your Eyes zeigt, dass ihr ausschließlich mit den Augen steuert.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Eye-Tracking wird irgendwann Standard
Trotz dieser Vorteile verzichtet Marktführer Meta bei seiner aktuellen mobilen VR-Brille Quest 3 auf die Technologie und führt Herstellungskosten, Gewicht und benötigte Rechenleistung als Begründung an. Bisher setzt Meta Eye-Tracking ausschließlich bei der Meta Quest Pro ein.
Davon, dass Eye-Tracking eines Tages Standard sein wird, ist aber auch Bosworth überzeugt:
„Wir sind natürlich große Fans von Eye-Tracking. Wir waren begeistert, es in Quest Pro zu bekommen, und es ist immer noch eine meiner Lieblingsfunktionen der Quest Pro, vor allem, weil ich mit dem Gerät viel Zeit in Meetings verbringe. Wir haben es lange Zeit als Interface-Paradigma für 2D-Navigation in Verbindung mit den Händen getestet. Wir wissen und verfolgen dies schon seit langem.
Aber es zwingt uns Kompromisse auf in puncto Kosten, Gewicht und natürlich zusätzlichen Sensoren. Wir konzentrieren uns darauf, diese Technologie mit hoher Präzision in effizienteren Architekturen bereitzustellen, sowohl rechnerisch als auch preislich, so dass wir sie in jedes einzelne Headset integrieren können.
Ich kann nicht sagen, wann das der Fall sein wird. Jedes einzelne Headset folgt einem eigenen Rezept, aber irgendwann wird Eye-Tracking Teil des Basispakets sein. Ich bin mir aber nicht sicher, wann.“
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
