Eye-Tracking: Forscher messen Latenz dreier VR-Brillen

21.02.2021 Tomislav Bezmalinovic

Wissenschaftler haben die Leistung der Eye-Tracking-Systeme in Fove-0, Varjo VR-1 und HTC Vive Pro Eye gemessen.

Präzise und verzögerungsfreie Blickerfassung ist der lang erwartete nächste Sprung in der Entwicklung von VR-Brillen. Zwar gibt es schon Geräte mit integriertem Eye-Tracking, für komplexe Anwendungen wie Foveated Rendering funktioniert die Blickerfassung aber noch nicht gut genug. Diese Rendertechnik könnte eine neue Qualitätsstufe bei der Darstellung virtueller Welten bringen.

Beim Foveated Rendering wird nur der Bereich des Bildschirmes in voller Auflösung dargestellt, den das Auge fokussiert. Der Rest des Bilds könnte in einer geringeren Qualität gerendert werden, wodurch viel Rechenleistung gespart würde. Die könnte in eine höhere Auflösung, detaillierte 3D-Modelle und bessere Grafikeffekte fließen.

Nach einem Test von Nvidia und dem Eye-Tracking-Hersteller Tobii kann Foveated Rendering in bis zu 57 Prozent mehr Grafikleistung resultieren. Gerade autarke VR-Brillen wie Oculus Quest könnte diese zusätzlichen Ressourcen gut gebrauchen.

Das Problem: Aktuelle Eye-Tracking-Systeme arbeiten nicht präzise und schnell genug. Zudem hat jeder Mensch eine anders geformte Pupille, was zu Ungenauigkeiten bei der Erkennung durch KI-Algorithmen führen kann. Ist die Verzögerung zwischen Augenbewegung und Blickerfassung zu groß, fällt das Foveated Rendering auf in Form eines unscharfen oder pixeligen Bilds.

Perfektes Eye-Tracking in VR-Brillen ist ein ungelöstes technisches Problem. | Bild: Facebook

So wurde gemessen

In der Studie des internationalen Forscherteams kamen Eye-Tracking-Systeme dreier VR-Brillen auf den Prüfstand: die Fove-0, die Varjo VR-1 und die HTC Vive Pro Eye.

Gemessen wurde zum einen die Verzögerung zwischen der Augenbewegung und deren Erfassung durch das Eye-Tracking-System, wobei der tatsächliche Zeitpunkt der Augenbewegung mithilfe von in der Nähe der Augen befestigten Elektroden gemessen wurde. Zum anderen wurde die Latenz zwischen der Augenbewegung und einer daraus resultierenden Veränderung auf dem Bildschirm gemessen.

Letztere ist für Foveated Rendering ausschlaggebend, weil die vom Eye-Tracking-System erfasste Augenbewegung grafisch erst einmal umgesetzt und auf dem Bildschirm dargestellt werden muss.

Eye-Tracking: Große Unterschiede bei VR-Brillen

Bei jedem Test und Gerät führten die Testpersonen 60 Augenbewegung aus. Dabei fokussierten sie Punkte, die jeweils 20 horizontale Sehwinkelgrade voneinander entfernt waren. Die Vive Pro Eye mit einem Eye-Tracking-System von Tobii wurde zweimal gemessen, einmal mit dem SteamVR SDK und einmal mit dem Tobii XR SDK. Die Unterschiede waren jedoch geringfügig.

Am besten schnitt die Fove-0 ab, die erste kommerziell erhältliche VR-Brille mit integriertem Eye-Tracking, die 2017 auf den Markt kam. Gemessen wurde hier eine Verzögerung von 15 bis 16 Millisekunden und eine Latenz von 45 Millisekunden.

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Auf den zweiten Platz kam das Profi-Gerät Varjo VR-1 mit einer Verzögerung von 35-36 Millisekunden und einer Latenz von 57 Millisekunden. Das wohl bekannteste Gerät, HTCs Vive Pro Eye, bildet das Schlusslicht mit 50 Millisekunden Verzögerung und 80 Millisekunden Latenz.

So schnitten die VR-Brillen bei der Messung ab. Angegeben ist die Verzögerung, nicht die Latenz.| Bild: Stein et al.

Testbedingungen nicht mit VR-Gaming vergleichbar

Die Studie geht nicht auf besonders anspruchsvolle Anwendungsszenarien wie Foveated Rendering ein. Für nicht wahrnehmbares Foveated Rendering dürften Eye-Tracking-Systeme eine Latenz von einigen zehn Millisekunden nicht überschreiten.

Der an der Studie beteiligte Wahrnehmungspsychologe Niklas Stein nennt einen Richtwert von 30 bis 50 Millisekunden - für Wahrnehmungsforschung mit Desktop-Rechnern.

Stein betont, dass für die Studie optimale Bedingungen gewählt wurden, die auf anspruchsvolle Szenarien wie Foveated Rendering im VR-Gaming-Kontext nicht anwendbar sind. So wurden zwecks Vergleichbarkeit recht große und lediglich horizontale Augenbewegungen (20 Grad Verschiebung) gemessen und ein einfacher Erkennungsalgorithmus verwendet.

Die Ergebnisse im Detail. | Bild: Stein et al.

Für ein perfektes Foveated Rendering müssten auch kleinste Augenbewegungen erkannt und der hochauflösende Bildbereich entsprechend versetzt werden. "Dafür ist bei den aktuellen Latenzen noch zu wenig Zeit", sagt Stein.

Foveated Rendering wäre laut Stein dennoch möglich, wenn auch nicht perfekt: "Ich denke, die Fove kann man nutzen, die Varjo zumindest für etwas größere Augenbewegungen auch. Bei freier Exploration der Umwelt wird man zwischendurch immer mal wieder Unschärfen sehen."

• Fove: VR-Brille mit Eye-Tracking wird weiterentwickelt
• Pico Neo 2 Eye: Autarke VR-Brille mit Foveated Rendering erscheint
• DeepFovea: Facebook stellt KI-gestütztes Foveated Rendering vor

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.