Wie wichtig ist Eyetracking für die Grafik in Virtual Reality?
MIXED-Leser Cynox wollte von uns wissen, wie wichtig Eyetracking sein wird für bessere Grafik in VR- und MR-Apps. Hier ist unsere Antwort.
In den MIXED-Leserfragen beantworten wir jeden Montag eine Frage, die unsere Leserschaft beschäftigt. Schreibt eure Frage in die Kommentare oder schickt sie uns an hallo@mixed.de mit dem Betreff „Leserfragen“ und mit etwas Glück beantworten wir sie euch am darauffolgenden Montag.
Wie relevant ist Eyetracking in Bezug auf höhere Auflösungen, Grafik und Performance?
„Hallo Cynox,
Blickverfolgung hat viele Vorteile für VR und MR: Sie ermöglicht realistisch wirkende Avatare und Blickkontakt in sozialen Anwendungen, man kann sie in Kombination mit Handtracking für die elegante Steuerung einer Benutzeroberfläche nutzen, wie Apple Vision Pro eindrücklich demonstriert, und sie spart durch Dynamic Foveated Rendering (DFR) viel Rechenleistung, die in höhere Auflösungen und bessere Grafik investiert werden kann.
Beim DFR ermittelt das Eyetracking, welchen Bereich des Sichtfelds das Auge gerade fokussiert. Die dem Headset zur Verfügung stehende Leistung wird anschließend auf diesen begrenzten Bereich statt auf das gesamte Sichtfeld angewendet.
Welchen positiven Effekt dies haben kann, zeigt etwa Playstation VR 2 am Beispiel von No Man’s Sky, das durch die Implementierung von DFR einen gewaltigen Sprung in der Grafikqualität erlebt hat.
Deshalb gibt es kaum Eyetracking bei mobilen VR-Brillen
Eyetracking auf autarken Headsets ist schwieriger umzusetzen, da solche Geräte enge Grenzen in Bezug auf Rechenleistung, Energieverbrauch und Wärmeentwicklung haben und im Fall von Meta Quest auch noch sehr preisgünstig sein müssen.
Metas Technikchef hat viele Male erklärt, weshalb Blickverfolgung noch kein Standard für Quest-Geräte ist. So auch in seiner letzten Frage-und-Antwort auf Instagram, als er gefragt wurde, was aus dem 2016 versprochenen DFR geworden sei. Nachstehend seine Antwort, die aus Gründen der Klarheit leicht gekürzt und angepasst wurde.
Metas Technik-Chef, Andrew Bosworth, forscht an Eyetracking für Quest-Headsets. | Bild: Meta
„Um Dynamic Foveated Rendering auf wirklich hohem Niveau umzusetzen, benötigt man äußerst genaues Eyetracking. Interessant ist, dass eine so genaue Verfolgung des Auges, wie sie für das Foveated Rendering erforderlich ist, derzeit mehr Rechenleistung benötigt, als man durch das Foveated Rendering gewinnt.
Das wird natürlich nicht immer der Fall sein, und es gibt eine Reihe von Innovationen, die wir bei der Augenverfolgung anwenden können, die sie weniger rechenintensiv machen. Letztlich wird Eyetracking Standard werden, insbesondere für Mixed Reality, wo man eine sehr hohe Grafiktreue anstreben will, ohne dafür das Vierfache an Leistung für das gesamte Sichtfeld zahlen zu müssen. Wir haben es also noch nicht aufgegeben, Eyetracking wird kommen, aber das ist einer der Gründe, warum es nicht schon früher passiert ist.“
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Eyetracking ab Quest 4 wahrscheinlich
Meta Quest Pro ist das einzige Meta-Headset, das Eyetracking bietet und laut Metas eigenen Messungen ist dessen DFR (noch) kein Game-Changer. Wenn Blickverfolgung für eines der günstigeren Quest-Headsets kommt, und ich denke, das könnte schon mit Quest 4 der Fall sein, dann wird es wahrscheinlich nicht in der Form sein, wie wir es von Playstation VR 2 und professionellen PC-VR-Headsets kennen, mit IR-Emittern und Kameras.
Meta wird auf eine womöglich neue, selbst entwickelte Blickverfolgungstechnik setzen, die günstiger zu produzieren ist und Augenbewegungen womöglich noch präziser erfasst als bisherige Lösungen. Metas AR-Prototyp Orion bietet ebenfalls Eyetracking, und bei AR-Brillen gibt es noch strengere Auflagen hinsichtlich Rechenleistung, Energieverbrauch und Wärmeentwicklung, als bei einem VR-Headset.
Eyetracking wird immer wichtiger
Das Start-up Inseye arbeitet derzeit an einem Eyetracking-Aufrüstmodul für Quest 3, das für die Blickverfolgung günstige Photosensoren statt Kameras nutzt und damit eine viel höhere Abtastrate und geringere Latenz erreicht. Du siehst: Eyetracking-Technologie ist längst nicht ausentwickelt.
Um auf deine Frage zurückzukommen: Eyetracking ist und wird in Zukunft noch viel wichtiger werden in Bezug auf Auflösung, Grafik und Performance, bei autarken Headsets noch mehr als bei kabelgebundenen Geräten, da hier viel weniger Rechenleistung zur Verfügung steht. Die Frage ist nicht, ob Blickverfolgung eines Tages Standard und bessere Grafik ermöglichen wird, sondern in welcher Form und zu welchem Preis sie es tun wird.
Liebe Grüße
Tomislav“
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
