DeepFovea: Facebook stellt KI-gestütztes Foveated Rendering vor

Foveated Rendering ist eine wichtige Grundlagentechnologie der Virtual Reality und der nächste große Schritt in der Entwicklung von VR-Brillen. Nun haben Facebook-Forscher eine KI-gestützte Methode vorgestellt, die das leistungssparende Renderverfahren weiter optimiert.
Bei Foveated Rendering wird nur jener kleine Bereich des Sichtfelds in voller Auflösung berechnet, den der VR-Nutzer gerade anblickt und scharf sieht. Was das Auge fokussiert, wird in Echtzeit per Blickerfassung ermittelt.
Das übrige Sichtfeld wird mit geringeren Details gerendert, was viel Rechenleistung spart. Foveated Rendering könnte so noch aufwendigere VR-Grafik ermöglichen und Anforderungen an die Hardware reduzieren. Wegen immer höher auflösender VR-Displays ist die Technologie dringend nötig.
Eine KI rekonstruiert Bilder mit weniger Details
DeepFovea: Auch für Spiele geeignet
Ein weiterer Vorteil gegenüber bisherigen Methoden: Das von DeepFovea komprimierte Bild weicht weniger stark vom Originalmaterial ab als herkömmliche Foveated-Rendering-Verfahren, wie man im folgenden Beispiel sieht.

DeepFovea am Beispiel von GTA. Rechts sieht man den Originalbildausschnitt, in der Mitte das von DeepFovea gerenderte Bild, links ein von herkömmlichem Foveated Rendering berechnetes Bild des gleichen Spielausschnitts. BILD: Facebook Reality Labs
Facebook deutete ein KI-gestütztes Foveated Rendering auf der Oculus Connect 5 an (siehe folgendes Video). Wann die Technologie in einer Oculus-Brille zum Einsatz kommt, ist nicht bekannt. Keine der bislang erhältlichen Facebook-Brillen bietet Eye Tracking.
DeepFovea wurde auf der Siggraph Asia vorgestellt, die wissenschaftliche Publikation ist frei erhältlich.
Titelbild: Oculus / Facebook, Quelle: Venturebeat
Weiterlesen über Foveated Rendering:
- Tobii & Nvidia: Eye-Tracking soll bis zu 57 Prozent mehr VR-Leistung bringen
- Oculus: Neues blickbasiertes Renderverfahren für mehr VR-Leistung
- Vive Pro Eye: Weshalb HTC Eye-Tracking verbaut hat
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.