DeepFovea: Facebook stellt KI-gestütztes Foveated Rendering vor

DeepFovea: Facebook stellt KI-gestütztes Foveated Rendering vor

Foveated Rendering ist eine wichtige Grundlagentechnologie der Virtual Reality und der nächste große Schritt in der Entwicklung von VR-Brillen. Nun haben Facebook-Forscher eine KI-gestützte Methode vorgestellt, die das leistungssparende Renderverfahren weiter optimiert.

Anzeige
Anzeige

Bei Foveated Rendering wird nur jener kleine Bereich des Sichtfelds in voller Auflösung berechnet, den der VR-Nutzer gerade anblickt und scharf sieht. Was das Auge fokussiert, wird in Echtzeit per Blickerfassung ermittelt.

Das übrige Sichtfeld wird mit geringeren Details gerendert, was viel Rechenleistung spart. Foveated Rendering könnte so noch aufwendigere VR-Grafik ermöglichen und Anforderungen an die Hardware reduzieren. Wegen immer höher auflösender VR-Displays ist die Technologie dringend nötig.

logo

Ein weiterer Vorteil gegenüber bisherigen Methoden: Das von DeepFovea komprimierte Bild weicht weniger stark vom Originalmaterial ab als herkömmliche Foveated-Rendering-Verfahren, wie man im folgenden Beispiel sieht.

DeepFovea_GTA_Vergleich

DeepFovea am Beispiel von GTA. Rechts sieht man den Originalbildausschnitt, in der Mitte das von DeepFovea gerenderte Bild, links ein von herkömmlichem Foveated Rendering berechnetes Bild des gleichen Spielausschnitts. BILD: Facebook Reality Labs

Facebook deutete ein KI-gestütztes Foveated Rendering auf der Oculus Connect 5 an (siehe folgendes Video). Wann die Technologie in einer Oculus-Brille zum Einsatz kommt, ist nicht bekannt. Keine der bislang erhältlichen Facebook-Brillen bietet Eye Tracking.

DeepFovea wurde auf der Siggraph Asia vorgestellt, die wissenschaftliche Publikation ist frei erhältlich.

Titelbild: Oculus / Facebook, Quelle: Venturebeat

Weiterlesen über Foveated Rendering: