DeepFovea: Facebook stellt KI-gestütztes Foveated Rendering vor

19.11.2019 Tomislav Bezmalinovic

Foveated Rendering ist eine wichtige Grundlagentechnologie der Virtual Reality und der nächste große Schritt in der Entwicklung von VR-Brillen. Nun haben Facebook-Forscher eine KI-gestützte Methode vorgestellt, die das leistungssparende Renderverfahren weiter optimiert.

Bei Foveated Rendering wird nur jener kleine Bereich des Sichtfelds in voller Auflösung berechnet, den der VR-Nutzer gerade anblickt und scharf sieht. Was das Auge fokussiert, wird in Echtzeit per Blickerfassung ermittelt.

Das übrige Sichtfeld wird mit geringeren Details gerendert, was viel Rechenleistung spart. Foveated Rendering könnte so noch aufwendigere VR-Grafik ermöglichen und Anforderungen an die Hardware reduzieren. Wegen immer höher auflösender VR-Displays ist die Technologie dringend nötig.

Eine KI rekonstruiert Bilder mit weniger Details

Forscher der Facebook Reality Labs haben jetzt eine Methode vorgestellt, mit der der periphere Bildbereich energieeffizient in seinen Details reduziert wird und dennoch optisch möglichst nahe am Original bleibt. Die KI-gestützte Renderingmethode soll schneller rechnen bei besserer optischer Qualität als herkömmliche Foveated-Rendering-Verfahren. Die Facebook-Forscher nennen das System DeepFovea. Wie funktioniert es?

Eine GAN-KI, die mit reichlich Videomaterial trainiert wurde, analysiert zunächst circa zehn Prozent aller Pixel eines Videostandbilds. Daraus kreiert sie anschließend eine weniger detaillierte Version des peripheren Bildbereichs, die dem Original optisch nahekommt. Die Facebook-Forscher nennen dieses Verfahren "neuronale Rekonstruktion".

Rechts das Originalbild mit Blickfokus auf den Eidechsenkopf. Links das von der KI rekonstruierte Bild. Der Kopf des Tieres ist auf beiden Bildern gleich detailliert - im Gegensatz zur Oberfläche des Baums im peripheren Bildbereich. Trotz geringer Details kommt die KI-Rekonstruktion der Baumoberfläche dem Original sehr nahe. BILD: Facebook Reality Labs

DeepFovea soll das Ursprungsvideo in Echtzeit und mit geringer Latenz um den Faktor 14 komprimieren können. Dank Foveated Rendering kann der Nutzer keinen Unterschied in der Bildqualität feststellen.

DeepFovea: Auch für Spiele geeignet

Das Verfahren eignet sich neben Videos auch für gerenderte Inhalte und könnte so eines Tages grafisch aufwendige Apps in VR-Brillen optimieren.

Bitte dieses Feld leer lassen

XR-Briefing
Hol dir die wichtigsten News aus der Zukunft der Computer wöchentlich bequem ins E-Mail-Postfach.

• VR, AR, KI & mehr
• kostenlos
• jederzeit kündbar

Datenschutzerklärung

Prüfe deinen Posteingang oder Spam-Ordner, um dein Abonnement zu bestätigen.

Ein weiterer Vorteil gegenüber bisherigen Methoden: Das von DeepFovea komprimierte Bild weicht weniger stark vom Originalmaterial ab als herkömmliche Foveated-Rendering-Verfahren, wie man im folgenden Beispiel sieht.

DeepFovea am Beispiel von GTA. Rechts sieht man den Originalbildausschnitt, in der Mitte das von DeepFovea gerenderte Bild, links ein von herkömmlichem Foveated Rendering berechnetes Bild des gleichen Spielausschnitts. BILD: Facebook Reality Labs

Facebook deutete ein KI-gestütztes Foveated Rendering auf der Oculus Connect 5 an (siehe folgendes Video). Wann die Technologie in einer Oculus-Brille zum Einsatz kommt, ist nicht bekannt. Keine der bislang erhältlichen Facebook-Brillen bietet Eye Tracking.

DeepFovea wurde auf der Siggraph Asia vorgestellt, die wissenschaftliche Publikation ist frei erhältlich.

Titelbild: Oculus / Facebook, Quelle: Venturebeat

Weiterlesen über Foveated Rendering:

• Tobii & Nvidia: Eye-Tracking soll bis zu 57 Prozent mehr VR-Leistung bringen
• Oculus: Neues blickbasiertes Renderverfahren für mehr VR-Leistung
• Vive Pro Eye: Weshalb HTC Eye-Tracking verbaut hat

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.