Fotorealistische 3D-Avatare blitzschnell mit dem Smartphone erstellt: Dieses Meta-Projekt beeindruckt
Forschende haben eine neue Methode entwickelt, um aus nur vier Smartphone-Fotos einen animierbaren 3D-Avatar zu erstellen.
Avat3r ist ein neues Verfahren, um aus nur vier Smartphone-Fotos einer Person einen fotorealistischen und animierbaren 3D-Avatar zu generieren. Das gesamte Verfahren, vom Aufnehmen der Fotos bis zum fertigen 3D-Kopf, soll innerhalb weniger Minuten möglich sein.
Bisher war die Erstellung solch hochqualitativer digitaler Doubles sehr aufwendig und teuer, da ein Studio-Setup mit vielen Kameras und rechenintensive Optimierungen nötig waren. Avat3r soll dies ändern, indem es mit wenigen Eingabebildern auskommt und die Rechenanforderungen zur Laufzeit drastisch reduziert.
Dafür haben die Forschenden sogenannte Large Reconstruction Models (LRMs) animierbar gemacht. LRMs lernen aus einem großen Multi-View-Videodatensatz ein leistungsfähiges 3D-Modell menschlicher Köpfe. Für bessere Rekonstruktionsergebnisse nutzt Avat3r Positions-Maps von DUSt3R und generalisierte Feature-Maps von Sapiens, einem Foundation-Model für Menschen.
Durch das Training mit Bildern verschiedener Gesichtsausdrücke soll Avat3r robust gegenüber inkonsistenten Eingaben sein, etwa durch versehentliche Bewegungen beim Fotografieren oder Einzelbilder aus einem Video.
Rücken die Codec-Avatare näher?
Meta forscht seit vielen Jahren an fotorealistischen Codec-Avataren. Zuletzt deuteten Stellenausschreibungen darauf hin, dass die Entwicklung der Technologie weiter intensiviert werden könnte.
So sucht Meta etwa einen iOS-Entwickler mit Erfahrung in Benutzeroberflächen und Tools für iPhone- und iPad-Apps. Dies könnte auf die Entwicklung einer App hindeuten, die Nutzer:innen durch den Scanprozess für Codec-Avatare führt und XR-Telefonie mit zukünftigen Quest-Headsets ermöglicht.
Auch in der Quest-Firmware tauchten kürzlich Code-Strings auf, die auf eine Implementierung von Codec-Avataren hindeuten. Unklar ist, für welche Headsets diese kommen könnten. Derzeit unterstützt nur Meta Quest Pro Face- und Eye-Tracking, ein Gerät wie Quest 3 müsste die Mimik anhand anderer Faktoren wie der Stimme erraten.
Was haltet ihr von den Smartphone-Avataren? Diskutiert mit uns auf Instagram, Facebook oder Bluesky und teilt eure Meinung in den Kommentaren.
Für Feedback, Themenvorschläge oder andere Ideen schickt uns bitte eine E-Mail an hallo@mixed.de oder hüpft auf unseren Discord-Server.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
MIXED.de ohne Werbebanner