Deutsche Forscher erstellen hochdetaillierte 3D-Avatare mit einem Mittelklasse-Smartphone. Wie funktioniert das?

Ein Forscher-Team der Universität Bielefeld, Würzburg und der TU Dortmund stellen eine Methode vor, mit der sie 3D-Avatare mittels einer einzelnen Smartphone-Kamera erstellen können. Zwei Videoaufnahmen bilden die Grundlage für das virtuelle Abbild eines Menschen.

Virtuelle Menschen in nur zwanzig Minuten

Die Forscher stellen ihre Arbeit in einem kurzen Video-Clip vor. Der gesamte Vorgang der virtuellen Rekonstruktion eines Menschen soll etwa zwanzig Minuten dauern. Für die Erfassung des Modells benötigen sie zwei normale Videoaufnahmen: eine für den Körper, eine weitere für den Kopf. Es wird kein 3D-Scanner benötigt wie etwa im neuen iPhone, die gewöhnliche Smartphone-Kamera genügt.

Bei herkömmlichen monokularen Rekonstruktionen wird in der Regel nur ein Ganzkörper-Scan durchgeführt. Eine separate Aufzeichnung des Kopfes soll den Forschen nach jedoch für eine deutlich höhere Detailqualität in diesem Bereich sorgen.

Beim Kopf-Scan wird das Smartphone einmal in einem Zug kreisförmig um den Kopf herum bewegt. Bei der Körperaufzeichnung sind es zwei nahtlos aneinandergereihte Umdrehungen. Beim ersten Durchgang werden Kopf, Torso und Arme aufgezeichnet, im zweiten geht es um Hüften, Beine und Füße.

Günstige Smartphone-Scans auch für XR?

Im Vorstellungsclip (siehe oben) wurde für den Scan ein Google Pixel 3 mit 4K-Auflösung bei 30 Hz verwendet. Das kostet derzeit etwa 400 Euro. Andere Geräte mit einer 4K-Auflösung sollen ähnliche Ergebnisse liefern.

Ein 3D-Avatar stellt Bewegungen in Echtzeit dar.

Die Smartphone-Scans der deutschen Forscher können auch in XR-Anwendungen eingesetzt werden. | Bild: Stephan Wenninger

Zum Vergleich hat das Team Avatare mit einem professionellen Multikamera-System erstellt. Preis: etwa 60.000 Euro. Umso bemerkenswerter ist das Ergebnis. Wie das nachfolgende Bild zeigt, sind die Smartphone-Scans auf einem ähnlichen Niveau wie die des Profi-Set-ups. Das umfasst immerhin 48 Kameras.

Ein Vergleich von zwei 3D-Avataren die mit unterschiedlichen Systemen erstellt wurden.

Der direkte Vergleich: Links der Smartphone-Scan, rechts das Modell des Multikamera-Profi-Systems. | Bild: Stephan Wenninger

Das Team gibt an, dass ihre Avatare auch in XR-Anwendungen eingesetzt werden können. Sie seien mit allen Standard-Engines kompatibel und Skelett- sowie Gesichtsanimationen sollen ebenfalls möglich sein.

Im Beispielvideo sind Bewegungen zu sehen, die mit Faceware Studio und dem Unitiy Live Plugin erstellt wurden. Sie reichen von Augenbewegungen und Grinsen bis zu komplexen Tanzbewegungen mit animierten Armen und Beinen.

Quelle: ACM Digital Library, Titelbild: Stephan Wenninger

Weiterlesen über 3D-Scans:

steady2

MIXED.de Podcast: VR, AR und KI - jede Woche neu

Jetzt reinhören: Alle Folgen


Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.