KI-basierte Analyse- und Schätzverfahren machen aufwendigen Motion-Capture-Installationen Konkurrenz: In den kommenden Jahren könnte es ganz leicht werden, realistische digitale Abbilder von Menschen zu erstellen.

Kabetec VR-Brille

Forscherinnen und Forscher des Max-Planck-Instituts für Informatik und der Eidgenössischen Technischen Hochschule Lausanne demonstrieren, wie mit einer einzelnen handgeführten Videokamera Bewegungen eines Menschen realistisch digitalisiert werden können.

Eine 3D-Rekonstruktion – noch dazu animiert – aus nur einer Perspektive zu erstellen, ist eine besondere Herausforderung: Es fehlen sämtliche Tiefeninformationen und rund die Hälfte der gefilmten Person ist von der Kamera abgewandt und für diese somit unsichtbar.

Typischerweise werden für Motion-Capture- und 3D-Aufnahmen daher mehrere Kameras eingesetzt, die eine Person aus vielen Blickwinkeln gleichzeitig erfassen. Das ist allerdings aufwendig und teuer.

Um Bewegungen realistisch mit einer einzelnen Kamera zu digitalisieren, entwickelten die Forscher eine Drei-Schritte-Methode:

Zuerst wird die zu digitalisierende Person mit der Kamera in der Hand in 360-Grad umrundet. Eine Software erfasst bei diesem Scan-Vorgang die Proportionen der Person und berechnet ein digitales Skelett. Die Beschaffenheit der Kleidung wird ebenfalls berücksichtigt.

Anschließend orientiert sich die Software an den Gelenkpunkten des zuvor berechneten digitalen Skeletts und leitet mittels Posenerkennung flüssige Bewegungen ab. Dabei unterstützt ein auf Bildverarbeitung optimiertes neuronales Netz.

Im letzten Schritt wird die Silhouette der digitalisierten Person anhand der realen Bilddaten verfeinert und texturiert.

Hologr…

MIXED.de XR-Podcast - jetzt reinhören

Aktuell: Die große VR-Brillenschwemme | Alle Folgen



Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.