Dieses Motion-Capture-Verfahren braucht nur eine einzelne Kamera
KI-basierte Analyse- und Schätzverfahren machen aufwendigen Motion-Capture-Installationen Konkurrenz: In den kommenden Jahren könnte es ganz leicht werden, realistische digitale Abbilder von Menschen zu erstellen.
Forscherinnen und Forscher des Max-Planck-Instituts für Informatik und der Eidgenössischen Technischen Hochschule Lausanne demonstrieren, wie mit einer einzelnen handgeführten Videokamera Bewegungen eines Menschen realistisch digitalisiert werden können.
Eine 3D-Rekonstruktion - noch dazu animiert - aus nur einer Perspektive zu erstellen, ist eine besondere Herausforderung: Es fehlen sämtliche Tiefeninformationen und rund die Hälfte der gefilmten Person ist von der Kamera abgewandt und für diese somit unsichtbar.
___STEADY_PAYWALL___Typischerweise werden für Motion-Capture- und 3D-Aufnahmen daher mehrere Kameras eingesetzt, die eine Person aus vielen Blickwinkeln gleichzeitig erfassen. Das ist allerdings aufwendig und teuer.
Um Bewegungen realistisch mit einer einzelnen Kamera zu digitalisieren, entwickelten die Forscher eine Drei-Schritte-Methode:
Zuerst wird die zu digitalisierende Person mit der Kamera in der Hand in 360-Grad umrundet. Eine Software erfasst bei diesem Scan-Vorgang die Proportionen der Person und berechnet ein digitales Skelett. Die Beschaffenheit der Kleidung wird ebenfalls berücksichtigt.
Anschließend orientiert sich die Software an den Gelenkpunkten des zuvor berechneten digitalen Skeletts und leitet mittels Posenerkennung flüssige Bewegungen ab. Dabei unterstützt ein auf Bildverarbeitung optimiertes neuronales Netz.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Im letzten Schritt wird die Silhouette der digitalisierten Person anhand der realen Bilddaten verfeinert und texturiert.
Hologramm-Telefonie rückt näher
Laut den Forschern können die animierten Menschenmodelle beispielsweise in Videos mit freier Perspektivenwahl weiterverarbeitet werden. Der eigene Ansatz soll bisherige Methoden in puncto Genauigkeit und Robustheit deutlich übertreffen und auch bei detailreichen Hintergründen verlässlich arbeiten.
Die Forschungsarbeit wird auf der Computergrafik-Fachkonferenz Siggraph im August vorgestellt. Weitere Informationen und die wissenschaftliche Publikation gibt es auf der offiziellen Projektseite.
Besonders interessant wären die digitalen Abbilder im Kontext von Virtual- oder Augmented-Reality-Telefonie, bei der man sich mit einer Hologramm-Version des Gesprächspartners unterhält. Da nur eine einzelne Kamera benötigt wird, wäre das Verfahren einer breiten Masse zugänglich. Das wiederum ist die Grundvoraussetzung für ein erfolgreiches Kommunikationssystem.
Für wirklich glaubhafte digitale Gesprächspartner, mit denen man sich gerne unterhält, fehlt allerdings ein realistisch gerendertes und animiertes Gesicht samt Mimik - das dürfte die größte Hürde bei der Mensch-Digitalisierung sein.
Weiterlesen über 3D-Scanning und Motion-Capturing:
- Sci-Fi-VR: 3D-Scanning brachte meinen Körper in Virtual Reality
- Amazon übernimmt auf 3D-Körperscanning spezialisiertes Startup
- Künstliche Intelligenz generiert in Sekundenschnelle 3D-Avatare
- Oculus zeigt realistische Avatare und Fingertracking ohne Handschuhe
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
