Fusion 4D: Microsoft filmt volumetrische 3D-Videos in Echtzeit
In 360-Grad aber dennoch herkömmlich gefilmte Videos sind für Virtual Reality nur eine Brückentechnologie. Für die Zukunft sind volumetrische und begehbare Videoaufnahmen das interessantere Medium. Das Problem: Noch gibt es keine technische Lösung, um diese Videos auf hohem Niveau und bei überschaubaren Kosten zu produzieren. Microsoft liefert mit seiner Forschungsarbeit im Bereich Computer Vision erste Ansätze.
Schon im März zeigte Microsoft die "Holoportation", eine Demo für "holographische Telefonate" mit der Augmented-Reality-Brille Hololens. Um diese Hologramm-ähnlichen Abbildungen in Echtzeit in das Sichtfeld des Hololens-Trägers streamen zu können, entwickelte Microsoft ein neues Verfahren für die Produktion von volumetrischen 3D-Videos. Mit diesem lassen sich Objekte mittels 3D-Tiefenkameras in Echtzeit scannen, texturieren und komprimiert übers Netz senden. Ziel der "Holoportation" ist es, dass Nutzer sich virtuell in Echtzeit von einem Ort an einen anderen teleportieren können.
Fusion 4D ist eine Weiterentwicklung der bei der Holoportation-Demo erstmals vorgestellten Videotechnologie. Ganz offensichtlich konnten die Wissenschaftler in den vergangenen Monaten noch einmal deutliche Fortschritte erzielen. Die Bewegungen der Darsteller werden jetzt noch flüssiger in Echtzeit als digitales 3D-Modell erfasst. Die Modelle an sich wirken etwas lebensechter und konsistenter als bei der ersten Demonstration. Der Algorithmus für die Aufnahme arbeitet auch dann noch korrekt, wenn sich Objekte oder Gegenstände verdecken, beispielsweise beim Jacke an- und ausziehen. In einer anderen Szene bewegt sich ein Mensch gemeinsam mit einem Hund. Dieser wird korrekt als separates Objekt erkannt und als 3D-Modell umgesetzt. Sogar feine Details wie die Bewegung eines Kleids können in Echtzeit erfasst und gerendert werden.
___STEADY_PAYWALL___3D-Scanning in Echtzeit als neue Grundlagentechnologie für viele Anwendungsbereiche
Der Algorithmus benötigt keine Schablonen - beispielsweise für Menschen oder Tiere - um korrekt zu scannen. Potenziell kann mit dem Verfahren also jede Art von Objekt, Raum oder Form dreidimensional erfassen. Insgesamt acht 3D-Tiefenkameras werden benötigt, um die im Video unten dargestellte Präzision in Echtzeit zu erreichen. Entsprechend teuer dürfte der Aufbau noch sein. Aber: Laut den Microsoft-Wissenschaftlern braucht das aktuelle System bereits weniger Kameras und Rechenleistung als vorherige Lösungen.
Das Verfahren an sich ist eine neue Grundlagentechnologie und bietet reichlich Anwendungsszenarien. Als Beispiel nennen die Wissenschaftler die Möglichkeit, Sport-Events oder Konzerte live und in volumetrischem 3D zu übertragen. Besonders interessant ist das für Besitzer von Virtual-Reality-Brillen. Anstatt mit dem eigenen Sichtfeld an die Position der Kameralinse gebunden zu sein, könnte man sich mit glaubhaften virtuellen Avataren frei auf der Bühne oder im Stadion bewegen. Mit dem gleichen Verfahren könnten auch Roboter sehen lernen und so besser mit ihrer Umwelt und speziell Menschen interagieren.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Fusion 4D und 3D-Videos als neue Grundlagentechnologie für immersive Inhalte. Solche Themen diskutieren wir im VRforum.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
