Fusion 4D: Microsoft filmt volumetrische 3D-Videos in Echtzeit

In 360-Grad aber dennoch herkömmlich gefilmte Videos sind für Virtual Reality nur eine Brückentechnologie. Für die Zukunft sind volumetrische und begehbare Videoaufnahmen das interessantere Medium. Das Problem: Noch gibt es keine technische Lösung, um diese Videos auf hohem Niveau und bei überschaubaren Kosten zu produzieren. Microsoft liefert mit seiner Forschungsarbeit im Bereich Computer Vision erste Ansätze.

Schon im März zeigte Microsoft die "Holoportation", eine Demo für "holographische Telefonate" mit der Augmented-Reality-Brille Hololens. Um diese Hologramm-ähnlichen Abbildungen in Echtzeit in das Sichtfeld des Hololens-Trägers streamen zu können, entwickelte Microsoft ein neues Verfahren für die Produktion von volumetrischen 3D-Videos. Mit diesem lassen sich Objekte mittels 3D-Tiefenkameras in Echtzeit scannen, texturieren und komprimiert übers Netz senden. Ziel der "Holoportation" ist es, dass Nutzer sich virtuell in Echtzeit von einem Ort an einen anderen teleportieren können.

Fusion 4D ist eine Weiterentwicklung der bei der Holoportation-Demo erstmals vorgestellten Videotechnologie. Ganz offensichtlich konnten die Wissenschaftler in den vergangenen Monaten noch einmal deutliche Fortschritte erzielen. Die Bewegungen der Darsteller werden jetzt noch flüssiger in Echtzeit als digitales 3D-Modell erfasst. Die Modelle an sich wirken etwas lebensechter und konsistenter als bei der ersten Demonstration. Der Algorithmus für die Aufnahme arbeitet auch dann noch korrekt, wenn sich Objekte oder Gegenstände verdecken, beispielsweise beim Jacke an- und ausziehen. In einer anderen Szene bewegt sich ein Mensch gemeinsam mit einem Hund. Dieser wird korrekt als separates Objekt erkannt und als 3D-Modell umgesetzt. Sogar feine Details wie die Bewegung eines Kleids können in Echtzeit erfasst und gerendert werden.