GDC 2018: Vom Selfie zum 3D-Avatar mit maschinellem Lernen - "Avatar SDK" ausprobiert
Auf der GDC zeigte das Startup Itseez3D das Avatar SDK, eine Technologie, die aus Selfies binnen Sekunden glaubhafte 3D-Kopfmodelle erstellt. Das Besondere an der Lösung: Die Kopfform wird mittels eines neuronalen Netzes ermittelt, das mit hunderttausenden 3D-Kopfscans trainiert wurde. Ich habe den Selbstversuch gemacht und war vom Ergebnis positiv überrascht.
Ein Mitarbeiter der Startups machte auf dem Stand des Startups mit einem iPad ein Foto von mir, von vorne und gleichmäßig ausgeleuchtet. Danach dauerte es nur wenige Sekunden und mein 3D-Avatar war erstellt. Die hierfür notwendigen Berechnungen gehen über die firmeneigene Cloud.
Anschließend durfte ich mir eine Oculus Rift aufsetzen und meinen Avatar in der Virtual Reality von allen Seiten begutachten. Hier wirkte mein Alter Ego weitaus lebensechter und detaillierter als auf dem iPad. Der Kopf war, so weit ich das beurteilen konnte, sehr gut eingefangen. Das Programm konnte ergänzend Animationen auf den Avatar anwenden, zum Beispiel ein Augenzwinkern oder Gähnen (siehe Video unten).
___STEADY_PAYWALL___Telepräsenz-App für Virtual Reality geplant
Danach schlüpfte ich in meinen Avatar und traf mich mit dem Mitarbeiter in einem virtuellen Raum, in dem man sich unterhalten oder mit Gegenständen interagieren konnte - ähnlich wie in Facebook Spaces. Die eigens entwickelte VR-App sollte die Technologie im Kontext der Virtual Reality vorführen, stieß jedoch auf so großen Anklang, dass das Startup die Anwendung zu einer eigenen Plattform für VR-Telepräsenz ausbauen möchte.
Geschäftskunden können das Avatar SDK derzeit in zweierlei Formen beziehen: In der Cloud-Version laufen sämtliche 3D-Umwandlungen über den firmeneigenen Clouddienst. Deshalb funktioniert die Technologie auf sämtlichen Geräten, die über eine Internetanbindung verfügen. Für die Nutzung des Dienstes müssen Firmenkunden ein monatliches Abonnement abschließen.
In der Offline-Version werden die Avatare lokal mittels eines Unity-Plugins erstellt. Dafür muss das benutzte Gerät (ein PC, Mac oder iOS- und Android-Geräte) mindestens zwei Gigabyte Arbeitsspeicher besitzen. Mehr Informationen zu den beiden Geschäftsmodellen gibt es auf der offiziellen Internetseite.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Kostenlose WebGL-Anwendung zum Ausprobieren
Das Startup nutzte für das Training des neuronalen Netzes mehr als 100.000 3D-Gesichtsscans echter Menschen. Die Daten stammen von einer Gesichtsscanning-App, die Itseez3D für Occipitals 3D-Sensor veröffentlichte. Kombiniert man diesen mit einem iPad, kann man aus Räumen, Gegenständen oder Gesichtern binnen Minuten 3D-Modelle erstellen. Itseez3D verwendet die Daten, die Nutzer mit der Gesichtsscanning-App erstellt haben.
Das Unternehmen will für das Avatar SDK als nächstes Kunden im Bereich mobiler Plattformen und Spiele gewinnen. Die sollen die Technologie lizenzieren und Konsumenten für ihre Apps zur Verfügung stellen. Zusätzlich plant das Startup, die Technologie und hier insbesondere die Auflösung und Animationen der Avatare zu verbessern.
Wer das Avatar SDK mit eigenen Selfies selbst ausprobieren möchte, kann dies hier tun.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
