Eine Software macht aus Selfies animierte Videos
Forscher der Tel Aviver Universität haben zusammen mit Facebook eine Technologie entwickelt, die aus Selfies animierte Videos macht, in denen die abgebildete Person Gesichtsausdrücke einer dritten Person annimmt. Die Technologie könnten helfen, die Mimik von VR-Nutzern zu erkennen und auf Avatare in Social-VR-Apps zu übertragen.
Als Grundlage für die Gesichtsausdrücke nutzt die Technologie das Video einer dritten Person (siehe Gif). Die Algorithmen analysieren die Mimik im Video und übertragen sie anschließend auf die Fotografie. Dabei wird das Bild an den entscheidenden Stellen im Gesicht so manipuliert, dass der gewünschte Gesichtsausdruck entsteht.
Die Technologie kann auch Gesichtsregionen zeigen, die im Originalbild verborgen sind. Ein Beispiel sind die Zähne, die vom Video auf die Fotografie übertragen werden. In einem letzten Schritt werden der Animation Details hinzugefügt, die für einen glaubhaften Gesamteindruck sorgen, wie etwa Hautfalten, die beim Lächeln entstehen. Die Technologie funktioniert selbst mit gemalten Porträts.
___STEADY_PAYWALL___Automatische Animationen fürs Facebook Profiltoto
Die Forscher experimentierten mit zwei Anwendungsszenarien: Nutzer könnten mit der Technologie ihr Facebook-Fotoprofil animieren, so dass ihr Gesicht im Einklang mit Likes oder Dislikes Freude oder Missfallen ausdrückt. Das zweite Anwendungsszenario sind Emoji-Avatare, die Gesichtsausdrücke des Nutzers annehmen.
Auch die Virtual Reality könnte von dem Verfahren profitieren, sagt eine Forscherin. Die Algorithmen könnten in eine Software fließen, die Gesichtsausdrücke des VR-Nutzers analysiert und auf Avatare in Social-VR-Apps überträgt. Dadurch würden mehr Emotionen sichtbar.
Der Versuch, Gesichtsausdrücke aufzunehmen und auf ein anderes Gesicht zu übertragen, ist an sich nicht neu. Eine Gruppe deutscher Forscher arbeitet schon seit längerem an einer Technologie, die Mimik aufzeichnet und auf Menschen in Videos oder animierte Charaktere überträgt. Das Ergebnis ist ebenso beeindruckend wie beängstigend. Diesen Sommer zeigte die gleiche Gruppe auf der Siggraph-Konferenz eine Version der Technologie, die für Virtual Reality optimiert ist.
MIXED.de ohne Werbebanner- Zugriff auf mehr als 9.000 Artikel
MIXED.de ohne Werbebanner- Kündigung jederzeit online möglich
Was den von den israelischen Forschern entwickelten Ansatz so besonders macht, ist die Übertragung von Mimik auf ein Bild. In einem Youtube-Film erklären sie ihre Technologie und zeigen Beispiele. Die wissenschaftliche Publikation steht hier.
https://youtu.be/-RetOjL1Fhw
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.
