Facebook bringt bessere AR-Effekte für Instagram

Facebooks AR-Entwicklerschnittstelle Spark AR wird mit neuen Funktionen für Instagram aufgerüstet, die schickere und komplexere AR-Effekte ermöglichen sollen. Beeindruckend ist die KI-gestützte Bildsegmentierung.

Mit Spark AR will Faceook Kreativen einen einfachen und möglichst codefreien Einstieg in die AR-Entwicklung bieten. Die Software ist samt Weiterbildungen kostenlos verfügbar und unterstützt Smartphone-AR für Facebook und Instagram. Jetzt stellt Facebook zwei neue Funktionen vor.

Mit der „Multi-Class Segmentation“ (MCS) können Spark-AR-Nutzer Effekte auf drei Ebenen gleichzeitig anwenden: auf die gesamte Person, Haare und Haut. Dadurch sollen Kreative zum Beispiel einen AR-Effekt entwerfen können, der Haut hell leuchten lässt, ohne dass die Helligkeit etwa auf das Hemd abfärbt.

___STEADY_PAYWALL___

Außerdem soll es durch MCS leichter sein, die Texturen der einzelnen Segmente zu verändern, beispielsweise die Kanten an den Übergängen zu glätten. Laut Facebook ermöglicht das komplexere AR-Filter für „fantastische Kreaturen“ oder „Highend-Effekte“ für digitale Kleidung – ein Schritt in „eine Zukunft, in der AR unsere digitale und physische Welt verschmilzt“, schreibt Facebook.

[one_half] [/one_half][one_half_last] [/one_half_last]

Faceooks KI-Forscher räumen ein, dass MCS noch nicht perfekt funktioniert: Bärte zum Beispiel können das Modell aus dem Tritt bringen. Die Segmentierung soll insbesondere ab dem Oberkörper aufwärts und auf schnellen Smartphones gut laufen.

Umgesetzt wurde MCS mit Facebooks mobil optimiertem KI-Programmierstandard PyTorch. Die Berechnung soll nur rund acht Millisekunden dauern und läuft lokal auf dem Smartphone. Eine detaillierte technische Dokumentation zu MCC ist hinter dem Link verfügbar.

Multi-Marker-Tracking für neue AR-Effekte bei Instagram

Der zweite neue Effekt betrifft das klassische motivbasierte AR-Tracking: Die Smartphone-Kamera erkennt ein bestimmtes Motiv – einen Marker. Auf diesen Marker projiziert die AR-Software einen digitalen Effekt, der sich zusammen mit dem Motiv bewegen kann. Marker-Tracking hat den Nachteil, dass es nur mit Marker funktioniert und daher nicht überall wie rein optisches AR-Tracking – dafür ist es verlässlich und stabil.

Facebook spendiert dem Marker-Tracking bei Instagram eine Verbesserung: Die Smartphone-Kamera kann jetzt innerhalb einer Szene bis zu fünf Marker gleichzeitig erkennen – sogar in Bewegung. Auch das ermöglicht neue Effekte, wie die folgenden Demos veranschaulichen.

[one_half] [/one_half][one_half_last] [/one_half_last]

Facebook startete Instagrams AR-Filtersektion im Sommer 2019. Laut Facebook nutzen monatlich hunderte Millionen Menschen AR-Effekte im eigenen App-Ökosystem.

Quelle: Facebook

Weiterlesen über AR-Filter:

• Dieses Instagram-Shirt ist ein tragbarer Augmented-Reality-Filter
• Genderswap-AR: Wenn Frauen plötzlich wie ihre Brüder aussehen und andersherum
• Instagram verbannt Beauty-AR-Filter

Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.