Der Artikel kann nur mit aktiviertem JavaScript dargestellt werden. Bitte aktiviere JavaScript in deinem Browser und lade die Seite neu.
Facebooks AR-Entwicklerschnittstelle Spark AR wird mit neuen Funktionen für Instagram aufgerüstet, die schickere und komplexere AR-Effekte ermöglichen sollen. Beeindruckend ist die KI-gestützte Bildsegmentierung.
Mit Werbeeinnahmen bezahlen wir unsere Redakteur:innen. Mit einem MIXED-Abo kannst Du unsere Seite werbefrei lesen.
Mit Spark AR will Faceook Kreativen einen einfachen und möglichst codefreien Einstieg in die AR-Entwicklung bieten. Die Software ist samt Weiterbildungen kostenlos verfügbar und unterstützt Smartphone-AR für Facebook und Instagram. Jetzt stellt Facebook zwei neue Funktionen vor.
Mit der „Multi-Class Segmentation“ (MCS) können Spark-AR-Nutzer Effekte auf drei Ebenen gleichzeitig anwenden: auf die gesamte Person, Haare und Haut. Dadurch sollen Kreative zum Beispiel einen AR-Effekt entwerfen können, der Haut hell leuchten lässt, ohne dass die Helligkeit etwa auf das Hemd abfärbt.
___STEADY_PAYWALL___
Außerdem soll es durch MCS leichter sein, die Texturen der einzelnen Segmente zu verändern, beispielsweise die Kanten an den Übergängen zu glätten. Laut Facebook ermöglicht das komplexere AR-Filter für „fantastische Kreaturen“ oder „Highend-Effekte“ für digitale Kleidung – ein Schritt in „eine Zukunft, in der AR unsere digitale und physische Welt verschmilzt“, schreibt Facebook.
[one_half]
[/one_half][one_half_last]
[/one_half_last]
Faceooks KI-Forscher räumen ein, dass MCS noch nicht perfekt funktioniert: Bärte zum Beispiel können das Modell aus dem Tritt bringen. Die Segmentierung soll insbesondere ab dem Oberkörper aufwärts und auf schnellen Smartphones gut laufen.
Umgesetzt wurde MCS mit Facebooks mobil optimiertem KI-Programmierstandard PyTorch. Die Berechnung soll nur rund acht Millisekunden dauern und läuft lokal auf dem Smartphone. Eine detaillierte technische Dokumentation zu MCC ist hinter dem Link verfügbar.
Multi-Marker-Tracking für neue AR-Effekte bei Instagram
Der zweite neue Effekt betrifft das klassische motivbasierte AR-Tracking: Die Smartphone-Kamera erkennt ein bestimmtes Motiv – einen Marker. Auf diesen Marker projiziert die AR-Software einen digitalen Effekt, der sich zusammen mit dem Motiv bewegen kann. Marker-Tracking hat den Nachteil, dass es nur mit Marker funktioniert und daher nicht überall wie rein optisches AR-Tracking – dafür ist es verlässlich und stabil.
Facebook spendiert dem Marker-Tracking bei Instagram eine Verbesserung: Die Smartphone-Kamera kann jetzt innerhalb einer Szene bis zu fünf Marker gleichzeitig erkennen – sogar in Bewegung. Auch das ermöglicht neue Effekte, wie die folgenden Demos veranschaulichen.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.