Aktualisierung vom 27. August 2020, 14:12 Uhr
Wie Uploadvr.com berichtet, hat Facebooks Forschungsabteilung mittlerweile eine neue Version seiner „fotorealistischen“ VR-Avatare vorgestellt. Diese benötigten lediglich gewöhnliches Augentracking und das eingebaute Mikro, um z.B dem Chatpartner mit VR-Brille ein realistisch animiertes Gesicht zu zeigen. Ursprüngliche Meldung vom 4. Juli 2020, 17:25 Uhr
Teure und schwere verbaute Kamera-Reihen im Headset seien nicht mehr nötig, da der Rest des Gesichts mit Hilfe neuraler Netzwerke eingeschätzt und animiert werde. Als Anhaltspunkte dienen u.a. die Augenbewegungen sowie Geräusche, welche z.B. auftreten, wenn sich jemand die Lippen befeuchtet. Der Ergebnis weicht zumindest im offiziell zur Verfügung gestellten Video kaum vom Original-Gesicht ab.
Einen Haken hat allerdings auch die aktuelle Version noch: Als allererstes sei weiterhin eine persönliche, 45 Minuten lange Trainings-Session mit einem großen Multi-Kamera-Setup nötig. Danach könne das System aber ziemlich genau in Echtzeit einschätzen, wie sich das Gesicht der jeweiligen Person in bestimmten Unterhaltungs-Situationen bewegt.
Facebook arbeitet schon eine ganze Weile an „fotorealistischen“ VR-Avataren (die z.B. im März 2019 als „Codec Avatars“ präsentiert wurden). Nachdem ein Gesicht von einem größeren Kamera-Rig „eingelesen“ wurde, lässt es sich mit einem Prototyp-Headset und seinen „nur“ drei Face-Tracking-Kameras relativ realistisch animieren.
Wie Uploadvr.com berichtet, ist es dem Unternehmen mittlerweile gelungen, den unheimlichen „Uncanny-Valley-Effekt“ weitgehend zu eliminieren, der vor allem die Augen vorher immer ein wenig seltsam aussehen ließ. Im Forschungsbericht „The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation“ wurde eine Lösung dafür präsentiert.
Neuerdings wird die exakte Augenrichtung zunächst explizit vom Augentracking übernommen und erst danach für die finale Textur-Erstellung durch ein neurales Netzwerk geschickt. Früher habe der Algorithmus mitunter vorher selbst die Augenposition eingeschätzt – was oft in etwas unnatürlichen Ergebnissen resultiert habe.
Solch eine realistische Darstellung könnte natürlich vor allem in sozialen Spielen oder Chat-Applikationen nützlich werden. Facebook bremste allerdings bereits 2019 die Ewartungen, da es noch Jahre dauern dürfte, bis die Technik in VR-Headsets für Konsumenten ankommen könnte.
HP_Reverb_G2_im_Trailer
HP_Reverb_G2_im_Trailer
*SCNR
Finde die Technik interessant, aber ob sowas wirrklich mal Consumer-relevant wird glaub ich nicht wirklich. Egal ob für Meetings, oder Zuhause beim Zocken. Für Firmen stellt es ja schon einen imensen finanziellen Aufwand dar, alle Beteiligten mit der Hardware zu versorgen, wenn man auch einfach Videotelefonie nutzen kann, für eine Konferenz. Höchsten vlt. wenn sowieso mit einem VR-Headset gearbeitet wird.
Und im Heimgebrauch beim Zocken will ich meistens nicht, dass mein eigenes Gesicht verwendet wird. Da wäre dann die Überlegung, ob man die Animationen auf jeden beliebigen Avatar übertragen könnte. Das würde dann schon einen mehrwert bei Multiplayergames darstellen, dürfte aber (wie auch im Artikel genannt) noch einige Jährchen dauern, bis man soweit ist.
- Pro Home Office
Keine Hosen
- Contra Home Office
Wie soll ich mit meiner Arbeitskollegin schlafen?
Perfekt für virtuelle Meetings. Gibt es dann noch irgendein Argument gegen das Home Office?