Forscher bei Netflix haben einen Artikel über ein revolutionäres neues System für Chroma-Keying veröffentlicht. Die Magenta-Green-Screen-Technik verwendet einen normalen Greenscreen-Hintergrund, beleuchtet die Schauspieler jedoch nur mit rotem und blauem Vordergrundlicht.
Was ist Chroma-Keying?
Chroma Key ist eine Technik für visuelle Effekte, bei der die Schauspieler vor einem Greenscreen gefilmt werden. Der grüne Hintergrund wird dann in der Nachbearbeitung transparent gemacht, sodass hinter den Schauspielern ein neuer Hintergrund eingefügt werden kann. Der transparente Teil des Bildes wird als Alphakanal bezeichnet. Chroma Keying wird aufgrund der Farbe des Hintergrunds auch Greenscreen genannt. Als die Technik erstmals entwickelt wurde, war die verwendete Hintergrundfarbe jedoch blau. Bluescreens werden auch heute noch verwendet, wenn die Kleidung der Schauspieler oder andere Vordergrundelemente viel Grün enthalten.
Warum nutzt Netflix künstliche Intelligenz (KI)?
Es gibt viele Softwarelösungen, mit denen Sie einen Greenscreen-Hintergrund entfernen und durch das gewünschte Bild ersetzen können. Meistens funktionieren diese gut, es gibt jedoch einige Herausforderungen. Beispielsweise kann es schwierig sein, feine Details wie Haare genau zu stanzen. Es gibt auch Probleme mit transparenten Objekten, Elementen, die dieselbe Farbe wie der Hintergrund haben, und Bewegungsunschärfe um sich bewegende Objekte. Diese Probleme müssen Bild für Bild ausgebessert werden. Aus diesem Grund werden im Abspann von Filmen und Fernsehsendungen so viele Visual Effects-Künstler aufgeführt.
Was ist Magenta-Greenscreen?
Die Netflix-Forscher versuchen, ein System zu entwickeln, das automatisch eine genauere Ausblendung der Motive ermöglicht. Beim Magenta-Greenscreen ist der Hintergrund wie üblich grün. Die Schauspieler werden jedoch nur mit roten und blauen Lichtern beleuchtet. Das bedeutet, dass im Motivbereich des Bildes keine grünen Elemente vorhanden sind, sodass der Hintergrund leicht ausgeblendet werden kann. Leider bleiben die Motive dadurch immer noch hell magenta und sehr unnatürlich.
Maschinelles Lernen
Um die Farben des Videos zu korrigieren, nachdem die Alphakanaltransparenz erstellt worden war, fügten die Forscher zunächst einfach den grünen Kanal wieder in das Filmmaterial ein. In den resultierenden Bildern waren die Motive jedoch gelb und verwaschen, was immer noch unbrauchbar war. Die Forscher trainierten daher ein tiefes neuronales Netzwerk oder eine KI, um genauer zu verstehen, wie die grünen Elemente des Videos ersetzt und ein natürlich wirkendes Bild wiederhergestellt werden können. Die Bilder im Forschungsbericht von Netflix zeigen, dass die KI-korrigierten Bilder sehr gut aussehen.
Was als nächstes?
Obwohl die richtigen Farben mithilfe von KI wiederhergestellt werden können, müssen die armen Schauspieler immer noch in der unnatürlichen magentafarbenen Umgebung arbeiten. Die Forscher experimentierten daher mit einer Technik namens Zeitmultiplexing. Vereinfacht ausgedrückt bedeutet dies, das Magentalicht sehr schnell ein- und auszuschalten, damit den Schauspielern die normale Beleuchtung konstant erscheint. Flackernde Lichter können jedoch für eine Person mit einer Lichtempfindlichkeit gefährlich sein. Darüber hinaus muss die Kamera mit der Beleuchtung synchronisiert werden, damit sie nur dann ein Bild aufnimmt, wenn das Magentalicht eingeschaltet ist. Die Forschungsarbeit schließt mit Empfehlungen, in welche Richtung die Forschung als nächstes gehen sollte.
Was wir denken
Die meisten Filme und Fernsehsendungen verwenden in gewissem Umfang Greenscreen- oder Bluescreen-Effekte. Ein Großteil der Postproduktionsarbeit muss jedoch von menschlichen Künstlern erledigt werden. Aus diesem Grund machen visuelle Effekte einen so großen Teil vieler Produktionsbudgets aus. Wenn diese Arbeit automatisiert werden könnte, würden die Kosten gesenkt und auch die Postproduktionszeiten würden kürzer. Die Magenta-Greenscreen-Technik von Netflix befindet sich noch im experimentellen Stadium, könnte aber eine Lösung für die Zukunft sein.
