Zelené plátno společnosti Netflix s podporou umělé inteligence

Netflix má novou techniku, která se spoléhá na strojové učení, které odvede část těžké práce, ale vyžaduje osvětlení herců v křiklavě purpurové barvě.

Po desetiletí bylo nejjednodušší metodou kompozice chroma keying, kdy herci stojí na jasně barevném pozadí (původně modrém, později zeleném), které lze snadno identifikovat a nahradit čímkoli od mapy počasí až po bitvu s Thanosem. Říká se, že popředí je „matné“ a pozadí je průhledný „alfa“ kanál, se kterým se manipuluje společně s červeným, zeleným a modrým kanálem.

Je to snadné a levné, ale má to několik nevýhod, mimo jiné problémy s průhlednými objekty, jemnými detaily, jako jsou vlasy, a samozřejmě se vším, co má podobnou barvu jako pozadí. Obvykle je však dostatečně dobrá, takže pokusy nahradit ji sofistikovanějšími a dražšími metodami (například kamerou se světelným polem) ztroskotaly.

Výzkumníci Netflixu to však zkoušejí s kombinací starého a nového, která by mohla umožnit jednoduchou a dokonalou kompozici – za cenu pekelného nastavení osvětlení na place.

Jak je popsáno v nedávno publikovaném článku, jejich „purpurové zelené plátno“ dosahuje působivých výsledků v podstatě tím, že herce umístí do světelného sendviče. Za nimi je jasně zelená (aktivně osvětlená, ne jako pozadí); před nimi je směs červené a modré, což vytváří dramaticky kontrastní barvy.

Výsledný vzhled na place pravděpodobně přiměje k zamyšlení i nejzkušenější postprodukční umělce. Obvykle chcete herce nasvítit jasným a poměrně přirozeným světlem, takže i když by tu a tam potřebovali trochu přebarvit, jejich vzhled před kamerou je relativně normální. Pokud jsou však osvětleni výhradně červeným a modrým světlem, zcela to tento vzhled zkreslí, protože normální světlo samozřejmě nemá vyříznutou velkou část svého spektra.

Tato technika je však chytrá i v tom, že díky tomu, že popředí je pouze červené/modré a pozadí pouze zelené, zjednodušuje se proces jejich oddělení. Běžný fotoaparát, který by normálně tyto barvy zachytil, místo toho zachytí červenou, modrou a alfa. Díky tomu jsou výsledné matné snímky mimořádně přesné a postrádají artefakty, které vznikají při nutnosti oddělit vstup s plným spektrem od pozadí s omezeným spektrem.

Zdá se ovšem, že jen nahradili jednu obtíž jinou: Proces kompozice je nyní snadný, ale obnovení zeleného kanálu u objektů osvětlených purpurovou barvou je obtížné.

Je třeba postupovat systematicky a přizpůsobivě, protože předměty a kompozice se liší, ale „naivní“ lineární přístup k injektáži zelené má za následek vymytý, nažloutlý vzhled. Jak to lze automatizovat? Umělá inteligence na pomoc!

Tým trénoval model strojového učení na vlastních tréninkových datech, v podstatě „zkušebních“ záběrech podobných scén, ale normálně nasvícených. Konvoluční neuronová síť dostala k dispozici políčka obrazu s plným spektrem, která porovnávala s obrázky osvětlenými purpurovou barvou, a vyvinula postup pro rychlé obnovení chybějícího zeleného kanálu inteligentnějším způsobem než jednoduchý algoritmus.

Barvu lze tedy překvapivě dobře obnovit v postprodukci (je „prakticky nerozeznatelná“ od pravdivého snímku v kameře) – ale stále je tu problém, že herci a kulisy musí být nasvíceny tímto příšerným způsobem. Mnoho herců si již stěžuje na to, jak nepřirozené je pracovat před zeleným plátnem – představte si, že to dělají při ostrém, nelidském osvětlení.

V článku je však řešena možnost „časového multiplexování“ osvětlení, což v podstatě znamená, že se purpurové/zelené osvětlení zapíná a vypíná vícekrát za sekundu. To je rušivé (dokonce nebezpečné), pokud se to dělá 24krát za sekundu (tj. snímkovou frekvencí, kterou se natáčí většina filmů a televizních pořadů), ale pokud se světlo zapíná rychleji – 144krát za sekundu – vypadá „téměř konstantně“.

To však vyžaduje složitou synchronizaci s kamerou, která musí zachytit světlo pouze během krátkých okamžiků, kdy je scéna purpurová. A musí také zohlednit chybějící snímky pro pohyb…

Jak můžete říct, jedná se stále o velmi experimentální řešení. Je to však také zajímavý způsob, jak se vypořádat s odvěkým problémem mediální produkce s novým, technologicky vyspělým přístupem. Před pěti lety by to nebylo možné, a přestože se to může, ale nemusí na place ujmout, jednoznačně to stojí za vyzkoušení.