Netflix má novou techniku, která se spoléhá na strojové učení, které odvede část těžké práce, ale vyžaduje osvětlení herců v křiklavě purpurové barvě.
Po desetiletí bylo nejjednodušší metodou kompozice chroma keying, kdy herci stojí na jasně barevném pozadí (původně modrém, později zeleném), které lze snadno identifikovat a nahradit čímkoli od mapy počasí až po bitvu s Thanosem. Říká se, že popředí je „matné“ a pozadí je průhledný „alfa“ kanál, se kterým se manipuluje společně s červeným, zeleným a modrým kanálem.
Je to snadné a levné, ale má to několik nevýhod, mimo jiné problémy s průhlednými objekty, jemnými detaily, jako jsou vlasy, a samozřejmě se vším, co má podobnou barvu jako pozadí. Obvykle je však dostatečně dobrá, takže pokusy nahradit ji sofistikovanějšími a dražšími metodami (například kamerou se světelným polem) ztroskotaly.
Zdroj: Unsplash
Výzkumníci Netflixu to však zkoušejí s kombinací starého a nového, která by mohla umožnit jednoduchou a dokonalou kompozici – za cenu pekelného nastavení osvětlení na place.
Jak je popsáno v nedávno publikovaném článku, jejich „purpurové zelené plátno“ dosahuje působivých výsledků v podstatě tím, že herce umístí do světelného sendviče. Za nimi je jasně zelená (aktivně osvětlená, ne jako pozadí); před nimi je směs červené a modré, což vytváří dramaticky kontrastní barvy.
Výsledný vzhled na place pravděpodobně přiměje k zamyšlení i nejzkušenější postprodukční umělce. Obvykle chcete herce nasvítit jasným a poměrně přirozeným světlem, takže i když by tu a tam potřebovali trochu přebarvit, jejich vzhled před kamerou je relativně normální. Pokud jsou však osvětleni výhradně červeným a modrým světlem, zcela to tento vzhled zkreslí, protože normální světlo samozřejmě nemá vyříznutou velkou část svého spektra.
Tato technika je však chytrá i v tom, že díky tomu, že popředí je pouze červené/modré a pozadí pouze zelené, zjednodušuje se proces jejich oddělení. Běžný fotoaparát, který by normálně tyto barvy zachytil, místo toho zachytí červenou, modrou a alfa. Díky tomu jsou výsledné matné snímky mimořádně přesné a postrádají artefakty, které vznikají při nutnosti oddělit vstup s plným spektrem od pozadí s omezeným spektrem.
Zdá se ovšem, že jen nahradili jednu obtíž jinou: Proces kompozice je nyní snadný, ale obnovení zeleného kanálu u objektů osvětlených purpurovou barvou je obtížné.
Je třeba postupovat systematicky a přizpůsobivě, protože předměty a kompozice se liší, ale „naivní“ lineární přístup k injektáži zelené má za následek vymytý, nažloutlý vzhled. Jak to lze automatizovat? Umělá inteligence na pomoc!
Tým trénoval model strojového učení na vlastních tréninkových datech, v podstatě „zkušebních“ záběrech podobných scén, ale normálně nasvícených. Konvoluční neuronová síť dostala k dispozici políčka obrazu s plným spektrem, která porovnávala s obrázky osvětlenými purpurovou barvou, a vyvinula postup pro rychlé obnovení chybějícího zeleného kanálu inteligentnějším způsobem než jednoduchý algoritmus.
Barvu lze tedy překvapivě dobře obnovit v postprodukci (je „prakticky nerozeznatelná“ od pravdivého snímku v kameře) – ale stále je tu problém, že herci a kulisy musí být nasvíceny tímto příšerným způsobem. Mnoho herců si již stěžuje na to, jak nepřirozené je pracovat před zeleným plátnem – představte si, že to dělají při ostrém, nelidském osvětlení.
Zdroj: TC.com
V článku je však řešena možnost „časového multiplexování“ osvětlení, což v podstatě znamená, že se purpurové/zelené osvětlení zapíná a vypíná vícekrát za sekundu. To je rušivé (dokonce nebezpečné), pokud se to dělá 24krát za sekundu (tj. snímkovou frekvencí, kterou se natáčí většina filmů a televizních pořadů), ale pokud se světlo zapíná rychleji – 144krát za sekundu – vypadá „téměř konstantně“.
To však vyžaduje složitou synchronizaci s kamerou, která musí zachytit světlo pouze během krátkých okamžiků, kdy je scéna purpurová. A musí také zohlednit chybějící snímky pro pohyb…
Jak můžete říct, jedná se stále o velmi experimentální řešení. Je to však také zajímavý způsob, jak se vypořádat s odvěkým problémem mediální produkce s novým, technologicky vyspělým přístupem. Před pěti lety by to nebylo možné, a přestože se to může, ale nemusí na place ujmout, jednoznačně to stojí za vyzkoušení.
Proces kompozice, tedy umisťování herců před pozadí, které tam ve skutečnosti není, je starý jako filmová tvorba sama - a vždycky to byla otrava. Netflix má novou techniku, která se spoléhá na strojové učení, které odvede část těžké práce, ale vyžaduje osvětlení herců v křiklavě purpurové barvě.
Po desetiletí bylo nejjednodušší metodou kompozice chroma keying, kdy herci stojí na jasně barevném pozadí (původně modrém, později zeleném), které lze snadno identifikovat a nahradit čímkoli od mapy počasí až po bitvu s Thanosem. Říká se, že popředí je "matné" a pozadí je průhledný "alfa" kanál, se kterým se manipuluje společně s červeným, zeleným a modrým kanálem.
Je to snadné a levné, ale má to několik nevýhod, mimo jiné problémy s průhlednými objekty, jemnými detaily, jako jsou vlasy, a samozřejmě se vším, co má podobnou barvu jako pozadí. Obvykle je však dostatečně dobrá, takže pokusy nahradit ji sofistikovanějšími a dražšími metodami (například kamerou se světelným polem) ztroskotaly.
Zdroj: Unsplash
Výzkumníci Netflixu to však zkoušejí s kombinací starého a nového, která by mohla umožnit jednoduchou a dokonalou kompozici - za cenu pekelného nastavení osvětlení na place.
Jak je popsáno v nedávno publikovaném článku, jejich "purpurové zelené plátno" dosahuje působivých výsledků v podstatě tím, že herce umístí do světelného sendviče. Za nimi je jasně zelená (aktivně osvětlená, ne jako pozadí); před nimi je směs červené a modré, což vytváří dramaticky kontrastní barvy.
Výsledný vzhled na place pravděpodobně přiměje k zamyšlení i nejzkušenější postprodukční umělce. Obvykle chcete herce nasvítit jasným a poměrně přirozeným světlem, takže i když by tu a tam potřebovali trochu přebarvit, jejich vzhled před kamerou je relativně normální. Pokud jsou však osvětleni výhradně červeným a modrým světlem, zcela to tento vzhled zkreslí, protože normální světlo samozřejmě nemá vyříznutou velkou část svého spektra.
Tato technika je však chytrá i v tom, že díky tomu, že popředí je pouze červené/modré a pozadí pouze zelené, zjednodušuje se proces jejich oddělení. Běžný fotoaparát, který by normálně tyto barvy zachytil, místo toho zachytí červenou, modrou a alfa. Díky tomu jsou výsledné matné snímky mimořádně přesné a postrádají artefakty, které vznikají při nutnosti oddělit vstup s plným spektrem od pozadí s omezeným spektrem.
Zdroj: TC.com
Zdá se ovšem, že jen nahradili jednu obtíž jinou: Proces kompozice je nyní snadný, ale obnovení zeleného kanálu u objektů osvětlených purpurovou barvou je obtížné.
Je třeba postupovat systematicky a přizpůsobivě, protože předměty a kompozice se liší, ale "naivní" lineární přístup k injektáži zelené má za následek vymytý, nažloutlý vzhled. Jak to lze automatizovat? Umělá inteligence na pomoc!
Tým trénoval model strojového učení na vlastních tréninkových datech, v podstatě "zkušebních" záběrech podobných scén, ale normálně nasvícených. Konvoluční neuronová síť dostala k dispozici políčka obrazu s plným spektrem, která porovnávala s obrázky osvětlenými purpurovou barvou, a vyvinula postup pro rychlé obnovení chybějícího zeleného kanálu inteligentnějším způsobem než jednoduchý algoritmus.
Barvu lze tedy překvapivě dobře obnovit v postprodukci (je "prakticky nerozeznatelná" od pravdivého snímku v kameře) - ale stále je tu problém, že herci a kulisy musí být nasvíceny tímto příšerným způsobem. Mnoho herců si již stěžuje na to, jak nepřirozené je pracovat před zeleným plátnem - představte si, že to dělají při ostrém, nelidském osvětlení.
Zdroj: TC.com
V článku je však řešena možnost "časového multiplexování" osvětlení, což v podstatě znamená, že se purpurové/zelené osvětlení zapíná a vypíná vícekrát za sekundu. To je rušivé (dokonce nebezpečné), pokud se to dělá 24krát za sekundu (tj. snímkovou frekvencí, kterou se natáčí většina filmů a televizních pořadů), ale pokud se světlo zapíná rychleji - 144krát za sekundu - vypadá "téměř konstantně".
To však vyžaduje složitou synchronizaci s kamerou, která musí zachytit světlo pouze během krátkých okamžiků, kdy je scéna purpurová. A musí také zohlednit chybějící snímky pro pohyb...
Jak můžete říct, jedná se stále o velmi experimentální řešení. Je to však také zajímavý způsob, jak se vypořádat s odvěkým problémem mediální produkce s novým, technologicky vyspělým přístupem. Před pěti lety by to nebylo možné, a přestože se to může, ale nemusí na place ujmout, jednoznačně to stojí za vyzkoušení.
