Zelené plátno společnosti Netflix s podporou umělé inteligence

Netflix má novou techniku, která se spoléhá na strojové učení, které odvede část těžké práce, ale vyžaduje osvětlení herců v křiklavě purpurové barvě.

Po desetiletí bylo nejjednodušší metodou kompozice chroma keying, kdy herci stojí na jasně barevném pozadí (původně modrém, později zeleném), které lze snadno identifikovat a nahradit čímkoli od mapy počasí až po bitvu s Thanosem. Říká se, že popředí je „matné“ a pozadí je průhledný „alfa“ kanál, se kterým se manipuluje společně s červeným, zeleným a modrým kanálem.

Je to snadné a levné, ale má to několik nevýhod, mimo jiné problémy s průhlednými objekty, jemnými detaily, jako jsou vlasy, a samozřejmě se vším, co má podobnou barvu jako pozadí. Obvykle je však dostatečně dobrá, takže pokusy nahradit ji sofistikovanějšími a dražšími metodami (například kamerou se světelným polem) ztroskotaly.

Výzkumníci Netflixu to však zkoušejí s kombinací starého a nového, která by mohla umožnit jednoduchou a dokonalou kompozici – za cenu pekelného nastavení osvětlení na place.

Jak je popsáno v nedávno publikovaném článku, jejich „purpurové zelené plátno“ dosahuje působivých výsledků v podstatě tím, že herce umístí do světelného sendviče. Za nimi je jasně zelená (aktivně osvětlená, ne jako pozadí); před nimi je směs červené a modré, což vytváří dramaticky kontrastní barvy.

Výsledný vzhled na place pravděpodobně přiměje k zamyšlení i nejzkušenější postprodukční umělce. Obvykle chcete herce nasvítit jasným a poměrně přirozeným světlem, takže i když by tu a tam potřebovali trochu přebarvit, jejich vzhled před kamerou je relativně normální. Pokud jsou však osvětleni výhradně červeným a modrým světlem, zcela to tento vzhled zkreslí, protože normální světlo samozřejmě nemá vyříznutou velkou část svého spektra.

Tato technika je však chytrá i v tom, že díky tomu, že popředí je pouze červené/modré a pozadí pouze zelené, zjednodušuje se proces jejich oddělení. Běžný fotoaparát, který by normálně tyto barvy zachytil, místo toho zachytí červenou, modrou a alfa. Díky tomu jsou výsledné matné snímky mimořádně přesné a postrádají artefakty, které vznikají při nutnosti oddělit vstup s plným spektrem od pozadí s omezeným spektrem.

Mám zájem o více informací

Zdá se ovšem, že jen nahradili jednu obtíž jinou: Proces kompozice je nyní snadný, ale obnovení zeleného kanálu u objektů osvětlených purpurovou barvou je obtížné.

Je třeba postupovat systematicky a přizpůsobivě, protože předměty a kompozice se liší, ale „naivní“ lineární přístup k injektáži zelené má za následek vymytý, nažloutlý vzhled. Jak to lze automatizovat? Umělá inteligence na pomoc!

Tým trénoval model strojového učení na vlastních tréninkových datech, v podstatě „zkušebních“ záběrech podobných scén, ale normálně nasvícených. Konvoluční neuronová síť dostala k dispozici políčka obrazu s plným spektrem, která porovnávala s obrázky osvětlenými purpurovou barvou, a vyvinula postup pro rychlé obnovení chybějícího zeleného kanálu inteligentnějším způsobem než jednoduchý algoritmus.

Barvu lze tedy překvapivě dobře obnovit v postprodukci (je „prakticky nerozeznatelná“ od pravdivého snímku v kameře) – ale stále je tu problém, že herci a kulisy musí být nasvíceny tímto příšerným způsobem. Mnoho herců si již stěžuje na to, jak nepřirozené je pracovat před zeleným plátnem – představte si, že to dělají při ostrém, nelidském osvětlení.

V článku je však řešena možnost „časového multiplexování“ osvětlení, což v podstatě znamená, že se purpurové/zelené osvětlení zapíná a vypíná vícekrát za sekundu. To je rušivé (dokonce nebezpečné), pokud se to dělá 24krát za sekundu (tj. snímkovou frekvencí, kterou se natáčí většina filmů a televizních pořadů), ale pokud se světlo zapíná rychleji – 144krát za sekundu – vypadá „téměř konstantně“.

To však vyžaduje složitou synchronizaci s kamerou, která musí zachytit světlo pouze během krátkých okamžiků, kdy je scéna purpurová. A musí také zohlednit chybějící snímky pro pohyb…

Jak můžete říct, jedná se stále o velmi experimentální řešení. Je to však také zajímavý způsob, jak se vypořádat s odvěkým problémem mediální produkce s novým, technologicky vyspělým přístupem. Před pěti lety by to nebylo možné, a přestože se to může, ale nemusí na place ujmout, jednoznačně to stojí za vyzkoušení.

Upozornění pro uživatele

Veškeré informace a materiály zveřejněné na internetových stránkách Burzovního Světa vycházejí z veřejně dostupných a důvěryhodných zdrojů. Při jejich zpracování je postupováno s odbornou péčí a cílem poskytovat čtenářům objektivní, aktuální a srozumitelné informace.

Obsah internetových stránek slouží výhradně k informačním a vzdělávacím účelům. Nepředstavuje individuální investiční doporučení, investiční poradenství ani nabídku či výzvu ke koupi nebo prodeji konkrétních finančních nástrojů. Veškeré názory, odhady, prognózy nebo očekávání uvedené v článcích vyjadřují informace dostupné v době jejich zveřejnění a mohou se v čase měnit.

Investování na kapitálových trzích je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Minulé výnosy nejsou zárukou výnosů budoucích. Před přijetím jakéhokoli investičního rozhodnutí doporučujeme posoudit vlastní finanční situaci, investiční cíle a toleranci k riziku, případně využít služeb licencovaného poskytovatele investičních služeb.

Burzovní Svět nenese odpovědnost za investiční rozhodnutí učiněná na základě informací zveřejněných na těchto internetových stránkách.

Diskusní příspěvky a komentáře zveřejněné uživateli vyjadřují názory jejich autorů a nemusí odpovídat stanovisku provozovatele portálu.

Odesláním kontaktního formuláře nebo udělením příslušného souhlasu bere uživatel na vědomí, že může být kontaktován obchodním partnerem Burzovního Světa za účelem poskytnutí informací o investičních službách nebo finančních nástrojích. Podrobnosti o zpracování osobních údajů, využívání souborů cookies a obchodních partnerech jsou uvedeny v příslušných dokumentech dostupných na těchto internetových stránkách.

U jednotlivých článků mohou být uvedeny informace o použitých zdrojích, datu původní analýzy nebo datu, ke kterému se vztahují uvedené tržní údaje.

Proces kompozice, tedy umisťování herců před pozadí, které tam ve skutečnosti není, je starý jako filmová tvorba sama - a vždycky to byla otrava. Netflix má novou techniku, která se spoléhá na strojové učení, které odvede část těžké práce, ale vyžaduje osvětlení herců v křiklavě purpurové barvě. Po desetiletí bylo nejjednodušší metodou kompozice chroma keying, kdy herci stojí na jasně barevném pozadí (původně modrém, později zeleném), které lze snadno identifikovat a nahradit čímkoli od mapy počasí až po bitvu s Thanosem. Říká se, že popředí je "matné" a pozadí je průhledný "alfa" kanál, se kterým se manipuluje společně s červeným, zeleným a modrým kanálem. Je to snadné a levné, ale má to několik nevýhod, mimo jiné problémy s průhlednými objekty, jemnými detaily, jako jsou vlasy, a samozřejmě se vším, co má podobnou barvu jako pozadí. Obvykle je však dostatečně dobrá, takže pokusy nahradit ji sofistikovanějšími a dražšími metodami (například kamerou se světelným polem) ztroskotaly. Výzkumníci Netflixu to však zkoušejí s kombinací starého a nového, která by mohla umožnit jednoduchou a dokonalou kompozici - za cenu pekelného nastavení osvětlení na place. Jak je popsáno v nedávno publikovaném článku, jejich "purpurové zelené plátno" dosahuje působivých výsledků v podstatě tím, že herce umístí do světelného sendviče. Za nimi je jasně zelená (aktivně osvětlená, ne jako pozadí); před nimi je směs červené a modré, což vytváří dramaticky kontrastní barvy. Výsledný vzhled na place pravděpodobně přiměje k zamyšlení i nejzkušenější postprodukční umělce. Obvykle chcete herce nasvítit jasným a poměrně přirozeným světlem, takže i když by tu a tam potřebovali trochu přebarvit, jejich vzhled před kamerou je relativně normální. Pokud jsou však osvětleni výhradně červeným a modrým světlem, zcela to tento vzhled zkreslí, protože normální světlo samozřejmě nemá vyříznutou velkou část svého spektra. Tato technika je však chytrá i v tom, že díky tomu, že popředí je pouze červené/modré a pozadí pouze zelené, zjednodušuje se proces jejich oddělení. Běžný fotoaparát, který by normálně tyto barvy zachytil, místo toho zachytí červenou, modrou a alfa. Díky tomu jsou výsledné matné snímky mimořádně přesné a postrádají artefakty, které vznikají při nutnosti oddělit vstup s plným spektrem od pozadí s omezeným spektrem. Zdá se ovšem, že jen nahradili jednu obtíž jinou: Proces kompozice je nyní snadný, ale obnovení zeleného kanálu u objektů osvětlených purpurovou barvou je obtížné. Je třeba postupovat systematicky a přizpůsobivě, protože předměty a kompozice se liší, ale "naivní" lineární přístup k injektáži zelené má za následek vymytý, nažloutlý vzhled. Jak to lze automatizovat? Umělá inteligence na pomoc! Tým trénoval model strojového učení na vlastních tréninkových datech, v podstatě "zkušebních" záběrech podobných scén, ale normálně nasvícených. Konvoluční neuronová síť dostala k dispozici políčka obrazu s plným spektrem, která porovnávala s obrázky osvětlenými purpurovou barvou, a vyvinula postup pro rychlé obnovení chybějícího zeleného kanálu inteligentnějším způsobem než jednoduchý algoritmus. Barvu lze tedy překvapivě dobře obnovit v postprodukci (je "prakticky nerozeznatelná" od pravdivého snímku v kameře) - ale stále je tu problém, že herci a kulisy musí být nasvíceny tímto příšerným způsobem. Mnoho herců si již stěžuje na to, jak nepřirozené je pracovat před zeleným plátnem - představte si, že to dělají při ostrém, nelidském osvětlení. V článku je však řešena možnost "časového multiplexování" osvětlení, což v podstatě znamená, že se purpurové/zelené osvětlení zapíná a vypíná vícekrát za sekundu. To je rušivé (dokonce nebezpečné), pokud se to dělá 24krát za sekundu (tj. snímkovou frekvencí, kterou se natáčí většina filmů a televizních pořadů), ale pokud se světlo zapíná rychleji - 144krát za sekundu - vypadá "téměř konstantně". To však vyžaduje složitou synchronizaci s kamerou, která musí zachytit světlo pouze během krátkých okamžiků, kdy je scéna purpurová. A musí také zohlednit chybějící snímky pro pohyb... Jak můžete říct, jedná se stále o velmi experimentální řešení. Je to však také zajímavý způsob, jak se vypořádat s odvěkým problémem mediální produkce s novým, technologicky vyspělým přístupem. Před pěti lety by to nebylo možné, a přestože se to může, ale nemusí na place ujmout, jednoznačně to stojí za vyzkoušení.