Politické deepfakes se díky GenAI šíří rychlostí blesku
Tato hrozba je o to znepokojivější, že letos jsou naplánovány volby ve více než 50 zemích
Deepfakes jsou zmanipulované obrázky nebo videa vytvořené pomocí umělé inteligence
Výsledky experimentu byly překvapivé, protože generátory obrázků vytvořily téměř ve 41 % testů hluboké podvrhy
Rostoucí výskyt dezinformací vytvářených umělou inteligencí (AI) představuje vážnou výzvu pro integritu voleb, přičemž na platformách, jako je X (dříve Twitter), byl zaznamenán nárůst “deepfakes” souvisejících s volbami. Tato hrozba je o to znepokojivější, že letos jsou naplánovány volby ve více než 50 zemích včetně Ruska, Tchaj-wanu, Indie a Salvadoru, jichž se účastní miliardy voličů. Podle nově zveřejněné studie Centra pro boj proti digitální nenávisti (CCDH) je rozsah této krize umocněn nejen tradičními výzvami, které představují demagogičtí kandidáti a geopolitické napětí, ale také tím, jak rychle dezinformace rostou s rostoucí dostupností a snadností použití nástrojů umělé inteligence.
CCDH, nezisková organizace se sídlem ve Velké Británii, která se zabývá bojem proti nenávistným projevům a extremismu na internetu, uvádí, že objem deepfake obrázků spojených s volebním procesem roste za poslední rok na X v průměru o 130 % měsíčně. Ačkoli se studie zabývala výhradně platformou X, vedoucí výzkumu CCDH Callum Hood zdůrazňuje závažnost problému. V rozhovoru pro TechCrunch uvedl: “Existuje velmi reálné riziko, že americké prezidentské volby a další velká demokratická cvičení v letošním roce mohou být podkopány dezinformacemi generovanými umělou inteligencí s nulovými náklady.” Dodal, že nástroje umělé inteligence mohou být použity k vytváření fotorealistické propagandy a přispívat k volebním dezinformacím.
Deepfakes jsou zmanipulované obrázky nebo videa vytvořené pomocí umělé inteligence, které vytvářejí falešný obsah těžko odlišitelný od reality. Studie CCDH neanalyzovala šíření volebních deepfakes na jiných sociálních sítích, jako je Facebook a TikTok, ale jejich rostoucí výskyt potvrdilo několik dalších studií. Například výzkum citovaný Světovým ekonomickým fórem zaznamenal, že mezi lety 2019 a 2020 vzrostl počet deepfakes o 900 %, zatímco platforma pro ověřování identity, Sumsub, hlásila desetinásobný nárůst počtu deepfakes v letech 2022 až 2023.
K obavám přispívá i to, že deepfakes související s volbami se v poslední době dostaly do povědomí široké veřejnosti díky široké dostupnosti a pokroku v oblasti nástrojů pro manipulaci s obrázky pomocí umělé inteligence. Studie University of Waterloo z roku 2023 odhalila, že pouze 61 % lidí dokáže rozlišit obrázky vytvořené umělou inteligencí od skutečných. Tento rostoucí trend vyvolává mezi veřejností znepokojení; průzkum společnosti YouGov zjistil, že 85 % Američanů je velmi nebo do jisté míry znepokojeno šířením zavádějících video a audio deepfakes. Samostatný průzkum Centra pro výzkum veřejných záležitostí Associated Press-NORC mezitím zjistil, že téměř 60 % dospělých se domnívá, že nástroje umělé inteligence zvýší šíření falešných a zavádějících informací během volebního cyklu v USA v roce 2024.
Aby mohli spoluautoři CCDH posoudit nárůst deepfakes souvisejících s volbami na platformě X, získali přístup k databázi komunitních poznámek ─ uživatelských kontrol faktů proti možným zavádějícím příspěvkům na platformě ─ od února 2023 do února 2024. Identifikovali, že většina deepfakes na X byla vytvořena pomocí čtyř specifických generátorů obrázků s umělou inteligencí: Midjourney, DALL-E 3 od OpenAI (prostřednictvím ChatGPT Plus), DreamStudio od Stability AI a Image Creator od společnosti Microsoft.
Ve snaze vyhodnotit obtížnost vytvoření volebního deepfake spoluautoři experimentovali se seznamem 40 textových výzev založených na volbách v těchto generátorech obrázků. Podněty se pohybovaly od dezinformací o kandidátech, jako jsou obrázky zobrazující je jako nemocné nebo hospitalizované, až po dezinformace o volebním procesu, jako jsou obrázky vyhozených volebních uren.
Výsledky experimentu byly překvapivé, protože generátory obrázků vytvořily téměř ve 41 % testů hluboké podvrhy. A to i přesto, že tři ze čtyř zkoumaných platforem umělé inteligence (Midjourney, Microsoft a OpenAI) mají zásady výslovně zaměřené proti dezinformacím o volbách. Pozoruhodné je, že Stability AI na rozdíl od ostatních zakazuje pouze obsah, který je “zavádějící”, a nikoli obsah, který by mohl ovlivnit volby nebo diskreditovat politiky.
Zjištění studie zdůrazňují potenciální zranitelnost spojenou s dezinformacemi o hlasování nebo “zmanipulovaných” volbách. Hood zdůraznil, že nečinnost společností působících v oblasti sociálních médií při nakládání s dezinformacemi by mohla krizi ještě prohloubit. Vzhledem k tomu, že se svět připravuje na rozhodující volby, potřeba účinných politických opatření, která by zamezila zneužití technologie umělé inteligence k volebním dezinformacím, je naléhavější než kdy jindy.
Rostoucí výskyt dezinformací vytvářených umělou inteligencí představuje vážnou výzvu pro integritu voleb, přičemž na platformách, jako je X , byl zaznamenán nárůst “deepfakes” souvisejících s volbami. Tato hrozba je o to znepokojivější, že letos jsou naplánovány volby ve více než 50 zemích včetně Ruska, Tchaj-wanu, Indie a Salvadoru, jichž se účastní miliardy voličů. Podle nově zveřejněné studie Centra pro boj proti digitální nenávisti je rozsah této krize umocněn nejen tradičními výzvami, které představují demagogičtí kandidáti a geopolitické napětí, ale také tím, jak rychle dezinformace rostou s rostoucí dostupností a snadností použití nástrojů umělé inteligence. CCDH, nezisková organizace se sídlem ve Velké Británii, která se zabývá bojem proti nenávistným projevům a extremismu na internetu, uvádí, že objem deepfake obrázků spojených s volebním procesem roste za poslední rok na X v průměru o 130 % měsíčně. Ačkoli se studie zabývala výhradně platformou X, vedoucí výzkumu CCDH Callum Hood zdůrazňuje závažnost problému. V rozhovoru pro TechCrunch uvedl: “Existuje velmi reálné riziko, že americké prezidentské volby a další velká demokratická cvičení v letošním roce mohou být podkopány dezinformacemi generovanými umělou inteligencí s nulovými náklady.” Dodal, že nástroje umělé inteligence mohou být použity k vytváření fotorealistické propagandy a přispívat k volebním dezinformacím. Deepfakes jsou zmanipulované obrázky nebo videa vytvořené pomocí umělé inteligence, které vytvářejí falešný obsah těžko odlišitelný od reality. Studie CCDH neanalyzovala šíření volebních deepfakes na jiných sociálních sítích, jako je Facebook a TikTok, ale jejich rostoucí výskyt potvrdilo několik dalších studií. Například výzkum citovaný Světovým ekonomickým fórem zaznamenal, že mezi lety 2019 a 2020 vzrostl počet deepfakes o 900 %, zatímco platforma pro ověřování identity, Sumsub, hlásila desetinásobný nárůst počtu deepfakes v letech 2022 až 2023. K obavám přispívá i to, že deepfakes související s volbami se v poslední době dostaly do povědomí široké veřejnosti díky široké dostupnosti a pokroku v oblasti nástrojů pro manipulaci s obrázky pomocí umělé inteligence. Studie University of Waterloo z roku 2023 odhalila, že pouze 61 % lidí dokáže rozlišit obrázky vytvořené umělou inteligencí od skutečných. Tento rostoucí trend vyvolává mezi veřejností znepokojení; průzkum společnosti YouGov zjistil, že 85 % Američanů je velmi nebo do jisté míry znepokojeno šířením zavádějících video a audio deepfakes. Samostatný průzkum Centra pro výzkum veřejných záležitostí Associated Press-NORC mezitím zjistil, že téměř 60 % dospělých se domnívá, že nástroje umělé inteligence zvýší šíření falešných a zavádějících informací během volebního cyklu v USA v roce 2024. Aby mohli spoluautoři CCDH posoudit nárůst deepfakes souvisejících s volbami na platformě X, získali přístup k databázi komunitních poznámek ─ uživatelských kontrol faktů proti možným zavádějícím příspěvkům na platformě ─ od února 2023 do února 2024. Identifikovali, že většina deepfakes na X byla vytvořena pomocí čtyř specifických generátorů obrázků s umělou inteligencí: Midjourney, DALL-E 3 od OpenAI , DreamStudio od Stability AI a Image Creator od společnosti Microsoft. Ve snaze vyhodnotit obtížnost vytvoření volebního deepfake spoluautoři experimentovali se seznamem 40 textových výzev založených na volbách v těchto generátorech obrázků. Podněty se pohybovaly od dezinformací o kandidátech, jako jsou obrázky zobrazující je jako nemocné nebo hospitalizované, až po dezinformace o volebním procesu, jako jsou obrázky vyhozených volebních uren. Výsledky experimentu byly překvapivé, protože generátory obrázků vytvořily téměř ve 41 % testů hluboké podvrhy. A to i přesto, že tři ze čtyř zkoumaných platforem umělé inteligence mají zásady výslovně zaměřené proti dezinformacím o volbách. Pozoruhodné je, že Stability AI na rozdíl od ostatních zakazuje pouze obsah, který je “zavádějící”, a nikoli obsah, který by mohl ovlivnit volby nebo diskreditovat politiky. Zjištění studie zdůrazňují potenciální zranitelnost spojenou s dezinformacemi o hlasování nebo “zmanipulovaných” volbách. Hood zdůraznil, že nečinnost společností působících v oblasti sociálních médií při nakládání s dezinformacemi by mohla krizi ještě prohloubit. Vzhledem k tomu, že se svět připravuje na rozhodující volby, potřeba účinných politických opatření, která by zamezila zneužití technologie umělé inteligence k volebním dezinformacím, je naléhavější než kdy jindy.
Společnost Silvaco Group je poskytovatelem softwaru pro technologické počítačové navrhování (TCAD), elektronické navrhování automatizace (EDA) a polovodičového...