Společnost Anthropic, kterou založili bývalí zaměstnanci OpenAI znepokojení riziky umělé inteligence, mění jeden ze svých základních pilířů. Klíčové body Anthropic uvolňuje své klíčové bezpečnostní závazky Tvrdé mantinely nahrazuje flexibilním, nezávazným rámcem Změna přichází uprostřed sporu s Pentagonem Firma se snaží sladit bezpečnost s konkurenčním tlakem Firma oznámila, že uvolňuje své klíčové bezpečnostní závazky a nahrazuje je flexibilnějším, nezávazným rámcem. Tento krok přichází v době sílící konkurence na trhu s AI a zároveň uprostřed citlivého konfliktu s americkým ministerstvem obrany ohledně tzv. „červených linií“ využití umělé inteligence. Anthropic se dlouhodobě profilovala jako technologická firma s výrazným důrazem na bezpečnost, odpovědnost a etické otázky. Sama sebe opakovaně označovala za AI společnost s „duší“. Právě proto je aktuální změna politiky vnímána jako překvapivý obrat, který vyvolává otázky o tom, zda tlak trhu a politického prostředí nezačíná převažovat nad původními ideály. Zdroj: Shutterstock Od pevných mantinelů k flexibilnímu rámci Ve svém blogovém příspěvku společnost uvedla, že její dosavadní Responsible Scaling Policy, zavedená před dvěma lety, již neodpovídá realitě rychle se vyvíjejícího AI trhu. Podle vedení firmy by striktní, samonastavená omezení mohla brzdit schopnost konkurovat ostatním hráčům, kteří podobná omezení nedodržují. Původní politika obsahovala zásadní závazek: pokud by schopnosti vyvíjených modelů překročily možnosti firmy zajistit jejich kontrolu a bezpečnost, Anthropic by pozastavila další trénink. Tento mechanismus byl nyní odstraněn. Společnost argumentuje, že jednostranné zpomalení vývoje ze strany odpovědných firem, zatímco méně opatrní konkurenti pokračují bez omezení, by mohlo ve výsledku vést ke méně bezpečnému světu. Nový přístup odděluje vlastní bezpečnostní plány společnosti od jejích doporučení pro celý AI průmysl. Anthropic přiznává, že doufala v tzv. „race to the top“, tedy závod ke zvyšování bezpečnostních standardů napříč odvětvím. Tento scénář se však podle firmy nenaplnil a trh se vydal spíše opačným směrem. Transparentnost místo tvrdých závazků Součástí nové politiky je tzv. Frontier Safety Roadmap, která popisuje interní směrnice a ochranná opatření firmy. Zásadní rozdíl oproti minulosti spočívá v tom, že nejde o pevné sliby, ale o veřejně deklarované cíle, u nichž se Anthropic zavazuje pravidelně hodnotit a zveřejňovat vlastní pokrok. Společnost v reakci na kritiku zdůrazňuje, že nový rámec posiluje transparentnost. V prohlášení pro CNN mluvčí Anthropic uvedl, že jde o dosud nejsilnější politiku z hlediska veřejné odpovědnosti. Firma se zavázala pravidelně publikovat detailní zprávy o svých opatřeních ke zmírňování rizik, stejně jako o hrozbách a schopnostech všech svých modelů. Anthropic zároveň připomíná, že už při vzniku původní politiky počítala s tím, že rychlé tempo vývoje AI a nejistota v oboru budou vyžadovat průběžné úpravy. Změna tak podle firmy neznamená rezignaci na bezpečnost, ale přizpůsobení se realitě, v níž se technologický i politický kontext rychle mění. Konflikt s Pentagonem a červené linie AI Změna bezpečnostní politiky přichází ve stejném týdnu, kdy Anthropic vede výrazný spor s americkým Pentagonem. Podle zdrojů obeznámených se situací dal ministr obrany Pete Hegseth generálnímu řediteli Dariu Amodeimu ultimátum: buď firma ustoupí od části svých AI safeguardů, nebo riskuje ztrátu kontraktu v hodnotě 200 milionů dolarů a zařazení na seznam subjektů, se kterými vláda nechce spolupracovat. Anthropic nicméně tvrdí, že změna politiky je oddělená a nesouvisející s jednáními s Pentagonem. Firma má podle dostupných informací dvě zásadní oblasti, ve kterých není ochotna ustoupit. První se týká AI řízených zbraní, u nichž společnost zastává názor, že současná technologie není dostatečně spolehlivá pro autonomní rozhodování o použití síly. Druhou oblastí je masové domácí sledování amerických občanů, kde podle Anthropic chybí jasný právní rámec a dostatečné záruky proti zneužití. Zdroj: Shutterstock Tyto postoje si vysloužily podporu části výzkumné komunity. Někteří AI vědci na sociálních sítích ocenili, že Anthropic drží jasné hranice v otázkách zbraní a dohledu, a vyjádřili obavy z potenciálního zneužití AI státními institucemi. Tlak konkurence a proměna identity Anthropic si v minulosti budovala pověst firmy, která otevřeně upozorňuje na rizika vlastních technologií. Publikovala například výzkumy naznačující, že její modely by za určitých podmínek mohly být schopné vydírání. Nedávno také darovala 20 milionů dolarů politické organizaci Public First Action, která prosazuje regulaci a vzdělávání v oblasti AI. Současně však firma čelí rostoucímu tlaku jak ze strany vlády, tak konkurence. Spolu s OpenAI soupeří o uvedení nových enterprise AI nástrojů, které mají rozhodnout o tom, kdo ovládne pracovní prostředí budoucnosti. Hrozba využití obranných zákonů a označení za riziko pro dodavatelský řetězec ze strany ministerstva obrany tento tlak dále zvyšuje. Hlavní vědecký ředitel Anthropic Jared Kaplan v rozhovoru pro Time uvedl, že změna politiky byla motivována spíše bezpečností než snahou o agresivnější konkurenci. Podle něj by zastavení vývoje modelů v situaci, kdy ostatní firmy pokračují bez omezení, nepřineslo reálný přínos. V prostředí rychlého technologického pokroku podle Kaplana nedává smysl přijímat jednostranné závazky, které by firmu oslabily bez širšího dopadu na celý trh. Anthropic se tak ocitá v bodě, kdy se snaží vybalancovat svou původní identitu bezpečnostně orientované společnosti s realitou ostrého konkurenčního boje a politického tlaku. Zda se jí podaří udržet důvěru veřejnosti i investorů, aniž by zcela opustila své původní hodnoty, zůstává otevřenou otázkou.