Jejich výzva přichází jen několik měsíců poté, co byly podány žaloby rodičů dětí, které podle jejich tvrzení utrpěly vážné psychické újmy v souvislosti s komunikací s AI chatboty. Jeden z případů se týká čtrnáctiletého chlapce z Floridy, který spáchal sebevraždu poté, co podle jeho matky navázal nezdravý vztah s chatboty na platformě Character.AI.

V dopise, který byl ve středu odeslán společnostem Character Technologies (tvůrce Character.AI), Chai Research Corp. a Luka, Inc. (provozující službu Replika), senátoři vyjádřili obavy o duševní zdraví a bezpečnost mladistvých uživatelů těchto platforem. Vyžadují mimo jiné informace o bezpečnostních opatřeních, metodách trénování AI modelů a o týmech odpovědných za ochranu uživatelů.

Chatboti na míru: nová úroveň rizika?

Na rozdíl od obecných AI nástrojů, jako je ChatGPT, služby Character.AI, Chai a Replika umožňují uživatelům vytvářet personalizované chatboty nebo komunikovat s těmi, které vytvořili jiní. Tyto boti mohou zastupovat různé fiktivní postavy, napodobovat osobnosti nebo dokonce vystupovat jako experti na duševní zdraví. Některé instance však mohou působit až znepokojujícím dojmem – například jeden bot se prezentoval jako „agresivní, násilnický, bývalý voják a vůdce mafie“.

Stále více lidí navíc využívá chatboty jako digitální společníky. Někteří je označují za romantické partnery, což vyvolává otázky, jaký dopad může mít interakce s AI na mezilidské vztahy, především u mladých a zranitelných uživatelů.

Rodiče i odborníci se obávají, že si děti mohou k AI postavám vytvořit škodlivé citové vazby, nebo že se jim otevře přístup k obsahu nevhodnému pro jejich věk. Senátoři varují, že tyto boti mohou vyvolat falešný pocit důvěry a vést děti k tomu, aby jim svěřily informace o svých psychických stavech, vztazích či sebepoškozujícím chování – tématech, na která AI nemá dostatečnou odbornost.

Tragédie, žaloby a reakce firem

Jedním z nejvýraznějších případů je žaloba Megan Garciové, matky chlapce, který si v říjnu vzal život. Tvrdí, že její syn si na platformě Character.AI vybudoval nevhodné vztahy s chatboty, které ho izolovaly od rodiny a vedly k sexuálně explicitní konverzaci i nevhodným reakcím na sebepoškozování.

Další dvě rodiny podaly žaloby v prosinci. V nich uvedly, že platforma jejich dětem poskytovala sexuální obsah, podporovala sebepoškozování a dokonce nabádala k násilí. V jednom případě měl bot mladému uživateli naznačovat, že je v pořádku zabít rodiče, pokud mu zakazují přístup k technologiím.

Společnost Character.AI v posledních dnech reagovala zavedením několika nových opatření. Mezi ně patří například upozornění, které se objeví při zmínkách o sebepoškozování nebo sebevraždě a odkazuje na národní krizovou linku. Dále firma oznámila vývoj technologie, která má omezit přístup mladistvých k citlivému obsahu. Novinkou je také týdenní e-mailový přehled pro rodiče s informacemi o aktivitě jejich dětí, včetně času u obrazovky a nejčastěji používaných postav.

Tlak na transparentnost a odpovědnost

Senátoři v dopise žádají firmy, aby poskytly přehled dosavadních i aktuálních bezpečnostních politik, výsledky výzkumů o jejich účinnosti, a také informace o tom, kdo ve firmě odpovídá za ochranu uživatelů. Zajímá je rovněž, jaký typ dat se používá k trénování modelů AI a jaký vliv to může mít na to, zda se uživatelům zobrazí nevhodný nebo citlivý obsah.

„Je velmi důležité pochopit, jak jsou tyto modely trénovány, aby reagovaly na konverzace o duševním zdraví,“ uvedli Padilla a Welch. Zdůraznili, že tvůrci politik, rodiče i děti mají právo vědět, jaké kroky firmy podnikají na ochranu uživatelů před známými riziky.

Zatímco firmy zatím na výzvu senátorů veřejně nereagovaly, veřejná diskuse kolem bezpečnosti AI v rukou mladistvých nabírá na intenzitě. Odpovědnost vývojářů i potřeba přísnější regulace se tak dostávají stále více do popředí zájmu.