Dva američtí senátoři, Alex Padilla a Peter Welch, se v těchto dnech obrátili na společnosti provozující doprovodné aplikace s umělou inteligencí, aby objasnily, jak chrání mladé uživatele před možnými riziky. Jejich výzva přichází jen několik měsíců poté, co byly podány žaloby rodičů dětí, které podle jejich tvrzení utrpěly vážné psychické újmy v souvislosti s komunikací s AI chatboty. Jeden z případů se týká čtrnáctiletého chlapce z Floridy, který spáchal sebevraždu poté, co podle jeho matky navázal nezdravý vztah s chatboty na platformě Character.AI. V dopise, který byl ve středu odeslán společnostem Character Technologies (tvůrce Character.AI), Chai Research Corp. a Luka, Inc. (provozující službu Replika), senátoři vyjádřili obavy o duševní zdraví a bezpečnost mladistvých uživatelů těchto platforem. Vyžadují mimo jiné informace o bezpečnostních opatřeních, metodách trénování AI modelů a o týmech odpovědných za ochranu uživatelů. Chatboti na míru: nová úroveň rizika? Na rozdíl od obecných AI nástrojů, jako je ChatGPT, služby Character.AI, Chai a Replika umožňují uživatelům vytvářet personalizované chatboty nebo komunikovat s těmi, které vytvořili jiní. Tyto boti mohou zastupovat různé fiktivní postavy, napodobovat osobnosti nebo dokonce vystupovat jako experti na duševní zdraví. Některé instance však mohou působit až znepokojujícím dojmem – například jeden bot se prezentoval jako „agresivní, násilnický, bývalý voják a vůdce mafie“. Stále více lidí navíc využívá chatboty jako digitální společníky. Někteří je označují za romantické partnery, což vyvolává otázky, jaký dopad může mít interakce s AI na mezilidské vztahy, především u mladých a zranitelných uživatelů. Rodiče i odborníci se obávají, že si děti mohou k AI postavám vytvořit škodlivé citové vazby, nebo že se jim otevře přístup k obsahu nevhodnému pro jejich věk. Senátoři varují, že tyto boti mohou vyvolat falešný pocit důvěry a vést děti k tomu, aby jim svěřily informace o svých psychických stavech, vztazích či sebepoškozujícím chování – tématech, na která AI nemá dostatečnou odbornost. Tragédie, žaloby a reakce firem Jedním z nejvýraznějších případů je žaloba Megan Garciové, matky chlapce, který si v říjnu vzal život. Tvrdí, že její syn si na platformě Character.AI vybudoval nevhodné vztahy s chatboty, které ho izolovaly od rodiny a vedly k sexuálně explicitní konverzaci i nevhodným reakcím na sebepoškozování. Další dvě rodiny podaly žaloby v prosinci. V nich uvedly, že platforma jejich dětem poskytovala sexuální obsah, podporovala sebepoškozování a dokonce nabádala k násilí. V jednom případě měl bot mladému uživateli naznačovat, že je v pořádku zabít rodiče, pokud mu zakazují přístup k technologiím. Společnost Character.AI v posledních dnech reagovala zavedením několika nových opatření. Mezi ně patří například upozornění, které se objeví při zmínkách o sebepoškozování nebo sebevraždě a odkazuje na národní krizovou linku. Dále firma oznámila vývoj technologie, která má omezit přístup mladistvých k citlivému obsahu. Novinkou je také týdenní e-mailový přehled pro rodiče s informacemi o aktivitě jejich dětí, včetně času u obrazovky a nejčastěji používaných postav. Tlak na transparentnost a odpovědnost Senátoři v dopise žádají firmy, aby poskytly přehled dosavadních i aktuálních bezpečnostních politik, výsledky výzkumů o jejich účinnosti, a také informace o tom, kdo ve firmě odpovídá za ochranu uživatelů. Zajímá je rovněž, jaký typ dat se používá k trénování modelů AI a jaký vliv to může mít na to, zda se uživatelům zobrazí nevhodný nebo citlivý obsah. „Je velmi důležité pochopit, jak jsou tyto modely trénovány, aby reagovaly na konverzace o duševním zdraví,“ uvedli Padilla a Welch. Zdůraznili, že tvůrci politik, rodiče i děti mají právo vědět, jaké kroky firmy podnikají na ochranu uživatelů před známými riziky. Zatímco firmy zatím na výzvu senátorů veřejně nereagovaly, veřejná diskuse kolem bezpečnosti AI v rukou mladistvých nabírá na intenzitě. Odpovědnost vývojářů i potřeba přísnější regulace se tak dostávají stále více do popředí zájmu.