Umělá inteligence umí stále více věcí. Klíčové body Pramaana Labs získala financování 27 milionů dolarů vedené fondem Khosla Ventures Startup kombinuje jazykové modely s matematickou verifikací pro vyšší přesnost výstupů Firma cílí na oblasti jako právo, vývoj léčiv, daně a kybernetická bezpečnost Na vývoji se podílejí odborníci z IRS, IIT Delhi, IIT Madras a UC Berkeley Její největší slabinou ale zůstává spolehlivost. Právě na tento problém se zaměřuje startup Pramaana Labs, který oznámil získání 27 milionů dolarů v seed investičním kole vedeném fondem Khosla Ventures. Společnost chce propojit svět moderních jazykových modelů s metodami formální matematické verifikace. Cílem je vytvořit systémy, které si dokážou ověřovat správnost vlastních odpovědí a výrazně omezit riziko chyb či takzvaných halucinací, které dnes představují jednu z největších překážek širšího nasazení AI v citlivých oborech. Do investičního kola se kromě Khosla Ventures zapojily také fondy Accel, BoldCap, Nexus Venture Partners, Premji Invest a Unbound. Zdroj: pramaanalabs.ai Firmy narážejí na limity současné AI Navzdory obrovskému rozmachu umělé inteligence mnoho podniků stále zápasí s přechodem od experimentálních projektů ke skutečnému nasazení v každodenním provozu. Důvod je jednoduchý. V řadě oblastí nestačí, aby AI fungovala většinu času správně. Chyba může znamenat finanční ztrátu, právní problém nebo dokonce ohrožení zdraví. Právě proto se Pramaana Labs zaměřuje na segmenty, kde je přesnost zásadní. Patří mezi ně právní služby, vývoj léčiv, kybernetická bezpečnost nebo daňové poradenství. V těchto oblastech nestačí pouze generovat pravděpodobné odpovědi. Výsledky musí být ověřitelné a konzistentní s přesně definovanými pravidly. Zakladatel a generální ředitel společnosti Ranjan Rajagopalan upozorňuje, že například daňové systémy jsou ve své podstatě souborem pravidel. Pokud jsou tato pravidla správně formalizována a převedena do strojově čitelné podoby, lze nad nimi provádět deterministické vyhodnocování a kontrolu správnosti. To je zásadní rozdíl oproti běžným jazykovým modelům, které odpovědi vytvářejí na základě statistických pravděpodobností a mohou se mýlit i v případech, kdy znějí velmi přesvědčivě. Matematická kontrola odpovědí jako konkurenční výhoda Pramaana Labs nestaví zcela nový jazykový model. Naopak využívá klasické LLM systémy, které poskytují flexibilitu při komunikaci v přirozeném jazyce a řešení komplexních problémů. Nad nimi však vytváří dodatečnou vrstvu deterministické kontroly. Tento přístup kombinuje výhody obou světů. Jazykový model dokáže analyzovat informace a komunikovat s uživatelem, zatímco verifikační systém následně ověřuje, zda výstupy odpovídají předem definovaným pravidlům. Zajímavé je, že firma při vývoji využívá principy známé z oblasti formální verifikace matematických důkazů. Inspirací se stal open-source programovací jazyk LEAN, který se používá k ověřování matematických tvrzení. Podobné principy už byly využity například ve francouzském projektu CATALA, který převedl významnou část francouzského daňového a sociálního systému do spustitelného kódu. Pramaana Labs chce tento koncept rozšířit i do dalších oblastí, kde přesnost hraje klíčovou roli. Místo univerzálního řešení plánuje společnost vytvářet specializované systémy pro jednotlivé obory. Každý z nich bude navržen podle specifických pravidel a požadavků daného sektoru. Odborníci mají dohlížet na správnost systému Klíčovou součástí strategie společnosti je zapojení odborníků z jednotlivých odvětví. V oblasti daňového práva spolupracuje firma s bývalým komisařem amerického daňového úřadu IRS Dannym Werfelem. Na projektech zaměřených na kybernetickou bezpečnost a vývoj léčiv se podílejí akademici z institucí jako IIT Delhi, IIT Madras nebo University of California, Berkeley. Právě spojení technologických specialistů a odborníků na konkrétní problematiku má zajistit, že vytvořené systémy budou respektovat pravidla jednotlivých oborů a dokážou poskytovat spolehlivější výsledky než běžné generativní modely. Zakladatel společnosti věří, že řada složitých problémů není ve skutečnosti neřešitelná. Podle něj pouze nebyla dostatečně formalizována. V oblastech, kde mohou chyby stát lidi peníze, zdraví nebo svobodu, totiž již dnes existují rozsáhlé soubory pravidel. Výzvou je převést je do podoby, kterou budou schopny využívat moderní AI systémy. Získané financování ve výši 27 milionů dolarů naznačuje, že investoři vidí v tomto směru významný potenciál. S rostoucím tlakem na bezpečnost a spolehlivost umělé inteligence by totiž právě verifikace výstupů mohla představovat jednu z nejdůležitějších oblastí dalšího vývoje celého odvětví. Namísto snahy vytvářet stále větší modely se tak část trhu začíná soustředit na otázku, zda lze umělou inteligenci naučit nejen odpovídat, ale také prokazatelně ověřovat správnost vlastních závěrů. Zdroj: Unsplash