Generativní umělá inteligence se stala plakátovým dítětem rozvíjejícího se hnutí umělé inteligence, jehož motorem jsou populární aplikace, jako je ChatGPT. V podnikovém prostředí však stále vzbuzuje obavy, zejména kvůli otázkám bezpečnosti a ochrany osobních údajů.

Pro kontext: Velké jazykové modely (LLM) jsou motorem generativní AI a umožňují strojům chápat a generovat text stejně jako člověk. Ale ať už chcete, aby taková aplikace napsala báseň nebo shrnula právní smlouvu, potřebuje instrukce, kterými se bude řídit její výstup.

Tyto „pokyny“ však mohou být sestaveny tak, aby aplikaci přiměly k něčemu, co nemá dělat, například k vyzrazení důvěrných dat, která byla použita k jejímu tréninku, nebo k neoprávněnému přístupu do soukromých systémů. Takovéto „prompt injections“ představují skutečný a rostoucí problém a Lakera se jimi chce konkrétně zabývat.

Pohotová reakce

Společnost Lakera byla založena v Curychu v roce 2021 a oficiálně zahájila činnost loni v říjnu s financováním ve výši 10 milionů dolarů s výslovným příslibem chránit organizace před bezpečnostními slabinami LLM, jako je únik dat nebo prompt injections. Funguje s jakýmkoli LLM, včetně GPT-X od OpenAI, Bard od Googlu, Llama od Meta a Claude od Anthropicu.

V jádru je Lakera prezentována jako „nízkolatenční aplikační firewall AI“, který zabezpečuje provoz do a z generativních aplikací AI.

První produkt společnosti, Lakera Guard, je postaven na databázi, která shromažďuje poznatky z nesčetných zdrojů, včetně veřejně dostupných „open source“ datových sad, jako jsou ty, které jsou umístěny na portálu Hugging Face, vlastního výzkumu strojového učení a zajímavé interaktivní hry, kterou společnost vyvinula pod názvem Gandalf a která vyzývá uživatele, aby se ji pokusili přimět k odhalení tajného hesla.

Hra je s přibývajícími úrovněmi stále sofistikovanější (a tím i obtížnější k „hacknutí“). Tyto interakce však společnosti Lakera umožnily vytvořit to, čemu říká „taxonomie podnětných injekcí“, která takové útoky rozděluje do kategorií.

„Jsme zaměřeni na umělou inteligenci a vytváříme vlastní modely pro detekci škodlivých útoků, jako jsou prompt injections, v reálném čase,“ uvedl spoluzakladatel a generální ředitel společnosti Lakera David Haber. „Naše modely se průběžně učí z velkého množství generativních interakcí AI, jak vypadají škodlivé interakce. Díky tomu se naše modely detektorů neustále zdokonalují a vyvíjejí s nově vznikajícími hrozbami.

Lakera tvrdí, že integrací jejich aplikace s rozhraním API Lakera Guard mohou společnosti lépe chránit před škodlivými podněty. Společnost však vyvinula také specializované modely, které skenují podněty a výstupy aplikace na toxický obsah, se speciálními detektory nenávistných projevů, sexuálního obsahu, násilí a vulgarismů.

„Tyto detektory jsou užitečné zejména pro veřejně přístupné aplikace, například chatboty, ale používají se i v jiných prostředích,“ uvedl Haber.

Podobně jako u sady nástrojů pro pohotovou obranu mohou společnosti integrovat inteligentní nástroje Lakera pro moderování obsahu pomocí jediného řádku kódu a mohou získat přístup k centralizovanému ovládacímu panelu zásad, kde mohou jemně doladit prahové hodnoty, které chtějí nastavit podle typu obsahu.

S čerstvými 20 miliony dolarů v bance je Lakera nyní připravena rozšířit svou globální působnost, zejména v USA. Společnost již má v Severní Americe řadu poměrně významných zákazníků, včetně amerického startupu Respell s umělou inteligencí a kanadské megapodniky Cohere.
„Velké podniky, společnosti SaaS a poskytovatelé modelů AI se předhánějí v zavádění bezpečných aplikací AI,“ řekl Haber.

„Organizace poskytující finanční služby si uvědomují rizika v oblasti bezpečnosti a dodržování předpisů a jsou prvními, kdo je zavádí, ale zájem zaznamenáváme napříč odvětvími. Většina společností ví, že musí GenAI začlenit do svých hlavních obchodních procesů, aby si udržela konkurenceschopnost.“

Kromě hlavního sponzora, společnosti Atomico, se na kole Series A společnosti Lakera podílela i odnož rizikového kapitálu společnosti Dropbox, Citi Ventures a Redalpine.