Stability AI vydává jazykové modely podobné ChatGPT

Společnost Stability AI uvádí, že modely s názvem StableLM, které jsou k dispozici v alfa verzi na platformě GitHub a Hugging Face, jež slouží k hostování modelů a kódu umělé inteligence, mohou generovat kód i text a „ukazují, jak mohou malé a efektivní modely při vhodném tréninku dosahovat vysokého výkonu“.

„Jazykové modely budou tvořit páteř naší digitální ekonomiky a my chceme, aby se na jejich návrhu podílel každý,“ napsal tým Stability AI v příspěvku na blogu na stránkách společnosti.

Modely byly vycvičeny na souboru dat nazvaném The Pile, což je směs internetových vzorků textů z webových stránek včetně PubMed, StackExchange a Wikipedie. Společnost Stability AI však tvrdí, že vytvořila vlastní tréninkovou sadu, která 3x rozšiřuje velikost standardní sady Pile.

Společnost Stability AI v příspěvku na blogu neuvedla, zda modely StableLM trpí stejnými omezeními jako jiné, konkrétně tendencí generovat toxické odpovědi na určité podněty a halucinovat (tj. vymýšlet si) fakta. Ale vzhledem k tomu, že The Pile obsahuje vulgární, oplzlé a jinak poměrně drsné výrazy, nebylo by překvapivé, kdyby tomu tak bylo.

Tento reportér se pokusil otestovat modely v aplikaci Hugging Face, která poskytuje front end pro jejich spuštění, aniž by bylo nutné konfigurovat kód od začátku. Bohužel jsem pokaždé dostal chybu „at capacity“, což může souviset s velikostí modelů – nebo s jejich popularitou.

„Jak je typické pro jakýkoli předtrénovaný rozsáhlý jazykový model bez dalšího dolaďování a učení posilováním, odpovědi, které uživatel dostane, mohou mít různou kvalitu a mohou potenciálně obsahovat urážlivé výrazy a názory,“ napsala společnost Stability AI v repozitáři pro StableLM. „Očekává se, že se to zlepší s rozšířením, lepšími daty, zpětnou vazbou od komunity a optimalizací.“

Přesto se zdá, že modely StableLM jsou poměrně schopné, pokud jde o to, čeho mohou dosáhnout – zejména vyladěné verze obsažené v alfa verzi. Modely StableLM, které byly vyladěny pomocí techniky Alpaca vyvinuté ve Stanfordu na otevřených zdrojových souborech dat, mimo jiné od startupu Anthropic, se chovají jako ChatGPT a reagují na pokyny (někdy s humorem) typu „napiš motivační dopis pro softwarového vývojáře“ nebo „napiš text epické rapové bitvy“.

Počet otevřených modelů pro generování textu roste prakticky každým dnem, protože velké i malé společnosti bojují o zviditelnění ve stále lukrativnější oblasti generativní umělé inteligence. Za poslední rok vydaly společnosti Meta, Nvidia a nezávislé skupiny, jako je projekt BigScience podporovaný společností Hugging Face, modely zhruba na stejné úrovni jako „soukromé“ modely dostupné prostřednictvím API, jako je GPT-4 a Claude společnosti Anthropic.

Někteří výzkumníci v minulosti kritizovali uvolňování modelů s otevřeným zdrojovým kódem po vzoru StableLM s tím, že by mohly být použity k nekalým účelům, jako je vytváření phishingových e-mailů nebo podpora útoků malwaru. Stability AI však tvrdí, že open-sourcing je ve skutečnosti správný přístup.

„Otevřeným zdrojovým kódem našich modelů podporujeme transparentnost a důvěru. Výzkumníci mohou nahlédnout pod pokličku a ověřit výkonnost, pracovat na technikách interpretace, identifikovat potenciální rizika a pomáhat při vývoji ochranných opatření,“ píše se v příspěvku na blogu Stability AI. „Otevřený, jemný přístup k našim modelům umožňuje široké výzkumné a akademické komunitě vyvíjet techniky interpretovatelnosti a bezpečnosti nad rámec toho, co je možné u uzavřených modelů.“

Na tom by mohlo být něco pravdy. Dokonce i u komerčních modelů, jako je GPT-4, které mají filtry a lidské moderátory, se ukázalo, že jsou toxické. Na druhou stranu, modely s otevřeným zdrojovým kódem vyžadují více úsilí při úpravách a opravách na zadní straně – zejména pokud vývojáři nesledují nejnovější aktualizace.

Společnost je v hledáčku soudních sporů, které tvrdí, že porušila práva milionů umělců tím, že vyvinula nástroje umělé inteligence využívající obrázky stažené z webu a chráněné autorskými právy. Několik komunit na webu využilo nástroje společnosti Stability k vytváření pornografických deepfakes celebrit a grafických zobrazení násilí.

Navzdory filantropickému tónu svého blogu je navíc společnost Stability AI pod tlakem, aby zpeněžila své rozsáhlé úsilí, které sahá od umění a animace až po biomedicínu a generativní zvuk. Generální ředitel Stability AI Emad Mostaque naznačil plány na IPO, ale Semafor nedávno uvedl, že Stability AI – která loni v říjnu získala rizikový kapitál ve výši přes 100 milionů dolarů při údajném ocenění přesahujícím 1 miliardu dolarů – „spaluje hotovost a pomalu generuje příjmy“.