Stability AI vydává jazykové modely podobné ChatGPT

Společnost Stability AI uvádí, že modely s názvem StableLM, které jsou k dispozici v alfa verzi na platformě GitHub a Hugging Face, jež slouží k hostování modelů a kódu umělé inteligence, mohou generovat kód i text a „ukazují, jak mohou malé a efektivní modely při vhodném tréninku dosahovat vysokého výkonu“.

„Jazykové modely budou tvořit páteř naší digitální ekonomiky a my chceme, aby se na jejich návrhu podílel každý,“ napsal tým Stability AI v příspěvku na blogu na stránkách společnosti.

Modely byly vycvičeny na souboru dat nazvaném The Pile, což je směs internetových vzorků textů z webových stránek včetně PubMed, StackExchange a Wikipedie. Společnost Stability AI však tvrdí, že vytvořila vlastní tréninkovou sadu, která 3x rozšiřuje velikost standardní sady Pile.

Společnost Stability AI v příspěvku na blogu neuvedla, zda modely StableLM trpí stejnými omezeními jako jiné, konkrétně tendencí generovat toxické odpovědi na určité podněty a halucinovat (tj. vymýšlet si) fakta. Ale vzhledem k tomu, že The Pile obsahuje vulgární, oplzlé a jinak poměrně drsné výrazy, nebylo by překvapivé, kdyby tomu tak bylo.

Tento reportér se pokusil otestovat modely v aplikaci Hugging Face, která poskytuje front end pro jejich spuštění, aniž by bylo nutné konfigurovat kód od začátku. Bohužel jsem pokaždé dostal chybu „at capacity“, což může souviset s velikostí modelů – nebo s jejich popularitou.

„Jak je typické pro jakýkoli předtrénovaný rozsáhlý jazykový model bez dalšího dolaďování a učení posilováním, odpovědi, které uživatel dostane, mohou mít různou kvalitu a mohou potenciálně obsahovat urážlivé výrazy a názory,“ napsala společnost Stability AI v repozitáři pro StableLM. „Očekává se, že se to zlepší s rozšířením, lepšími daty, zpětnou vazbou od komunity a optimalizací.“

Chcete využít této příležitosti?

Přesto se zdá, že modely StableLM jsou poměrně schopné, pokud jde o to, čeho mohou dosáhnout – zejména vyladěné verze obsažené v alfa verzi. Modely StableLM, které byly vyladěny pomocí techniky Alpaca vyvinuté ve Stanfordu na otevřených zdrojových souborech dat, mimo jiné od startupu Anthropic, se chovají jako ChatGPT a reagují na pokyny (někdy s humorem) typu „napiš motivační dopis pro softwarového vývojáře“ nebo „napiš text epické rapové bitvy“.

Počet otevřených modelů pro generování textu roste prakticky každým dnem, protože velké i malé společnosti bojují o zviditelnění ve stále lukrativnější oblasti generativní umělé inteligence. Za poslední rok vydaly společnosti Meta, Nvidia a nezávislé skupiny, jako je projekt BigScience podporovaný společností Hugging Face, modely zhruba na stejné úrovni jako „soukromé“ modely dostupné prostřednictvím API, jako je GPT-4 a Claude společnosti Anthropic.

Někteří výzkumníci v minulosti kritizovali uvolňování modelů s otevřeným zdrojovým kódem po vzoru StableLM s tím, že by mohly být použity k nekalým účelům, jako je vytváření phishingových e-mailů nebo podpora útoků malwaru. Stability AI však tvrdí, že open-sourcing je ve skutečnosti správný přístup.

„Otevřeným zdrojovým kódem našich modelů podporujeme transparentnost a důvěru. Výzkumníci mohou nahlédnout pod pokličku a ověřit výkonnost, pracovat na technikách interpretace, identifikovat potenciální rizika a pomáhat při vývoji ochranných opatření,“ píše se v příspěvku na blogu Stability AI. „Otevřený, jemný přístup k našim modelům umožňuje široké výzkumné a akademické komunitě vyvíjet techniky interpretovatelnosti a bezpečnosti nad rámec toho, co je možné u uzavřených modelů.“

Na tom by mohlo být něco pravdy. Dokonce i u komerčních modelů, jako je GPT-4, které mají filtry a lidské moderátory, se ukázalo, že jsou toxické. Na druhou stranu, modely s otevřeným zdrojovým kódem vyžadují více úsilí při úpravách a opravách na zadní straně – zejména pokud vývojáři nesledují nejnovější aktualizace.

Stability AI se každopádně v minulosti nevyhýbala kontroverzím

Společnost je v hledáčku soudních sporů, které tvrdí, že porušila práva milionů umělců tím, že vyvinula nástroje umělé inteligence využívající obrázky stažené z webu a chráněné autorskými právy. Několik komunit na webu využilo nástroje společnosti Stability k vytváření pornografických deepfakes celebrit a grafických zobrazení násilí.

Navzdory filantropickému tónu svého blogu je navíc společnost Stability AI pod tlakem, aby zpeněžila své rozsáhlé úsilí, které sahá od umění a animace až po biomedicínu a generativní zvuk. Generální ředitel Stability AI Emad Mostaque naznačil plány na IPO, ale Semafor nedávno uvedl, že Stability AI – která loni v říjnu získala rizikový kapitál ve výši přes 100 milionů dolarů při údajném ocenění přesahujícím 1 miliardu dolarů – „spaluje hotovost a pomalu generuje příjmy“.

Stability AI, startup stojící za nástrojem pro generativní uměleckou inteligenci Stable Diffusion, zpřístupnil sadu modelů umělé inteligence pro generování textu, které se mají utkat se systémy, jako je GPT-4 od OpenAI. Společnost Stability AI uvádí, že modely s názvem StableLM, které jsou k dispozici v alfa verzi na platformě GitHub a Hugging Face, jež slouží k hostování modelů a kódu umělé inteligence, mohou generovat kód i text a "ukazují, jak mohou malé a efektivní modely při vhodném tréninku dosahovat vysokého výkonu". "Jazykové modely budou tvořit páteř naší digitální ekonomiky a my chceme, aby se na jejich návrhu podílel každý," napsal tým Stability AI v příspěvku na blogu na stránkách společnosti. Modely byly vycvičeny na souboru dat nazvaném The Pile, což je směs internetových vzorků textů z webových stránek včetně PubMed, StackExchange a Wikipedie. Společnost Stability AI však tvrdí, že vytvořila vlastní tréninkovou sadu, která 3x rozšiřuje velikost standardní sady Pile. Zdroj: Unsplash Společnost Stability AI v příspěvku na blogu neuvedla, zda modely StableLM trpí stejnými omezeními jako jiné, konkrétně tendencí generovat toxické odpovědi na určité podněty a halucinovat (tj. vymýšlet si) fakta. Ale vzhledem k tomu, že The Pile obsahuje vulgární, oplzlé a jinak poměrně drsné výrazy, nebylo by překvapivé, kdyby tomu tak bylo. Tento reportér se pokusil otestovat modely v aplikaci Hugging Face, která poskytuje front end pro jejich spuštění, aniž by bylo nutné konfigurovat kód od začátku. Bohužel jsem pokaždé dostal chybu "at capacity", což může souviset s velikostí modelů - nebo s jejich popularitou. "Jak je typické pro jakýkoli předtrénovaný rozsáhlý jazykový model bez dalšího dolaďování a učení posilováním, odpovědi, které uživatel dostane, mohou mít různou kvalitu a mohou potenciálně obsahovat urážlivé výrazy a názory," napsala společnost Stability AI v repozitáři pro StableLM. "Očekává se, že se to zlepší s rozšířením, lepšími daty, zpětnou vazbou od komunity a optimalizací." Přesto se zdá, že modely StableLM jsou poměrně schopné, pokud jde o to, čeho mohou dosáhnout - zejména vyladěné verze obsažené v alfa verzi. Modely StableLM, které byly vyladěny pomocí techniky Alpaca vyvinuté ve Stanfordu na otevřených zdrojových souborech dat, mimo jiné od startupu Anthropic, se chovají jako ChatGPT a reagují na pokyny (někdy s humorem) typu "napiš motivační dopis pro softwarového vývojáře" nebo "napiš text epické rapové bitvy". Zdroj: Stability.ai Počet otevřených modelů pro generování textu roste prakticky každým dnem, protože velké i malé společnosti bojují o zviditelnění ve stále lukrativnější oblasti generativní umělé inteligence. Za poslední rok vydaly společnosti Meta, Nvidia a nezávislé skupiny, jako je projekt BigScience podporovaný společností Hugging Face, modely zhruba na stejné úrovni jako "soukromé" modely dostupné prostřednictvím API, jako je GPT-4 a Claude společnosti Anthropic. Někteří výzkumníci v minulosti kritizovali uvolňování modelů s otevřeným zdrojovým kódem po vzoru StableLM s tím, že by mohly být použity k nekalým účelům, jako je vytváření phishingových e-mailů nebo podpora útoků malwaru. Stability AI však tvrdí, že open-sourcing je ve skutečnosti správný přístup. "Otevřeným zdrojovým kódem našich modelů podporujeme transparentnost a důvěru. Výzkumníci mohou nahlédnout pod pokličku a ověřit výkonnost, pracovat na technikách interpretace, identifikovat potenciální rizika a pomáhat při vývoji ochranných opatření," píše se v příspěvku na blogu Stability AI. "Otevřený, jemný přístup k našim modelům umožňuje široké výzkumné a akademické komunitě vyvíjet techniky interpretovatelnosti a bezpečnosti nad rámec toho, co je možné u uzavřených modelů." Na tom by mohlo být něco pravdy. Dokonce i u komerčních modelů, jako je GPT-4, které mají filtry a lidské moderátory, se ukázalo, že jsou toxické. Na druhou stranu, modely s otevřeným zdrojovým kódem vyžadují více úsilí při úpravách a opravách na zadní straně - zejména pokud vývojáři nesledují nejnovější aktualizace. Zdroj: Unsplash Stability AI se každopádně v minulosti nevyhýbala kontroverzím Společnost je v hledáčku soudních sporů, které tvrdí, že porušila práva milionů umělců tím, že vyvinula nástroje umělé inteligence využívající obrázky stažené z webu a chráněné autorskými právy. Několik komunit na webu využilo nástroje společnosti Stability k vytváření pornografických deepfakes celebrit a grafických zobrazení násilí. Navzdory filantropickému tónu svého blogu je navíc společnost Stability AI pod tlakem, aby zpeněžila své rozsáhlé úsilí, které sahá od umění a animace až po biomedicínu a generativní zvuk. Generální ředitel Stability AI Emad Mostaque naznačil plány na IPO, ale Semafor nedávno uvedl, že Stability AI - která loni v říjnu získala rizikový kapitál ve výši přes 100 milionů dolarů při údajném ocenění přesahujícím 1 miliardu dolarů - "spaluje hotovost a pomalu generuje příjmy".