Klíčové body
- Meta představila model Llama 3.3 70B, který nabízí výkon většího modelu při nižších nákladech
- Llama 3.3 70B překonává konkurenci, včetně modelů od Google, OpenAI a Amazonu
- Meta investuje miliardy do infrastruktury, včetně nového datového centra AI v Louisianě
Ahmad Al-Dahle, viceprezident pro generativní umělou inteligenci ve společnosti Meta, ve svém příspěvku na webu X uvedl, že pouze textový model Llama 3.3 70B poskytuje výkon největšího modelu Llama společnosti Meta, Llama 3.1 405B, při nižších nákladech.
„Využitím nejnovějších pokroků v technikách post-trainingu … tento model zvyšuje výkon jádra při výrazně nižších nákladech,“ napsal Al-Dahle.
Al-Dahle zveřejnil graf, podle kterého model Llama 3.3 70B překonává modely Gemini 1.5 Pro společnosti Google, GPT-4o společnosti OpenAI a nově vydaný model Nova Pro společnosti Amazon v řadě oborových benchmarků, včetně MMLU, který hodnotí schopnost modelu porozumět jazyku.
Mluvčí společnosti Meta prostřednictvím e-mailu uvedl, že model by měl přinést zlepšení v oblastech, jako je matematika, obecné znalosti, sledování instrukcí a používání aplikací.
Model Llama 3.3 70B, který je k dispozici ke stažení na vývojářské platformě AI Hugging Face a z dalších zdrojů, včetně oficiálních webových stránek Llama, je nejnovějším počinem společnosti Meta, která se snaží ovládnout oblast umělé inteligence „otevřenými“ modely, jež lze používat a komerčně využívat pro celou řadu aplikací.
Podmínky společnosti Meta omezují, jak mohou někteří vývojáři modely Llama používat; platformy s více než 700 miliony uživatelů měsíčně musí požádat o zvláštní licenci. Pro mnohé je však nepodstatné, že modely Llama nejsou „otevřené“ v tom nejpřísnějším slova smyslu. Podle společnosti Meta si Llama stáhlo více než 650 milionů uživatelů.
Společnost Meta využívá Llama i interně. Podle generálního ředitele společnosti Meta Marka Zuckerberga má nyní Meta AI, asistent umělé inteligence společnosti, který je plně založen na modelech Llama, téměř 600 milionů aktivních uživatelů měsíčně. Zuckerberg tvrdí, že Meta AI je na nejlepší cestě stát se nejpoužívanějším asistentem AI na světě.
Pro společnost Meta je otevřenost systému Llama požehnáním i prokletím. V listopadu se objevila zpráva, že čínští vojenští výzkumníci použili model Llama k vývoji obranného chatbota. Společnost Meta reagovala tím, že své modely Llama zpřístupnila americkým dodavatelům obranných služeb.
Společnost Meta také vyjádřila obavy ohledně své schopnosti dodržovat zákon o umělé inteligenci, zákon EU, který stanoví regulační rámec pro umělou inteligenci, a označila implementaci zákona za „příliš nepředvídatelnou“ pro svou strategii otevřeného uvolňování. Souvisejícím problémem pro společnost jsou ustanovení GDPR, zákona EU o ochraně osobních údajů, týkající se školení AI. Společnost Meta trénuje modely AI na veřejných údajích uživatelů Instagramu a Facebooku, kteří se z nich neodhlásili – na údaje, které v Evropě podléhají zárukám GDPR.
Regulační orgány EU začátkem tohoto roku požádaly společnost Meta, aby zastavila školení na údajích evropských uživatelů, zatímco budou posuzovat, zda společnost dodržuje nařízení GDPR. Společnost Meta ustoupila a zároveň podpořila otevřený dopis vyzývající k „modernímu výkladu“ GDPR, který „neodmítá pokrok“.
Společnost Meta, která není imunní vůči technickým problémům, s nimiž se potýkají jiné laboratoře umělé inteligence, zvyšuje svou výpočetní infrastrukturu, aby mohla trénovat a obsluhovat budoucí generace lamy. Společnost ve středu oznámila, že v Louisianě vybuduje datové centrum AI za 10 miliard dolarů – největší datové centrum AI, jaké kdy Meta vybudovala.
Zuckerberg v srpnovém hovoru k výsledkům společnosti Meta za 4. čtvrtletí uvedl, že k tréninku další velké sady modelů Llama, Llama 4, bude společnost potřebovat 10x více výpočetních prostředků, než kolik bylo potřeba k tréninku Llama 3. Společnost Meta si pro vývoj modelů pořídila cluster s více než 100 000 grafickými procesory Nvidia, který může soupeřit s konkurencí, jako je xAI.
Trénování generativních modelů AI je nákladná záležitost. Kapitálové výdaje společnosti Meta vzrostly ve druhém čtvrtletí roku 2024 o téměř 33 % na 8,5 miliardy dolarů z 6,4 miliardy dolarů o rok dříve, a to díky investicím do serverů, datových center a síťové infrastruktury.
