Tempo pokroku v generativní AI se zpomaluje, protože rostou náklady a ubývají kvalitní tréninková data
Syntetická data jsou jedním z řešení, která umožňují modelům zlepšovat výkonnost i bez lidských vstupů
Vývoj AGI čelí technickým a finančním překážkám, ale inovace mohou přinést nové možnosti
Zatímco společnosti jako OpenAI, Google, Meta a Anthropic v posledních letech přinášely stále pokročilejší modely, nyní narážejí na nové výzvy. Technologie, která měla změnit celé průmysly, čelí rostoucím nákladům a překážkám při získávání kvalitních tréninkových dat.
V roce 2024 se ukázalo, že vývoj nových modelů není tak rychlý, jak se očekávalo, což vyvolává otázky, zda může umělá inteligence dosáhnout svého ambiciózního cíle – vytvoření umělé obecné inteligence (AGI).
Rostoucí náklady a klesající přínosy
Vývoj nejnovějších modelů umělé inteligence je finančně náročný. Dario Amodei, generální ředitel společnosti Anthropic, odhaduje, že trénink špičkového modelu stojí přibližně 100 milionů dolarů, přičemž náklady budou dále růst. Sarah Friar, finanční ředitelka OpenAI, potvrdila, že náklady na vytvoření dalšího špičkového modelu dosáhnou miliard dolarů. Navzdory obrovským investicím přináší nové modely pouze mírné zlepšení výkonu, což zpochybňuje ekonomickou návratnost tohoto přístupu.
Zdroj: Getty images
Sundar Pichai, generální ředitel Googlu, na prosincovém summitu DealBook v New York Times přiznal, že pokrok v umělé inteligenci je stále náročnější. „Snadná řešení už neexistují, cesta je strmější,“ uvedl. Tato situace nutí technologické firmy hledat nové strategie, jak dosáhnout významného pokroku.
Syntetická data jako řešení?
Jedním z možných směrů je využívání syntetických dat, tedy dat generovaných samotnou umělou inteligencí. Tato technika umožňuje modelům trénovat na simulovaném obsahu, který napodobuje skutečná data. Výzkumníci z Allenova institutu pro umělou inteligenci například použili tento přístup při vývoji modelu Tulu 3. Model byl vyzván, aby generoval otázky z různých oborů, například z astronautiky, a následně tyto otázky i odpovědi použili k dalšímu tréninku. Přestože výsledky zlepšily matematické schopnosti modelu, vědci si nejsou jisti, proč tato metoda funguje.
Fei-Fei Li, odbornice na umělou inteligenci ze Stanfordovy univerzity, upozorňuje, že syntetická data mohou hrát klíčovou roli, zejména v odvětvích jako je vývoj samořídících vozidel, kde simulovaná data umožňují efektivní testování a trénink modelů. „Data jsou stejně důležitá jako algoritmy,“ tvrdí Li, která očekává, že syntetická data budou hrát stále větší roli v budoucím vývoji AI.
Inovace pro budoucnost
Kromě syntetických dat hledají společnosti způsoby, jak zlepšit výkonnost modelů během jejich používání. Tento přístup, nazývaný „test-time compute“, umožňuje modelům věnovat více výpočetního výkonu při zpracování konkrétního úkolu. OpenAI již představila model o1, který tuto metodu využívá a dokáže přesněji odpovídat na složité otázky. Společnost začala tento model nabízet za měsíční předplatné 200 dolarů, což zahrnuje přístup k výkonnějším verzím modelu.
Google a Databricks rovněž pracují na implementaci podobných technik. Jonathan Frankle, vědecký pracovník společnosti Databricks, věří, že tento přístup může zlepšit ekonomiku vývoje modelů AI tím, že některé náklady přesune na dobu, kdy modely již generují příjmy. Tento model by mohl otevřít nové možnosti pro komerční využití umělé inteligence.
Výzvy na cestě k AGI
Cílem mnoha technologických firem je vytvoření umělé obecné inteligence (AGI), která by dokázala plnit úkoly na úrovni lidské inteligence nebo ji dokonce překonat. Ačkoli šéfové OpenAI a Anthropicu tvrdí, že AGI je na dosah, někteří odborníci jsou skeptičtí. Historicky byla AI navržena pro specifické úkoly, a přestože existuje prostor pro inovace, současné technologie se zdají být omezené.
Zdroj: Getty images
Frankle přirovnává současnou situaci k vývoji polovodičového průmyslu, kde vývojáři čelili zdánlivým limitům, ale díky inovacím, jako jsou vícejádrové procesory a paralelní zpracování, dokázali technologii posunout dál. „V odvětví AI nás čeká podobná cesta,“ říká.
Budoucnost generativní umělé inteligence je plná výzev i příležitostí. Rostoucí náklady, omezené zdroje kvalitních dat a technické překážky nutí společnosti přehodnocovat své strategie. Syntetická data, inovace během používání modelů a zaměření na specifické úkoly mohou být klíčem k dalšímu pokroku.
Ať už se vývoj AGI podaří, nebo ne, současné trendy ukazují, že umělá inteligence bude hrát stále důležitější roli v průmyslu i každodenním životě. Vývojáři musí překonávat překážky a hledat nové způsoby, jak posunout hranice této fascinující technologie.
Zatímco společnosti jako OpenAI, Google, Meta a Anthropic v posledních letech přinášely stále pokročilejší modely, nyní narážejí na nové výzvy. Technologie, která měla změnit celé průmysly, čelí rostoucím nákladům a překážkám při získávání kvalitních tréninkových dat. V roce 2024 se ukázalo, že vývoj nových modelů není tak rychlý, jak se očekávalo, což vyvolává otázky, zda může umělá inteligence dosáhnout svého ambiciózního cíle – vytvoření umělé obecné inteligence .Rostoucí náklady a klesající přínosyVývoj nejnovějších modelů umělé inteligence je finančně náročný. Dario Amodei, generální ředitel společnosti Anthropic, odhaduje, že trénink špičkového modelu stojí přibližně 100 milionů dolarů, přičemž náklady budou dále růst. Sarah Friar, finanční ředitelka OpenAI, potvrdila, že náklady na vytvoření dalšího špičkového modelu dosáhnou miliard dolarů. Navzdory obrovským investicím přináší nové modely pouze mírné zlepšení výkonu, což zpochybňuje ekonomickou návratnost tohoto přístupu.Sundar Pichai, generální ředitel Googlu, na prosincovém summitu DealBook v New York Times přiznal, že pokrok v umělé inteligenci je stále náročnější. „Snadná řešení už neexistují, cesta je strmější,“ uvedl. Tato situace nutí technologické firmy hledat nové strategie, jak dosáhnout významného pokroku.Syntetická data jako řešení?Jedním z možných směrů je využívání syntetických dat, tedy dat generovaných samotnou umělou inteligencí. Tato technika umožňuje modelům trénovat na simulovaném obsahu, který napodobuje skutečná data. Výzkumníci z Allenova institutu pro umělou inteligenci například použili tento přístup při vývoji modelu Tulu 3. Model byl vyzván, aby generoval otázky z různých oborů, například z astronautiky, a následně tyto otázky i odpovědi použili k dalšímu tréninku. Přestože výsledky zlepšily matematické schopnosti modelu, vědci si nejsou jisti, proč tato metoda funguje.Fei-Fei Li, odbornice na umělou inteligenci ze Stanfordovy univerzity, upozorňuje, že syntetická data mohou hrát klíčovou roli, zejména v odvětvích jako je vývoj samořídících vozidel, kde simulovaná data umožňují efektivní testování a trénink modelů. „Data jsou stejně důležitá jako algoritmy,“ tvrdí Li, která očekává, že syntetická data budou hrát stále větší roli v budoucím vývoji AI.Inovace pro budoucnostKromě syntetických dat hledají společnosti způsoby, jak zlepšit výkonnost modelů během jejich používání. Tento přístup, nazývaný „test-time compute“, umožňuje modelům věnovat více výpočetního výkonu při zpracování konkrétního úkolu. OpenAI již představila model o1, který tuto metodu využívá a dokáže přesněji odpovídat na složité otázky. Společnost začala tento model nabízet za měsíční předplatné 200 dolarů, což zahrnuje přístup k výkonnějším verzím modelu.Google a Databricks rovněž pracují na implementaci podobných technik. Jonathan Frankle, vědecký pracovník společnosti Databricks, věří, že tento přístup může zlepšit ekonomiku vývoje modelů AI tím, že některé náklady přesune na dobu, kdy modely již generují příjmy. Tento model by mohl otevřít nové možnosti pro komerční využití umělé inteligence.Výzvy na cestě k AGICílem mnoha technologických firem je vytvoření umělé obecné inteligence , která by dokázala plnit úkoly na úrovni lidské inteligence nebo ji dokonce překonat. Ačkoli šéfové OpenAI a Anthropicu tvrdí, že AGI je na dosah, někteří odborníci jsou skeptičtí. Historicky byla AI navržena pro specifické úkoly, a přestože existuje prostor pro inovace, současné technologie se zdají být omezené.Frankle přirovnává současnou situaci k vývoji polovodičového průmyslu, kde vývojáři čelili zdánlivým limitům, ale díky inovacím, jako jsou vícejádrové procesory a paralelní zpracování, dokázali technologii posunout dál. „V odvětví AI nás čeká podobná cesta,“ říká.Budoucnost generativní umělé inteligence je plná výzev i příležitostí. Rostoucí náklady, omezené zdroje kvalitních dat a technické překážky nutí společnosti přehodnocovat své strategie. Syntetická data, inovace během používání modelů a zaměření na specifické úkoly mohou být klíčem k dalšímu pokroku.Ať už se vývoj AGI podaří, nebo ne, současné trendy ukazují, že umělá inteligence bude hrát stále důležitější roli v průmyslu i každodenním životě. Vývojáři musí překonávat překážky a hledat nové způsoby, jak posunout hranice této fascinující technologie.
