Analytici ze společnosti Bernstein upozornili na zásadní rozdíly v potřebách paměti pro trénování a provozování AI modelů. Podle těchto informací, trénování modelů vyžaduje podstatně více paměti než proces inference, neboť je třeba ukládat nejen modelová váhy, ale také aktivace, gradienty a stav optimalizátorů.
Konkrétně se uvádí, že i středně velký model může během trénování vyžadovat přibližně 1 TB kombinované paměti. Naopak, inference se obejde s mnohem menšími nároky na paměť, což se týká pouze dočasných tensorů a komponent jako KV cache.
Už nyní je evidentní, že hyperscale společnosti byly zaskočeny rychlým nárůstem poptávky po AI, což vedlo k výraznému zvyšování cen paměti a komponentů, jako jsou HBM a DRAM. Tato nerovnováha na trhu podpořila nárůst nákladů a společnosti se snaží přizpůsobit pomocí modernizace architektur modelů a nových kvantizačních technik.
Dále, nedostatek pevných disků tlačí provozovatele na přechod na SSD, které jsou pět až desetkrát dražší, ale nabízejí výhody jako nižší provozní náklady a menší spotřebu energie. Mezi články zmíněnými firmou Bernstein se také uvádí, že specializované TPU poskytují nižší celkové náklady na vlastnictví a vyšší výkon na watt, avšak GPU zůstávají populární pro rychlé prototypování díky své vyvinuté ekosystému.
Analytici ze společnosti Bernstein upozornili na zásadní rozdíly v potřebách paměti pro trénování a provozování AI modelů. Podle těchto informací, trénování modelů vyžaduje podstatně více paměti než proces inference, neboť je třeba ukládat nejen modelová váhy, ale také aktivace, gradienty a stav optimalizátorů.
Konkrétně se uvádí, že i středně velký model může během trénování vyžadovat přibližně 1 TB kombinované paměti. Naopak, inference se obejde s mnohem menšími nároky na paměť, což se týká pouze dočasných tensorů a komponent jako KV cache.
Už nyní je evidentní, že hyperscale společnosti byly zaskočeny rychlým nárůstem poptávky po AI, což vedlo k výraznému zvyšování cen paměti a komponentů, jako jsou HBM a DRAM. Tato nerovnováha na trhu podpořila nárůst nákladů a společnosti se snaží přizpůsobit pomocí modernizace architektur modelů a nových kvantizačních technik.
Dále, nedostatek pevných disků tlačí provozovatele na přechod na SSD, které jsou pět až desetkrát dražší, ale nabízejí výhody jako nižší provozní náklady a menší spotřebu energie. Mezi články zmíněnými firmou Bernstein se také uvádí, že specializované TPU poskytují nižší celkové náklady na vlastnictví a vyšší výkon na watt, avšak GPU zůstávají populární pro rychlé prototypování díky své vyvinuté ekosystému.
Důležité informace
Upozornění pro uživatele
Veškeré informace a materiály zveřejněné na internetových stránkách
Burzovního Světa vycházejí z veřejně dostupných a důvěryhodných
zdrojů. Při jejich zpracování je postupováno s odbornou péčí a cílem
poskytovat čtenářům objektivní, aktuální a srozumitelné informace.
Obsah internetových stránek slouží výhradně k informačním a
vzdělávacím účelům. Nepředstavuje individuální investiční doporučení,
investiční poradenství ani nabídku či výzvu ke koupi nebo prodeji
konkrétních finančních nástrojů. Veškeré názory, odhady, prognózy
nebo očekávání uvedené v článcích vyjadřují informace dostupné v době
jejich zveřejnění a mohou se v čase měnit.
Investování na kapitálových trzích je spojeno s rizikem. Hodnota
investic může růst i klesat a návratnost investované částky není
zaručena. Minulé výnosy nejsou zárukou výnosů budoucích. Před
přijetím jakéhokoli investičního rozhodnutí doporučujeme posoudit
vlastní finanční situaci, investiční cíle a toleranci k riziku,
případně využít služeb licencovaného poskytovatele investičních
služeb.
Burzovní Svět nenese odpovědnost za investiční rozhodnutí učiněná na
základě informací zveřejněných na těchto internetových stránkách.
Diskusní příspěvky a komentáře zveřejněné uživateli vyjadřují názory
jejich autorů a nemusí odpovídat stanovisku provozovatele portálu.
Odesláním kontaktního formuláře nebo udělením příslušného souhlasu
bere uživatel na vědomí, že může být kontaktován obchodním partnerem
Burzovního Světa za účelem poskytnutí informací o investičních
službách nebo finančních nástrojích. Podrobnosti o zpracování
osobních údajů, využívání souborů cookies a obchodních partnerech jsou
uvedeny v příslušných dokumentech dostupných na těchto internetových
stránkách.
U jednotlivých článků mohou být uvedeny informace o použitých
zdrojích, datu původní analýzy nebo datu, ke kterému se vztahují
uvedené tržní údaje.
Analytici ze společnosti Bernstein upozornili na zásadní rozdíly v potřebách paměti pro trénování a provozování AI modelů. Podle těchto informací, trénování modelů vyžaduje podstatně více paměti než proces inference, neboť je třeba ukládat nejen modelová váhy, ale také aktivace, gradienty a stav optimalizátorů.Konkrétně se uvádí, že i středně velký model může během trénování vyžadovat přibližně 1 TB kombinované paměti. Naopak, inference se obejde s mnohem menšími nároky na paměť, což se týká pouze dočasných tensorů a komponent jako KV cache.Už nyní je evidentní, že hyperscale společnosti byly zaskočeny rychlým nárůstem poptávky po AI, což vedlo k výraznému zvyšování cen paměti a komponentů, jako jsou HBM a DRAM. Tato nerovnováha na trhu podpořila nárůst nákladů a společnosti se snaží přizpůsobit pomocí modernizace architektur modelů a nových kvantizačních technik.Dále, nedostatek pevných disků tlačí provozovatele na přechod na SSD, které jsou pět až desetkrát dražší, ale nabízejí výhody jako nižší provozní náklady a menší spotřebu energie. Mezi články zmíněnými firmou Bernstein se také uvádí, že specializované TPU poskytují nižší celkové náklady na vlastnictví a vyšší výkon na watt, avšak GPU zůstávají populární pro rychlé prototypování díky své vyvinuté ekosystému.
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic.
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Bullionářovo odpolední menu
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic.
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic.
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Systematické strategie snižují akciovou expozici Ukazatel tržní paniky sestavovaný bankou Goldman Sachs Group (GS) se během pátečního propadu amerických akcií...