Analytici ze společnosti Bernstein upozornili na zásadní rozdíly v potřebách paměti pro trénování a provozování AI modelů. Podle těchto informací, trénování modelů vyžaduje podstatně více paměti než proces inference, neboť je třeba ukládat nejen modelová váhy, ale také aktivace, gradienty a stav optimalizátorů.
Konkrétně se uvádí, že i středně velký model může během trénování vyžadovat přibližně 1 TB kombinované paměti. Naopak, inference se obejde s mnohem menšími nároky na paměť, což se týká pouze dočasných tensorů a komponent jako KV cache.
Už nyní je evidentní, že hyperscale společnosti byly zaskočeny rychlým nárůstem poptávky po AI, což vedlo k výraznému zvyšování cen paměti a komponentů, jako jsou HBM a DRAM. Tato nerovnováha na trhu podpořila nárůst nákladů a společnosti se snaží přizpůsobit pomocí modernizace architektur modelů a nových kvantizačních technik.
Dále, nedostatek pevných disků tlačí provozovatele na přechod na SSD, které jsou pět až desetkrát dražší, ale nabízejí výhody jako nižší provozní náklady a menší spotřebu energie. Mezi články zmíněnými firmou Bernstein se také uvádí, že specializované TPU poskytují nižší celkové náklady na vlastnictví a vyšší výkon na watt, avšak GPU zůstávají populární pro rychlé prototypování díky své vyvinuté ekosystému.
Analytici ze společnosti Bernstein upozornili na zásadní rozdíly v potřebách paměti pro trénování a provozování AI modelů. Podle těchto informací, trénování modelů vyžaduje podstatně více paměti než proces inference, neboť je třeba ukládat nejen modelová váhy, ale také aktivace, gradienty a stav optimalizátorů.
Konkrétně se uvádí, že i středně velký model může během trénování vyžadovat přibližně 1 TB kombinované paměti. Naopak, inference se obejde s mnohem menšími nároky na paměť, což se týká pouze dočasných tensorů a komponent jako KV cache.
Už nyní je evidentní, že hyperscale společnosti byly zaskočeny rychlým nárůstem poptávky po AI, což vedlo k výraznému zvyšování cen paměti a komponentů, jako jsou HBM a DRAM. Tato nerovnováha na trhu podpořila nárůst nákladů a společnosti se snaží přizpůsobit pomocí modernizace architektur modelů a nových kvantizačních technik.
Dále, nedostatek pevných disků tlačí provozovatele na přechod na SSD, které jsou pět až desetkrát dražší, ale nabízejí výhody jako nižší provozní náklady a menší spotřebu energie. Mezi články zmíněnými firmou Bernstein se také uvádí, že specializované TPU poskytují nižší celkové náklady na vlastnictví a vyšší výkon na watt, avšak GPU zůstávají populární pro rychlé prototypování díky své vyvinuté ekosystému.
Důležité informace
Upozornění pro uživatele
Veškeré informace a materiály zveřejněné na internetových stránkách
Burzovního Světa vycházejí z veřejně dostupných a důvěryhodných
zdrojů. Při jejich zpracování je postupováno s odbornou péčí a cílem
poskytovat čtenářům objektivní, aktuální a srozumitelné informace.
Obsah internetových stránek slouží výhradně k informačním a
vzdělávacím účelům. Nepředstavuje individuální investiční doporučení,
investiční poradenství ani nabídku či výzvu ke koupi nebo prodeji
konkrétních finančních nástrojů. Veškeré názory, odhady, prognózy
nebo očekávání uvedené v článcích vyjadřují informace dostupné v době
jejich zveřejnění a mohou se v čase měnit.
Investování na kapitálových trzích je spojeno s rizikem. Hodnota
investic může růst i klesat a návratnost investované částky není
zaručena. Minulé výnosy nejsou zárukou výnosů budoucích. Před
přijetím jakéhokoli investičního rozhodnutí doporučujeme posoudit
vlastní finanční situaci, investiční cíle a toleranci k riziku,
případně využít služeb licencovaného poskytovatele investičních
služeb.
Burzovní Svět nenese odpovědnost za investiční rozhodnutí učiněná na
základě informací zveřejněných na těchto internetových stránkách.
Diskusní příspěvky a komentáře zveřejněné uživateli vyjadřují názory
jejich autorů a nemusí odpovídat stanovisku provozovatele portálu.
Odesláním kontaktního formuláře nebo udělením příslušného souhlasu
bere uživatel na vědomí, že může být kontaktován obchodním partnerem
Burzovního Světa za účelem poskytnutí informací o investičních
službách nebo finančních nástrojích. Podrobnosti o zpracování
osobních údajů, využívání souborů cookies a obchodních partnerech jsou
uvedeny v příslušných dokumentech dostupných na těchto internetových
stránkách.
U jednotlivých článků mohou být uvedeny informace o použitých
zdrojích, datu původní analýzy nebo datu, ke kterému se vztahují
uvedené tržní údaje.
Analytici ze společnosti Bernstein upozornili na zásadní rozdíly v potřebách paměti pro trénování a provozování AI modelů. Podle těchto informací, trénování modelů vyžaduje podstatně více paměti než proces inference, neboť je třeba ukládat nejen modelová váhy, ale také aktivace, gradienty a stav optimalizátorů.Konkrétně se uvádí, že i středně velký model může během trénování vyžadovat přibližně 1 TB kombinované paměti. Naopak, inference se obejde s mnohem menšími nároky na paměť, což se týká pouze dočasných tensorů a komponent jako KV cache.Už nyní je evidentní, že hyperscale společnosti byly zaskočeny rychlým nárůstem poptávky po AI, což vedlo k výraznému zvyšování cen paměti a komponentů, jako jsou HBM a DRAM. Tato nerovnováha na trhu podpořila nárůst nákladů a společnosti se snaží přizpůsobit pomocí modernizace architektur modelů a nových kvantizačních technik.Dále, nedostatek pevných disků tlačí provozovatele na přechod na SSD, které jsou pět až desetkrát dražší, ale nabízejí výhody jako nižší provozní náklady a menší spotřebu energie. Mezi články zmíněnými firmou Bernstein se také uvádí, že specializované TPU poskytují nižší celkové náklady na vlastnictví a vyšší výkon na watt, avšak GPU zůstávají populární pro rychlé prototypování díky své vyvinuté ekosystému.
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic.
Zadejte své údaje a získejte 4 originální e-booky ZDARMA!
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Bullionářovo odpolední menu
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic.
Zadejte své údaje a získejte 4 originální e-booky ZDARMA!
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic. Zadejte své telefonní číslo a získejte originální e-booky ZDARMA!
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Akcie překonaly dosavadní maximum Akcie společnosti Nvidia (NVDA) v pátek během dopoledního obchodování vystoupaly na nové historické maximum. Cena dosáhla...
