Klíčové body

Startup Lightmatter získal 400 milionů dolarů na vývoj fotonických propojení, které výrazně zlepší výpočetní výkon datových center
Fotonické čipy Lightmatteru umožňují synchronní práci až 1 024 GPU, což přináší významné zrychlení výpočtů v datových centrech
Společnost plánuje do budoucna zlepšit výkon čipů na waferovém měřítku a posunout hranice v oblasti čipového průmyslu

Rozvoj umělé inteligence a s ním spojené obrovské výpočetní nároky převálcovaly průmysl datových center, ale není to tak jednoduché jako zapojit další tisíce GPU. Jak odborníci na vysoce výkonné výpočty vědí už léta, nezáleží na tom, jak rychlé jsou jednotlivé uzly vašeho superpočítače, pokud tyto uzly polovinu času nečinně čekají na příchod dat.

Propojovací vrstva nebo vrstvy jsou ve skutečnosti tím, co ze stojanů s CPU a GPU dělá efektivně jeden obrovský stroj – z toho vyplývá, že čím rychlejší propojení, tím rychlejší datové centrum. A vypadá to, že společnost Lightmatter buduje nejrychlejší propojovací vrstvu s velkým náskokem, a to pomocí fotonických čipů, které vyvíjí od roku 2018.

„Velké technologické firmy vědí, že pokud chtějí počítač s milionem uzlů, s tradičními přepínači od Cisco to nezvládnou. Jakmile se vzdálíte od racku, přecházíte z vysoce výkonného propojení na něco, co by se dalo přirovnat ke kelímku na provázku,“ uvedl Nick Harris, generální ředitel a zakladatel společnosti.

Podle jeho slov je nejmodernějším řešením NVLink a zejména platforma NVL72, která do racku umisťuje 72 jednotek Nvidia Blackwell zapojených dohromady a schopných dosáhnout maximálního výkonu 1,4 exaFLOPs s přesností FP4.

Žádný rack však nefunguje samostatně, a všechny tyto výpočty musí být propojeny 7terabitovou „scale-up“ sítí. I když to zní jako velká kapacita, nedostatečně rychlé propojení mezi jednotlivými jednotkami a dalšími racky představuje jednu z hlavních překážek pro zvyšování výkonu.

„Pro milion grafických procesorů je potřeba několik vrstev přepínačů, což výrazně zvyšuje latenci,“ uvedl Harris. „Musíte neustále přecházet mezi elektrickým a optickým signálem, což výrazně zvyšuje spotřebu energie i čekací dobu. Ve větších clusterech se tyto problémy ještě více zhoršují.“

Co tedy Lightmatter přináší? Vlákna. Hodně a hodně vláken vedených přes čistě optické rozhraní. Až 1,6 terabitu na vlákno (při použití více barev) a až 256 vláken na čip… no, řekněme, že 72 GPU při 7 terabitech začíná znít pozitivně kuriózně.

„Fotonika přichází mnohem rychleji, než si lidé mysleli – lidé se s jejím zprovozněním potýkají už léta, ale jsme tam,“ řekl Harris. „Po sedmi letech naprosto vražedné dřiny,“ dodal.

Fotonické propojení, které je v současné době k dispozici od společnosti Lightmatter, zvládá 30 terabitů, zatímco optické rozvody v racku jsou schopny umožnit synchronní práci 1 024 GPU ve vlastních speciálně navržených raccích. Pokud by vás to zajímalo, obě čísla se nezvyšují podobnými koeficienty, protože mnoho z toho, co by bylo třeba propojit do jiného racku, lze v clusteru s tisíci GPU provést on-rack. (A 100 terabitů je stejně na cestě.)

Trh pro tuto oblast je obrovský, zdůraznil Harris, protože všechny velké společnosti v oblasti datových center od Microsoftu přes Amazon až po novější účastníky, jako jsou xAI a OpenAI, vykazují nekonečný zájem o výpočetní výkon. „Propojují budovy! Zajímalo by mě, jak dlouho jim to vydrží,“ řekl.

Mnozí z těchto hyperskalátorů jsou již zákazníky, ačkoli Harris nechtěl žádného jmenovat. „Představte si Lightmatter trochu jako slévárnu, jako je TSMC,“ řekl. „Nevybíráme si favority ani nepřipojujeme své jméno ke značkám jiných lidí. Poskytujeme jim plán a platformu – prostě pomáháme zvětšovat koláč.“

Stydlivě však dodal: „Bez využití této technologie nezvýšíte své ocenění čtyřnásobně.“ Možná šlo o narážku na nedávné kolo financování společnosti OpenAI, které ji ocenilo na 157 miliard dolarů, ale poznámka se mohla stejně dobře týkat i jeho vlastní společnosti.

Toto kolo D v hodnotě 400 milionů dolarů ji oceňuje na 4,4 miliardy dolarů, což je podobný násobek jejího ocenění v polovině roku 2023, který „z nás dělá zdaleka největší fotonickou společnost. Takže to je super!“ řekl Harris. Toto kolo vedla společnost T. Rowe Price Associates a podíleli se na něm stávající investoři Fidelity Management & Research Company a GV.

Co bude dál? Kromě propojení vyvíjí společnost nové substráty pro čipy, aby mohly provádět ještě intimnější, chcete-li síťové úlohy pomocí světla.
Harris spekuloval, že kromě propojení bude v budoucnu velkým rozlišovacím prvkem výkon na čip.

„Za 10 let budou mít všichni čipy ve waferovém měřítku – prostě neexistuje jiný způsob, jak zvýšit výkon na čip,“ řekl. Společnost Cerebras na tom samozřejmě již pracuje, i když je otevřenou otázkou, zda je v této fázi technologie schopna zachytit skutečnou hodnotu tohoto pokroku.

Harris, který si uvědomuje, že se čipový průmysl blíží svým limitům, plánuje být připraven na další krok. „Za deset let se stane propojení klíčovým, podobně jako byl Mooreův zákon,“ uvedl.

Optická propojovací vrstva společnosti umožňuje synchronní práci stovek grafických procesorů, což zefektivňuje nákladnou a složitou práci při trénování a spouštění modelů umělé inteligence.Rozvoj umělé inteligence a s ním spojené obrovské výpočetní nároky převálcovaly průmysl datových center, ale není to tak jednoduché jako zapojit další tisíce GPU. Jak odborníci na vysoce výkonné výpočty vědí už léta, nezáleží na tom, jak rychlé jsou jednotlivé uzly vašeho superpočítače, pokud tyto uzly polovinu času nečinně čekají na příchod dat.Propojovací vrstva nebo vrstvy jsou ve skutečnosti tím, co ze stojanů s CPU a GPU dělá efektivně jeden obrovský stroj – z toho vyplývá, že čím rychlejší propojení, tím rychlejší datové centrum. A vypadá to, že společnost Lightmatter buduje nejrychlejší propojovací vrstvu s velkým náskokem, a to pomocí fotonických čipů, které vyvíjí od roku 2018.„Velké technologické firmy vědí, že pokud chtějí počítač s milionem uzlů, s tradičními přepínači od Cisco to nezvládnou. Jakmile se vzdálíte od racku, přecházíte z vysoce výkonného propojení na něco, co by se dalo přirovnat ke kelímku na provázku,“ uvedl Nick Harris, generální ředitel a zakladatel společnosti.Podle jeho slov je nejmodernějším řešením NVLink a zejména platforma NVL72, která do racku umisťuje 72 jednotek Nvidia Blackwell zapojených dohromady a schopných dosáhnout maximálního výkonu 1,4 exaFLOPs s přesností FP4. Žádný rack však nefunguje samostatně, a všechny tyto výpočty musí být propojeny 7terabitovou „scale-up“ sítí. I když to zní jako velká kapacita, nedostatečně rychlé propojení mezi jednotlivými jednotkami a dalšími racky představuje jednu z hlavních překážek pro zvyšování výkonu.„Pro milion grafických procesorů je potřeba několik vrstev přepínačů, což výrazně zvyšuje latenci,“ uvedl Harris. „Musíte neustále přecházet mezi elektrickým a optickým signálem, což výrazně zvyšuje spotřebu energie i čekací dobu. Ve větších clusterech se tyto problémy ještě více zhoršují.“Co tedy Lightmatter přináší? Vlákna. Hodně a hodně vláken vedených přes čistě optické rozhraní. Až 1,6 terabitu na vlákno a až 256 vláken na čip… no, řekněme, že 72 GPU při 7 terabitech začíná znít pozitivně kuriózně.„Fotonika přichází mnohem rychleji, než si lidé mysleli – lidé se s jejím zprovozněním potýkají už léta, ale jsme tam,“ řekl Harris. „Po sedmi letech naprosto vražedné dřiny,“ dodal.Fotonické propojení, které je v současné době k dispozici od společnosti Lightmatter, zvládá 30 terabitů, zatímco optické rozvody v racku jsou schopny umožnit synchronní práci 1 024 GPU ve vlastních speciálně navržených raccích. Pokud by vás to zajímalo, obě čísla se nezvyšují podobnými koeficienty, protože mnoho z toho, co by bylo třeba propojit do jiného racku, lze v clusteru s tisíci GPU provést on-rack. Trh pro tuto oblast je obrovský, zdůraznil Harris, protože všechny velké společnosti v oblasti datových center od Microsoftu přes Amazon až po novější účastníky, jako jsou xAI a OpenAI, vykazují nekonečný zájem o výpočetní výkon. „Propojují budovy! Zajímalo by mě, jak dlouho jim to vydrží,“ řekl.Mnozí z těchto hyperskalátorů jsou již zákazníky, ačkoli Harris nechtěl žádného jmenovat. „Představte si Lightmatter trochu jako slévárnu, jako je TSMC,“ řekl. „Nevybíráme si favority ani nepřipojujeme své jméno ke značkám jiných lidí. Poskytujeme jim plán a platformu – prostě pomáháme zvětšovat koláč.“Stydlivě však dodal: „Bez využití této technologie nezvýšíte své ocenění čtyřnásobně.“ Možná šlo o narážku na nedávné kolo financování společnosti OpenAI, které ji ocenilo na 157 miliard dolarů, ale poznámka se mohla stejně dobře týkat i jeho vlastní společnosti.Toto kolo D v hodnotě 400 milionů dolarů ji oceňuje na 4,4 miliardy dolarů, což je podobný násobek jejího ocenění v polovině roku 2023, který „z nás dělá zdaleka největší fotonickou společnost. Takže to je super!“ řekl Harris. Toto kolo vedla společnost T. Rowe Price Associates a podíleli se na něm stávající investoři Fidelity Management & Research Company a GV.Co bude dál? Kromě propojení vyvíjí společnost nové substráty pro čipy, aby mohly provádět ještě intimnější, chcete-li síťové úlohy pomocí světla.Harris spekuloval, že kromě propojení bude v budoucnu velkým rozlišovacím prvkem výkon na čip. „Za 10 let budou mít všichni čipy ve waferovém měřítku – prostě neexistuje jiný způsob, jak zvýšit výkon na čip,“ řekl. Společnost Cerebras na tom samozřejmě již pracuje, i když je otevřenou otázkou, zda je v této fázi technologie schopna zachytit skutečnou hodnotu tohoto pokroku.Harris, který si uvědomuje, že se čipový průmysl blíží svým limitům, plánuje být připraven na další krok. „Za deset let se stane propojení klíčovým, podobně jako byl Mooreův zákon,“ uvedl.