Enfabrica, která vytváří síťový hardware pro řízení pracovních úloh s AI získala 125 milionů dolarů

Nová tranše, kterou vedla společnost Atreides Management a na níž se podílely společnosti Sutter Hill Ventures, Nvidia, IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners a Alumni Ventures, zvýšila celkovou částku získanou společností Enfabrica na 148 milionů dolarů. Sankar říká, že tato částka bude použita na podporu výzkumu a vývoje a provozu společnosti Enfabrica, jakož i na rozšíření jejích inženýrských, prodejních a marketingových týmů.

„Je pozoruhodné, že společnost Enfabrica získala kolo v takovém rozsahu ve velmi náročném prostředí pro financování čipových startupů – a obecně rizikově financovaných hlubokých technologií – a tím se odlišila od mnoha svých čipových startupů v oboru,“ řekl Sankar. „Vzhledem k tomu, že generativní umělá inteligence a rozsáhlé jazykové modely jsou i nadále hnací silou největšího rozmachu infrastruktury v oblasti cloud computingu v mnoha odvětvích, mají řešení, jako je to od společnosti Enfabrica, potenciál řešit velmi vysokou poptávku po síťových technologiích.“

Společnost Enfabrica se sice vynořila z utajení v roce 2023, ale její cesta začala v roce 2020. Sankar, bývalý ředitel inženýrství ve společnosti Broadcom, se spojil se Shrijeetem Mukherjeem, který dříve vedl síťové platformy a architekturu ve společnosti Google, a společně vytvořili startup Enfabrica, aby uspokojili to, co vypozorovali jako růst zájmu průmyslu umělé inteligence o „paralelní, akcelerovanou a heterogenní“ infrastrukturu – jinými slovy o grafické procesory.

„Usoudili jsme, že síťový křemík a systémy musí projít podobnou změnou paradigmatu, aby umožnily takový druh výpočetní infrastruktury v obrovském měřítku,“ řekl Sankar. „Největší výzvou, kterou představuje současná revoluce v oblasti umělé inteligence, je škálování infrastruktury umělé inteligence – jak z hlediska nákladů na výpočetní výkon, tak z hlediska udržitelnosti výpočetního výkonu.“

Sankar jako generální ředitel a Mukherjee jako ředitel vývoje spolu s několika zakládajícími inženýry pocházejícími ze společností jako Cisco, Meta a Intel začali vyvíjet architekturu pro síťové čipy, která by splňovala požadavky na I/O a „pohyb v paměti“ paralelních pracovních úloh, včetně umělé inteligence.

Sankar tvrdí, že běžné síťové čipy, jako jsou přepínače, mají problém udržet krok s potřebami pohybu dat moderních pracovních úloh umělé inteligence. Některé z modelů AI, které se dnes trénují, jako například Llama 2 a GPT-4 společnosti Meta, přijímají během tréninkového procesu obrovské datové sady – a síťové přepínače mohou nakonec představovat úzké hrdlo, říká Sankar.

Chcete využít této příležitosti?

„Významná část problému škálování a úzkého hrdla pro průmysl umělé inteligence spočívá v I/O subsystémech, pohybu paměti a síťových připojeních připojených ke grafickým výpočetním jednotkám,“ řekl. „Existuje obrovská potřeba propojit rostoucí poptávku po pracovní zátěži AI s celkovými náklady, efektivitou, udržitelností a snadností škálování výpočetních klastrů, na kterých běží.“

Při vývoji špičkového síťového hardwaru se společnost Enfabrica zaměřila na paralelizovatelnost.

Hardware společnosti Enfabrica, který nazývá Accelerated Compute Fabric Switch (zkráceně ACF-S), dokáže kromě paměti a síťových zařízení zajišťovat i přenos dat rychlostí až „několik terabitů za sekundu“ mezi grafickými procesory, procesory a čipy akcelerátorů umělé inteligence. Díky použití rozhraní „založených na standardech“ lze hardware škálovat až na desítky tisíc uzlů a snížit výpočetní výkon GPU pro velký jazykový model (po vzoru Llama 2) přibližně o 50 % při stejném výkonu, tvrdí Enfabric.

„Zařízení ACF-S společnosti Enfabrica doplňují GPU, CPU a akcelerátory tím, že poskytují efektivní, vysoce výkonné sítě, I/O a paměť připojené v rámci serverového racku datového centra,“ vysvětlil Sankar. „Za tímto účelem je ACF-S konvergovaným řešením, které eliminuje potřebu různých tradičních serverových I/O a síťových čipů, jako jsou síťové přepínače na úrovni racku, řadiče serverového síťového rozhraní a přepínače PCIe.“

Sankar také uvedl, že zařízení ACF-S mohou být přínosem pro společnosti, které se zabývají inferencováním, tj. spouštěním vyškolených modelů AI, protože jim umožňují používat co nejmenší počet GPU, CPU a dalších akcelerátorů AI. To proto, že – podle Sankara – ACF-S dokáže efektivněji využívat stávající hardware tím, že velmi rychle přesouvá obrovské množství dat.

„ACF-S je agnostický vůči typu a značce procesoru AI použitého pro výpočty AI, stejně jako vůči přesným nasazeným modelům, což umožňuje budovat infrastrukturu AI v mnoha různých případech použití a podporovat více dodavatelů procesorů bez proprietárního uzamčení,“ dodal.

Enfabrica může být dobře financována. Není však jediným startupem, který se honí za trendem umělé inteligence.

Společnost Enfabrica se sídlem v Mountain View má něco přes 100 zaměstnanců v Severní Americe, Evropě a Indii.

Nová tranše, kterou vedla společnost Atreides Management a na níž se podílely společnosti Sutter Hill Ventures, Nvidia, IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners a Alumni Ventures, zvýšila celkovou částku získanou společností Enfabrica na 148 milionů dolarů. Sankar říká, že tato částka bude použita na podporu výzkumu a vývoje a provozu společnosti Enfabrica, jakož i na rozšíření jejích inženýrských, prodejních a marketingových týmů.„Je pozoruhodné, že společnost Enfabrica získala kolo v takovém rozsahu ve velmi náročném prostředí pro financování čipových startupů – a obecně rizikově financovaných hlubokých technologií – a tím se odlišila od mnoha svých čipových startupů v oboru,“ řekl Sankar. „Vzhledem k tomu, že generativní umělá inteligence a rozsáhlé jazykové modely jsou i nadále hnací silou největšího rozmachu infrastruktury v oblasti cloud computingu v mnoha odvětvích, mají řešení, jako je to od společnosti Enfabrica, potenciál řešit velmi vysokou poptávku po síťových technologiích.“Společnost Enfabrica se sice vynořila z utajení v roce 2023, ale její cesta začala v roce 2020. Sankar, bývalý ředitel inženýrství ve společnosti Broadcom, se spojil se Shrijeetem Mukherjeem, který dříve vedl síťové platformy a architekturu ve společnosti Google, a společně vytvořili startup Enfabrica, aby uspokojili to, co vypozorovali jako růst zájmu průmyslu umělé inteligence o „paralelní, akcelerovanou a heterogenní“ infrastrukturu – jinými slovy o grafické procesory.„Usoudili jsme, že síťový křemík a systémy musí projít podobnou změnou paradigmatu, aby umožnily takový druh výpočetní infrastruktury v obrovském měřítku,“ řekl Sankar. „Největší výzvou, kterou představuje současná revoluce v oblasti umělé inteligence, je škálování infrastruktury umělé inteligence – jak z hlediska nákladů na výpočetní výkon, tak z hlediska udržitelnosti výpočetního výkonu.“Sankar jako generální ředitel a Mukherjee jako ředitel vývoje spolu s několika zakládajícími inženýry pocházejícími ze společností jako Cisco, Meta a Intel začali vyvíjet architekturu pro síťové čipy, která by splňovala požadavky na I/O a „pohyb v paměti“ paralelních pracovních úloh, včetně umělé inteligence.Sankar tvrdí, že běžné síťové čipy, jako jsou přepínače, mají problém udržet krok s potřebami pohybu dat moderních pracovních úloh umělé inteligence. Některé z modelů AI, které se dnes trénují, jako například Llama 2 a GPT-4 společnosti Meta, přijímají během tréninkového procesu obrovské datové sady – a síťové přepínače mohou nakonec představovat úzké hrdlo, říká Sankar. Chcete využít této příležitosti?„Významná část problému škálování a úzkého hrdla pro průmysl umělé inteligence spočívá v I/O subsystémech, pohybu paměti a síťových připojeních připojených ke grafickým výpočetním jednotkám,“ řekl. „Existuje obrovská potřeba propojit rostoucí poptávku po pracovní zátěži AI s celkovými náklady, efektivitou, udržitelností a snadností škálování výpočetních klastrů, na kterých běží.“Hardware společnosti Enfabrica, který nazývá Accelerated Compute Fabric Switch , dokáže kromě paměti a síťových zařízení zajišťovat i přenos dat rychlostí až „několik terabitů za sekundu“ mezi grafickými procesory, procesory a čipy akcelerátorů umělé inteligence. Díky použití rozhraní „založených na standardech“ lze hardware škálovat až na desítky tisíc uzlů a snížit výpočetní výkon GPU pro velký jazykový model přibližně o 50 % při stejném výkonu, tvrdí Enfabric.„Zařízení ACF-S společnosti Enfabrica doplňují GPU, CPU a akcelerátory tím, že poskytují efektivní, vysoce výkonné sítě, I/O a paměť připojené v rámci serverového racku datového centra,“ vysvětlil Sankar. „Za tímto účelem je ACF-S konvergovaným řešením, které eliminuje potřebu různých tradičních serverových I/O a síťových čipů, jako jsou síťové přepínače na úrovni racku, řadiče serverového síťového rozhraní a přepínače PCIe.“Sankar také uvedl, že zařízení ACF-S mohou být přínosem pro společnosti, které se zabývají inferencováním, tj. spouštěním vyškolených modelů AI, protože jim umožňují používat co nejmenší počet GPU, CPU a dalších akcelerátorů AI. To proto, že – podle Sankara – ACF-S dokáže efektivněji využívat stávající hardware tím, že velmi rychle přesouvá obrovské množství dat.„ACF-S je agnostický vůči typu a značce procesoru AI použitého pro výpočty AI, stejně jako vůči přesným nasazeným modelům, což umožňuje budovat infrastrukturu AI v mnoha různých případech použití a podporovat více dodavatelů procesorů bez proprietárního uzamčení,“ dodal.Společnost Enfabrica se sídlem v Mountain View má něco přes 100 zaměstnanců v Severní Americe, Evropě a Indii.