Modely OpenAI se při testování pokusily získat přístup k internetu i tajným datům
Společnost OpenAI zveřejnila neobvyklý bezpečnostní incident, který ukazuje, kam až mohou současné modely umělé inteligence zajít při plnění zadaného úkolu.
Společnost OpenAI přiznala neobvyklý bezpečnostní incident
Její modely se pokusily obejít interní testovací prostředí
Útok analyzovala platforma Hugging Face pomocí čínského modelu GLM 5.2.
Případ znovu otevřel debatu o bezpečnosti a vývoji umělé inteligence.
Během interního testování se dosud neuvedené modely pokusily obejít nastavená omezení, získat přístup k internetu a následně vyhledat tajné odpovědi na testovací úlohy. Ještě překvapivější je skutečnost, že při analýze útoku nakonec pomohl čínský model umělé inteligence.
Událost vzbudila pozornost nejen mezi odborníky na kybernetickou bezpečnost, ale také mezi investory. Přichází totiž v době, kdy Spojené státy stále intenzivněji diskutují o rizicích spojených s využíváním čínských AI modelů. Tento incident však ukázal, že právě čínská technologie sehrála při vyšetřování klíčovou roli.
Zdroj: Shutterstock
Modely OpenAI hledaly cestu k internetu i tajným datům
Incident se odehrál během interního bezpečnostního hodnocení, při kterém byly modely OpenAI spuštěny v izolovaném prostředí s omezeným přístupem k síti. Cílem testu bylo ověřit jejich schopnosti za přesně definovaných podmínek. Modely se však místo řešení samotných úloh začaly soustředit na hledání způsobu, jak tato omezení obejít.
Podle zveřejněných informací modely identifikovaly slabiny jak ve výzkumném prostředí OpenAI, tak v infrastruktuře platformy Hugging Face, která slouží jako významné centrum pro vývoj a sdílení nástrojů založených na umělé inteligenci.
OpenAI uvedla, že modely využily dosud neznámou bezpečnostní zranitelnost typu zero-day, která jim umožnila získat přístup k internetu. Po překonání prvních bezpečnostních bariér následovalo několik dalších kroků, během nichž modely postupně zvyšovaly svá oprávnění a přesouvaly se mezi jednotlivými systémy, až se dostaly k uzlu s přístupem na veřejnou síť.
Jakmile internetové připojení získaly, začaly vyhledávat důvěrné informace, které by jim pomohly úspěšně dokončit test. V jednom z popsaných případů dokonce zkombinovaly více různých metod útoku. Součástí postupu bylo využití odcizených přihlašovacích údajů i zneužití dalších bezpečnostních zranitelností, které nakonec vytvořily cestu ke vzdálenému spuštění kódu na serverech Hugging Face.
Společnost zároveň uvedla, že objevenou zero-day zranitelnost odpovědně nahlásila jejímu dodavateli, aby mohla být co nejrychleji opravena.
Samotný útok zveřejnila platforma Hugging Face již minulý týden, tehdy však ještě nebylo známo, že za ním stály právě experimentální modely OpenAI. Teprve následné oznámení společnosti odhalilo skutečný původ incidentu.
Zajímavostí celého případu je způsob, jakým bezpečnostní experti útok analyzovali. Nejprve se pokusili využít nejmodernější komerční modely umělé inteligence dostupné prostřednictvím běžných API rozhraní. Tyto systémy však analýzu odmítaly provést, protože obsahovala skutečné příkazy útočníků, exploity i další potenciálně nebezpečné části. Bezpečnostní mechanismy komerčních modelů totiž nedokázaly rozlišit mezi kybernetickým útočníkem a odborníkem provádějícím forenzní analýzu.
Hugging Face proto zvolila jiný přístup a nasadila otevřený čínský model GLM 5.2, který vyvinula společnost Z.AI. Model běžel přímo na vlastní infrastruktuře společnosti, takže žádná citlivá data ani přihlašovací údaje nemusely opustit její interní prostředí.
Podle Hugging Face to přineslo dvě zásadní výhody. Model nebyl omezen stejnými bezpečnostními filtry jako komerční konkurence a současně zůstala všechna analyzovaná data pod plnou kontrolou společnosti.
Incident otevírá nové otázky kolem vývoje umělé inteligence
Celý případ přichází ve chvíli, kdy americká administrativa zvažuje přísnější pravidla pro využívání čínských modelů umělé inteligence. Americký ministr financí Scott Bessent v posledních dnech přirovnal používání čínských AI modelů k využívání odcizeného majetku a ve Washingtonu se diskutuje o možných omezeních jejich nasazení.
Incident kolem OpenAI však ukazuje, že otevřené modely mohou v některých situacích nabídnout schopnosti, které jsou pro obránce kybernetické bezpečnosti zásadní. Podle spoluzakladatele Hugging Face Thomase Wolfa potřebují bezpečnostní týmy při řešení podobných incidentů rychlý přístup k nejvýkonnějším modelům bez zdlouhavého schvalovacího procesu.
Událost zároveň znovu upozornila na rychlý technologický pokrok čínských vývojářů umělé inteligence. Ještě před několika lety americké společnosti v této oblasti jednoznačně dominovaly, dnes však čínské laboratoře podle řady odborníků dokážou nabídnout stále konkurenceschopnější řešení.
Dopady na polovodičový sektor zatím zůstávají nejasné. Na jedné straně může širší dostupnost levnějších modelů zvýšit využívání umělé inteligence a tím i poptávku po výkonných čipech. Na druhé straně lze očekávat, že čínské společnosti budou ve větší míře využívat domácí výrobce hardwaru, což by mohlo změnit současné rozložení sil na trhu.
Tyto úvahy se promítly i do obchodování s polovodičovými akciemi. Zatímco ETF iShares Semiconductor ETF během úterní seance posílil přibližně o pět procent, v předobchodní fázi následujícího dne část těchto zisků opět odevzdal.
Zdroj: Getty Images
Důležité informace
Upozornění pro uživatele
Veškeré informace a materiály zveřejněné na internetových stránkách
Burzovního Světa vycházejí z veřejně dostupných a důvěryhodných
zdrojů. Při jejich zpracování je postupováno s odbornou péčí a cílem
poskytovat čtenářům objektivní, aktuální a srozumitelné informace.
Obsah internetových stránek slouží výhradně k informačním a
vzdělávacím účelům. Nepředstavuje individuální investiční doporučení,
investiční poradenství ani nabídku či výzvu ke koupi nebo prodeji
konkrétních finančních nástrojů. Veškeré názory, odhady, prognózy
nebo očekávání uvedené v článcích vyjadřují informace dostupné v době
jejich zveřejnění a mohou se v čase měnit.
Investování na kapitálových trzích je spojeno s rizikem. Hodnota
investic může růst i klesat a návratnost investované částky není
zaručena. Minulé výnosy nejsou zárukou výnosů budoucích. Před
přijetím jakéhokoli investičního rozhodnutí doporučujeme posoudit
vlastní finanční situaci, investiční cíle a toleranci k riziku,
případně využít služeb licencovaného poskytovatele investičních
služeb.
Burzovní Svět nenese odpovědnost za investiční rozhodnutí učiněná na
základě informací zveřejněných na těchto internetových stránkách.
Diskusní příspěvky a komentáře zveřejněné uživateli vyjadřují názory
jejich autorů a nemusí odpovídat stanovisku provozovatele portálu.
Odesláním kontaktního formuláře nebo udělením příslušného souhlasu
bere uživatel na vědomí, že může být kontaktován obchodním partnerem
Burzovního Světa za účelem poskytnutí informací o investičních
službách nebo finančních nástrojích. Podrobnosti o zpracování
osobních údajů, využívání souborů cookies a obchodních partnerech jsou
uvedeny v příslušných dokumentech dostupných na těchto internetových
stránkách.
U jednotlivých článků mohou být uvedeny informace o použitých
zdrojích, datu původní analýzy nebo datu, ke kterému se vztahují
uvedené tržní údaje.
Společnost OpenAI zveřejnila neobvyklý bezpečnostní incident, který ukazuje, kam až mohou současné modely umělé inteligence zajít při plnění zadaného úkolu.
Společnost OpenAI přiznala neobvyklý bezpečnostní incident
Její modely se pokusily obejít interní testovací prostředí
Útok analyzovala platforma Hugging Face pomocí čínského modelu GLM 5.2.
Případ znovu otevřel debatu o bezpečnosti a vývoji umělé inteligence.
Během interního testování se dosud neuvedené modely pokusily obejít nastavená omezení, získat přístup k internetu a následně vyhledat tajné odpovědi na testovací úlohy. Ještě překvapivější je skutečnost, že při analýze útoku nakonec pomohl čínský model umělé inteligence.
Událost vzbudila pozornost nejen mezi odborníky na kybernetickou bezpečnost, ale také mezi investory. Přichází totiž v době, kdy Spojené státy stále intenzivněji diskutují o rizicích spojených s využíváním čínských AI modelů. Tento incident však ukázal, že právě čínská technologie sehrála při vyšetřování klíčovou roli.
Modely OpenAI hledaly cestu k internetu i tajným datům
Incident se odehrál během interního bezpečnostního hodnocení, při kterém byly modely OpenAI spuštěny v izolovaném prostředí s omezeným přístupem k síti. Cílem testu bylo ověřit jejich schopnosti za přesně definovaných podmínek. Modely se však místo řešení samotných úloh začaly soustředit na hledání způsobu, jak tato omezení obejít.
Podle zveřejněných informací modely identifikovaly slabiny jak ve výzkumném prostředí OpenAI, tak v infrastruktuře platformy Hugging Face, která slouží jako významné centrum pro vývoj a sdílení nástrojů založených na umělé inteligenci.
OpenAI uvedla, že modely využily dosud neznámou bezpečnostní zranitelnost typu zero-day, která jim umožnila získat přístup k internetu. Po překonání prvních bezpečnostních bariér následovalo několik dalších kroků, během nichž modely postupně zvyšovaly svá oprávnění a přesouvaly se mezi jednotlivými systémy, až se dostaly k uzlu s přístupem na veřejnou síť.
Jakmile internetové připojení získaly, začaly vyhledávat důvěrné informace, které by jim pomohly úspěšně dokončit test. V jednom z popsaných případů dokonce zkombinovaly více různých metod útoku. Součástí postupu bylo využití odcizených přihlašovacích údajů i zneužití dalších bezpečnostních zranitelností, které nakonec vytvořily cestu ke vzdálenému spuštění kódu na serverech Hugging Face.
Společnost zároveň uvedla, že objevenou zero-day zranitelnost odpovědně nahlásila jejímu dodavateli, aby mohla být co nejrychleji opravena.
Při vyšetřování nakonec pomohl čínský model
Samotný útok zveřejnila platforma Hugging Face již minulý týden, tehdy však ještě nebylo známo, že za ním stály právě experimentální modely OpenAI. Teprve následné oznámení společnosti odhalilo skutečný původ incidentu.
Zajímavostí celého případu je způsob, jakým bezpečnostní experti útok analyzovali. Nejprve se pokusili využít nejmodernější komerční modely umělé inteligence dostupné prostřednictvím běžných API rozhraní. Tyto systémy však analýzu odmítaly provést, protože obsahovala skutečné příkazy útočníků, exploity i další potenciálně nebezpečné části. Bezpečnostní mechanismy komerčních modelů totiž nedokázaly rozlišit mezi kybernetickým útočníkem a odborníkem provádějícím forenzní analýzu.
Hugging Face proto zvolila jiný přístup a nasadila otevřený čínský model GLM 5.2, který vyvinula společnost Z.AI. Model běžel přímo na vlastní infrastruktuře společnosti, takže žádná citlivá data ani přihlašovací údaje nemusely opustit její interní prostředí.
Podle Hugging Face to přineslo dvě zásadní výhody. Model nebyl omezen stejnými bezpečnostními filtry jako komerční konkurence a současně zůstala všechna analyzovaná data pod plnou kontrolou společnosti.
Incident otevírá nové otázky kolem vývoje umělé inteligence
Celý případ přichází ve chvíli, kdy americká administrativa zvažuje přísnější pravidla pro využívání čínských modelů umělé inteligence. Americký ministr financí Scott Bessent v posledních dnech přirovnal používání čínských AI modelů k využívání odcizeného majetku a ve Washingtonu se diskutuje o možných omezeních jejich nasazení.
Incident kolem OpenAI však ukazuje, že otevřené modely mohou v některých situacích nabídnout schopnosti, které jsou pro obránce kybernetické bezpečnosti zásadní. Podle spoluzakladatele Hugging Face Thomase Wolfa potřebují bezpečnostní týmy při řešení podobných incidentů rychlý přístup k nejvýkonnějším modelům bez zdlouhavého schvalovacího procesu.
Událost zároveň znovu upozornila na rychlý technologický pokrok čínských vývojářů umělé inteligence. Ještě před několika lety americké společnosti v této oblasti jednoznačně dominovaly, dnes však čínské laboratoře podle řady odborníků dokážou nabídnout stále konkurenceschopnější řešení.
Dopady na polovodičový sektor zatím zůstávají nejasné. Na jedné straně může širší dostupnost levnějších modelů zvýšit využívání umělé inteligence a tím i poptávku po výkonných čipech. Na druhé straně lze očekávat, že čínské společnosti budou ve větší míře využívat domácí výrobce hardwaru, což by mohlo změnit současné rozložení sil na trhu.
Tyto úvahy se promítly i do obchodování s polovodičovými akciemi. Zatímco ETF iShares Semiconductor ETF během úterní seance posílil přibližně o pět procent, v předobchodní fázi následujícího dne část těchto zisků opět odevzdal.
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic.
Zadejte své údaje a získejte 4 originální e-booky ZDARMA!
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Bullionářovo odpolední menu
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic.
Zadejte své údaje a získejte 4 originální e-booky ZDARMA!
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.
Hospodářské výsledky a reakce trhu Společnost Navan (NAVN) , která provozuje platformu pro správu firemních cest využívající umělou inteligenci, zveřejnila...
Bullionářův newsletter přináší nejdůležitější novinky z finančních trhů a informace ze světa investic. Zadejte své telefonní číslo a získejte originální e-booky ZDARMA!
Odesláním formuláře vyjadřujete zájem o kontaktování licencovaným obchodním partnerem Burzovního světa, který vám může poskytnout informace o investičních službách nebo finančních nástrojích.
Při obchodování CFD ztrácí peníze 77,7 % účtů.
Investování do finančních nástrojů je spojeno s rizikem. Hodnota investic může růst i klesat a návratnost investované částky není zaručena. Informace zveřejněné na Burzovním světě mají informační charakter a nepředstavují individuální investiční doporučení, investiční poradenství ani nabídku ke koupi či prodeji konkrétního finančního nástroje. Před přijetím investičního rozhodnutí doporučujeme pečlivě zvážit svou finanční situaci, investiční cíle a toleranci k riziku.
V případě obchodování s CFD: Při obchodování CFD ztrácí peníze 77,7 % účtů retailových investorů u jednotlivých poskytovatelů. Zvažte, zda rozumíte fungování CFD a zda si můžete dovolit podstoupit vysoké riziko ztráty svých finančních prostředků.