Vědci využívají GPT k pasivnímu čtení myšlenek lidí v průlomovém projektu

Dekodér dokázal interpretovat podstatu příběhů, které sledovaly nebo poslouchaly lidské subjekty – nebo si je dokonce jen představovaly – pomocí vzorců mozkové fMRI, což mu v podstatě umožňuje číst myšlenky lidí s nebývalou účinností. Ačkoli je tato technologie stále v rané fázi, vědci doufají, že by jednou mohla pomoci lidem s neurologickým onemocněním, které ovlivňuje řeč, jasně komunikovat s okolním světem.

Tým, který dekodér vytvořil, však také varoval, že platformy pro čtení mozku by mohly mít nakonec i nekalé využití, včetně sledování ze strany vlád a zaměstnavatelů. Ačkoli výzkumníci zdůraznili, že jejich dekodér vyžaduje ke své činnosti spolupráci lidských subjektů, argumentovali tím, že „rozhraní mozek-počítač by měla respektovat soukromí osob“, jak uvádí studie zveřejněná v pondělí v časopise Nature Neuroscience.

„V současné době se dekódování jazyka provádí pomocí implantovaných zařízení, která vyžadují neurochirurgický zákrok, a naše studie je první, která dekóduje souvislý jazyk, tedy více než celá slova nebo věty, z neinvazivních mozkových záznamů, které shromažďujeme pomocí funkční magnetické rezonance,“ uvedl Jerry Tang, postgraduální student informatiky na Texaské univerzitě v Austinu, který studii vedl, na tiskovém briefingu, který se konal minulý čtvrtek.

„Cílem dekódování jazyka je pořídit záznam mozkové aktivity uživatele a předpovědět slova, která uživatel slyšel, říkal nebo si představoval,“ poznamenal. „Nakonec doufáme, že tato technologie pomůže lidem, kteří ztratili schopnost mluvit v důsledku zranění, jako je mrtvice, nebo nemocí, jako je ALS.“

Tang a jeho kolegové byli schopni vytvořit svůj dekodér s pomocí tří lidských účastníků, kteří strávili 16 hodin v přístroji fMRI poslechem příběhů. Výzkumníci vycvičili model umělé inteligence označovaný ve studii jako GPT-1 na komentářích a autobiografických příbězích z Redditu, aby propojili sémantické rysy nahraných příběhů s nervovou aktivitou zachycenou v datech fMRI. Tímto způsobem se mohl naučit, která slova a fráze jsou spojeny s určitými mozkovými vzorci.

Chcete využít této příležitosti?

Po dokončení této fáze experimentu byl účastníkům naskenován mozek pomocí fMRI, zatímco poslouchali nové příběhy, které nebyly součástí tréninkového souboru dat. Dekodér byl schopen převést zvuková vyprávění do textu tak, jak je účastníci slyšeli, ačkoli tyto interpretace často používaly jiné sémantické konstrukce než původní nahrávky. Například nahrávka, na níž mluvčí říká větu „Ještě nemám řidičský průkaz“, byla z myšlenek posluchačů prostřednictvím čtecích zařízení fMRI dekódována na „Ještě se ani nezačala učit řídit“.

Tyto hrubé překlady vyplývají z klíčového rozdílu mezi novým dekodérem a stávajícími technikami, které používají invazivní implantované elektrody v mozku. Platformy založené na elektrodách obvykle předpovídají text z motorických aktivit, jako jsou pohyby úst člověka, který se snaží mluvit, zatímco Tangův tým se zaměřil na průtok krve mozkem, který je zachycen na přístrojích fMRI.

„Náš systém funguje na zcela jiné úrovni,“ uvedl Alexander Huth, docent neurovědy a informatiky na UT Austin a hlavní autor nové studie. „Místo toho, abychom se dívali na tuto motorickou záležitost na nízké úrovni, náš systém skutečně pracuje na úrovni myšlenek, sémantiky a významu. To je to, k čemu se dostává.“

„To je důvod, proč si myslím, že to, co dostaneme ven, nejsou přesná slova, která někdo slyšel nebo řekl, ale podstata,“ pokračoval. „Je to stejná myšlenka, ale vyjádřená jinými slovy.“

Tento nový přístup umožnil týmu posunout hranice technologií čtení myšlenek a zjistit, zda dekodér dokáže přeložit myšlenky účastníků, kteří sledovali němé filmy nebo si jen představovali příběhy ve své hlavě. V obou případech byl dekodér schopen rozluštit, co účastníci viděli v případě filmů a co si subjekty myslely, když si ve svých představách přehrávaly krátké příběhy.

Při testech se zvukovými nahrávkami poskytl dekodér přesnější výsledky než u imaginární řeči, přesto však dokázal z mozkové aktivity vyčíst některé základní detaily nevyřčených myšlenek. Například když si subjekt představil větu „šel po polní cestě přes pšeničné pole a přes potok a kolem několika srubových budov“, dekodér vytvořil text, který říkal, že „musel přejít přes most na druhou stranu a v dálce je velmi velká budova“.

Účastníci studie absolvovali všechny tyto testy na přístroji fMRI, což je neohrabané a nepohyblivé laboratorní zařízení. Z tohoto důvodu není dekodér zatím připraven jako praktická léčba pro pacienty s poruchami řeči, i když Tang a jeho kolegové doufají, že budoucí iterace zařízení by mohly být přizpůsobeny pohodlnějším platformám, jako jsou senzory blízké infračervené spektroskopie (fNIRS), které lze nosit na hlavě pacienta.

Výzkumníci naznačili, že tato technologie je slibným novým komunikačním prostředkem, ale zároveň upozornili, že dekodéry vyvolávají etické obavy ohledně soukromí duševních osob.

„Naše analýza soukromí naznačuje, že v současné době je pro trénink i použití dekodéru nutná spolupráce subjektů,“ uvedl Tangův tým ve studii. „Budoucí vývoj by však mohl umožnit, aby dekodéry tyto požadavky obešly. Navíc, i když jsou předpovědi dekodéru bez spolupráce subjektu nepřesné, mohly by být záměrně nesprávně interpretovány pro škodlivé účely.“

„Z těchto a dalších nepředvídatelných důvodů je nezbytné zvýšit povědomí o rizicích technologie dekódování mozku a přijmout opatření, která ochrání duševní soukromí každého člověka,“ uzavřeli výzkumníci.

Tento průlom představuje první případ, kdy se podařilo neinvazivně rekonstruovat souvislou řeč z aktivit lidského mozku, které jsou snímány pomocí přístroje pro funkční magnetickou rezonanci .Dekodér dokázal interpretovat podstatu příběhů, které sledovaly nebo poslouchaly lidské subjekty – nebo si je dokonce jen představovaly – pomocí vzorců mozkové fMRI, což mu v podstatě umožňuje číst myšlenky lidí s nebývalou účinností. Ačkoli je tato technologie stále v rané fázi, vědci doufají, že by jednou mohla pomoci lidem s neurologickým onemocněním, které ovlivňuje řeč, jasně komunikovat s okolním světem.Tým, který dekodér vytvořil, však také varoval, že platformy pro čtení mozku by mohly mít nakonec i nekalé využití, včetně sledování ze strany vlád a zaměstnavatelů. Ačkoli výzkumníci zdůraznili, že jejich dekodér vyžaduje ke své činnosti spolupráci lidských subjektů, argumentovali tím, že „rozhraní mozek-počítač by měla respektovat soukromí osob“, jak uvádí studie zveřejněná v pondělí v časopise Nature Neuroscience.„V současné době se dekódování jazyka provádí pomocí implantovaných zařízení, která vyžadují neurochirurgický zákrok, a naše studie je první, která dekóduje souvislý jazyk, tedy více než celá slova nebo věty, z neinvazivních mozkových záznamů, které shromažďujeme pomocí funkční magnetické rezonance,“ uvedl Jerry Tang, postgraduální student informatiky na Texaské univerzitě v Austinu, který studii vedl, na tiskovém briefingu, který se konal minulý čtvrtek.„Cílem dekódování jazyka je pořídit záznam mozkové aktivity uživatele a předpovědět slova, která uživatel slyšel, říkal nebo si představoval,“ poznamenal. „Nakonec doufáme, že tato technologie pomůže lidem, kteří ztratili schopnost mluvit v důsledku zranění, jako je mrtvice, nebo nemocí, jako je ALS.“Tang a jeho kolegové byli schopni vytvořit svůj dekodér s pomocí tří lidských účastníků, kteří strávili 16 hodin v přístroji fMRI poslechem příběhů. Výzkumníci vycvičili model umělé inteligence označovaný ve studii jako GPT-1 na komentářích a autobiografických příbězích z Redditu, aby propojili sémantické rysy nahraných příběhů s nervovou aktivitou zachycenou v datech fMRI. Tímto způsobem se mohl naučit, která slova a fráze jsou spojeny s určitými mozkovými vzorci.Chcete využít této příležitosti?Po dokončení této fáze experimentu byl účastníkům naskenován mozek pomocí fMRI, zatímco poslouchali nové příběhy, které nebyly součástí tréninkového souboru dat. Dekodér byl schopen převést zvuková vyprávění do textu tak, jak je účastníci slyšeli, ačkoli tyto interpretace často používaly jiné sémantické konstrukce než původní nahrávky. Například nahrávka, na níž mluvčí říká větu „Ještě nemám řidičský průkaz“, byla z myšlenek posluchačů prostřednictvím čtecích zařízení fMRI dekódována na „Ještě se ani nezačala učit řídit“.Tyto hrubé překlady vyplývají z klíčového rozdílu mezi novým dekodérem a stávajícími technikami, které používají invazivní implantované elektrody v mozku. Platformy založené na elektrodách obvykle předpovídají text z motorických aktivit, jako jsou pohyby úst člověka, který se snaží mluvit, zatímco Tangův tým se zaměřil na průtok krve mozkem, který je zachycen na přístrojích fMRI.„Náš systém funguje na zcela jiné úrovni,“ uvedl Alexander Huth, docent neurovědy a informatiky na UT Austin a hlavní autor nové studie. „Místo toho, abychom se dívali na tuto motorickou záležitost na nízké úrovni, náš systém skutečně pracuje na úrovni myšlenek, sémantiky a významu. To je to, k čemu se dostává.“„To je důvod, proč si myslím, že to, co dostaneme ven, nejsou přesná slova, která někdo slyšel nebo řekl, ale podstata,“ pokračoval. „Je to stejná myšlenka, ale vyjádřená jinými slovy.“Tento nový přístup umožnil týmu posunout hranice technologií čtení myšlenek a zjistit, zda dekodér dokáže přeložit myšlenky účastníků, kteří sledovali němé filmy nebo si jen představovali příběhy ve své hlavě. V obou případech byl dekodér schopen rozluštit, co účastníci viděli v případě filmů a co si subjekty myslely, když si ve svých představách přehrávaly krátké příběhy.Při testech se zvukovými nahrávkami poskytl dekodér přesnější výsledky než u imaginární řeči, přesto však dokázal z mozkové aktivity vyčíst některé základní detaily nevyřčených myšlenek. Například když si subjekt představil větu „šel po polní cestě přes pšeničné pole a přes potok a kolem několika srubových budov“, dekodér vytvořil text, který říkal, že „musel přejít přes most na druhou stranu a v dálce je velmi velká budova“.Účastníci studie absolvovali všechny tyto testy na přístroji fMRI, což je neohrabané a nepohyblivé laboratorní zařízení. Z tohoto důvodu není dekodér zatím připraven jako praktická léčba pro pacienty s poruchami řeči, i když Tang a jeho kolegové doufají, že budoucí iterace zařízení by mohly být přizpůsobeny pohodlnějším platformám, jako jsou senzory blízké infračervené spektroskopie , které lze nosit na hlavě pacienta.Výzkumníci naznačili, že tato technologie je slibným novým komunikačním prostředkem, ale zároveň upozornili, že dekodéry vyvolávají etické obavy ohledně soukromí duševních osob.„Naše analýza soukromí naznačuje, že v současné době je pro trénink i použití dekodéru nutná spolupráce subjektů,“ uvedl Tangův tým ve studii. „Budoucí vývoj by však mohl umožnit, aby dekodéry tyto požadavky obešly. Navíc, i když jsou předpovědi dekodéru bez spolupráce subjektu nepřesné, mohly by být záměrně nesprávně interpretovány pro škodlivé účely.“„Z těchto a dalších nepředvídatelných důvodů je nezbytné zvýšit povědomí o rizicích technologie dekódování mozku a přijmout opatření, která ochrání duševní soukromí každého člověka,“ uzavřeli výzkumníci.