大腦植入物首次幫助一個(gè)無(wú)法清楚表達(dá)的雙語(yǔ)者用兩種語(yǔ)言進(jìn)行交流。與大腦植入物相連的人工智能系統(tǒng)能夠?qū)崟r(shí)解碼他試圖用西班牙語(yǔ)或英語(yǔ)說(shuō)的話(huà)。

5月20日發(fā)表于《自然-生物醫(yī)學(xué)工程》的這項(xiàng)研究成果，為人們了解大腦如何處理語(yǔ)言提供了見(jiàn)解，并有朝一日研發(fā)出能夠讓無(wú)法口頭交流的人恢復(fù)多語(yǔ)種語(yǔ)言的長(zhǎng)效設(shè)備。

醫(yī)學(xué)影像顯示說(shuō)話(huà)時(shí)的大腦活動(dòng)（人工著色）。圖片來(lái)源：Zephyr/SPL

“這項(xiàng)新研究對(duì)語(yǔ)言恢復(fù)神經(jīng)假體這一新興領(lǐng)域作出了重要貢獻(xiàn)?！睕](méi)有參與該研究的美國(guó)加州大學(xué)戴維斯分校神經(jīng)科學(xué)家Sergey Stavisky說(shuō)，盡管這項(xiàng)研究只有一名參與者，還有更多工作要做，但“有充分的理由認(rèn)為，當(dāng)與其他最新進(jìn)展相結(jié)合時(shí)，這種策略未來(lái)會(huì)以更高的準(zhǔn)確性發(fā)揮作用”。

參與者名為Pancho，20歲時(shí)中風(fēng)致使大部分身體癱瘓。他可以呻吟和咕噥，但說(shuō)不清楚。在Pancho 30多歲時(shí)，美國(guó)加州大學(xué)舊金山分校神經(jīng)外科醫(yī)生Edward Chang與他合作，研究中風(fēng)對(duì)大腦的持久影響。

在2012年發(fā)表的一項(xiàng)開(kāi)創(chuàng)性研究中，Chang團(tuán)隊(duì)通過(guò)手術(shù)將電極植入Pancho的大腦皮層中，以記錄神經(jīng)活動(dòng)，并將其轉(zhuǎn)換成屏幕上的文字。

Pancho的第一句話(huà)“我的家人在外面”被翻譯成了英語(yǔ)。但Pancho的母語(yǔ)其實(shí)是西班牙語(yǔ)，直到中風(fēng)后才學(xué)會(huì)了英語(yǔ)，西班牙語(yǔ)仍然能喚起他的熟悉感和歸屬感。

Chang說(shuō)：“一個(gè)人說(shuō)什么語(yǔ)言實(shí)際上與他們的身份密切相關(guān)。因此，我們的長(zhǎng)期目標(biāo)從來(lái)不只是取代文字，而是恢復(fù)人們之間的聯(lián)系?！?/p>

為了實(shí)現(xiàn)這一目標(biāo)，該團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)人工智能系統(tǒng)破譯Pancho的雙語(yǔ)語(yǔ)言。他拼單詞的努力創(chuàng)造了一種獨(dú)特的神經(jīng)模式，并被電極記錄下來(lái)。Chang的博士生Alexander Silva在Pancho試圖說(shuō)出近200個(gè)單詞時(shí)對(duì)人工智能系統(tǒng)進(jìn)行訓(xùn)練。

然后，研究人員將人工智能系統(tǒng)——包括一個(gè)西班牙語(yǔ)模塊和一個(gè)英語(yǔ)模塊，應(yīng)用于Pancho試圖大聲說(shuō)出的短語(yǔ)。對(duì)于短語(yǔ)中的第一個(gè)單詞，西班牙語(yǔ)模塊選擇最符合神經(jīng)模式的西班牙語(yǔ)單詞。英語(yǔ)模塊也是如此。

例如，英語(yǔ)模塊可能選擇“she”作為短語(yǔ)中最可能出現(xiàn)的第一個(gè)單詞，并評(píng)估其正確概率為70%。而西班牙語(yǔ)模塊可能選擇“estar”，并評(píng)估其正確概率為40%。

兩個(gè)模塊都試圖構(gòu)建一個(gè)短語(yǔ)。它們選擇第二個(gè)單詞不僅基于神經(jīng)模式的匹配，還根據(jù)其是否可能跟隨第一個(gè)單詞。因此，“我是”比“我不是”的概率得分更高。最終輸出產(chǎn)生兩個(gè)句子——一個(gè)是英語(yǔ)、一個(gè)是西班牙語(yǔ)，但Pancho面對(duì)的屏幕上只顯示總概率得分最高的版本。

這些模塊能夠根據(jù)第一個(gè)單詞區(qū)分英語(yǔ)和西班牙語(yǔ)，準(zhǔn)確率為88%，同時(shí)解碼正確句子的準(zhǔn)確率為75%。Pancho最終可以與研究人員進(jìn)行坦誠(chéng)的、沒(méi)有劇本的對(duì)話(huà)。Silva說(shuō)：“在我們第一次說(shuō)出這些句子后，有幾分鐘我們只是微笑。”

這項(xiàng)研究揭示了大腦中語(yǔ)言處理一些意想不到的方面。之前一些使用非侵入性工具的實(shí)驗(yàn)表明，不同的語(yǔ)言會(huì)激活大腦的不同區(qū)域。但研究人員對(duì)大腦皮層直接記錄的信號(hào)進(jìn)行檢查后發(fā)現(xiàn)，西班牙語(yǔ)和英語(yǔ)的許多活動(dòng)實(shí)際上來(lái)自同一區(qū)域。

此外，Pancho的神經(jīng)反應(yīng)似乎與那些在雙語(yǔ)環(huán)境中長(zhǎng)大的兒童沒(méi)有太大區(qū)別，盡管他在30多歲時(shí)開(kāi)始學(xué)習(xí)英語(yǔ)。這同樣與之前的研究結(jié)果形成了對(duì)比。

相關(guān)論文信息：https://doi.org/10.1038/s41551-024-01207-5

來(lái)源：《自然—生物醫(yī)學(xué)工程》