構建更加通用的人工智能，讓模型具有更加廣泛和通用的認知能力，是當前人工智能領域發(fā)展的重要目標。目前流行的大模型路徑是基于尺度定律（Scaling Law）去構建更大、更深和更寬的神經網絡，可稱之為“基于外生復雜性”的通用智能實現(xiàn)方法。這一路徑面臨著計算資源及能源消耗難以為繼、可解釋性不足等問題。作為自然界最卓越的智能體，生物大腦成為人工智能研究最重要的參考對象。近年來，腦科學與人工智能的研究在相互促進中快速發(fā)展，尤其是類腦計算研究受到廣泛關注。北大深圳研究生院田永鴻教授團隊聯(lián)合中國科學院自動化研究所李國齊、徐波研究團隊等借鑒大腦神經元復雜動力學特性，提出了“基于內生復雜性”的類腦神經元模型構建方法，改善了傳統(tǒng)模型通過向外拓展規(guī)模帶來的計算資源消耗問題，為有效利用神經科學發(fā)展人工智能提供了示例。相關研究論文8月16日在線發(fā)表于《自然·計算科學》（Nature Computational Science），該基礎研究工作為推動自然智能與人工智能差距的彌合、降低AI碳足跡等科學領域提供了工具和框架。

圖1. 神經元和神經網絡的內生復雜性與外部復雜性

編者注：HH神經元模型，全稱為Hodgkin-Huxley模型，由英國生理學家Alan Hodgkin和Andrew Huxley在1952年基于魷魚巨型軸突的電生理實驗數(shù)據(jù)提出，用以描述神經脈沖的產生和傳導，并因此獲得了1963年的諾貝爾醫(yī)學或生理學獎。該模型是一組描述神經元細胞膜電生理現(xiàn)象的非線性微分方程，直接反映了細胞膜上離子通道的開閉情況及其與膜電位變化之間的關系。HH模型是神經科學領域中的一個重要里程碑，它首次從分子水平上解釋了動作電位的產生機制，為后續(xù)神經元電生理研究奠定了基礎。LIF模型，全稱為Leaky Integrate-and-Fire模型，Lapicque于1907年提出了Integrate-and-Fire（I&F）模型，輸入脈沖可以集成到膜電位中，如果達到定義的閾值，則輸出產生脈沖，膜電位回落至靜息狀態(tài)。LIF模型是I&F神經元模型的重要類型之一，增加了膜電位的泄漏。LIF模型簡化了神經元動作電位過程，具有模擬神經元脈沖效率較高、計算成本較低等特性，成為大規(guī)模脈沖神經網絡（SNN）中采用的主要神經元模型。

在類腦計算研究中，脈沖神經網絡（SNN）占據(jù)核心地位，是最具有生物意義、最類似大腦運行機制的神經網絡模型，被認為是新一代的神經網絡。本研究首先展示了脈沖神經網絡神經元LIF（Leaky Integrate and Fire）模型和HH（Hodgkin-Huxley）模型在動力學特性上存在等效性，進一步從理論上證明了HH神經元可以和四個具有特定連接結構的時變參數(shù)LIF神經元（tv-LIF）動力學特性等效?；谶@種等效性，團隊通過設計微架構提升計算單元的內生復雜性，使HH網絡模型能夠模擬更大規(guī)模LIF網絡模型的動力學特性，在更小的網絡架構上實現(xiàn)與之相似的計算功能。

進一步，團隊將由四個tv-LIF神經元構建的“HH模型”（tv-LIF2HH）簡化為s-LIF2HH模型，通過仿真實驗驗證了這種簡化模型在捕捉復雜動力學行為方面的有效性。

圖2. 模型框架

實驗結果表明HH網絡模型和s-LIF2HH網絡模型在表示能力和魯棒性上具有相似的性能，驗證了內生復雜性模型在處理復雜任務時的有效性和可靠性。同時，研究發(fā)現(xiàn)HH網絡模型在計算資源消耗上更為高效，顯著減少了內存和計算時間的使用，從而提高了整體的運算效率。研究團隊通過信息瓶頸理論對上述研究結果進行了解釋。

本研究為將神經科學的復雜動力學特性融入人工智能、為構筑人工智能與神經科學的橋梁提供了新的方法和理論支持，為實際應用中的AI模型優(yōu)化和性能提升提供了可行的解決方案。目前，研究團隊已開展對更大規(guī)模HH網絡，以及具備更大內生復雜性的多分支多房室神經元的研究，有望進一步提升大模型的計算效率與任務處理能力，實現(xiàn)在實際應用場景中的快速落地。

該工作的共同通訊作者為李國齊、徐波、田永鴻。共同第一作者是清華大學錢學森班的本科生何林軒（自動化所實習生）、數(shù)理基科班本科生徐蘊輝（自動化所實習生）、精儀系博士生何煒華和林逸晗。

編者注：

Nature Computational Science期刊發(fā)表了來自UC Santa Cruz電氣與計算機工程助理教授、開源類腦軟件Snn Torch的核心貢獻者Jason Eshraghian對此研究的評論：“AI 研究更加貼近工程與應用，而神經科學的研究更加具有探索性。研究團隊挑戰(zhàn)了這一傳統(tǒng)觀點，并表明更詳細且生物學上更真實的神經元模型可以推動深度學習取得更大進展?！?/p>

論文鏈接：

https://www.nature.com/articles/s43588-024-00674-9

評論鏈接：

https://www.nature.com/articles/s43588-024-00677-6

延伸閱讀：

探討如何從大腦中獲得靈感、使人工智能更加高效、彌合自然智能與人工智能之間的差距并取長補短、降低AI的碳足跡是生物學、認知科學、信息學等學科進行交叉與融合的重要研究內容，提升SNN響應外部環(huán)境變化的實時性和自適應性，降低計算和通信的能耗，促進大規(guī)模SNN新模型的構建和部署，支持實現(xiàn)高可解釋性、強泛化能力的人工智能，將對拓展人工智能的更廣闊應用前景注入發(fā)展動能。

Nature Computational Science由Springer Nature于2021年推出，專注于開發(fā)和使用計算技術和數(shù)學模型，并將其應用于解決各個科學領域的復雜問題。該期刊的主要目標是促進多學科研究和新計算技術的跨學科應用，既刊登基礎研究，也刊登應用研究，既刊登有助于推動科學研究的突破性算法、工具和框架，也刊登以新穎方式利用計算能力發(fā)現(xiàn)新見解和對挑戰(zhàn)性現(xiàn)實問題的解決方案。通過這種方式，該期刊創(chuàng)造了一個獨特的環(huán)境，讓不同學科的人員匯聚一堂，共同討論計算科學的最新進展。

來源：北京大學