3月11日，中國(guó)科學(xué)院腦科學(xué)與智能技術(shù)卓越中心杜久林研究組、穆宇研究組，聯(lián)合自動(dòng)化研究所蒿杰研究組，在《自然-神經(jīng)科學(xué)》上在線發(fā)表了題為《實(shí)時(shí)分析大規(guī)模神經(jīng)成像，實(shí)現(xiàn)神經(jīng)動(dòng)態(tài)的閉環(huán)研究》的研究論文。相關(guān)成果已被授權(quán)發(fā)明專利“光學(xué)腦機(jī)接口系統(tǒng)和方法”。
該研究借助天文學(xué)領(lǐng)域的數(shù)據(jù)處理技術(shù)，采用FPGA-GPU混合架構(gòu)，對(duì)高達(dá)500MB/s的大數(shù)據(jù)流神經(jīng)功能數(shù)據(jù)進(jìn)行實(shí)時(shí)配準(zhǔn)、信號(hào)提取和分析。通過(guò)這一技術(shù)突破，該團(tuán)隊(duì)首次實(shí)現(xiàn)了對(duì)斑馬魚(yú)全腦十萬(wàn)級(jí)神經(jīng)元的實(shí)時(shí)監(jiān)控與分析，進(jìn)而對(duì)任意選擇的神經(jīng)元集群活動(dòng)進(jìn)行解碼，以控制外部設(shè)備。這一成果標(biāo)志著基于全腦單細(xì)胞光學(xué)成像的虛擬現(xiàn)實(shí)、光遺傳調(diào)控等技術(shù)在腦科學(xué)閉環(huán)研究中的應(yīng)用邁出了關(guān)鍵一步。
全腦單神經(jīng)元活動(dòng)成像是解析大腦并行分布式計(jì)算原理的工具，但巨大的數(shù)據(jù)處理需求成為難以逾越的技術(shù)瓶頸，導(dǎo)致難以實(shí)時(shí)分析以及在大尺度上閉環(huán)調(diào)控和研究腦功能。受天文學(xué)領(lǐng)域中快速射電暴檢測(cè)技術(shù)的啟發(fā)，科研人員借鑒FX系統(tǒng)設(shè)計(jì)策略，利用FPGA編程的靈活性建立光學(xué)神經(jīng)信號(hào)預(yù)處理系統(tǒng)，對(duì)來(lái)自光學(xué)傳感器的信號(hào)規(guī)整化，并將其發(fā)送給基于GPU的實(shí)時(shí)處理系統(tǒng)，進(jìn)行高速非線性配準(zhǔn)，提取各信道的神經(jīng)信號(hào)，依據(jù)編碼規(guī)則進(jìn)行解碼，以獲得用于控制外部器件的反饋信號(hào)。該系統(tǒng)通過(guò)實(shí)時(shí)監(jiān)測(cè)斑馬魚(yú)全腦神經(jīng)元的活動(dòng)，生成反饋信號(hào)，且反饋間隔小于70.5毫秒。
系統(tǒng)性能在三個(gè)腦科學(xué)閉環(huán)研究場(chǎng)景下進(jìn)行展示，即與任意特定神經(jīng)元集群活動(dòng)鎖相的實(shí)時(shí)光遺傳學(xué)刺激，與特定大腦功能狀態(tài)鎖相的實(shí)時(shí)視覺(jué)刺激，以及基于神經(jīng)元集群活動(dòng)的虛擬現(xiàn)實(shí)控制。
在閉環(huán)實(shí)時(shí)光遺傳學(xué)神經(jīng)調(diào)控方面，研究通過(guò)功能聚類識(shí)別全腦神經(jīng)元集群，將選定集群的自發(fā)活動(dòng)作為觸發(fā)信號(hào)，實(shí)時(shí)實(shí)施光遺傳學(xué)刺激于目標(biāo)神經(jīng)元集群。相對(duì)于開(kāi)環(huán)，閉環(huán)刺激有效激活了下游腦區(qū)。
在鎖相的實(shí)時(shí)視覺(jué)刺激實(shí)驗(yàn)方面，研究通過(guò)對(duì)藍(lán)斑去甲腎上腺素能系統(tǒng)活動(dòng)的實(shí)時(shí)監(jiān)測(cè)，在表征動(dòng)物清醒狀態(tài)的藍(lán)斑興奮時(shí)相上施加視覺(jué)刺激，觀察到大腦中其他神經(jīng)元的反應(yīng)更強(qiáng)烈。研究表明，大腦狀態(tài)可調(diào)節(jié)對(duì)視覺(jué)信息的處理，閉環(huán)感覺(jué)刺激有助于探究大腦內(nèi)部狀態(tài)與外界環(huán)境的相互作用。
在全腦光學(xué)腦機(jī)接口實(shí)現(xiàn)的虛擬現(xiàn)實(shí)方面，研究實(shí)時(shí)將高維的全腦所有神經(jīng)元活動(dòng)降維到多個(gè)神經(jīng)元集群的活動(dòng)，并將任一集群的活動(dòng)與視覺(jué)環(huán)境閉環(huán)聯(lián)接，建立基于光學(xué)成像、直接從腦神經(jīng)元活動(dòng)到視覺(jué)環(huán)境的虛擬現(xiàn)實(shí)系統(tǒng)。該虛擬現(xiàn)實(shí)中，可隨意調(diào)整神經(jīng)活動(dòng)與環(huán)境耦合的增益，使控制環(huán)境的神經(jīng)元集群根據(jù)增益變化適應(yīng)性地調(diào)整其活動(dòng)輸出。未來(lái)，依托大數(shù)據(jù)流的實(shí)時(shí)分析和高通量全腦成像技術(shù)，科研人員將可以篩選出適合光學(xué)腦機(jī)接口的神經(jīng)群體活動(dòng)特征并揭示其機(jī)制，開(kāi)發(fā)出更高效的光學(xué)腦機(jī)接口技術(shù)。
研究工作得到科學(xué)技術(shù)部、國(guó)家自然科學(xué)基金委員會(huì)、中國(guó)科學(xué)院、上海市和深圳市的支持。
左圖展現(xiàn)這一創(chuàng)新系統(tǒng)如何將內(nèi)在世界的神經(jīng)活動(dòng)與外部現(xiàn)實(shí)世界連接；右圖展示利用該系統(tǒng)實(shí)施的光學(xué)腦機(jī)接口技術(shù)，通過(guò)大腦內(nèi)部神經(jīng)元集群的活動(dòng)實(shí)現(xiàn)虛擬現(xiàn)實(shí)控制。