片上視覺系統(tǒng)電路是一種“傳感-存儲-計算”一體化的智能視覺感知系統(tǒng)，能夠完成實時的圖像獲取、信號處理及智能圖像處理任務，可廣泛應用于敏捷機器人、智能無人機以及工業(yè)機器視覺等前沿領域。現(xiàn)有片上視覺系統(tǒng)以多比特實數(shù)形式進行圖像獲取、傳輸、處理，并采用計算視覺和深度學習方法分別完成圖像信號增強和智能認知的處理任務，面臨兩階段分離訓練、數(shù)據(jù)流結構和處理范式變化、計算復雜度高、片上存儲開銷大、處理延遲和功耗大等諸多的設計和應用挑戰(zhàn)。
 

　　中國科學院半導體研究所劉力源研究員帶領團隊在超高速仿生片上視覺系統(tǒng)電路設計領域取得重要進展。團隊創(chuàng)新性地設計了一款集成了單光子脈沖型圖像傳感器和脈沖神經(jīng)網(wǎng)絡處理器的超高速仿生脈沖片上視覺系統(tǒng)(圖1)，單光子雪崩二極管像素(SPAD)陣列天然地生成高速脈沖型圖像信號，端到端的脈沖神經(jīng)網(wǎng)絡完成圖像信號增強和智能圖像識別任務，成功地實現(xiàn)了仿人類視覺系統(tǒng)的全脈沖型圖像獲取、傳輸、處理的功能。
 

　　端到端的脈沖神經(jīng)網(wǎng)絡集成了前端的圖像增強層和后端的智能認知層，采用深度學習方式實現(xiàn)圖像增強與目標識別的融合訓練，提高推理精度，降低參數(shù)冗余。圖像增強層和智能認知層都采用了脈沖神經(jīng)元模型進行計算，極大地降低了計算單元的復雜度；重構處理單元電路支持相同計算并行度下完成兩個神經(jīng)網(wǎng)絡層處理，無需使用獨立專用的圖像信號處理器，提高了硬件使用效率，為實現(xiàn)超高速片上視覺系統(tǒng)電路提供了一種全新的路徑。
 

　　脈沖片上視覺系統(tǒng)測試最高成像速率為每秒10萬脈沖圖像幀，在MNIST數(shù)據(jù)集上的識別準確率為99.2%，最高識別推理速度達10000次/秒，在1.43mlux的低照度條件下實現(xiàn)了95.3%的識別準確率;?在馬賽克彩色ETH-80數(shù)據(jù)集上的識別準確率為94.3%。在保持相同的高識別準確率的情況下，本文工作將弱光目標識別的照度水平進一步降低了一個數(shù)量級。該項研究為邊端視覺設備提供了實現(xiàn)超高速視覺感算一體化高集成度片上系統(tǒng)的新方法。
 

　　上述研究成果以“A 10 000-Inference/s Bio-Inspired Spiking Vision Chip Based on an End-to-End SNN Embedding Image Signal Enhancement”為題，發(fā)表于《IEEE?固態(tài)電路期刊》 (IEEE?Journal of Solid-State Circuits)。此項研究成果由半導體所助理研究員楊旭和劉力源研究員等共同完成。
 

　　此項工作得到了國家自然科學基金和北京市自然科學基金等項目的資助。
 

圖1?超高速仿生脈沖片上視覺系統(tǒng)架構及其信號流
 

圖2 超高速仿生脈沖片上視覺系統(tǒng)硬件照片和識別精度隨照度變化曲線測試結果