其中，類腦智能算法成果《CREST: An Efficient Conjointly-trained Spike-driven Framework for Event-based Object Detection Exploiting Spatiotemporal Dynamics》發(fā)表在人工智能領(lǐng)域頂級會議AAAI 2025。該論文通訊作者為周軍教授，周軍教授指導(dǎo)的博士生毛睿昕和碩士生申遨宇為共同第一作者。該工作提出了一種類腦事件驅(qū)動目標(biāo)檢測算法框架。事件相機(jī)具有高時(shí)間分辨率、寬動態(tài)范圍和低功耗，非常適合高速和弱光環(huán)境下的目標(biāo)檢測。脈沖神經(jīng)網(wǎng)絡(luò)SNN在事件驅(qū)動目標(biāo)識別與檢測中具有優(yōu)勢，但現(xiàn)有方法因訓(xùn)練效率低下，存在梯度消失和計(jì)算復(fù)雜度高的問題，尤其在深層SNN中表現(xiàn)突出。此外，當(dāng)前SNN框架難以有效處理多尺度時(shí)空特征，導(dǎo)致數(shù)據(jù)冗余和精度下降。為解決上述問題，本文提出了CREST，即一種支持聯(lián)合學(xué)習(xí)的脈沖驅(qū)動框架，用于挖掘事件驅(qū)動目標(biāo)檢測中的時(shí)空動態(tài)特性。結(jié)合學(xué)習(xí)規(guī)則可以加速SNN訓(xùn)練并緩解梯度消失，同時(shí)支持兩種訓(xùn)練模式，便于在不同硬件平臺上靈活高效地部署。此外，該框架還包括脈沖驅(qū)動的多尺度時(shí)空事件特征提取器(MESTOR)和時(shí)空IoU損失函數(shù)(ST-IoU)。實(shí)驗(yàn)結(jié)果表明，CREST在三個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了出色的目標(biāo)識別和檢測性能，并大大提高了計(jì)算能效，為面向硬件實(shí)現(xiàn)的類腦事件驅(qū)動目標(biāo)檢測算法提供了一種高效的解決方案。
 

　　類腦智能芯片成果《FSNAP: An Ultra-Energy-Efficient Few-Spikes-Neuron based Reconfigurable SNN Processor Enabling Unified On-Chip Learning and Accuracy-Driven Adaptive Time-Window Tuning》發(fā)表在芯片設(shè)計(jì)領(lǐng)域頂級會議VLSI Symposium 2024，是電子科技大學(xué)在人工智能芯片領(lǐng)域的首篇VLSI Symposium頂會論文。該論文的通訊作者為周軍教授，周軍教授指導(dǎo)的博士生毛睿昕為第一作者。該工作提出了一種極高能效的類腦學(xué)習(xí)/推理一體化芯片架構(gòu)，并完成了芯片流片驗(yàn)證。SNN處理器因其低功耗特性被視為人工神經(jīng)網(wǎng)絡(luò)(ANN)處理器的高能效替代方案?；谛孤┱戏烹?LIF)神經(jīng)元，需較大時(shí)間窗口和大量脈沖以實(shí)現(xiàn)高精度，導(dǎo)致計(jì)算能耗高、時(shí)延長。這些處理器通常僅支持基于脈沖的反向傳播學(xué)習(xí)或ANN到SNN的轉(zhuǎn)換學(xué)習(xí)，靈活性受限。此外，大多數(shù)處理器還使用固定的編碼時(shí)間窗，適應(yīng)性差，能效較低。為解決上述問題，本研究提出了一種基于少量脈沖神經(jīng)元(FSN)模型的高能效SNN處理器——FSNAP， 它具有：(1)基于FSN的可重構(gòu)推理與學(xué)習(xí)架構(gòu)，通過跳時(shí)間步脈沖累加技術(shù)和并行脈沖生成技術(shù)，提升計(jì)算效率并降低時(shí)延；(2)統(tǒng)一片上學(xué)習(xí)架構(gòu)，支持低復(fù)雜度的多種在線學(xué)習(xí)模式，提升推理準(zhǔn)確率與靈活性；(3)基于準(zhǔn)確率驅(qū)動的自適應(yīng)時(shí)間窗調(diào)整技術(shù)，在保證高精度的同時(shí)降低能耗與延遲。FSNAP采用55nm CMOS工藝，在相同或相似規(guī)模任務(wù)中，相較于現(xiàn)有SOTA設(shè)計(jì)，能效和加速比都顯著提高，同時(shí)保證了較高的準(zhǔn)確率。
 

圖1 CREST算法的整體框架
 

圖2 FSNAP芯片總體架構(gòu)圖
 

　　傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)(ANN)是人腦高度簡化的數(shù)學(xué)抽象，使用連續(xù)的幅度表示信息，盡管準(zhǔn)確率很高，但是需要大量的乘加運(yùn)算，因此能耗很大。脈沖神經(jīng)網(wǎng)絡(luò)(SNN)仿照了人腦事件驅(qū)動的機(jī)制進(jìn)行計(jì)算，使用稀疏脈沖串的頻率和發(fā)放時(shí)間來表示不同的信息，具有計(jì)算量低，能耗低的特點(diǎn)?，F(xiàn)有的類腦計(jì)算芯片主要有幾個(gè)問題：1. 幾乎都基于泄露-積分-發(fā)射(LIF)神經(jīng)元，這種神經(jīng)元的編碼效率很低，通常需要很大的編碼時(shí)間窗，發(fā)放很多的脈沖才能達(dá)到很高的準(zhǔn)確率，這會增加能耗和時(shí)延。2. 僅支持固定編碼時(shí)間窗來進(jìn)行前向推理，適應(yīng)性較差，能效較低。3. 僅支持單一的SNN學(xué)習(xí)方式(基于脈沖的反向傳播和ANN到SNN轉(zhuǎn)換的方法)，缺乏針對不同應(yīng)用的適應(yīng)性。針對以上問題，團(tuán)隊(duì)設(shè)計(jì)了超低能耗的FSNAP芯片，該芯片具有可重構(gòu)的SNN推理和學(xué)習(xí)架構(gòu)，支持跳時(shí)間步脈沖累加技術(shù)以及并行的脈沖發(fā)放技術(shù)，從而實(shí)現(xiàn)高能效、低延時(shí)。同時(shí)，提出了一種準(zhǔn)確率驅(qū)動的自適應(yīng)調(diào)窗技術(shù)來進(jìn)一步降低能耗、時(shí)延同時(shí)保持高準(zhǔn)確率。此外，設(shè)計(jì)了統(tǒng)一的在線學(xué)習(xí)架構(gòu)，支持3種在線學(xué)習(xí)模式，從而增加芯片針對不同應(yīng)用的適應(yīng)性。芯片采用55nm制造，與現(xiàn)有的先進(jìn)設(shè)計(jì)在相同或相似的任務(wù)上相比，能效和加速比都顯著提高。
 

　　周軍教授團(tuán)隊(duì)致力于端側(cè)AI算法與芯片協(xié)同設(shè)計(jì)，團(tuán)隊(duì)發(fā)表了電子科大在AI芯片領(lǐng)域今為止的全部四篇ISSCC(芯片設(shè)計(jì)領(lǐng)域奧林匹克會議)，以及電子科大在AI芯片領(lǐng)域的首篇HPCA(體系結(jié)構(gòu)領(lǐng)域頂級會議)、VLSI(芯片設(shè)計(jì)領(lǐng)域頂級會議)、CICC(芯片設(shè)計(jì)領(lǐng)域頂級會議)和DAC(芯片設(shè)計(jì)自動化領(lǐng)域頂級會議)文章，結(jié)合算法與芯片協(xié)同創(chuàng)新，設(shè)計(jì)并實(shí)現(xiàn)了面向視覺感知、聲音感知、智能穿戴等應(yīng)用的多款超低功耗端側(cè)AI芯片，在滿足準(zhǔn)確率、實(shí)時(shí)性需求的同時(shí)，達(dá)到了國際同類設(shè)計(jì)最低能耗。相關(guān)技術(shù)已轉(zhuǎn)化應(yīng)用到中科曙光、華大電子、深圳中微半導(dǎo)體等知名公司，以及相關(guān)科研單位，服務(wù)國家重大需求和社會經(jīng)濟(jì)發(fā)展。