——習(xí)近平總書記在致中國(guó)科學(xué)院建院70周年賀信中作出的“兩加快一努力”重要指示要求
——中國(guó)科學(xué)院辦院方針
語音播報(bào)
當(dāng)前,邊緣智能硬件系統(tǒng)正越來越多地將各種類型的視覺傳感器集成于一體以提升系統(tǒng)性能。在邊緣智能系統(tǒng)上對(duì)不同傳感器輸出的多模態(tài)數(shù)據(jù)進(jìn)行分析,對(duì)各種新型應(yīng)用如增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)、無人機(jī)等較為重要。這對(duì)軟硬件系統(tǒng)提出了挑戰(zhàn)。目前,多模態(tài)信號(hào)在數(shù)據(jù)結(jié)構(gòu)上的異構(gòu)性導(dǎo)致邊緣系統(tǒng)開發(fā)具有較高復(fù)雜性,傳統(tǒng)數(shù)字硬件的性能受限于物理分離的存儲(chǔ)與計(jì)算單元以及晶體管尺寸縮放的物理極限。隨著模型規(guī)模持續(xù)擴(kuò)大,其復(fù)雜的訓(xùn)練過程加劇了上述限制。
近日,中國(guó)科學(xué)院微電子研究所研究員尚大山與南方科技大學(xué)博士王中銳合作,通過軟硬件協(xié)同設(shè)計(jì),開發(fā)出基于隨機(jī)阻變存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī)系統(tǒng)。該研究提出了新穎的軟硬件協(xié)同設(shè)計(jì)系統(tǒng)——基于隨機(jī)電阻存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī)(DEPLM),可支持高效統(tǒng)一的點(diǎn)集分析。在數(shù)據(jù)層面,研究將多模態(tài)數(shù)據(jù)統(tǒng)一表示為點(diǎn)集,實(shí)現(xiàn)了通用化處理;在軟件層面,研究提出深度極限點(diǎn)云學(xué)習(xí)機(jī),同時(shí)大部分權(quán)重?zé)o需訓(xùn)練,降低了訓(xùn)練復(fù)雜度;在硬件層面,阻變存儲(chǔ)器可以實(shí)現(xiàn)存儲(chǔ)與計(jì)算一體化,并可以利用其固有的編程隨機(jī)性生成DEPLM的隨機(jī)稀疏權(quán)重,從而抑制讀取噪聲的影響。
進(jìn)一步,該研究在多種數(shù)據(jù)類型和兩類學(xué)習(xí)任務(wù)中驗(yàn)證了這一系統(tǒng)的普適性。與傳統(tǒng)數(shù)字硬件系統(tǒng)相比,該協(xié)同設(shè)計(jì)系統(tǒng)實(shí)現(xiàn)了能效提升并降低了訓(xùn)練成本。
這一基于隨機(jī)阻變存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī),有望為跨模態(tài)、跨任務(wù)的高能效、易訓(xùn)練邊緣智能系統(tǒng)開辟新路徑。
相關(guān)研究成果發(fā)表在《自然-通訊》(Nature Communication)上。研究工作得到科學(xué)技術(shù)部、國(guó)家自然科學(xué)基金委員會(huì)、中國(guó)科學(xué)院及香港研究資助局的支持。
基于隨機(jī)阻變存儲(chǔ)器的深度極限點(diǎn)云學(xué)習(xí)機(jī)軟硬件設(shè)計(jì)
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1 京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1 京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有
京ICP備05002857號(hào)-1京公網(wǎng)安備110402500047號(hào)
網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話:86 10 68597114(總機(jī))
86 10 68597289(總值班室)