——習(xí)近平總書記在致中國科學(xué)院建院70周年賀信中作出的“兩加快一努力”重要指示要求
——中國科學(xué)院辦院方針
語音播報(bào)
工業(yè)時(shí)間序列是反映生產(chǎn)過程的結(jié)構(gòu)化數(shù)據(jù)。工業(yè)時(shí)間序列的分析和預(yù)測(cè)對(duì)優(yōu)化工業(yè)流程、提升效率具有重要意義。而工業(yè)生產(chǎn)過程的動(dòng)態(tài)變化導(dǎo)致時(shí)間序列數(shù)據(jù)分布漂移,使得傳統(tǒng)靜態(tài)預(yù)測(cè)模型無法長期保持高效性。傳統(tǒng)的模型更新方法如重新訓(xùn)練的計(jì)算和存儲(chǔ)成本高昂,增量微調(diào)的方式易導(dǎo)致已學(xué)模式的災(zāi)難性遺忘。這限制了現(xiàn)有模型在非平穩(wěn)工業(yè)環(huán)境中的應(yīng)用效果。
中國科學(xué)院沈陽自動(dòng)化研究所提出了面向非平穩(wěn)工業(yè)時(shí)間序列預(yù)測(cè)的自適應(yīng)持續(xù)學(xué)習(xí)(ACL)方法,提升了預(yù)測(cè)模型的適應(yīng)性和泛化能力。相關(guān)研究成果以An Adaptive Continual Learning Method for Nonstationary Industrial Time Series Prediction為題,發(fā)表在IEEE Transactions on Industrial Informatics上。
該研究從網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)結(jié)構(gòu)兩個(gè)方面改進(jìn)了持續(xù)學(xué)習(xí)方法。研究通過基于提示的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)保留了先前任務(wù)的“暗知識(shí)”,緩解災(zāi)難性遺忘,并引入軟記憶緩沖區(qū)使模型能夠更好地學(xué)習(xí)當(dāng)前任務(wù),進(jìn)而在穩(wěn)定性與可塑性之間實(shí)現(xiàn)平衡。進(jìn)一步,研究在網(wǎng)絡(luò)結(jié)構(gòu)層面提出了時(shí)間敏感的激活函數(shù)TimeRelu,使網(wǎng)絡(luò)激活閾值隨時(shí)間變化,從而提高了模型的泛化能力。這一方法在開源的太陽能發(fā)電數(shù)據(jù)集和實(shí)際的磨礦分級(jí)過程數(shù)據(jù)集上驗(yàn)證了有效性。
這一成果有望應(yīng)用于智能礦山、鋼鐵冶金等復(fù)雜工業(yè)場景中的預(yù)測(cè)性維護(hù)和生產(chǎn)過程優(yōu)化等場景。下一步,該團(tuán)隊(duì)將針對(duì)任務(wù)劃分的自動(dòng)化和概念漂移檢測(cè)等問題開展研究,探討元學(xué)習(xí)等前沿技術(shù)在增強(qiáng)模型動(dòng)態(tài)適應(yīng)能力方面的潛力。
研究工作得到國家自然科學(xué)基金和遼寧省重點(diǎn)研發(fā)項(xiàng)目的支持。
面向非平穩(wěn)時(shí)間序列預(yù)測(cè)任務(wù)的持續(xù)學(xué)習(xí)框架
持續(xù)學(xué)習(xí)任務(wù)示意圖
© 1996 - 中國科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1 京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
© 1996 - 中國科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1 京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
© 1996 - 中國科學(xué)院 版權(quán)所有
京ICP備05002857號(hào)-1京公網(wǎng)安備110402500047號(hào)
網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話:86 10 68597114(總機(jī))
86 10 68597289(總值班室)