面向人工神經(jīng)網(wǎng)絡(luò)的新型神經(jīng)元模型研究

面向人工神經(jīng)網(wǎng)絡(luò)的新型神經(jīng)元模型研究ResearchonNewNeuronModelforArtificialNeuralNetworkPPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

453研究背景及現(xiàn)狀12總結(jié)與展望6目錄CONTENTS基于物理模型的通用神經(jīng)元模型：IC神經(jīng)元基于IC神經(jīng)元的近似等變3D圖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)基于IC神經(jīng)元的深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)基于IC神經(jīng)元的記憶型遞歸神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20243ResNet-18神經(jīng)網(wǎng)絡(luò)模型與神經(jīng)元模型的關(guān)系神經(jīng)網(wǎng)絡(luò)模型：神經(jīng)網(wǎng)絡(luò)是最常用的機(jī)器學(xué)習(xí)技術(shù)之一，被廣泛應(yīng)用于各種學(xué)習(xí)任務(wù)神經(jīng)網(wǎng)絡(luò)通常由很多相似模塊組合而成，其泛化性能依賴組件的性能ResidualBlockConvolutionMPNeuron神經(jīng)元模型：具有擬合或?qū)W習(xí)能力的最小單元神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)可以分為多個(gè)層次，神經(jīng)元模型屬于最基礎(chǔ)的層次，它也是高層次模塊設(shè)計(jì)的基石基礎(chǔ)單元研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20244發(fā)展歷程第一代神經(jīng)元：MP神經(jīng)元問世1943年第二代神經(jīng)元：脈沖神經(jīng)網(wǎng)絡(luò)問世感知器模型提出，神經(jīng)網(wǎng)絡(luò)雛形出現(xiàn)1957年重大事件：1943年，McCulloch-Pitts神經(jīng)元模型問世，它基于輸入信號(hào)的加權(quán)和與閾值的比較來產(chǎn)生輸出1957年，感知機(jī)模型問世，它組合多個(gè)MP神經(jīng)元，通過學(xué)習(xí)算法調(diào)整權(quán)重1980年，脈沖神經(jīng)元問世，它是一種更貼近生物神經(jīng)元的模型，用脈沖信號(hào)傳遞信息上個(gè)世紀(jì)90年代，基于MP神經(jīng)元和脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)理論相繼提出，有效促進(jìn)了神經(jīng)網(wǎng)絡(luò)的應(yīng)用進(jìn)入21世紀(jì)，算力的提升推動(dòng)深度神經(jīng)網(wǎng)絡(luò)發(fā)展，MP神經(jīng)元得到了極大的應(yīng)用，與此同時(shí)，科學(xué)家也在不斷探索新型的神經(jīng)元或者計(jì)算單元學(xué)習(xí)理論有效支撐了神經(jīng)元的研究1980年1990-2000年2000年至今深度學(xué)習(xí)時(shí)代，MP神經(jīng)元模型得到極大應(yīng)用和拓展研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20245神經(jīng)元模型設(shè)計(jì)面臨的挑戰(zhàn)表示能力計(jì)算可行性高效的非線性函數(shù)形式輕量級(jí)的結(jié)構(gòu)可拓展的結(jié)構(gòu)支持常見計(jì)算設(shè)備研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20246神經(jīng)元模型設(shè)計(jì)的意義目前大部分神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)的工作都是基于高層次的模塊，針對(duì)神經(jīng)元的研究較少，大部分工作依然基于MP神經(jīng)元多數(shù)研究的方向新型神經(jīng)元設(shè)計(jì)的意義在于：廣泛提升已有網(wǎng)絡(luò)模型的性能廣泛應(yīng)用于基于網(wǎng)絡(luò)的學(xué)習(xí)任務(wù)促進(jìn)神經(jīng)網(wǎng)絡(luò)上層模塊的設(shè)計(jì)和研究研究背景

研究現(xiàn)狀相關(guān)工作困難挑戰(zhàn)研究方案9/29/20247神經(jīng)元模型設(shè)計(jì)的意義針對(duì)神經(jīng)元設(shè)計(jì)的困難，本文探索和設(shè)計(jì)高性能的神經(jīng)元結(jié)構(gòu)從實(shí)用性角度出發(fā)，本文將提出的神經(jīng)元結(jié)構(gòu)應(yīng)用到多種主流網(wǎng)絡(luò)架構(gòu)中，探索專用計(jì)算結(jié)構(gòu)基于物理模型的通用神經(jīng)元模型

ICNeuron9/29/20248工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/20249可擴(kuò)展性通用神經(jīng)元設(shè)計(jì)面臨的挑戰(zhàn)通過增加神經(jīng)元，神經(jīng)網(wǎng)絡(luò)可以獲得更大的模型容量，解決更復(fù)雜的現(xiàn)實(shí)問題。構(gòu)建拓展神經(jīng)元淺層模型深層模型高效處理效率表達(dá)能力線性神經(jīng)元帶有激活函數(shù)的神經(jīng)元表達(dá)能力：神經(jīng)網(wǎng)絡(luò)表示未知分布的能力，這種能力依賴于基礎(chǔ)神經(jīng)元的非線性函數(shù)形式。DNN輸入輸出“Cat”0.01ms神經(jīng)網(wǎng)絡(luò)由若干神經(jīng)元組成，其計(jì)算消耗取決于神經(jīng)元的計(jì)算量和參數(shù)量。脈沖神經(jīng)元MP神經(jīng)元處理效率高靈活地可拓展性非線性函數(shù)簡(jiǎn)單，表達(dá)能力受限處理效率低拓展性差且依賴神經(jīng)計(jì)算芯片能夠表達(dá)時(shí)序信息……工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202410物理啟發(fā)系統(tǒng)啟發(fā)物理量(速度)地傳遞演化數(shù)值信號(hào)的傳遞神經(jīng)元建?？梢允芤嬗诙喾N交叉學(xué)科，物理體系建模的神經(jīng)元往往具有更好的數(shù)理解釋性。物理碰撞模型與信息傳遞系統(tǒng)具有一定相關(guān)性，能夠協(xié)助建模神經(jīng)元模型：工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202411基礎(chǔ)IC神經(jīng)元

工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202412非線性函數(shù)的對(duì)比根據(jù)ReLU函數(shù)性質(zhì)拆分IC神經(jīng)元：其中

基礎(chǔ)IC神經(jīng)元的數(shù)學(xué)意義：通過一個(gè)超平面函數(shù)切分輸入空間，以此增加輸出非線性模式超平面共享輸入的權(quán)重，降低模型復(fù)雜度MP神經(jīng)元IC神經(jīng)元XOR實(shí)驗(yàn)：?jiǎn)蝹€(gè)MP神經(jīng)元無法解決XOR問題單個(gè)IC神經(jīng)元通過增加非線性模式解決線性不可分問題工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202413基礎(chǔ)IC神經(jīng)元與MP神經(jīng)元之間的對(duì)比

MP神經(jīng)元

基礎(chǔ)IC神經(jīng)元結(jié)構(gòu)輕量易于拓展與集成易于訓(xùn)練非線性表示能力弱與MP相同量級(jí)的參數(shù)量和計(jì)算量支持MP神經(jīng)元的各種拓展和集成方式共享MP神經(jīng)元的各種訓(xùn)練策略更強(qiáng)的非線性表示能力工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202414基于可調(diào)節(jié)平面的IC神經(jīng)元

工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202415在主流網(wǎng)絡(luò)架構(gòu)中的簡(jiǎn)單應(yīng)用全連接神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)……

工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202416IC全連接層分類精度對(duì)比IC全連接層復(fù)雜度對(duì)比通用全連接神經(jīng)網(wǎng)絡(luò)對(duì)比在七個(gè)不同領(lǐng)域的分類任務(wù)中，相比MP神經(jīng)元，IC網(wǎng)絡(luò)都取得穩(wěn)定提升；IC神經(jīng)網(wǎng)絡(luò)和MP神經(jīng)網(wǎng)絡(luò)的計(jì)算消耗基本保持一致；IC-B結(jié)構(gòu)是省略w’的基礎(chǔ)IC神經(jīng)元，它間接表明了強(qiáng)表示能力主要來自切分輸入空間的結(jié)構(gòu)。工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202417IC神經(jīng)元應(yīng)用于卷積和遞歸神經(jīng)網(wǎng)絡(luò)ImageNet數(shù)據(jù)集1.IC結(jié)構(gòu)具有泛用性，能夠提升卷積和循環(huán)結(jié)構(gòu)的表示能力；IC-RNN實(shí)驗(yàn)效果IC-CNN實(shí)驗(yàn)效果工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202418IC神經(jīng)元應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)ImageNet數(shù)據(jù)集Cifar數(shù)據(jù)集PascalVOC數(shù)據(jù)集IC神經(jīng)元能夠應(yīng)用于各種各樣的深度神經(jīng)網(wǎng)絡(luò)，并取得性能上的提升；在深度模型中，IC神經(jīng)元可能會(huì)增加模型的過擬合風(fēng)險(xiǎn)，表現(xiàn)為訓(xùn)練集明顯提升，驗(yàn)證集微弱提升。工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202419消融實(shí)驗(yàn)：擴(kuò)大參數(shù)量對(duì)比對(duì)于一些任務(wù)，簡(jiǎn)單地?cái)U(kuò)大模型(增加深度和寬度)不一定會(huì)直接帶來泛化性能上的提升相比于擴(kuò)大已有模型的結(jié)構(gòu)，用IC神經(jīng)元替換MP神經(jīng)元是一種更經(jīng)濟(jì)，更有效的方法在實(shí)際任務(wù)中，哪種策略更好：1.將MP神經(jīng)元替換為IC神經(jīng)元2.增加原有模型的大小(增加深度FC-A，增加寬度FC-B)擴(kuò)大參數(shù)量后的分類效果擴(kuò)大參數(shù)量后的計(jì)算消耗工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)

9/29/202420消融實(shí)驗(yàn)：激活函數(shù)影響IC神經(jīng)元在不同激活函數(shù)上表現(xiàn)出相似的實(shí)驗(yàn)效果，進(jìn)一步體現(xiàn)了IC神經(jīng)元在已有神經(jīng)網(wǎng)絡(luò)中的泛用性未來會(huì)進(jìn)一步探索IC神經(jīng)元與其它激活函數(shù)的結(jié)合以上所有實(shí)驗(yàn)中，IC神經(jīng)元都基于ReLU或者Sigmoid函數(shù)，本實(shí)驗(yàn)驗(yàn)證其它激活函數(shù)對(duì)IC神經(jīng)元是否有效激活函數(shù)消融實(shí)驗(yàn)工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202421動(dòng)機(jī)當(dāng)下深度神經(jīng)網(wǎng)絡(luò)被廣泛使用，然后神經(jīng)元模型依然是上個(gè)世紀(jì)的MP神經(jīng)元，探索高性能的神經(jīng)元模型對(duì)深度學(xué)習(xí)乃至整個(gè)神經(jīng)網(wǎng)絡(luò)領(lǐng)域具有重要意義。模型本章提出一種通用的IC神經(jīng)元，通過切分線性表示，它能獲得更強(qiáng)大的表示能力。IC神經(jīng)元能夠應(yīng)用到各種基于MP神經(jīng)元的體系中。本章通過多領(lǐng)域的分類數(shù)據(jù)集驗(yàn)證了IC神經(jīng)元的有效性。本章將IC神經(jīng)元應(yīng)用到一些主流網(wǎng)絡(luò)架構(gòu)中，并驗(yàn)證了其泛用性。實(shí)驗(yàn)基于IC神經(jīng)元的深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)：

IC-CNN+9/29/202422工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202423高維數(shù)據(jù)IC神經(jīng)元在深度卷積神經(jīng)網(wǎng)絡(luò)中的瓶頸深度卷積神經(jīng)網(wǎng)絡(luò)通常用于處理圖像等數(shù)據(jù)，其特點(diǎn)為維度高，數(shù)據(jù)特征復(fù)雜線性的切分超平面通過切分輸入空間，提升濾波器對(duì)局部區(qū)域細(xì)粒度特征的學(xué)習(xí)輸入瓶頸數(shù)據(jù)1數(shù)據(jù)2訓(xùn)練后，IC神經(jīng)元中切分超平面固定，且表現(xiàn)為線性，難以學(xué)習(xí)高維空間中的復(fù)雜特征工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202424IC神經(jīng)元在深度卷積神經(jīng)網(wǎng)絡(luò)中的瓶頸由基礎(chǔ)IC神經(jīng)元構(gòu)成的卷積操作(IC-CNN)在高維數(shù)據(jù)下，IC神經(jīng)元無法用切分輸入空間的方式去表示復(fù)雜的數(shù)據(jù)分布，大部分神經(jīng)元退化為MP神經(jīng)元

深度模型中IC神經(jīng)元的提升較小如何在高維數(shù)據(jù)和深度模型中更有效地應(yīng)用IC神經(jīng)元？工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202425更適用高維數(shù)據(jù)的IC卷積結(jié)構(gòu)：IC-CNN+IC-CNN數(shù)學(xué)形式：IC-CNN+數(shù)學(xué)形式：

IC-CNN+特點(diǎn)將劃分輸入空間的線性超平面轉(zhuǎn)化為一超曲面超曲面的形式通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202426IC-CNN+中的超曲面表示

工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202427動(dòng)態(tài)卷積核方法：不基于靜態(tài)的卷積核基于靜態(tài)的卷積核CondConvDyConvDCDODConv效果相對(duì)更好可以輕松植入已有的深度卷積模型參數(shù)量大于傳統(tǒng)卷積忽略局部特征和動(dòng)態(tài)卷積核之間的關(guān)系可以設(shè)計(jì)出參數(shù)量小的輕量級(jí)模型效果相對(duì)較差忽略局部特征和動(dòng)態(tài)卷積核之間的關(guān)系DRConvWeightNet

工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202428動(dòng)態(tài)卷積模塊優(yōu)化：LADConv

工作動(dòng)機(jī)

提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202429LADConv的應(yīng)用直接將LADConv應(yīng)用于傳統(tǒng)卷積應(yīng)用更方便，結(jié)構(gòu)更簡(jiǎn)單考慮所有卷積核的動(dòng)態(tài)化，參數(shù)量較大并行訓(xùn)練存在困難將LADConv應(yīng)用于IC-CNN+每一層只生成一項(xiàng)動(dòng)態(tài)卷積核，參數(shù)量更小并行化效率更高實(shí)驗(yàn)效果略低于直接應(yīng)用LADConv工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202430IC-CNN+實(shí)驗(yàn)效果ImageNet下個(gè)各種模型的精度和計(jì)算消耗對(duì)比IC-CNN+表現(xiàn)出明顯優(yōu)于基礎(chǔ)IC-CNN的性能IC-CNN+保持了IC神經(jīng)元輕量性的特點(diǎn)在與當(dāng)下主流卷積即插即用模塊的對(duì)比中，IC-CNN+取得最好結(jié)果工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202431LADConv實(shí)驗(yàn)效果LADConv可以獨(dú)立用于替換傳統(tǒng)卷積，并取得優(yōu)異效果LADConv的效果超過了目前所有的動(dòng)態(tài)卷積核方法工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202432消融實(shí)驗(yàn)：LADConv與IC神經(jīng)元的結(jié)合效率IC-CNN+依賴于IC神經(jīng)元和動(dòng)態(tài)卷積，本實(shí)驗(yàn)探索動(dòng)態(tài)卷積類型對(duì)IC-CNN+性能的影響IC神經(jīng)元與其它動(dòng)態(tài)卷積方法組合也能取得性能上的提升實(shí)驗(yàn)表明LADConv是最適合IC神經(jīng)元的動(dòng)態(tài)卷積方法，他們組合的效果超越了其它方法工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202433消融實(shí)驗(yàn)：探索LADConv方法的工作原理LADConv的核心思想是提取關(guān)鍵局部特征，將這一步轉(zhuǎn)換為別的方法進(jìn)行消融實(shí)驗(yàn)超參數(shù)消融實(shí)驗(yàn)消融實(shí)驗(yàn)驗(yàn)證了LADConv以及IC-CNN+的的性能依賴于提取關(guān)鍵局部特征通過調(diào)節(jié)LADConv中的超參數(shù)可以尋找到準(zhǔn)確率和計(jì)算消耗的平衡工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202434動(dòng)機(jī)IC神經(jīng)元在應(yīng)用到高維圖像數(shù)據(jù)時(shí)，其表達(dá)能力會(huì)受到明顯限制。模型本章將動(dòng)態(tài)卷積的技術(shù)引入IC神經(jīng)元，拓展了其表示高維數(shù)據(jù)的能力。本章也對(duì)IC-CNN+中用到的動(dòng)態(tài)卷積技術(shù)進(jìn)行研究，提出了一種更適配IC神經(jīng)元的動(dòng)態(tài)卷積。本章通過深度學(xué)習(xí)實(shí)驗(yàn)驗(yàn)證了IC神經(jīng)元+動(dòng)態(tài)卷積技術(shù)可以有效提升模型泛化性能。實(shí)驗(yàn)基于IC神經(jīng)元的近似等變3D圖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)：

IC-GNN+9/29/202435工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202436IC神經(jīng)元在3D任務(wù)中的瓶頸3D任務(wù)中的數(shù)學(xué)約束3D任務(wù)(分子，點(diǎn)云)通常要求神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的節(jié)點(diǎn)特征具備SO(3)變換不變性或等變性。瓶頸盡管IC神經(jīng)元可以促進(jìn)捕獲細(xì)粒度節(jié)點(diǎn)特征，但不滿足等變/不變約束，損傷模型泛化性能。IC神經(jīng)元工作機(jī)理3D結(jié)構(gòu)通常用圖神經(jīng)網(wǎng)絡(luò)(GNN)提取特征，IC神經(jīng)元可以提升GNN對(duì)節(jié)點(diǎn)特征的有效表示。當(dāng)輸入經(jīng)過旋轉(zhuǎn)后，模型輸出也經(jīng)過相同的旋轉(zhuǎn)倘若輸出不能保證等變性，模型無法再?gòu)V泛的3D模型中泛化/應(yīng)用工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202437現(xiàn)有等變性、不變性方法等變神經(jīng)元手工特征GemNetSchNetPaiNNTFNSEGNNEquiformer提取不變的手工特征(距離，夾角等)，構(gòu)建等變和不變特征模型結(jié)構(gòu)易于理解模型表達(dá)能力上限差，過分依賴手工特征的質(zhì)量可遷移性差通過等變?nèi)罕硎咀詣?dòng)學(xué)習(xí)等變或不變特征自動(dòng)學(xué)習(xí)等變特征和不變特征易于構(gòu)建，遷移性強(qiáng)表達(dá)能力受限于等變?nèi)罕硎镜碾A數(shù)復(fù)雜度高GemNet代表代表TFN目前主流研究方向工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202438等變神經(jīng)元及其瓶頸(IC-GNN+核心動(dòng)機(jī))輸入線性部分非線性部分球諧函數(shù)等變線性變換Gate操作CG張量乘積不受約束的任意向量線性變換哈達(dá)瑪積非線性激活等變神經(jīng)元傳統(tǒng)神經(jīng)元

等變神經(jīng)元表示能力理論：等變神經(jīng)元與傳統(tǒng)神經(jīng)元區(qū)別工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202439等變神經(jīng)元及其瓶頸(IC-GNN+核心動(dòng)機(jī))是否可以結(jié)合IC神經(jīng)元和等變操作，即保證了等變性又顯著提升了模型的表達(dá)能力？利用GWL區(qū)分同構(gòu)圖測(cè)試可以定性測(cè)量GNN的表達(dá)能力左圖表示用GWL區(qū)分n重對(duì)稱模型的任務(wù)，常用于衡量等變模型的表達(dá)能力最大階數(shù)為n的等變神經(jīng)元只能識(shí)別n重對(duì)稱當(dāng)輸入為同樣階數(shù)的群表示，IC神經(jīng)元表現(xiàn)出最強(qiáng)的表達(dá)能力實(shí)驗(yàn)結(jié)果工作動(dòng)機(jī)

提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202440結(jié)合了等變操作的IC神經(jīng)元：IC-GNN+圖神經(jīng)網(wǎng)絡(luò)工作原理：消息計(jì)算和消息聚合提取空間幾何信息的核心操作：消息計(jì)算，傳統(tǒng)等變神經(jīng)元基于CG張量積計(jì)算出有效地消息：CG張量乘積可通過旋轉(zhuǎn)至局部坐標(biāo)系簡(jiǎn)化：旋轉(zhuǎn)至局部坐標(biāo)系圖示圖與公式等價(jià)工作動(dòng)機(jī)

提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202441結(jié)合了等變操作的IC神經(jīng)元：IC-GNN+IC神經(jīng)元的逼近理論與MP神經(jīng)元相似，即“近似任意連續(xù)函數(shù)”“連續(xù)函數(shù)”包含“連續(xù)等變函數(shù)”結(jié)合n重對(duì)稱圖的實(shí)驗(yàn)，IC神經(jīng)元有可能學(xué)習(xí)到基于高階數(shù)的等變函數(shù)

為什么可以這樣代替？通過旋轉(zhuǎn)到局部坐標(biāo)系，IC神經(jīng)元只用學(xué)習(xí)如何擬合一種矩陣乘法，而不是復(fù)雜的張量積疑問主要答案次要答案工作動(dòng)機(jī)

提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)42結(jié)合了等變操作的IC神經(jīng)元：IC-GNN+上述結(jié)構(gòu)依然存在問題：旋轉(zhuǎn)到局部坐標(biāo)系時(shí)，有多種旋轉(zhuǎn)方式，即存在多個(gè)，實(shí)驗(yàn)中只能隨機(jī)選擇其中一種，引入隨機(jī)性。IC神經(jīng)元本身的數(shù)學(xué)結(jié)構(gòu)不是等變的，轉(zhuǎn)換到局部坐標(biāo)系只能降低學(xué)習(xí)等變性的難度，不能保證等變性。優(yōu)化

工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202443分子數(shù)據(jù)集上的實(shí)驗(yàn)效果分子數(shù)據(jù)的輸入是一種3D結(jié)構(gòu)，通過該結(jié)構(gòu)預(yù)測(cè)分子的各種屬性，存在以下幾種性質(zhì)：分子任務(wù)要求嚴(yán)格的等變性或不變性。分子模型中原子之間的相互作用關(guān)系非常復(fù)雜，傳統(tǒng)的模型難以準(zhǔn)確學(xué)習(xí)。超大型分子數(shù)據(jù)集：OC20OC20是一非常龐大的數(shù)據(jù)集，有利于IC-GNN+學(xué)習(xí)到準(zhǔn)確的等變性。OC20中的分子模型非常復(fù)雜，IC-GNN+在損傷等變性的基礎(chǔ)上取得最好的泛化性能，反映了它強(qiáng)大的表達(dá)能力。在未見過的數(shù)據(jù)分布(OOD)上，IC-GNN+表現(xiàn)突出。工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202444分子數(shù)據(jù)集上的實(shí)驗(yàn)效果小型分子數(shù)據(jù)集可能會(huì)導(dǎo)致IC-GNN+無法學(xué)習(xí)到有效地學(xué)習(xí)到等變性，導(dǎo)致泛化性能地嚴(yán)重衰退。小型分子數(shù)據(jù)集：QM9對(duì)比方法皆滿足嚴(yán)格的等變性IC-GNN+在與嚴(yán)格等變模型對(duì)比中有四項(xiàng)指標(biāo)達(dá)到第一，且大部分指標(biāo)都達(dá)到先進(jìn)水平小數(shù)據(jù)集可通過SO(3)數(shù)據(jù)增加提升IC-GNN+對(duì)等變性的學(xué)習(xí)能力工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202445點(diǎn)云數(shù)據(jù)集上的實(shí)驗(yàn)效果點(diǎn)云數(shù)據(jù)的輸入也是3D結(jié)構(gòu)，通過該結(jié)構(gòu)判斷點(diǎn)云的幾何屬性，并應(yīng)用到下游任務(wù)，存在以下特性：點(diǎn)集采集時(shí)存在誤差，不滿足嚴(yán)格的等變，點(diǎn)云數(shù)據(jù)更注重一篇區(qū)域的等變性。點(diǎn)數(shù)較多，點(diǎn)集稠密所表示的幾何特征比較淺顯，容易學(xué)習(xí)到點(diǎn)云數(shù)據(jù)集ModelNet40IC-GNN+在點(diǎn)云分類中取得了優(yōu)于其它點(diǎn)云特征模型的性能。由于點(diǎn)云幾何特征更容易習(xí)得，大部分對(duì)比方法不考慮等變性不變性約束。但在更復(fù)雜的點(diǎn)云體系中可能存在問題，復(fù)雜體系中IC-GNN+學(xué)習(xí)效果更好。IC-GNN+中的近似等變性可能契合點(diǎn)云數(shù)據(jù)的非嚴(yán)格等變性。點(diǎn)云數(shù)據(jù)的非嚴(yán)格等變性工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202446消融實(shí)驗(yàn)IC-GNN+中近似等變性是否是有效的？近似等變性通過一如更強(qiáng)的表達(dá)能力達(dá)到最高的泛化能力。近似等變性可以提升特征在下游任務(wù)的可用性。等變性消融實(shí)驗(yàn)ModelNet40測(cè)試集旋轉(zhuǎn)下，模型的性能變化工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202447動(dòng)機(jī)IC神經(jīng)元雖然能提升模型的表達(dá)能力，但在3D任務(wù)中，它不滿足任務(wù)固有的等變性/不變性數(shù)學(xué)約束。模型本章將IC神經(jīng)元與等變?nèi)罕硎炯夹g(shù)進(jìn)行結(jié)合。IC神經(jīng)元能夠有效地拓展了目前等變神經(jīng)網(wǎng)絡(luò)的表示能力。等變?nèi)罕硎緦?duì)IC神經(jīng)元添加數(shù)學(xué)約束，促使其學(xué)習(xí)到近似的等變性。本章通過點(diǎn)云和分子上的實(shí)驗(yàn)證明了，IC神經(jīng)元和等變?nèi)罕硎镜慕Y(jié)合能有效提升模型的泛化性能。實(shí)驗(yàn)基于IC神經(jīng)元的記憶型遞歸神經(jīng)網(wǎng)絡(luò)：

IC-RNN+9/29/202448工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202449IC神經(jīng)元在時(shí)序任務(wù)中的瓶頸長(zhǎng)期依賴表示長(zhǎng)期依賴表示對(duì)時(shí)序數(shù)據(jù)中長(zhǎng)距離的單元進(jìn)行建模，該表示是很多時(shí)序任務(wù)的基石。瓶頸IC神經(jīng)元與RNN的簡(jiǎn)單結(jié)合只能提升對(duì)每個(gè)時(shí)刻輸入的表示能力，當(dāng)RNN模型的性能受限于長(zhǎng)期依賴表示時(shí)，引入IC神經(jīng)元并不能有效提升性能。IC神經(jīng)元不具備擬合時(shí)序特征的能力IC神經(jīng)元可以提高神經(jīng)網(wǎng)絡(luò)對(duì)靜態(tài)非線性函數(shù)或分布的表示能力，不擅長(zhǎng)表示時(shí)序特征。時(shí)間序列數(shù)據(jù)時(shí)間跨度較小的依賴時(shí)間跨度較長(zhǎng)的依賴工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202450經(jīng)典長(zhǎng)期依賴模型LSTMGRUTransformer

是否可以將解決長(zhǎng)期依賴的思想引入RNN中的IC神經(jīng)元，以提升ICRNN處理復(fù)雜時(shí)序任務(wù)的能力？工作動(dòng)機(jī)

提出方法

實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202451

引入記憶機(jī)制的IC遞歸計(jì)算單元：IC-RNN+特點(diǎn)通過時(shí)間戳選擇是否釋放歷史狀態(tài)，能夠捕獲更長(zhǎng)的依賴關(guān)系神經(jīng)元層面的操作，結(jié)構(gòu)更靈活工作動(dòng)機(jī)

提出方法

實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202452引入記憶機(jī)制的IC遞歸計(jì)算單元：IC-RNN+

工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202453與經(jīng)典長(zhǎng)期依賴模型的對(duì)比文本分類任務(wù)反映了模型對(duì)文本的理解以下任務(wù)中，IMDB是評(píng)論數(shù)據(jù)集，文本相對(duì)較短，且格式隨意Arxiv包含長(zhǎng)文本數(shù)據(jù)，更注重長(zhǎng)期依賴關(guān)系?；A(chǔ)IC-RNN不能捕獲長(zhǎng)期依賴關(guān)系，效果較差在與其它基礎(chǔ)模型對(duì)比中，IC-RNN+在三項(xiàng)任務(wù)中取得最好效果，間接驗(yàn)證了記憶模塊的有效性IC-RNN+在一些任務(wù)上能取得與Transformer媲美的結(jié)果工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202454與經(jīng)典長(zhǎng)期依賴模型的對(duì)比時(shí)間序列數(shù)據(jù)通常具有周期性，其結(jié)果反映了模型對(duì)周期特征的擬合程度一些長(zhǎng)周期數(shù)據(jù)也需要捕捉長(zhǎng)期依賴關(guān)系在周期性時(shí)序數(shù)據(jù)上，IC-RNN+表現(xiàn)出比LSTM和GRU更好的泛化能力IC-RNN+有望與一些時(shí)間序列預(yù)測(cè)的技巧結(jié)合，取得更好效果工作動(dòng)機(jī)提出方法核心貢獻(xiàn)實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202455消融實(shí)驗(yàn)：記憶/遺忘單元模塊記憶/遺忘單元是捕獲長(zhǎng)程依賴關(guān)系的核心缺少遺忘模塊可能會(huì)使歷史信息冗余，干擾模型動(dòng)態(tài)遺忘時(shí)間有利于捕獲不同長(zhǎng)度依賴關(guān)系隱藏狀態(tài)對(duì)歷史狀態(tài)的貢獻(xiàn)也很重要工作動(dòng)機(jī)提出方法實(shí)驗(yàn)驗(yàn)證分析總結(jié)9/29/202456動(dòng)機(jī)IC不具備時(shí)空表示能力，它與RNN的簡(jiǎn)單結(jié)合不能提取長(zhǎng)期依賴關(guān)系，而長(zhǎng)期依賴是自然語言處理或者時(shí)間序列處理中很常見的問題。模型本章提出一種新型記憶/遺忘單元，并將其植入到IC神經(jīng)元內(nèi)部，使其能夠提取到相聚較遠(yuǎn)的歷史信息。本章通過文本分類和時(shí)間序列預(yù)測(cè)的實(shí)驗(yàn)驗(yàn)證了IC-RNN+能夠?qū)W習(xí)到長(zhǎng)期依賴，在一些有挑戰(zhàn)的任務(wù)中，與主流的Transformer模型效果不相上下。實(shí)驗(yàn)總結(jié)與展望9/29/202457工作總結(jié)

未來展望研究成果9/29/202458通用神經(jīng)元：IC神經(jīng)元IC神經(jīng)元與深度卷積網(wǎng)絡(luò)的結(jié)合IC-CNN+IC神經(jīng)元與等變圖網(wǎng)絡(luò)的結(jié)合IC-GNN+IC神經(jīng)元與長(zhǎng)期依賴遞歸網(wǎng)絡(luò)的結(jié)合IC-RNN+本章提出了一種通用的IC神經(jīng)元結(jié)構(gòu)對(duì)IC神經(jīng)元表達(dá)能力進(jìn)行了分析將IC神經(jīng)元初步應(yīng)用到主流的網(wǎng)絡(luò)框架中并驗(yàn)證其性能本章將IC神經(jīng)元應(yīng)用到高維圖像數(shù)據(jù)或者深度卷積網(wǎng)絡(luò)中利用動(dòng)態(tài)化方法解決了IC神經(jīng)元在高維數(shù)據(jù)中表達(dá)受限的問題本章將IC神經(jīng)元應(yīng)用到3D數(shù)據(jù)或者等變圖神經(jīng)網(wǎng)絡(luò)中結(jié)合了IC神經(jīng)元與等變操作，突破了傳統(tǒng)圖神經(jīng)網(wǎng)絡(luò)表達(dá)能力上限，并保持了近似等變性本章將IC神經(jīng)元應(yīng)用到序列數(shù)據(jù)或者長(zhǎng)期依賴遞歸神經(jīng)網(wǎng)絡(luò)中結(jié)合了IC神經(jīng)元與記憶遺忘機(jī)制，使得IC-RNN能夠?qū)W習(xí)長(zhǎng)期依賴，適用與廣泛的序列任務(wù)工作總結(jié)未來展望研究成果9/29/202459Transformer架構(gòu)中應(yīng)用Transformer也是當(dāng)今主流的神經(jīng)網(wǎng)絡(luò)計(jì)算模塊，將IC神經(jīng)元與Transformer中的核心組件結(jié)合是未來的一個(gè)研究點(diǎn)優(yōu)化IC神經(jīng)元的結(jié)構(gòu)IC神經(jīng)元通過將線性空間劃分來增強(qiáng)表示能力，優(yōu)化這一過程可能會(huì)進(jìn)一步提升IC神經(jīng)元的表示能力。應(yīng)用于具體的任務(wù)本文給出了IC神經(jīng)元及其變體在多個(gè)領(lǐng)域中的核心任務(wù)上(分類，預(yù)測(cè))的表現(xiàn)。未來可以將IC神經(jīng)元應(yīng)用到更具體的任務(wù)上，驗(yàn)證其應(yīng)用價(jià)值。已發(fā)表論文工作總結(jié)

未來展望研究成果9/29/202460在投論文JunyiAn,ChaoQu,ZhipengZhou,FengleiCao,YinghuiXu,YuanQi,FuraoShen.HybridDirectionalGraphNeuralNetworkforMolecules.InternationalC