東南大學(xué)崇志宏：深度學(xué)習(xí)的基本原理

深度學(xué)習(xí)的基本原理與圖片檢索項(xiàng)目實(shí)踐

-----自主和泛化2023/2/61崇志宏數(shù)據(jù)與智能實(shí)驗(yàn)室東南大學(xué)c提綱2023/2/62基本原理：基于流形假設(shè)和函數(shù)精簡表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識數(shù)據(jù)/計(jì)算集群統(tǒng)計(jì)學(xué)習(xí)的基本原理：支持向量機(jī)&深度學(xué)習(xí)2023/2/63統(tǒng)計(jì)學(xué)習(xí)的基本原理：概率圖&深度學(xué)習(xí)2023/2/64多層數(shù)目巨大的隱含變量來“解開”高維隨機(jī)變量間的復(fù)雜依賴關(guān)系用固定結(jié)構(gòu)代替結(jié)構(gòu)學(xué)習(xí)隱含變量的理解性差abcdexxxxxxxyyyy2023/2/65統(tǒng)計(jì)學(xué)習(xí)的基本原理：手工特征工程深度學(xué)習(xí)的問題和目標(biāo)2023/2/66應(yīng)用驅(qū)動的深度學(xué)習(xí)技術(shù)文本/圖像/視頻或音頻處理AI應(yīng)用：知識抽取、問答或聊天高維魔咒復(fù)雜依賴關(guān)系、非鄰居依賴的插值…

基本原理：問題（高維復(fù)雜依賴的統(tǒng)計(jì)效率）2023/2/67深度學(xué)習(xí)的問題：解決高維/復(fù)雜依賴關(guān)系的小樣本技術(shù)方法

分類/回歸（有導(dǎo)師學(xué)習(xí)）：函數(shù)依賴關(guān)系Y和X分布密度/結(jié)構(gòu)（無導(dǎo)師學(xué)習(xí)）：高維隨機(jī)變量的密度分布策略問題（半導(dǎo)師學(xué)習(xí)問題）：過程學(xué)習(xí)基本原理：問題（高維復(fù)雜依賴的統(tǒng)計(jì)效率）2023/2/68深度學(xué)習(xí)的問題：解決高維/復(fù)雜依賴關(guān)系的小樣本技術(shù)方法

分類/回歸（有導(dǎo)師學(xué)習(xí)）：函數(shù)依賴關(guān)系Y和X分布密度/結(jié)構(gòu)（無導(dǎo)師學(xué)習(xí)）：高維隨機(jī)變量的密度分布策略問題（半導(dǎo)師學(xué)習(xí)問題）：過程學(xué)習(xí)效率計(jì)算效率樣本效率基本原理：流形假設(shè)的相似性2023/2/69基于鄰居假設(shè)的局限性

基本原理：流形假設(shè)的相似性2023/2/610基于流形假設(shè)

基本原理：精簡函數(shù)表示的高維解決框架2023/2/611基本原理：精簡函數(shù)表示的高維解決框架2023/2/612函數(shù)式編程基本原理：精簡函數(shù)表示的高維解決框架2023/2/613基本原理：精簡函數(shù)表示的高維解決框架2023/2/6142023/2/6152023/2/6162023/2/617深度學(xué)習(xí)的基本觀點(diǎn)2023/2/618p神經(jīng)科學(xué)特征表示：流形假設(shè)概率統(tǒng)計(jì)：隱含變量（影響因素）流形特征空間拓?fù)渥兓€性分類2023/2/619深度的基本觀點(diǎn)：特征類型&函數(shù)式編程2023/2/620Atpresent,threenarrativesarecompetingtobethewayweunderstanddeeplearning.There’stheneurosciencenarrative,drawinganalogiestobiology.There’stherepresentationsnarrative,centeredontransformationsofdataandthemanifoldhypothesis.Finally,there’saprobabilisticnarrative,whichinterpretsneuralnetworksasfindinglatentvariables.Thesenarrativesaren’tmutuallyexclusive,buttheydopresentverydifferentwaysofthinkingaboutdeeplearning.Thisessayextendstherepresentationsnarrativetoanewanswer:deeplearningstudiesaconnectionbetweenoptimizationandfunctionalprogramming.Inthisview,therepresentationsnarrativeindeeplearningcorrespondstotypetheoryinfunctionalprogramming.神經(jīng)科學(xué)特征表示：流形假設(shè)（特征表示數(shù)據(jù)類型化/網(wǎng)絡(luò)函數(shù)式編程）概率統(tǒng)計(jì)：隱含變量（影響因素）提

綱2023/2/621基本原理：流形假設(shè)和函數(shù)精簡表示深度學(xué)習(xí)的問題/目標(biāo)流形假設(shè)和函數(shù)精簡表示語義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制圖片檢索的困難和解決技術(shù)方向關(guān)鍵技術(shù)：計(jì)算效率2023/2/622遞度依賴的優(yōu)化方法BP算法EM算法非遞度依賴的優(yōu)化方法迭代優(yōu)化間接/近似優(yōu)化方法的基本思想和原則大模型+正則化+近似優(yōu)化=有效模型異步并行算法和系統(tǒng)計(jì)算效率：計(jì)算圖的BP算法2023/2/623計(jì)算效率：計(jì)算圖的BP算法2023/2/624計(jì)算效率：EM迭代算法2023/2/625計(jì)算效率：非梯度依賴的優(yōu)化2023/2/626計(jì)算效率：AdversaryNet2023/2/627計(jì)算效率：AdversaryNet2023/2/628非真實(shí)數(shù)據(jù)的概率計(jì)算效率：其他的訓(xùn)練和優(yōu)化2023/2/629AdversaryNet

VariationalLowerBoundMCMCApproximation

大模型+正則化+近似優(yōu)化=有效模型數(shù)據(jù)模型參數(shù)模型提

綱2023/2/630基本原理：流形假設(shè)和函數(shù)精簡表示深度學(xué)習(xí)的問題/目標(biāo)流形假設(shè)和函數(shù)精簡表示語義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制系統(tǒng)工具和應(yīng)用圖片檢索的困難和解決技術(shù)方向關(guān)鍵技術(shù)：從精簡表示到統(tǒng)計(jì)效率2023/2/631特征學(xué)習(xí)：數(shù)據(jù)語義的學(xué)習(xí)/對數(shù)據(jù)進(jìn)行類型化（語義泛化）何為相似？同一流形上的對象是相似的、同一類型的參數(shù)共享：關(guān)系類型化同一類型依賴分享相同的參數(shù)/基于參數(shù)的轉(zhuǎn)移學(xué)習(xí)記憶：對過去的總結(jié)通過“+”算子解決長依賴關(guān)系的精簡表示關(guān)注：有選擇的關(guān)注關(guān)注什么？怎么轉(zhuǎn)移關(guān)注？策略學(xué)習(xí)/強(qiáng)化學(xué)習(xí)效率：稀疏表示或連接、共享、記憶、關(guān)注統(tǒng)計(jì)效率：特征表示、特征轉(zhuǎn)移（分享）2023/2/632統(tǒng)計(jì)效率：特征表示、特征轉(zhuǎn)移（分享）2023/2/633統(tǒng)計(jì)效率：特征表示、特征轉(zhuǎn)移（分享）2023/2/634統(tǒng)計(jì)效率：參數(shù)共享2023/2/635統(tǒng)計(jì)效率：參數(shù)共享2023/2/636統(tǒng)計(jì)效率：參數(shù)共享2023/2/637稀疏連接統(tǒng)計(jì)效率：參數(shù)共享2023/2/638統(tǒng)計(jì)效率：記憶2023/2/639統(tǒng)計(jì)效率：關(guān)注2023/2/640統(tǒng)計(jì)效率：關(guān)注2023/2/6412023/2/642統(tǒng)計(jì)效率：關(guān)注2023/2/643統(tǒng)計(jì)效率：關(guān)注提

綱2023/2/644基本原理：流形假設(shè)和函數(shù)精簡表示深度學(xué)習(xí)的問題/目標(biāo)流形假設(shè)和函數(shù)精簡表示語義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制系統(tǒng)工具和應(yīng)用圖片檢索的困難和解決技術(shù)方向深度的基本觀點(diǎn)：特征類型&函數(shù)式編程2023/2/645Atpresent,threenarrativesarecompetingtobethewayweunderstanddeeplearning.There’stheneurosciencenarrative,drawinganalogiestobiology.There’stherepresentationsnarrative,centeredontransformationsofdataandthemanifoldhypothesis.Finally,there’saprobabilisticnarrative,whichinterpretsneuralnetworksasfindinglatentvariables.Thesenarrativesaren’tmutuallyexclusive,buttheydopresentverydifferentwaysofthinkingaboutdeeplearning.Thisessayextendstherepresentationsnarrativetoanewanswer:deeplearningstudiesaconnectionbetweenoptimizationandfunctionalprogramming.Inthisview,therepresentationsnarrativeindeeplearningcorrespondstotypetheoryinfunctionalprogramming.神經(jīng)科學(xué)特征表示：流形假設(shè)（特征表示數(shù)據(jù)類型化/網(wǎng)絡(luò)函數(shù)式編程）概率統(tǒng)計(jì)：隱含變量（影響因素）樣本效率計(jì)算效率2023/2/646系統(tǒng)工具：Tensorflow

系統(tǒng)工具：Tensorflow

2023/2/647提

綱2023/2/648基本原理：流形假設(shè)和函數(shù)精簡表示深度學(xué)習(xí)的問題/目標(biāo)流形假設(shè)和函數(shù)精簡表示語義表示（Typing）：流形、隱變量、認(rèn)知科學(xué)和腦科學(xué)的啟發(fā)函數(shù)精簡表示（神經(jīng)網(wǎng)絡(luò)）：函數(shù)式編程關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率計(jì)算效率訓(xùn)練/間接優(yōu)化技術(shù)統(tǒng)計(jì)效率特征表示和學(xué)習(xí)參數(shù)共享/類型化記憶機(jī)制/關(guān)注機(jī)制系統(tǒng)工具和應(yīng)用圖片檢索的困難和解決技術(shù)方向圖片檢索的困難：問題2023/2/649從千萬量級的商品圖片庫中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片圖片檢索的困難：基本解決方案2023/2/650從千萬量級的商品圖片庫中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片圖片檢索的困難：基本解決方案2023/2/651從千萬量級的商品圖片庫中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片圖片檢索的困難：目前實(shí)驗(yàn)結(jié)果2023/2/652基本技術(shù)方案研究研究網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)規(guī)模（商品類別、數(shù)量）、泛化能力之間的關(guān)系給定網(wǎng)絡(luò)結(jié)構(gòu)，改變數(shù)據(jù)規(guī)模給定數(shù)據(jù)規(guī)模，改變網(wǎng)絡(luò)結(jié)構(gòu)bag888560air7467bath78ball766953chess7562bb_cream50boots847729comb4842bike78camera978865fan7671cutlery49computer797447flower6736dustbin46cup776348glove5740dustpan52fitness999786hat7852fridge60furniture817065music9380glasses78jewelry726134ruler7869houseclean73led716248stationary8174kitchen42pethouse644739makeup67sand685944mop55scooter959276perfume39tshirt736538phone44watch847858plate41power_board42range_hood68suitcase35sweeper32switch75tub38washing56water_heater65window46xiangji49L5-64C15C25C502023/2/653L6L6-96+fullconnectedlayer-N10242023/2/6548152550bag90.687.985.360ball79.876.269.253boots84.583.877.128.7camera95.396.888.164.8computer74.379.373.846.5cup757762.547.5fitness98.398.896.985.7furniture64.5jewelry5172.260.534led54.970.562.247.7pethouse56.364.346.738.8sand51.76858.643.8scooter69.495.19275.8tshirt51.872.76538.3watch44.283.678.358.4airchess55.875.462comb4848.141.7fan72.675.571.1flower48.46735.5glove42.756.940.1hat51.578.351.7music59.392.780.4ruler45.677.669.2stationary67.28173.7bath48.677.8bb_cream55.850.3bike28.578.2cutlery40.549.2dustbin35.946dustpan4952.2fridge43.160glasses3677.7houseclean63.572.7kitchen35.242makeup57.567.4mop55.355.2perfume4038.5phone43.944.1plate46.141.4power_board48.741.9range_hood44.368suitcase36.334.6sweeper25.832.3switch4375.3tub32.838.4washing4855.5water_heater56.465.3window37.545.8xiangji41.348.9圖片檢索的困難：目前實(shí)驗(yàn)結(jié)果類別之間的泛化能力2023/2/655圖片檢索的困難：難點(diǎn)2023/2/656問題從千萬量級的商品圖片庫中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片難點(diǎn)圖片數(shù)目在千萬量級多樣性的相似性度量形狀、外觀相似顏色相似相似性度量函數(shù)是復(fù)雜函數(shù)32.3%圖片檢索的困難：難點(diǎn)2023/2/657問題從千萬量級的商品圖片庫中檢索與給定圖片相似商品的圖片輸入搜索關(guān)鍵詞，從返回商品圖片中檢索與選定圖片相似商品的圖片難點(diǎn)圖片數(shù)目在千萬量級多樣性的相似性度量形狀、外觀相似顏色相似相似性度量函數(shù)是復(fù)雜函數(shù)圖片檢索的困難：突破方向2023/2/658后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過無導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無標(biāo)志圖片）其他數(shù)據(jù)源/有效樣本（用粗糙模型探測樣本結(jié)構(gòu)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)圖片檢索的困難：突破方向2023/2/659后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過無導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無標(biāo)志圖片）其他的數(shù)據(jù)源/有效樣本（用粗糙模型探測樣本結(jié)構(gòu)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)圖片檢索的困難：突破方向2023/2/660后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過無導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無標(biāo)志圖片）其他的數(shù)據(jù)源/有效樣本（用粗糙模型探測樣本結(jié)構(gòu)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)圖片檢索的困難：突破方向2023/2/661后續(xù)突破方向數(shù)據(jù)信息方向嵌入搜索關(guān)鍵詞信息（通過無導(dǎo)師學(xué)習(xí)方法抽取關(guān)鍵詞下的圖片特征）無導(dǎo)師/半導(dǎo)師/轉(zhuǎn)移學(xué)習(xí)方向（大量的無標(biāo)志圖片）其他的數(shù)據(jù)源/有效樣本（用粗糙模型探測樣本結(jié)構(gòu)）（弱導(dǎo)師學(xué)習(xí)）網(wǎng)絡(luò)結(jié)構(gòu)方向深度網(wǎng)絡(luò)結(jié)構(gòu)：verydeepnetwork關(guān)注技術(shù)不同類別商品的關(guān)注策略具有共性，可以轉(zhuǎn)移！統(tǒng)計(jì)效率和計(jì)算效率的模型：怎么用最少的樣本、最小的計(jì)算做可能準(zhǔn)確的推測！提綱2023/2/662基本原理：基于流形假設(shè)和函數(shù)精簡表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識數(shù)據(jù)/計(jì)算集群提綱2023/2/663基本原理：基于流形假設(shè)和函數(shù)精簡表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識數(shù)據(jù)/計(jì)算集群大模型+正則化+近似優(yōu)化=有效模型過度擬合、先驗(yàn)經(jīng)驗(yàn)統(tǒng)計(jì)效率和計(jì)算效率流形假設(shè)函數(shù)嵌套、稀疏連接、共享、轉(zhuǎn)移自主和泛化端到端的方法策略（編程）學(xué)習(xí)提綱2023/2/664基本原理：基于流形假設(shè)和函數(shù)精簡表示的小樣本技術(shù)關(guān)鍵技術(shù)：計(jì)算和統(tǒng)計(jì)效率圖片檢索的困難和解決技術(shù)方向擴(kuò)展性障礙：圖片的數(shù)量/相似函數(shù)的復(fù)雜性資源障礙：標(biāo)識數(shù)據(jù)/計(jì)算集群大模型+正則化+近似優(yōu)化=有效模型過度擬合、先驗(yàn)經(jīng)驗(yàn)統(tǒng)計(jì)效率和計(jì)算效率流形假設(shè)函數(shù)嵌套、稀疏連接、共享、轉(zhuǎn)移自