《計算機(jī)視覺》教學(xué)課件-第08章1-神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)1

人工智能視覺課程

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)01引言02神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史03神經(jīng)網(wǎng)絡(luò)基本概念04深度學(xué)習(xí)基本概念05使用和訓(xùn)練神經(jīng)網(wǎng)絡(luò)引言2024/11/53圖像分類圖像分割目標(biāo)檢測我們已經(jīng)學(xué)過了很多傳統(tǒng)方法2024/11/54SVM自適應(yīng)閾值Otsu分水嶺KNNK-MeansSIFT深度學(xué)習(xí)方法2024/11/55自2012年以來，深度學(xué)習(xí)在各個方面的任務(wù)中，效果逐步超越了傳統(tǒng)算法人臉檢測人臉識別醫(yī)療圖像識別核磁共振成像和X射線檢測癌癥部分任務(wù)的準(zhǔn)確度超過了人類水平自動駕駛成為可能......01引言02神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史03神經(jīng)網(wǎng)絡(luò)基本概念04深度學(xué)習(xí)基本概念05使用和訓(xùn)練神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)基礎(chǔ)2024/11/57神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/58前面我們講了計算機(jī)視覺簡史跟神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史有部分重疊但顯然不完全一樣1943年心里學(xué)家WarrenMacCulloch和數(shù)學(xué)邏輯學(xué)家WalterPitts發(fā)表論文《神經(jīng)活動中內(nèi)在思想的邏輯演算》提出了MP（W.S.McCulloch和W.Pitts）模型神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/59MP模型模仿神經(jīng)元的結(jié)構(gòu)和工作原理，構(gòu)建出一個基于神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型本質(zhì)上是一種“模擬人類大腦”的神經(jīng)元模型沒有訓(xùn)練的概念作為人工神經(jīng)網(wǎng)絡(luò)的起源，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的新時代，也奠定了神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5101949年加拿大著名心理學(xué)家DonaldHebb在《行為的組織》中提出了一種基于無監(jiān)督學(xué)習(xí)的規(guī)則——Hebb學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/511Hebb學(xué)習(xí)規(guī)則模仿人類認(rèn)知世界的過程建立一種“網(wǎng)絡(luò)模型”該網(wǎng)絡(luò)模型針對訓(xùn)練集進(jìn)行大量的訓(xùn)練并提取訓(xùn)練集的統(tǒng)計特征然后按照樣本的相似程度進(jìn)行分類把相互之間聯(lián)系密切的樣本分為一類Hebb學(xué)習(xí)規(guī)則與“條件反射”機(jī)理一致為以后的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法奠定了基礎(chǔ)，具有重大的歷史意義神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/512巴普洛夫的條件反射實驗2024/11/513Hebb的理論認(rèn)為在同一時間被激發(fā)的神經(jīng)元間的聯(lián)系會被強(qiáng)化比如，鈴聲響時一個神經(jīng)元被激發(fā)在同一時間食物的出現(xiàn)會激發(fā)附近的另一個神經(jīng)元那么這兩個神經(jīng)元間的聯(lián)系就會強(qiáng)化，從而記住這兩個事物之間存在著聯(lián)系相反，如果兩個神經(jīng)元總是不能同步激發(fā)，那么它們間的聯(lián)系將會越來越弱神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5141957年FrankRosenblatt感知機(jī)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5151969年MarvinMinsky和SeymourPapert共同編寫了一本書籍《Perceptrons》在書中他們證明了單層感知器無法解決線性不可分問題（例如：異或問題）并且認(rèn)為即使是多層感知機(jī)網(wǎng)絡(luò)也無法解決異或問題（這一觀點不正確）對神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了巨大消極影響直到80年代反向傳播算法的提出，才得以消除1987年《Perceptrons》被修訂新書名叫《Perceptrons-ExpandedEdition》神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5161982年著名物理學(xué)家JohnHopfield發(fā)明了Hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/517Hopfield神經(jīng)網(wǎng)絡(luò)是一種結(jié)合存儲系統(tǒng)和二元系統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)可以模擬人類的記憶根據(jù)激活函數(shù)的選取不同，有連續(xù)型和離散型兩種類型，分別用于優(yōu)化計算和聯(lián)想記憶容易陷入局部最小值的缺陷，該算法并未在當(dāng)時引起很大的轟動神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5181986年深度學(xué)習(xí)之父GeoffreyHinton提出了一種適用于多層感知器的反向傳播算法Backpropation算法BP算法神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/519BP算法在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)正向傳播的基礎(chǔ)上，增加了誤差的反向傳播過程反向傳播過程不斷地調(diào)整神經(jīng)元之間的權(quán)值和閾值直到輸出的誤差達(dá)到減小到允許的范圍之內(nèi)，或達(dá)到預(yù)先設(shè)定的訓(xùn)練次數(shù)為止BP算法完美的解決了非線性分類問題，讓人工神經(jīng)網(wǎng)絡(luò)再次的引起了人們廣泛的關(guān)注神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/520GeoffreyHinton的困境八十年代計算機(jī)的硬件水平有限當(dāng)神經(jīng)網(wǎng)絡(luò)的規(guī)模增大時，使用BP算法會出現(xiàn)“梯度消失”的問題九十年代中期，以SVM為代表的其它淺層機(jī)器學(xué)習(xí)算法被提出，并在分類、回歸問題上均取得了很好的效果神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5212006年GeoffreyHinton以及他的學(xué)生RuslanSalakhutdinov（蘋果首任AI總監(jiān)）正式提出了深度學(xué)習(xí)的概念他們在《Science》發(fā)表的一篇文章中詳細(xì)的給出了“梯度消失”問題的解決方案通過無監(jiān)督學(xué)習(xí)逐層訓(xùn)練，再使用有監(jiān)督的反向傳播進(jìn)行調(diào)優(yōu)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5222009年ImageNet圖像分類、目標(biāo)檢測1400萬+幅圖像21841個類別比賽（子集，100萬+圖像）神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5232012年ImageNet比賽SuperVision,UniversityofTorontoGeoffreyHinton領(lǐng)導(dǎo)AlexNet神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/524神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/525ImageNet比賽里程碑2014年UniversityofMontrealGAN網(wǎng)絡(luò)生成器判別器神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5262014年Facebook人臉識別準(zhǔn)確率：97.25%達(dá)到人類水平神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/5272016-2017年Google的AlphaGo4:1的比分戰(zhàn)勝了國際頂尖圍棋高手李世石隨后戰(zhàn)勝了一眾高手AlphaGo升級版AlphaGoZero“從零開始”、“無師自通”的學(xué)習(xí)模式以100:0的比分輕而易舉打敗了之前的AlphaGo神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史2024/11/52801引言02神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡史03神經(jīng)網(wǎng)絡(luò)基本概念04深度學(xué)習(xí)基本概念05使用和訓(xùn)練神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)之前2024/11/530在講深度學(xué)習(xí)之前神經(jīng)網(wǎng)絡(luò)基本概念–生物神經(jīng)網(wǎng)絡(luò)2024/11/531生物神經(jīng)網(wǎng)絡(luò)一般指生物的大腦神經(jīng)元、細(xì)胞、觸點等組成的網(wǎng)絡(luò)用于產(chǎn)生生物的意識幫助生物進(jìn)行思考和行動神經(jīng)網(wǎng)絡(luò)基本概念–人工神經(jīng)網(wǎng)絡(luò)2024/11/532人工神經(jīng)網(wǎng)絡(luò)ArtificialNeuralNetworks（ANNs）神經(jīng)網(wǎng)絡(luò)（NNs）連接模型（ConnectionModel）類神經(jīng)網(wǎng)絡(luò)一般都是一回事神經(jīng)網(wǎng)絡(luò)基本概念–人工神經(jīng)網(wǎng)絡(luò)2024/11/533人工神經(jīng)網(wǎng)絡(luò)是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征（類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)），進(jìn)行信息處理的數(shù)學(xué)模型這種網(wǎng)絡(luò)通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達(dá)到處理信息的目的神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的層2024/11/534層輸入層隱藏層輸出層每層由并行的節(jié)點組成通常同一層不具有連接兩個相鄰層完全連接(每一層的每一個神經(jīng)元到另一層的每個神經(jīng)元)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/535節(jié)點類似于生物神經(jīng)網(wǎng)絡(luò)神經(jīng)元的概念位于層中神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/536權(quán)重表示每個神經(jīng)網(wǎng)絡(luò)層與其下方的層之間的關(guān)系下方的層可能是另一個神經(jīng)網(wǎng)絡(luò)層，也可能是其他類型的層神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/537偏差每個節(jié)點一個偏差神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)中的其他構(gòu)件2024/11/538激活函數(shù)對層中每個節(jié)點的輸出進(jìn)行轉(zhuǎn)換不同的層可能擁有不同的激活函數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–線性模型2024/11/539藍(lán)色圓圈輸入特征綠色圓圈各個輸入的加權(quán)和神經(jīng)網(wǎng)絡(luò)基本概念–線性模型2024/11/540藍(lán)色圓圈輸入特征添加了一個表示中間值的“隱藏層”隱藏層中的每個黃色節(jié)點均是藍(lán)色輸入節(jié)點值的加權(quán)和綠色圓圈黃色節(jié)點的加權(quán)和仍然是一個線性模型神經(jīng)網(wǎng)絡(luò)基本概念–線性模型2024/11/541藍(lán)色圓圈輸入特征添加了兩個表示中間值的“隱藏層”將輸出表示為輸入的函數(shù)并進(jìn)行簡化時只是獲得輸入的另一個加權(quán)和仍然是一個線性模型無法解決非線性問題神經(jīng)網(wǎng)絡(luò)基本概念–非線性問題2024/11/542“非線性”意味著無法使用形式為“b+w1x1+w2x2”的模型準(zhǔn)確預(yù)測標(biāo)簽“決策面”不是直線一種解決方案：特征組合神經(jīng)網(wǎng)絡(luò)基本概念–非線性模型2024/11/543對非線性問題進(jìn)行建?？梢灾苯右敕蔷€性函數(shù)用非線性函數(shù)將每個隱藏層節(jié)點像管道一樣連接起來在隱藏層1中的各個節(jié)點的值傳遞到下一層進(jìn)行加權(quán)求和之前，采用一個非線性函數(shù)對其進(jìn)行了轉(zhuǎn)換這種非線性函數(shù)稱為激活函數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/544神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/545所有數(shù)學(xué)函數(shù)均可作為激活函數(shù)假設(shè)σ表示我們的激活函數(shù)ReLU、S型函數(shù)等等網(wǎng)絡(luò)中節(jié)點的值為：σ(w*x+b)神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/546Sigmoid函數(shù)適用于網(wǎng)絡(luò)可能輸出多個正確答案的分類問題多標(biāo)簽分類神經(jīng)網(wǎng)絡(luò)基本概念–Sigmoid函數(shù)2024/11/547Sigmoid函數(shù)是一個閾值函數(shù)不管x取什么值，對應(yīng)的Sigmoid函數(shù)值總是0<sigmoid(x)<1Sigmoid函數(shù)嚴(yán)格單調(diào)遞增而且其反函數(shù)也單調(diào)遞增Sigmoid函數(shù)連續(xù)Sigmoid函數(shù)光滑Sigmoid函數(shù)關(guān)于點(0,0.5)對稱Sigmoid函數(shù)的導(dǎo)數(shù)是以它本身為因變量的函數(shù)f(x)'=F(f(x))神經(jīng)網(wǎng)絡(luò)基本概念–Sigmoid函數(shù)2024/11/548對于二分類問題y=b*1+θ1x1+θ2x2+...+θnxn

=θ0x0+θ1x1+θ2x2+...+θnxn

=θTxy∈{0,1}1表示正例0表示負(fù)例在線性函數(shù)θTx輸出預(yù)測實際值的基礎(chǔ)上，尋找一個假設(shè)函數(shù)hθ(x)=g(θTx)，將實際值映射到0，1之間神經(jīng)網(wǎng)絡(luò)基本概念–Sigmoid函數(shù)2024/11/549使用Sigmoid函數(shù)，則可以使用0.5作為決策邊界Sigmoid函數(shù)關(guān)于點(0,0.5)對稱hθ(x)=g(θTx)如果hθ(x)>=0.5，則預(yù)測y=1，即y屬于正例如果hθ(x)<0.5，則預(yù)測y=0，即y屬于負(fù)例神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/550Softmax函數(shù)適用于網(wǎng)絡(luò)只輸出一個正確答案的分類問題多類別分類神經(jīng)網(wǎng)絡(luò)基本概念–梯度爆炸2024/11/551如果網(wǎng)絡(luò)中的權(quán)重過大，則較低層的梯度會涉及許多大項的乘積在這種情況下，梯度就會爆炸梯度過大導(dǎo)致難以收斂批標(biāo)準(zhǔn)化可以降低學(xué)習(xí)速率，因而有助于防止梯度爆炸基于反向傳播2024/11/552總結(jié)：從深層網(wǎng)絡(luò)角度來講，不同的層學(xué)習(xí)的速度差異很大，表現(xiàn)為網(wǎng)絡(luò)中靠近輸出的層學(xué)習(xí)的情況很好，靠近輸入的層學(xué)習(xí)的很慢，有時甚至訓(xùn)練了很久，前幾層的權(quán)值和剛開始隨機(jī)初始化的值差不多。因此，梯度消失、爆炸，其根本原因在于反向傳播訓(xùn)練法則，本質(zhì)在于方法問題，另外對于人來說，在大腦的思考機(jī)制里是沒有反向傳播的。Hinton提出capsule的原因就是為了徹底拋棄目前基于反向傳播的深度學(xué)習(xí)算法，如果真能大范圍普及，那真是一個革命。神經(jīng)網(wǎng)絡(luò)基本概念–梯度消失2024/11/553深度學(xué)習(xí)中，較低層（更接近輸入）的梯度可能會變得非常小在深度網(wǎng)絡(luò)中，計算這些梯度時，可能涉及許多小項的乘積當(dāng)較低層的梯度逐漸消失到0時，這些層的訓(xùn)練速度會非常緩慢，甚至不再訓(xùn)練如果我們的網(wǎng)絡(luò)太過深入，信噪比隨著越來越深入模型而變差，那么學(xué)習(xí)速度可能會變得非常慢這種情況下，ReLU函數(shù)可能會有用一般來講，需要考慮盡量將模型的深度限制為最小的有效深度神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/554線性整流函數(shù)RectifiedLinearUnit（ReLU）max(0,x)計算速度快收斂速度快神經(jīng)網(wǎng)絡(luò)基本概念–ReLU單元消失2024/11/555一旦ReLU單元的加權(quán)和低于0它會輸出對網(wǎng)絡(luò)輸出沒有任何貢獻(xiàn)的0激活ReLU單元就可能會停滯而梯度在反向傳播算法期間將無法再從中流過由于梯度的來源被切斷，ReLU的輸入可能無法作出足夠的改變來使加權(quán)和恢復(fù)到0以上降低學(xué)習(xí)速率有助于防止ReLU單元消失另外一個辦法就是使用LeakyReLU神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/556LeakyRectifiedLinearUnit（LeakyReLU）f(x)=max(0.01x,x)解決ReLU單元停滯的問題神經(jīng)網(wǎng)絡(luò)基本概念–激活函數(shù)2024/11/557雙曲正切函數(shù)HyperbolicTangent（Tanh）輸出值向下移動，外觀上與sigmoid函數(shù)相似神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/558反向傳播算法是最常見的一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法借助這種算法，梯度下降法在多層神經(jīng)網(wǎng)絡(luò)中將成為可行方法反向傳播算法的前提事物必須是可微的，這樣我們才能夠進(jìn)行學(xué)習(xí)我們需要可微函數(shù)，從而能夠使用神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)各種函數(shù)中存在一兩個小的間斷點沒關(guān)系知識問答2024/11/559右圖中的神經(jīng)網(wǎng)絡(luò)有幾個輸入節(jié)點、輸出節(jié)點、隱藏層？神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/560假設(shè)有如圖所示的神經(jīng)網(wǎng)絡(luò)一個輸入節(jié)點一個輸出節(jié)點兩個隱藏層（每個隱藏層分別有兩個節(jié)點）相鄰的層中，節(jié)點通過權(quán)重wij相關(guān)聯(lián)這些權(quán)重是神經(jīng)網(wǎng)絡(luò)的參數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/561每個節(jié)點都有一個總輸入x一個激活函數(shù)f(x)一個輸出y=f(x)f(x)必須是非線性函數(shù)，否則神經(jīng)網(wǎng)絡(luò)就只能學(xué)習(xí)線性模型比如Sigmoid函數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/562目標(biāo)根據(jù)數(shù)據(jù)自動學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重以便讓所有輸入xinput的預(yù)測輸出youtput接近目標(biāo)ytarget為了衡量與該目標(biāo)的差距，使用一個誤差函數(shù)E也叫損失函數(shù)例如E(youtput,ytarget)=1/2(youtput?ytarget)2神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/563首先進(jìn)行正向傳播取一個輸入樣本(xinput,ytarget)并更新網(wǎng)絡(luò)的輸入層為保持一致性將輸入視為與其他任何節(jié)點相同但不具有激活函數(shù)以便讓其輸出與輸入相等即y1=xinput神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/564更新第一個隱藏層取上一層節(jié)點的輸出y使用權(quán)重來計算下一層節(jié)點的輸入x神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/565更新第一個隱藏層中節(jié)點的輸出使用激活函數(shù)f(x)y=f(x)使用上述兩個公式可以傳播到網(wǎng)絡(luò)的其余內(nèi)容并獲得網(wǎng)絡(luò)的最終輸出神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/566反向傳播算法會對特定樣本的預(yù)測輸出和理想輸出比較然后確定網(wǎng)絡(luò)每個權(quán)重的更新幅度基于梯度下降的思想需要計算誤差相對于每個權(quán)重（dE/dwij）的變化情況注意回顧導(dǎo)數(shù)、偏導(dǎo)數(shù)、梯度的知識點鏈?zhǔn)椒▌t（自行查資料）神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/567更新權(quán)重的方法α是一個常數(shù)，也就是學(xué)習(xí)速率（學(xué)習(xí)率）α是我們調(diào)參的熱門選項如果權(quán)重提高后誤差降低了（dE/dwij<0），則提高權(quán)重如果權(quán)重提高后誤差提高了（dE/dwij>0），則降低權(quán)重神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/568為了計算dE/dwij需要計算節(jié)點的總輸入，dE/dx需要計算節(jié)點的輸出，dE/dy即誤差隨上述兩項的變化情況神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/569終于可以開始反向傳播了反向傳播的是誤差導(dǎo)數(shù)輸入樣本的預(yù)測輸出已知（已經(jīng)正向傳播過了）計算誤差隨該預(yù)測輸出的變化情況假設(shè)誤差函數(shù)為E=1/2(youtput-ytarget)2可以得到神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/570根據(jù)鏈?zhǔn)椒▌t計算dE/dxdE/dy剛才已求出神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/571得到相對于某節(jié)點總輸入的誤差導(dǎo)數(shù)之后可以計算相對于進(jìn)入該節(jié)點權(quán)重的誤差導(dǎo)數(shù)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/572根據(jù)鏈?zhǔn)椒▌t計算上一層的dE/dy形成了一個完整循環(huán)神經(jīng)網(wǎng)絡(luò)基本概念–反向傳播算法2024/11/573重復(fù)上述步驟直到完成整個網(wǎng)絡(luò)所有節(jié)點的計算神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的黑盒特性2024/11/574神經(jīng)網(wǎng)絡(luò)像是黑盒我們可以訓(xùn)練它們，得到結(jié)果，增強(qiáng)它們但實際的決定路徑大多數(shù)我們都是不可見的結(jié)束了嗎?2024/11/575神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的種類2024/11/576神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的種類2024/11/577神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/578感知機(jī)Perceptron最簡單和最古老的神經(jīng)元模型接收一些輸入，把它們加起來，通過激活函數(shù)傳遞到輸出層神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/579前饋神經(jīng)網(wǎng)絡(luò)Feedforwardneuralnetworks，F(xiàn)F或FFNN起源于50年代所有節(jié)點都完全連接激活從輸入層流向輸出，無回環(huán)輸入和輸出之間有一層隱藏層往往使用反向傳播方法進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/580RBF神經(jīng)網(wǎng)絡(luò)激活函數(shù)是徑向基函數(shù)的FF前饋神經(jīng)網(wǎng)絡(luò)邏輯函數(shù)將某個任意值映射到[0,...1]范圍內(nèi)來，回答“是或否”問題邏輯函數(shù)適用于分類決策系統(tǒng)，不適用于連續(xù)變量徑向基函數(shù)能顯示“我們距離目標(biāo)有多遠(yuǎn)”徑向基函數(shù)適用于函數(shù)逼近和機(jī)器控制（例如作為PID控制器的替代）神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/581深度前饋神經(jīng)網(wǎng)絡(luò)不止一個隱藏層在訓(xùn)練傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)時，我們只向上一層傳遞了少量的誤差信息堆疊更多的層次導(dǎo)致訓(xùn)練時間的指數(shù)增長，使得深度前饋神經(jīng)網(wǎng)絡(luò)非常不實用00年代初開發(fā)了一系列有效的訓(xùn)練深度前饋神經(jīng)網(wǎng)絡(luò)的方法現(xiàn)在它們構(gòu)成了現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)的核心神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/582全連接層上層的任意一個節(jié)點，都和當(dāng)前層的所有節(jié)點連接全連接網(wǎng)絡(luò)所有層都是全連接層的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/583RNN遞歸神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)元這種類型的第一個網(wǎng)絡(luò)被稱為約旦網(wǎng)絡(luò)（JordanNetwork）每個隱含神經(jīng)元會收到它自己的在固定延遲（一次或多次迭代）后的輸出與普通的模糊神經(jīng)網(wǎng)絡(luò)非常相似區(qū)別在于如傳遞狀態(tài)到輸入節(jié)點、可變延遲等神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/584RNN遞歸神經(jīng)網(wǎng)絡(luò)用在上下文很重要的時候即過去的迭代結(jié)果和樣本產(chǎn)生的決策會對當(dāng)前產(chǎn)生影響最常見的上下文的例子是文本一個單詞只能在前面的單詞或句子的上下文中進(jìn)行分析神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/585長短時記憶網(wǎng)絡(luò)引入了一個存儲單元這個特殊的單元當(dāng)數(shù)據(jù)有時間間隔（或滯后）時可以處理數(shù)據(jù)遞歸神經(jīng)網(wǎng)絡(luò)可以通過“記住”前十個詞來處理文本LSTM可以通過“記住”許多幀之前發(fā)生的事情處理視頻幀廣泛用于寫作和語音識別神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/586長短時記憶網(wǎng)絡(luò)存儲單元實際上由一些元素組成，稱為門它們是遞歸性的，并控制信息如何被記住和遺忘神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/587長短時記憶網(wǎng)絡(luò)下圖中，“x”是門，擁有自己的權(quán)重，有時也有激活函數(shù)在每個樣本上，門決定是否傳遞數(shù)據(jù)，擦除記憶等輸入門決定上一個樣本有多少信息將保存在內(nèi)存中輸出門調(diào)節(jié)傳輸?shù)较乱粚拥臄?shù)據(jù)量遺忘門控制存儲記憶的損失率神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/588門控循環(huán)單元LSTM的一種變體沒有輸入門、輸出門、遺忘門只有更新門和復(fù)位門神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/589門控循環(huán)單元更新門確定從上一個狀態(tài)保留多少信息以及有多少來自上一層的信息得以保留復(fù)位門的功能很像LSTM的遺忘門，但位置略有不同復(fù)位門總是發(fā)出全部狀態(tài)在大多數(shù)情況下，它們與LSTM的功能非常相似最大的區(qū)別在于GRU稍快，運行容易(但表達(dá)能力更差)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/590自動編碼器無監(jiān)督學(xué)習(xí)反向傳播目標(biāo)值等于輸入值用于分類、聚類和特征壓縮神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/591自動編碼器假設(shè)某個自編碼神經(jīng)網(wǎng)絡(luò)的輸入x是一張10×10圖像（共100個像素）的像素灰度值其隱藏層中有50個隱藏神經(jīng)元輸出也是100維迫使自編碼神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)輸入數(shù)據(jù)的壓縮表示（只有50個隱藏神經(jīng)元）它必須從50維的隱藏神經(jīng)元激活度向量中重構(gòu)出100維的像素灰度值輸入x神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/592變分自編碼器與一般自編碼器相比，它壓縮的是概率，而不是特征一般自編碼器只能回答當(dāng)“我們?nèi)绾螝w納數(shù)據(jù)？變分自編碼器回答了“兩件事情之間的聯(lián)系有多強(qiáng)大？我們應(yīng)該在兩件事情之間分配誤差還是它們完全獨立的？”的問題神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/593降噪自動編碼器自動編碼器有時找不到最魯棒的特征，而只是適應(yīng)輸入數(shù)據(jù)（過擬合）DAE在輸入單元上增加了一些噪聲通過隨機(jī)位來改變數(shù)據(jù)，隨機(jī)切換輸入中的位等一個強(qiáng)制DAE從一個有點嘈雜的輸入重構(gòu)輸出，使其更加通用，強(qiáng)制選擇更常見的特征神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/594稀疏自編碼器有時候可以抽離出數(shù)據(jù)中一些隱藏分組樣式的自動編碼的形式結(jié)構(gòu)和AE一樣隱藏單元的數(shù)量大于輸入或輸出單元的數(shù)量神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/595馬爾可夫鏈每一個端點都存在一種可能性搭建像“在單詞hello之后有0.0053％的概率會出現(xiàn)dear，有0.03551%的概率出現(xiàn)you”這樣的文本結(jié)構(gòu)可以被用作基于概率的分類（像貝葉斯過濾）、聚類（對某些類別而言）、有限狀態(tài)機(jī)不是典型的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/596霍普菲爾得網(wǎng)絡(luò)離散型、連續(xù)型對一套有限的樣本進(jìn)行訓(xùn)練它們用相同的樣本對已知樣本作出反應(yīng)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/597霍普菲爾得網(wǎng)絡(luò)在訓(xùn)練前，每一個樣本都作為輸入樣本在訓(xùn)練中作為隱藏樣本使用過之后被用作輸出樣本在HN試著重構(gòu)受訓(xùn)樣本的時候，他們可以用于給輸入值降噪和修復(fù)輸入如果給出一半圖片或數(shù)列用來學(xué)習(xí)，它們可以反饋全部樣本神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/598波爾滋曼機(jī)和HN類似有些單元被標(biāo)記為輸入同時也是隱藏單元在隱藏單元更新其狀態(tài)時，輸入單元就變成了輸出單元在訓(xùn)練時，BM和HN一個一個的更新單元，而非并行神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/599波爾滋曼機(jī)這是第一個成功保留模擬退火方法的網(wǎng)絡(luò)拓?fù)涠鄬盈B的波爾滋曼機(jī)可以用于深度信念網(wǎng)絡(luò)深度信念網(wǎng)絡(luò)可以用作特征檢測和抽取神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5100限制型波爾滋曼機(jī)在結(jié)構(gòu)上，限制型波爾滋曼機(jī)和BM很相似受限RBM被允許像前饋神經(jīng)網(wǎng)絡(luò)一樣用反向傳播來訓(xùn)練唯一的不同的是在反向傳播經(jīng)過數(shù)據(jù)之前RBM會經(jīng)過一次輸入層神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5101深度信念網(wǎng)絡(luò)實際上是許多波爾滋曼機(jī)（被變分自動編碼器包圍）他們能被連在一起（在一個神經(jīng)網(wǎng)絡(luò)訓(xùn)練另一個的時候）并且可以用已經(jīng)學(xué)習(xí)過的樣式來生成數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5102深度卷積網(wǎng)絡(luò)具有卷積單元（或者池化層）和內(nèi)核卷積核用來處理輸入的數(shù)據(jù)池化層用來簡化它們，來減少不必要的特征池化層大多數(shù)情況是用非線性方程，比如max神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5103深度卷積網(wǎng)絡(luò)它們在圖片的一小部分上運行輸入窗口一個像素一個像素的沿著圖像滑動然后數(shù)據(jù)流向卷積層卷積層形成一個漏斗（壓縮被識別的特征）深度前饋神經(jīng)網(wǎng)絡(luò)（全連接層）通常被接在卷積層的末端方便未來的數(shù)據(jù)處理神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5104深度卷積網(wǎng)絡(luò)DCN通常被用來做圖像識別從圖像識別來講，第一層識別梯度，第二層識別線，第三層識別形狀以此類推，直到特定的物體那一級神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5105包含卷積層的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5106卷積層每一層的每張?zhí)卣鲌D都通過上一層的特征圖進(jìn)行卷積操作得到圖像卷積神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5107卷積層三維卷積第一個三維卷積核神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5108池化（pooling）壓縮特征圖的長和寬，以減少網(wǎng)絡(luò)中參數(shù)的數(shù)量和計算量最大池化（max

pooling），平均池化（average

pooling）最大池化神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5109去卷積網(wǎng)絡(luò)將卷積網(wǎng)絡(luò)顛倒過來DN能在獲取貓的圖片之后生成向量例如（狗：0，蜥蜴：0，馬：0，貓：1）DCN能在得到這個向量之后，能畫出一只貓神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5110深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)是一個自動編碼器DCN和DN并不是作為兩個分開的網(wǎng)絡(luò)，而是承載網(wǎng)絡(luò)輸入和輸出的間隔區(qū)神經(jīng)網(wǎng)絡(luò)基本概念–神經(jīng)網(wǎng)絡(luò)的類型2024/11/5111深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)可以被用作圖像處理，并且可以處理他們以前沒有被訓(xùn)練過的圖像由于其抽象化的水平很高，可以用于將某個事物從一張圖片中移除、重畫，或者將一匹馬換成一個斑馬神經(jīng)網(wǎng)