機(jī)器學(xué)習(xí)原理及應(yīng)用課件第11章

第11章神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)目錄CONTENT多層感知機(jī)二反向傳播算法四循環(huán)神經(jīng)網(wǎng)絡(luò)六圖卷積神經(jīng)網(wǎng)絡(luò)八神經(jīng)元模型一損失函數(shù)三卷積神經(jīng)網(wǎng)絡(luò)五生成對(duì)抗網(wǎng)絡(luò)七深度學(xué)習(xí)發(fā)展九神經(jīng)元模型一、神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)的基本組成單位是神經(jīng)元模型，用于模擬生物神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元。生物神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的功能是感受刺激傳遞興奮。每個(gè)神經(jīng)元通過樹突接受來自其他被激活神經(jīng)元的，通過軸突釋放出來的化學(xué)遞質(zhì)，改變當(dāng)前神經(jīng)元內(nèi)的電位，然后將其匯總。當(dāng)神經(jīng)元內(nèi)的電位累計(jì)到一個(gè)水平時(shí)就會(huì)被激活，產(chǎn)生動(dòng)作電位，然后通過軸突釋放化學(xué)物質(zhì)。神經(jīng)元模型一、神經(jīng)元模型機(jī)器學(xué)習(xí)中的神經(jīng)元模型類似于生物神經(jīng)元模型，由一個(gè)線性模型和一個(gè)激活函數(shù)組成。表示為其中為上一層神經(jīng)元的輸出，為當(dāng)前神經(jīng)元與上一層神經(jīng)元的連接權(quán)重，

為偏置，為激活函數(shù)。激活函數(shù)的作用是進(jìn)行非線性化，這是因?yàn)楝F(xiàn)實(shí)世界中的數(shù)據(jù)僅通過線性化建模往往不能夠反應(yīng)其規(guī)律。一、神經(jīng)元模型常用的激活函數(shù)有Sigmoid、ReLU、PReLU、Tanh、Softmax等。下面是對(duì)這些激活函數(shù)的介紹。常用激活函數(shù)SigmoidReLUTanhSoftmaxReLU函數(shù)ReLU(RectifiedLinearUnit)函數(shù)是目前廣泛使用的一種激活函數(shù)。2Tanh函數(shù)使用Tanh的神經(jīng)網(wǎng)絡(luò)往往收斂更快。3Softmax函數(shù)Softmax函數(shù)常用于將函數(shù)的輸出轉(zhuǎn)化為概率分布。Softmax可以看作是argmax的一個(gè)平滑近似。4一、神經(jīng)元模型Sigmoid函數(shù)Sigmoid函數(shù)的優(yōu)點(diǎn)有易于求導(dǎo)；輸出區(qū)間固定，訓(xùn)練過程不易發(fā)散；可作為二分類問題的概率輸出函數(shù)。1多層感知機(jī)二、多層感知機(jī)多層感知機(jī)通過堆疊多個(gè)神經(jīng)元模型組成，是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型。這里以一個(gè)3層的二分類感知機(jī)為例。多層感知機(jī)二、多層感知機(jī)圖中稱為輸入層，包含兩個(gè)節(jié)點(diǎn)，對(duì)應(yīng)數(shù)據(jù)的兩個(gè)特征；稱為輸出層，包含兩個(gè)節(jié)點(diǎn)；除輸入層和輸出層之外的層稱為隱藏層，圖中只有一個(gè)隱藏層，神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)為4。輸入層與隱藏層、隱藏層與輸出層之間的神經(jīng)元節(jié)點(diǎn)兩兩都有連接。輸入層沒有激活函數(shù)，假設(shè)隱藏層的激活函數(shù)為Sigmoid，輸出層的激活函數(shù)為Softmax函數(shù)。記輸入層到隱藏層的參數(shù)為。其中；記隱藏層到輸出層的參數(shù)為，其中。則整個(gè)多層感知機(jī)神經(jīng)網(wǎng)絡(luò)可以描述為二、多層感知機(jī)目前模型的參數(shù)是未知的，需要選擇一種優(yōu)化算法、一個(gè)損失函數(shù)通過大量樣本對(duì)模型的參數(shù)進(jìn)行估計(jì)。整體上，任何機(jī)器學(xué)習(xí)或深度學(xué)習(xí)任務(wù)都可歸結(jié)為分類或者回歸任務(wù)，由此產(chǎn)生了兩個(gè)主要的損失函數(shù)：交叉熵?fù)p失函數(shù)和平方誤差損失函數(shù)。反向傳播算法是一種廣泛使用的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練算法。損失函數(shù)三、損失函數(shù)損失函數(shù)被用對(duì)于神經(jīng)網(wǎng)絡(luò)模型的性能進(jìn)行度量，其評(píng)價(jià)的是模型預(yù)測(cè)值與真實(shí)值之間的差異程度，記為，其中是樣本的真實(shí)標(biāo)簽，是模型的預(yù)測(cè)結(jié)果。不同的任務(wù)往往對(duì)應(yīng)不同的損失函數(shù)，常用損失函數(shù)主要包括有：交叉熵?fù)p失函數(shù)、平方誤差損失函數(shù)。交叉熵?fù)p失函數(shù)主要用于分類任務(wù)當(dāng)中，如圖像分類、行為識(shí)別等；平方誤差損失函數(shù)主要用于回歸任務(wù)中。損失函數(shù)三、損失函數(shù)對(duì)于一個(gè)K-分類任務(wù)，假設(shè)輸入的類別標(biāo)簽為。定義表示屬于每個(gè)類別的期望概率分布，則

記神經(jīng)網(wǎng)絡(luò)模型的輸出

交叉熵?fù)p失函數(shù)用于衡量?jī)蓚€(gè)分布和之間的差異性，值越小越好

對(duì)于一個(gè)回歸任務(wù)，假設(shè)輸入的標(biāo)簽為。是模型的預(yù)測(cè)值，平方誤差損失函數(shù)用于描述模型的預(yù)測(cè)值與真實(shí)標(biāo)簽之間的歐式距離，距離越小越好反向傳播算法四、反向傳播算法反向傳播算法即梯度下降法。之所以稱為反向傳播，是由于在深層神經(jīng)網(wǎng)絡(luò)中，需要通過鏈?zhǔn)椒▌t將梯度逐層傳遞到底層。反向傳播算法1.梯度下降法2.梯度消失及梯度爆炸梯度下降法（gradientdescent），又名最速下降法（steepestdescent）是求解無約束最優(yōu)化問題最常用的方法。神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程中，梯度消失及梯度爆炸是兩個(gè)較為常見的問題。其中以梯度消失問題尤為常見。四、反向傳播算法梯度下降法（gradientdescent），又名最速下降法（steepestdescent）是求解無約束最優(yōu)化問題最常用的方法，它是一種迭代方法，每一步主要的操作是求解目標(biāo)函數(shù)的梯度向量，將當(dāng)前位置的負(fù)梯度方向作為搜索方向（因?yàn)樵谠摲较蛏夏繕?biāo)函數(shù)下降最快，這也是最速下降法名稱的由來）。梯度下降法特點(diǎn)：越接近目標(biāo)值，步長(zhǎng)越小，下降速度越慢。梯度下降法四、反向傳播算法梯度消失問題是指，在反向傳播算法中使用鏈?zhǔn)椒▌t進(jìn)行連乘時(shí)，靠近輸入層的參數(shù)梯度幾乎為0，即幾乎消失的情況。例如，如果深層神經(jīng)網(wǎng)絡(luò)的激活函數(shù)都選用Sigmoid，因?yàn)镾igmoid函數(shù)極容易飽和（梯度為0），所以越靠近輸入層的參數(shù)在經(jīng)過網(wǎng)絡(luò)中夾雜著的連續(xù)若干個(gè)Sigmoid的導(dǎo)數(shù)連乘后，梯度將幾乎接近于0。這樣進(jìn)行參數(shù)更新時(shí)，參數(shù)將幾乎不發(fā)生變化，就會(huì)使得神經(jīng)網(wǎng)絡(luò)難以收斂。緩解梯度消失問題的主要方法有：更換激活函數(shù)，如選擇ReLU這種梯度不易飽和的函數(shù)；調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，減少神經(jīng)網(wǎng)絡(luò)的層數(shù)等。梯度消失梯度爆炸問題與梯度消失問題正好相反。如果神經(jīng)網(wǎng)絡(luò)的中參數(shù)的初始化不合理，由于每層的梯度與其函數(shù)形式、參數(shù)、輸入均有關(guān)系，當(dāng)連乘的梯度均大于1時(shí)，就會(huì)造成底層參數(shù)的梯度過大，導(dǎo)致更新時(shí)參數(shù)無限增大，直到超出計(jì)算機(jī)所能表示的數(shù)的范圍。模型不穩(wěn)定且不收斂。實(shí)際情況中，人們一般都將輸入進(jìn)行規(guī)范化，初始化權(quán)重往往分布在原點(diǎn)周圍，所以梯度爆炸發(fā)生的頻率一般要低于梯度消失。緩解梯度消失問題的主要方法有：對(duì)模型參數(shù)進(jìn)行合適的初始化，一般可以通過在其他大型數(shù)據(jù)集上對(duì)模型進(jìn)行預(yù)訓(xùn)練以完成初始化，例如圖像分類任務(wù)中人們往往會(huì)將在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型參數(shù)遷移到自己的任務(wù)當(dāng)中；進(jìn)行梯度裁剪，即當(dāng)梯度超過一定閾值時(shí)就將梯度進(jìn)行截?cái)?，這樣就能夠控制模型參數(shù)的無限增長(zhǎng)。從而限制了梯度不至于太大；參數(shù)正則化，正則化能夠?qū)?shù)的大小進(jìn)行約束，使得參數(shù)不至太大等。梯度爆炸卷積神經(jīng)網(wǎng)絡(luò)五、卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork,CNN）是深度神經(jīng)網(wǎng)絡(luò)中的一種，受生物視覺認(rèn)知機(jī)制啟發(fā)而來，神經(jīng)元之間使用類似動(dòng)物視覺皮層組織的鏈接方式，大多數(shù)情況下用于處理計(jì)算機(jī)視覺相關(guān)的任務(wù)，例如分類、分割、檢測(cè)等。與傳統(tǒng)方法相比較，卷積神經(jīng)網(wǎng)絡(luò)不需要利用先驗(yàn)知識(shí)進(jìn)行特征設(shè)計(jì)，預(yù)處理步驟較少，在大多數(shù)視覺相關(guān)任務(wù)上獲得了不錯(cuò)的效果。卷積神經(jīng)網(wǎng)絡(luò)最先出現(xiàn)于20世紀(jì)80到90年代，LeCun提出了LeNet用于解決手寫數(shù)字識(shí)別的問題。隨著深度學(xué)習(xí)理論的不斷完善，計(jì)算機(jī)硬件水平的提高，卷積神經(jīng)網(wǎng)絡(luò)也隨之快速發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)主要用計(jì)算機(jī)視覺相關(guān)的任務(wù)中。卷積神經(jīng)網(wǎng)絡(luò)五、卷積神經(jīng)網(wǎng)絡(luò)介紹卷積神經(jīng)網(wǎng)絡(luò)之前，首先介紹卷積的概念。由于卷積神經(jīng)網(wǎng)絡(luò)主要用于計(jì)算機(jī)視覺相關(guān)的任務(wù)中，我們?cè)谶@里僅討論二維卷積，對(duì)于高維卷積，情況類似。卷積五、卷積神經(jīng)網(wǎng)絡(luò)下一層使用卷積核在特征圖上滑動(dòng)并不斷計(jì)算卷積輸出而獲得特征圖每層卷積的計(jì)算結(jié)果。卷積核可以視為一個(gè)特征提取算子。卷積神經(jīng)網(wǎng)絡(luò)的每一層往往擁有多個(gè)卷積核用于從上一層的特征圖中提取特征，組成當(dāng)前層的特征圖，每個(gè)卷積核只提取一種特征。為保證相鄰層的特征圖具有相同的長(zhǎng)寬尺度，有時(shí)還需要對(duì)上一層的輸出補(bǔ)齊（Padding）后再計(jì)算當(dāng)前層的特征圖，常用的補(bǔ)齊方式是補(bǔ)零。記上一層的特征圖的大小為，其中為特征圖的通道數(shù)，補(bǔ)齊零的寬度和高度分別為和，當(dāng)前層用于提取特征的卷積核個(gè)數(shù)為個(gè)，每個(gè)卷積核的尺是，則當(dāng)前層的特征圖大小為，其中

稱為步長(zhǎng)，表示在卷積核滑動(dòng)過程中，每步執(zhí)行一次卷積操作。下一層使用卷積核在特征圖上滑動(dòng)并不斷計(jì)算卷積輸出而獲得特征圖每層卷積的計(jì)算結(jié)果。卷積核可以視為一個(gè)特征提取算子。卷積神經(jīng)網(wǎng)絡(luò)的每一層往往擁有多個(gè)卷積核用于從上一層的特征圖中提取特征，組成當(dāng)前層的特征圖，每個(gè)卷積核只提取一種特征。為保證相鄰層的特征圖具有相同的長(zhǎng)寬尺度，有時(shí)還需要對(duì)上一層的輸出補(bǔ)齊（Padding）后再計(jì)算當(dāng)前層的特征圖，常用的補(bǔ)齊方式是補(bǔ)零。記上一層的特征圖的大小為，其中為特征圖的通道數(shù)，補(bǔ)齊零的寬度和高度分別為和，當(dāng)前層用于提取特征的卷積核個(gè)數(shù)為個(gè)，每個(gè)卷積核的尺是，則當(dāng)前層的特征圖大小為，其中

稱為步長(zhǎng)，表示在卷積核滑動(dòng)過程中，每步執(zhí)行一次卷積操作。五、卷積神經(jīng)網(wǎng)絡(luò)單通道的卷積過程如圖所示，所在的行列的白色區(qū)域表示補(bǔ)齊零。五、卷積神經(jīng)網(wǎng)絡(luò)池化（Pooling）的目的在于降低當(dāng)前特征圖的維度，常見的池化方式有最大池化和平均池化。池化需要一個(gè)池化核，池化核的概念類似于卷積核。對(duì)于最大池化，在每個(gè)通道上，選擇池化核中的最大值作為輸出。對(duì)于平均池化，在每個(gè)通道上，對(duì)池化核中的均值進(jìn)行輸出。下圖是一個(gè)單通道的最大池化的例子，其中池化核大小為2X2。池化五、卷積神經(jīng)網(wǎng)絡(luò)相比多層感知機(jī)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是局部連接、參數(shù)共享。在多層感知機(jī)模型中，當(dāng)前層的所有節(jié)點(diǎn)與上一層的每一個(gè)節(jié)點(diǎn)都有連接，這樣就會(huì)產(chǎn)生大量的參數(shù)。而在卷積神經(jīng)網(wǎng)絡(luò)中，當(dāng)前層的每個(gè)神經(jīng)元節(jié)點(diǎn)僅與上一層的局部神經(jīng)元節(jié)點(diǎn)有連接。當(dāng)前層中，每個(gè)通道的所有神經(jīng)元共享一個(gè)卷積核參數(shù)，提取同一種特征，通過共享參數(shù)的形式大大降低了模型的復(fù)雜度，防止了參數(shù)的冗余。五、卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)通常由一個(gè)輸入層（InputLayer）和一個(gè)輸出層（OutputLayer）以及多個(gè)隱藏層組成。隱藏層包括卷積層（ConvolutionalLayer）、激活層（ActivationLayer）、池化層（PoolingLayer）以及全連接層（Fully-connectedLayer）等。如下圖所示為一個(gè)LeNet神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。目前許多研究者針對(duì)于不同任務(wù)對(duì)層結(jié)構(gòu)或網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行設(shè)置，從而獲得更優(yōu)的效果。網(wǎng)絡(luò)架構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)六、循環(huán)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)主要用于處理圖像數(shù)據(jù)，循環(huán)神經(jīng)網(wǎng)絡(luò)還可以對(duì)序列數(shù)據(jù)進(jìn)行建模，如處理句子的單詞序列數(shù)據(jù)、語(yǔ)音數(shù)據(jù)的幀序列、視頻的圖像序列、基因的脫氧核糖核苷酸序列、蛋白質(zhì)的氨基酸序列等。循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork,RNN）中每個(gè)t時(shí)刻的輸入是原始的輸入數(shù)據(jù)及時(shí)刻t-1提取的隱藏特征。下圖展示了一個(gè)由多層感知機(jī)表示的簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)及其時(shí)許展開。分別表示輸入，輸出及隱藏層的轉(zhuǎn)化參數(shù)矩陣。為每個(gè)時(shí)刻的狀態(tài)。初始時(shí)，狀態(tài)記為，是一個(gè)全0的向量。六、循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)中的代表網(wǎng)絡(luò)結(jié)構(gòu)是長(zhǎng)短期記憶網(wǎng)絡(luò)（LongShort-TermMemory,LSTM）。一個(gè)LSTM的單元結(jié)構(gòu)如圖所示。LSTM的數(shù)據(jù)流計(jì)算如式所示六、循環(huán)神經(jīng)網(wǎng)絡(luò)由于LSTM中若干門單元的作用，LSTM在一定程度上實(shí)現(xiàn)對(duì)距離當(dāng)前時(shí)刻較遠(yuǎn)之前的信息的保留，而普通的RNN則更傾向于只記住距離當(dāng)前時(shí)刻較近的時(shí)刻輸入的信息。所以，LSTM比經(jīng)典的RNN更適合對(duì)序列進(jìn)行上下文建模。LSTM在機(jī)器翻譯、詞性標(biāo)注、情感計(jì)算、語(yǔ)音識(shí)別、生物信息學(xué)等領(lǐng)域有著廣泛的應(yīng)用。將循環(huán)神經(jīng)網(wǎng)絡(luò)中的全連接特征提取網(wǎng)絡(luò)替換為提取圖像信息的卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)視頻圖像序列進(jìn)行建模，如視頻分類、手語(yǔ)識(shí)別等。生成對(duì)抗網(wǎng)絡(luò)七、生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)（GenerativeAdversarialnetworks,GAN）是近些年來發(fā)展快速的一種神經(jīng)網(wǎng)絡(luò)模型，主要用于圖片、文本、語(yǔ)音等數(shù)據(jù)的生成。生成對(duì)抗網(wǎng)絡(luò)最早在計(jì)算機(jī)視覺領(lǐng)域中被提出。本節(jié)以圖像生成為例介紹生成對(duì)抗網(wǎng)絡(luò)。七、生成對(duì)抗網(wǎng)絡(luò)如前圖所示，生成對(duì)抗網(wǎng)絡(luò)包含兩個(gè)部分：生成器G（Generator）和判別器D（Discriminator）。其中生成器G從給定數(shù)據(jù)分布中進(jìn)行隨機(jī)采樣并生成一張圖片，判別器D用來判斷生成器生成的數(shù)據(jù)的真實(shí)性。例如：生成器負(fù)責(zé)生成一張鳥的圖片，而判別器的作用就是判斷這張生成的圖片是否真的像鳥。七、生成對(duì)抗網(wǎng)絡(luò)給定一個(gè)真實(shí)樣本的數(shù)據(jù)集，假設(shè)其中的樣本服從分布。再給定一個(gè)噪聲分布、一個(gè)未訓(xùn)練的生成器G、一個(gè)未訓(xùn)練的判別器D。訓(xùn)練生成器和判別器的目標(biāo)是

首先考察目標(biāo)函數(shù)的第一項(xiàng)。對(duì)于真實(shí)樣本，判別器D輸出的值約接近1，該項(xiàng)整體越大。接下來考察第二項(xiàng)。對(duì)于生成器生成的圖像，判別器D需要盡量輸出0；而生成器G的目標(biāo)是最小化這一項(xiàng)，所以需要輸出一個(gè)使判別器D輸出為1的圖像。于是，生成器G與判別器D就構(gòu)成了對(duì)抗的關(guān)系，這就是生成對(duì)抗網(wǎng)絡(luò)得名的過程。圖卷積神經(jīng)網(wǎng)絡(luò)八、圖卷積神經(jīng)網(wǎng)絡(luò)生產(chǎn)實(shí)踐中，我們還會(huì)經(jīng)常碰到的一類數(shù)據(jù)是圖，如社交網(wǎng)絡(luò)、知識(shí)圖譜、文獻(xiàn)引用等。圖卷積神經(jīng)網(wǎng)絡(luò)（GraphicConvolutionalnetwork,GCN）被設(shè)計(jì)用來處理圖結(jié)構(gòu)的數(shù)據(jù)。GCN能夠?qū)D中的節(jié)點(diǎn)的進(jìn)行分類、回歸，分析連接節(jié)點(diǎn)之間的邊的關(guān)系。八、圖卷積神經(jīng)網(wǎng)絡(luò)給定一個(gè)圖，E表示邊的集合，V表示定點(diǎn)的集合，記為圖中節(jié)點(diǎn)個(gè)數(shù)，表示圖的度矩陣。每個(gè)節(jié)點(diǎn)使用一個(gè)n維的特征向量表示，則所有節(jié)點(diǎn)的特征可表示為一個(gè)矩陣。用圖的鄰接矩陣來表示節(jié)點(diǎn)之間的連接關(guān)系，其中

類似于卷積神經(jīng)網(wǎng)絡(luò)，可以使用一個(gè)n維向量表示卷積核來提取每個(gè)神經(jīng)元j的一種特征，即，使用K個(gè)卷積核就可以提取K種不同的特征，對(duì)所有神經(jīng)元提取多種不同的特征寫成矩陣的乘法形式是，其中。中的每一行表示節(jié)點(diǎn)在新特征下的表示。八、圖卷積神經(jīng)網(wǎng)絡(luò)圖卷積中的神經(jīng)元就是圖節(jié)點(diǎn)本身，為在節(jié)點(diǎn)傳遞信息，圖卷積假設(shè)