第5章-深度學(xué)習(xí)模型

深度學(xué)習(xí)DEEPLEARNING第五章深度學(xué)習(xí)模型5.1從感知機(jī)到神經(jīng)網(wǎng)絡(luò)5.2

激活函數(shù)5.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)of4125.4輸出層的設(shè)計(jì)5.5示例：手寫數(shù)字識(shí)別第五章深度學(xué)習(xí)模型of413用圖來表示神經(jīng)網(wǎng)絡(luò)的話，我們把最左邊的一列稱為輸入層，最右邊的一列稱為輸出層，中間的一列稱為中間層。中間層有時(shí)也稱為隱藏層?！半[藏”一詞的意思是，隱藏層的神經(jīng)元（和輸入層、輸出層不同）肉眼看不見。另外，把輸入層到輸出層依次稱為第0層、第1層、第2層（層號(hào)之所以從0開始）。第0層對(duì)應(yīng)輸入層，第1層對(duì)應(yīng)中間層，第2層對(duì)應(yīng)輸出層。5.1從感知機(jī)到神經(jīng)網(wǎng)絡(luò)5.1.1神經(jīng)網(wǎng)絡(luò)的例子第五章深度學(xué)習(xí)模型of4145.1從感知機(jī)到神經(jīng)網(wǎng)絡(luò)5.1.2復(fù)習(xí)感知機(jī)第五章深度學(xué)習(xí)模型of415x1和

x2兩個(gè)輸入信號(hào)，輸出

yb

是被稱為偏置的參數(shù)，用于控制神經(jīng)元被激活的容易程度；而

w1和

w2是表示各個(gè)信號(hào)的權(quán)重的參數(shù)，用于控制各個(gè)信號(hào)的重要性。添加了權(quán)重為

b

的輸入信號(hào)1。這個(gè)感知機(jī)將

x1、x2、1三個(gè)信號(hào)作為神經(jīng)元的輸入，將其和各自的權(quán)重相乘后，傳送至下一個(gè)神經(jīng)元。在下一個(gè)神經(jīng)元中，計(jì)算這些加權(quán)信號(hào)的總和。如果這個(gè)總和超過0，則輸出1，否則輸出0。另外，由于偏置的輸入信號(hào)一直是1。5.1從感知機(jī)到神經(jīng)網(wǎng)絡(luò)5.1.3從感知機(jī)到神經(jīng)網(wǎng)絡(luò)第五章深度學(xué)習(xí)模型of416h（x）函數(shù)會(huì)將輸入信號(hào)的總和轉(zhuǎn)換為輸出信號(hào)，這種函數(shù)一般稱為激活函數(shù)（activationfunction）。激活函數(shù)的作用在于決定如何來激活輸入信號(hào)的總和。5.2激活函數(shù)5.2.1什么是激活函數(shù)第五章深度學(xué)習(xí)模型of417計(jì)算加權(quán)輸入信號(hào)和偏置的總和，記為

a。h()函數(shù)將

a

轉(zhuǎn)換為輸出

y表示神經(jīng)元的○中明確顯示了激活函數(shù)的計(jì)算過程，即信號(hào)的加權(quán)總和為節(jié)點(diǎn)

a，然后節(jié)點(diǎn)

a

被激活函數(shù)

h()轉(zhuǎn)換成節(jié)點(diǎn)

y?！吧窠?jīng)元”和“節(jié)點(diǎn)”兩個(gè)術(shù)語的含義相同。這里，我們稱

a

和

y

為“節(jié)點(diǎn)”，其實(shí)它和之前所說的“神經(jīng)元”含義相同5.2激活函數(shù)5.2.1什么是激活函數(shù)第五章深度學(xué)習(xí)模型of418下圖是在神經(jīng)元內(nèi)部明確顯示激活函數(shù)的計(jì)算過程的圖a表示輸入信號(hào)的總和，h()表示激活函數(shù)，y表示輸出激活函數(shù)是連接感知機(jī)和神經(jīng)網(wǎng)絡(luò)的橋梁5.2激活函數(shù)5.2.1什么是激活函數(shù)第五章深度學(xué)習(xí)模型of419下式表示的激活函數(shù)以閾值為界，一旦輸入超過閾值，就切換輸出。這樣的函數(shù)稱為“階躍函數(shù)”。因此，可以說感知機(jī)中使用了階躍函數(shù)作為激活函數(shù)。也就是說，在激活函數(shù)的眾多候選函數(shù)中，感知機(jī)使用了階躍函數(shù)。如果感知機(jī)使用其他函數(shù)作為激活函數(shù)的話會(huì)怎么樣呢？

如果將激活函數(shù)從階躍函數(shù)換成其他函數(shù)，就可以進(jìn)入神經(jīng)網(wǎng)絡(luò)的世界了！5.2激活函數(shù)5.2.2由階躍函數(shù)到激活函數(shù)第五章深度學(xué)習(xí)模型of4110神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用的一個(gè)激活函數(shù)就是

sigmoid[s?gm??d]函數(shù)。exp(-x)表示e-x

的意思。e是納皮爾常數(shù)2.7182...神經(jīng)網(wǎng)絡(luò)中用sigmoid函數(shù)作為激活函數(shù)，進(jìn)行信號(hào)的轉(zhuǎn)換，轉(zhuǎn)換后的信號(hào)被傳送給下一個(gè)神經(jīng)元。感知機(jī)和神經(jīng)網(wǎng)絡(luò)的主要區(qū)別就在于這個(gè)激活函數(shù)。5.2激活函數(shù)5.2.3sigmoid函數(shù)第五章深度學(xué)習(xí)模型of41115.2激活函數(shù)5.2.3.1

sigmoid函數(shù)與階躍函數(shù)圖像第五章深度學(xué)習(xí)模型of4112兩者差異sigmoid函數(shù)是一條平滑的曲線，輸出隨著輸入發(fā)生連續(xù)性的變化。而階躍函數(shù)以0為界，輸出發(fā)生急劇性的變化。sigmoid函數(shù)的平滑性對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)具有重要意義。相對(duì)于階躍函數(shù)只能返回0或1，sigmoid函數(shù)可以返回0.731...、0.880...等實(shí)數(shù)。感知機(jī)中神經(jīng)元之間流動(dòng)的是0或1的二元信號(hào)，而神經(jīng)網(wǎng)絡(luò)中流動(dòng)的是連續(xù)的實(shí)數(shù)值信號(hào)。5.2激活函數(shù)sigmoid函數(shù)和階躍函數(shù)的比較第五章深度學(xué)習(xí)模型of4113兩者共性兩者的結(jié)構(gòu)均是“輸入小時(shí)，輸出接近0（為0）；隨著輸入增大，輸出向1靠近（變成1）”。當(dāng)輸入信號(hào)為重要信息時(shí)，階躍函數(shù)和sigmoid函數(shù)都會(huì)輸出較大的值；當(dāng)輸入信號(hào)為不重要的信息時(shí)，兩者都輸出較小的值。不管輸入信號(hào)有多小，或者有多大，輸出信號(hào)的值都在0到1之間。兩者均為非線性函數(shù)。sigmoid函數(shù)是一條曲線，階躍函數(shù)是一條像階梯一樣的折線神經(jīng)網(wǎng)絡(luò)的激活函數(shù)必須使用非線性函數(shù)。5.2激活函數(shù)sigmoid函數(shù)和階躍函數(shù)的比較第五章深度學(xué)習(xí)模型of4114在神經(jīng)網(wǎng)絡(luò)發(fā)展的歷史上，sigmoid函數(shù)很早就開始被使用了，而最近則主要使用

ReLU（RectifiedLinearUnit）函數(shù)。ReLU函數(shù)在輸入大于0時(shí)，直接輸出該值；在輸入小于等于0時(shí)，輸出05.2激活函數(shù)5.2.4ReLU函數(shù)第五章深度學(xué)習(xí)模型of4115以3層神經(jīng)網(wǎng)絡(luò)為對(duì)象，實(shí)現(xiàn)從輸入到輸出的處理3層神經(jīng)網(wǎng)絡(luò)：輸入層（第0層）有2個(gè)神經(jīng)元，第1個(gè)隱藏層（第1層）有3個(gè)神經(jīng)元，第2個(gè)隱藏層（第2層）有2個(gè)神經(jīng)元，輸出層（第3層）有2個(gè)神經(jīng)元前向）處理。5.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)5.33層神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)第五章深度學(xué)習(xí)模型of41165.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)5.3.1符號(hào)第五章深度學(xué)習(xí)模型of4117使用矩陣的乘法運(yùn)算，可以將第1層的加權(quán)表示如下：5.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)5.3.2各層間信號(hào)傳遞第五章深度學(xué)習(xí)模型of4118使用矩陣的乘法運(yùn)算，可以將第1層的加權(quán)表示如下：5.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)5.3.2各層間信號(hào)傳遞第五章深度學(xué)習(xí)模型of4119第1層加入激活函數(shù)的信號(hào)傳遞5.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)5.3.2各層間信號(hào)傳遞第五章深度學(xué)習(xí)模型of4120第1層到第2層的信號(hào)傳遞5.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)5.3.2各層間信號(hào)傳遞第五章深度學(xué)習(xí)模型of4121從第2層到輸出層的信號(hào)傳遞5.3神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)5.3.2各層間信號(hào)傳遞第五章深度學(xué)習(xí)模型of4122神經(jīng)網(wǎng)絡(luò)可以用在分類問題和回歸問題上，不過需要根據(jù)情況改變輸出層的激活函數(shù)。一般而言，回歸問題用恒等函數(shù)，分類問題用softmax函數(shù)。恒等函數(shù)恒等函數(shù)會(huì)將輸入按原樣輸出，對(duì)于輸入的信息，不加以任何改動(dòng)地直接輸出。恒等函數(shù)進(jìn)行的轉(zhuǎn)換處理可以用一根箭頭來表示5.4輸出層的設(shè)計(jì)第五章深度學(xué)習(xí)模型of4123exp(x)是表示ex

的指數(shù)函數(shù)（e是納皮爾常數(shù)2.7182...）。假設(shè)輸出層共有

n

個(gè)神經(jīng)元，計(jì)算第

k

個(gè)神經(jīng)元的輸出

yk。softmax函數(shù)的分子是輸入信號(hào)

ak

的指數(shù)函數(shù)，分母是所有輸入信號(hào)的指數(shù)函數(shù)的和softmax函數(shù)的輸出通過箭頭與所有的輸入信號(hào)相連。這是因?yàn)?，輸出層的各個(gè)神經(jīng)元都受到所有輸入信號(hào)的影響。5.4.1Softmax函數(shù)5.4輸出層的設(shè)計(jì)第五章深度學(xué)習(xí)模型of4124softmax函數(shù)的輸出是0.0到1.0之間的實(shí)數(shù)。softmax函數(shù)的輸出值的總和是1?？梢园裺oftmax函數(shù)的輸出解釋為“概率”。使用softmax函數(shù)，我們可以用概率的（統(tǒng)計(jì)的）方法處理問題使用了softmax函數(shù)，各個(gè)元素之間的大小關(guān)系不會(huì)改變。這是因?yàn)橹笖?shù)函數(shù)（y

=exp(x)）是單調(diào)遞增函數(shù)5.4.1.1Softmax函數(shù)的特征5.4輸出層的設(shè)計(jì)第五章深度學(xué)習(xí)模型of4125輸出層的神經(jīng)元數(shù)量需要根據(jù)待解決的問題來決定。對(duì)于分類問題，輸出層的神經(jīng)元數(shù)量一般設(shè)定為類別的數(shù)量。下例，y2的softmax值最大，預(yù)測(cè)為25.4.2輸出層的神經(jīng)元數(shù)量5.4輸出層的設(shè)計(jì)第五章深度學(xué)習(xí)模型of4126MNIST數(shù)據(jù)集是由0到9的數(shù)字圖像構(gòu)成的。訓(xùn)練圖像有6萬張，測(cè)試圖像有1萬張，這些圖像可以用于學(xué)習(xí)和推理。MNIST數(shù)據(jù)集的一般使用方法是，先用訓(xùn)練圖像進(jìn)行學(xué)習(xí)，再用學(xué)習(xí)到的模型度量能在多大程度上對(duì)測(cè)試圖像進(jìn)行正確的分類。MNIST的圖像數(shù)據(jù)是28像素×28像素的灰度圖像（1通道），各個(gè)像素的取值在0到255之間。每個(gè)圖像數(shù)據(jù)都相應(yīng)地標(biāo)有“7”“2”“1”等標(biāo)簽。5.5.1MNIST數(shù)據(jù)集5.5示例：手寫數(shù)字識(shí)別第五章深度學(xué)習(xí)模型of4127神經(jīng)網(wǎng)絡(luò)的輸入層有784個(gè)神經(jīng)元，輸出層有10個(gè)神經(jīng)元。輸入層的784這個(gè)數(shù)字來源于圖像大小的28×28=784，輸出層的10這個(gè)數(shù)字來源于10類別分類。此外，這個(gè)神經(jīng)網(wǎng)絡(luò)有2個(gè)隱藏層，第1個(gè)隱藏層有50個(gè)神經(jīng)元，第2個(gè)隱藏層有100個(gè)神經(jīng)元。這個(gè)50和100可以設(shè)置為任何值。正規(guī)化將圖像的各個(gè)像素值除以255，使得數(shù)據(jù)的值在0.0～1.0的范圍內(nèi)。像這樣把數(shù)據(jù)限定到某個(gè)范圍內(nèi)的處理稱為正規(guī)化（normalization）預(yù)處理對(duì)神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)進(jìn)行某種既定的轉(zhuǎn)換稱為預(yù)處理（pre-processing）5.5.2神經(jīng)網(wǎng)絡(luò)的預(yù)處理5.5示例：手寫數(shù)字識(shí)別第五章深度學(xué)習(xí)模型of41285.5.3使用TensorFlow完成手寫數(shù)字識(shí)別5.5示例：手寫數(shù)字識(shí)別第五章深度學(xué)習(xí)模型of41295.5.3使用TensorFlow完成手寫數(shù)字識(shí)別5.5示例：手寫數(shù)字識(shí)別importtensorflowastf#導(dǎo)入tensorflow庫#fromtensorflowimportkerasmnist=tf.keras.datasets.mnist(x_train,y_train),(x_test,y_test)=mnist.load_data()#加載數(shù)據(jù)x_train.shape

顯示結(jié)果為：Out[30]:(60000,28,28)；x_train表示訓(xùn)練數(shù)據(jù)，共60000條數(shù)據(jù)，每個(gè)數(shù)據(jù)是28*28的圖像。第五章深度學(xué)習(xí)模型of41305.5.3使用TensorFlow完成手寫數(shù)字識(shí)別5.5示例：手寫數(shù)字識(shí)別keras的Sequential模型在Keras中，我們可以通過組合層來構(gòu)建模型，直接堆疊各個(gè)層1創(chuàng)建Sequential模型，2添加所需要的神經(jīng)層，3使用.compile方法確定模型訓(xùn)練結(jié)構(gòu)，4使用.fit方法使模型與訓(xùn)練數(shù)據(jù)“擬合”，5.predict方法進(jìn)行預(yù)測(cè)。第五章深度學(xué)習(xí)模型of41315.5.3使用TensorFlow完成手寫數(shù)字識(shí)別5.5示例：手寫數(shù)字識(shí)別#使用matplotlib將其中的圖像畫出來importmatplotlib.pyplotaspltplt.imshow(x_train[1])plt.show()y_train[1]#輸出為0第五章深度學(xué)習(xí)模型of41325.5.3使用TensorFlow完成手寫數(shù)字識(shí)別5.5示例：手寫數(shù)字識(shí)別#歸一化處理#截取部分結(jié)果數(shù)據(jù)，數(shù)據(jù)表示每個(gè)像素的灰度值，在0-255之間。x_train[1]第五章深度學(xué)習(xí)模型of41335.5.3使用TensorFlow完成手寫數(shù)字識(shí)別5.5示例：手寫數(shù)字識(shí)別#將訓(xùn)練集和測(cè)試集數(shù)據(jù)都進(jìn)行正規(guī)化處理x_train=tf.keras.utils.normalize(x_train,axis=1)x_test=tf.keras.utils.normalize(x_test,axis=1)x_train[1]第五章深度學(xué)習(xí)模型of41345.5.3使用TensorFlow完成手寫數(shù)字識(shí)別5.5示例：手寫數(shù)字識(shí)別#構(gòu)建一個(gè)輸入層784（28*28），兩個(gè)128神經(jīng)元的隱藏層，#及10個(gè)神經(jīng)元的輸出層的神經(jīng)網(wǎng)絡(luò)model=tf.keras.models.Sequential()model.add(tf.keras.layers.Flatten())model.add(tf.keras.layers.Dense(50,activation=tf.nn.relu))model.add(tf.keras.layers.Dense(100,activation=tf.nn.relu))model.add(tf.keras.layers.Dense(10,activation=tf.nn.softmax))