《機(jī)器學(xué)習(xí)從入門到精通》課件-第10章神經(jīng)網(wǎng)絡(luò)

第10章

神經(jīng)網(wǎng)絡(luò)10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.2神經(jīng)網(wǎng)絡(luò)10.3BP神經(jīng)網(wǎng)絡(luò)10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.1神經(jīng)網(wǎng)絡(luò)的歷史1890年WilliamJames的《心理學(xué)原理》，指明出了神經(jīng)細(xì)胞所有輸入的疊加導(dǎo)致了這個神經(jīng)細(xì)胞的激活。1943年WarrenMcCulloch和WalterPitts嘗試著通過數(shù)學(xué)的方式描述和構(gòu)建了神經(jīng)元。1949年，DonaldHebb在《行為組織學(xué)》一書中描述了一種神經(jīng)元突觸學(xué)習(xí)法則。1951年MarvinMinsky在普林斯頓大學(xué)讀博士期間創(chuàng)建了第一個隨機(jī)連接神經(jīng)模擬計算器SNARC。10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.1神經(jīng)網(wǎng)絡(luò)的歷史1957年，F(xiàn)rankRosenblatt在康奈爾航天實驗室的IBM704計算機(jī)上設(shè)計了一種具有單神經(jīng)元的“感知器”，可以解決簡單的線性分類問題。1969年，已經(jīng)獲得了圖靈獎的MarvinMinsky和SeymourPapert合著了《感知器》一書，書中指出單層神經(jīng)網(wǎng)絡(luò)只能運(yùn)用于線性問題的求解，不能解決哪怕最簡單的異或（XOR）等線性不可分問題。1982年，加州理工的JohnHopfield發(fā)明了Hopfield神經(jīng)網(wǎng)絡(luò)，這是一個單層循環(huán)神經(jīng)網(wǎng)絡(luò)。10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.1神經(jīng)網(wǎng)絡(luò)的歷史1985年，卡耐基梅隆大學(xué)的GeoffreyHinton，DavidAckley和TerrySejnowski借助統(tǒng)計物理學(xué)的概念和方法提出了一種隨機(jī)神經(jīng)網(wǎng)絡(luò)模型——玻爾茲曼機(jī)。1986年，加州大學(xué)圣地亞哥分校的DavidRumelhart，卡耐基梅隆大學(xué)的GeoffreyHinton和東北大學(xué)的RonaldJ.Williams合作發(fā)表了神經(jīng)網(wǎng)絡(luò)研究中里程碑一般的BP算法。從1986年之后的神經(jīng)，網(wǎng)絡(luò)就蓬勃發(fā)展起來。10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.2神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)（neuralnetworks）是一個跨學(xué)科領(lǐng)域的研究，它結(jié)合了生物學(xué)當(dāng)中的生物神經(jīng)學(xué)和計算學(xué)科中的神經(jīng)網(wǎng)絡(luò)學(xué)，但這里所提出的神經(jīng)網(wǎng)絡(luò)主要是指可用于計算的神經(jīng)網(wǎng)絡(luò)。10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.3激活函數(shù)1、Sigmoid函數(shù)它把肯能在較大范圍內(nèi)變化的輸入值擠壓到（0，1）輸出值范圍內(nèi)，有時也稱為“擠壓函數(shù)”（squashingfunction）。當(dāng)x時非常大的正數(shù)時，sigmoid（x）會去趨近于1，而x是非常大的負(fù)數(shù)時，則sigmoid（x）會趨近于0。它可以用作分類，比如：激活函數(shù)的輸出如果為0.9的話，便可以解釋為90%的概率為正樣本。10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.3激活函數(shù)1、Sigmoid函數(shù)它把肯能在較大范圍內(nèi)變化的輸入值擠壓到（0，1）輸出值范圍內(nèi)，有時也稱為“擠壓函數(shù)”（squashingfunction）。當(dāng)x時非常大的正數(shù)時，sigmoid（x）會去趨近于1，而x是非常大的負(fù)數(shù)時，則sigmoid（x）會趨近于0。它可以用作分類，比如：激活函數(shù)的輸出如果為0.9的話，便可以解釋為90%的概率為正樣本。10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.3激活函數(shù)2、tanh函數(shù)它是sigmoid函數(shù)的一個變體，它的取值范圍為[-1,1]。它的改變解決了sigmoid函數(shù)的零中心的情況，但是飽和問題依舊存在。10.1神經(jīng)網(wǎng)絡(luò)的相關(guān)知識10.1.3激活函數(shù)3、ReLu函數(shù)它是和0比大小，凡是x比0大，則輸出x，如果比0小，則輸出0。ReLu方法的出現(xiàn)大大簡化了計算，對網(wǎng)絡(luò)計算加速具有巨大的作用。10.2神經(jīng)網(wǎng)絡(luò)10.2.1神經(jīng)網(wǎng)絡(luò)的基本概念1958年，計算科學(xué)家Rosenblatt提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。他給它起了一個名字--“感知器”（Perceptron）（有的文獻(xiàn)翻譯成“感知機(jī)”，下文統(tǒng)一用“感知器”來指代）。感知器是當(dāng)時首個可以學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)。Rosenblatt現(xiàn)場演示了其學(xué)習(xí)識別簡單圖像的過程，在當(dāng)時的社會引起了轟動。10.2神經(jīng)網(wǎng)絡(luò)

10.2神經(jīng)網(wǎng)絡(luò)

10.2神經(jīng)網(wǎng)絡(luò)10.2.3隱藏層在多級前饋網(wǎng)當(dāng)中，隱藏層的定義是：除輸入層和輸出層以外的其他各層叫做隱藏層。隱藏層不直接接受外界的信號,也不直接向外界發(fā)送信號

。輸入向量，輸出向量的維數(shù)是由問題所直接決定的。然而，網(wǎng)絡(luò)隱藏層的層數(shù)和各個隱藏層神經(jīng)元的個數(shù)則是與問題相關(guān)的。目前的研究結(jié)果還難以給出它們與問題類型及其規(guī)模之間的函數(shù)關(guān)系。但實驗表明，增加隱藏層的層數(shù)和隱藏層神經(jīng)元的個數(shù)不一定能夠提高網(wǎng)絡(luò)的精度和表達(dá)能力。10.2神經(jīng)網(wǎng)絡(luò)10.2.4多層感知機(jī)網(wǎng)絡(luò)的原理層感知網(wǎng)絡(luò)除了包含一個輸入層，一個輸出層以外，還增加了一個中間層。10.3BP神經(jīng)網(wǎng)絡(luò)BP(backpropagation)神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland為首的科學(xué)家提出的概念，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)之一。10.3BP神經(jīng)網(wǎng)絡(luò)10.3.1BP神經(jīng)網(wǎng)絡(luò)的基本原理基本BP算法包括信號的前向傳播和誤差的反向傳播兩個過程。即計算誤差輸出時按從輸入到輸出的方向進(jìn)行，而調(diào)整權(quán)值和閾值則從輸出到輸入的方向進(jìn)行。正向傳播時，輸入信號通過隱含層作用于輸出節(jié)點，經(jīng)過非線性變換，產(chǎn)生輸出信號，若實際輸出與期望輸出不相符，則轉(zhuǎn)入誤差的反向傳播過程。誤差反傳是將輸出誤差通過隱含層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有單元，以從各層獲得的誤差信號作為調(diào)整各單元權(quán)值的依據(jù)。通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強(qiáng)度和隱層節(jié)點與輸出節(jié)點的聯(lián)接強(qiáng)度以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與