計(jì)算智能神經(jīng)網(wǎng)絡(luò)

計(jì)算智能神經(jīng)網(wǎng)絡(luò)第1頁，共26頁，2023年，2月20日，星期四

神經(jīng)網(wǎng)絡(luò)馬文·明斯基（MarvinLeeMinsky，1927年8月9日－）生于紐約市，1944年-1945年服役于美國海軍。1954年于普林斯頓大學(xué)獲得數(shù)學(xué)博士學(xué)位。在數(shù)學(xué)系做研究生時(shí)，明斯基與同學(xué)構(gòu)建了第一臺(tái)基于模擬突出增強(qiáng)原理的隨機(jī)連線網(wǎng)絡(luò)學(xué)習(xí)機(jī)器(SNARC)，被稱為第一臺(tái)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。2.自己是第一臺(tái)神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的制造者，卻險(xiǎn)些葬送了神經(jīng)網(wǎng)絡(luò)的前途。1.由于搞的太偏門，險(xiǎn)些無法畢業(yè)。趣事：第2頁，共26頁，2023年，2月20日，星期四

神經(jīng)網(wǎng)絡(luò)原文如下：盡管它有嚴(yán)重的局限性，感知器展示了它自身的研究價(jià)值。它有很多吸引人的優(yōu)點(diǎn)：它的線性，迷人的學(xué)習(xí)法則，作為一類并行計(jì)算范例的清晰的簡單性。沒有任何理由認(rèn)為這些優(yōu)點(diǎn)能帶到多層感知器中去。依據(jù)我們的直覺判斷，即使推廣到多層系統(tǒng)也不會(huì)有好的結(jié)果。但是，我們認(rèn)為證明（或否定）這一點(diǎn)是一個(gè)很重要的需要研究的問題。1969年，他和佩波特的名著《感知機(jī)》證明了Rosenblatt感知機(jī)解決非線性問題能力薄弱，連XOR邏輯分類都做不到，只能作線性劃分。更重要的是，他將關(guān)于單層感知器局限性的結(jié)論推廣到了多層感知器。第3頁，共26頁，2023年，2月20日，星期四

神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)研究進(jìn)入低谷期，一直持續(xù)了將近20年。神經(jīng)網(wǎng)絡(luò)的反擊：1988年，賽本柯(Cybenko)等證明：具有兩個(gè)隱層的BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任何有界連續(xù)函數(shù)。1989年又證明：單隱層BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任何有界連續(xù)函數(shù)。明斯基對(duì)多層感知器的“判決”被徹底推翻我想說兩點(diǎn)：1.不要隨便預(yù)言科學(xué)的未來。好像就從來沒準(zhǔn)過。2.不要太迷信大師。第4頁，共26頁，2023年，2月20日，星期四多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入層隱含層輸出層W1W2x2x1xny2y1ym……………說明1.信號(hào)只能向前傳播--前饋2.含有一個(gè)輸入層和輸出層，含有多個(gè)隱含層3.每層之間的連接都有權(quán)值4.每層節(jié)點(diǎn)數(shù)目可以不同第5頁，共26頁，2023年，2月20日，星期四多層前饋神經(jīng)網(wǎng)絡(luò)具有單個(gè)隱含層的網(wǎng)絡(luò)已經(jīng)具備非線性分類能力，因此，常見的神經(jīng)網(wǎng)絡(luò)為3層：輸入層、隱含層、輸出層輸入矢量:x1,x2,…,xix2x1xi……wijwjkijk…θjθk輸入層節(jié)點(diǎn)數(shù)目為i輸入層第i個(gè)節(jié)點(diǎn)輸出為隱含層節(jié)點(diǎn)數(shù)目為j隱層第j個(gè)節(jié)點(diǎn)輸出為輸出層節(jié)點(diǎn)數(shù)目為k輸出層第k個(gè)節(jié)點(diǎn)輸出為隱含層閾值為θj，輸出層為θk輸入層到隱層權(quán)值為wij，隱層到輸出層權(quán)值為wjk第6頁，共26頁，2023年，2月20日，星期四多層前饋神經(jīng)網(wǎng)絡(luò)工作過程：x2x1xi……wijwjkijk…θjθkf為激勵(lì)函數(shù)（轉(zhuǎn)移函數(shù)）第7頁，共26頁，2023年，2月20日，星期四激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)常用的激勵(lì)函數(shù)：(1)Sigmoid函數(shù)：10.5xy0(0<f(x)<1)Sigmoid函數(shù)為一單調(diào)遞增連續(xù)函數(shù)，且處處可導(dǎo)，其導(dǎo)數(shù)為：第8頁，共26頁，2023年，2月20日，星期四激勵(lì)函數(shù)(2)雙曲正切函數(shù)：(-1<f(x)<1)

1-1xy0導(dǎo)數(shù)為：Sigmoid函數(shù)通過下式能夠映射到(-1,1)范圍：第9頁，共26頁，2023年，2月20日，星期四誤差函數(shù)用期望輸出與實(shí)際輸出的方差作為相應(yīng)的誤差測(cè)度tk為第k個(gè)樣本的期望輸出，yk為第k個(gè)樣本通過神經(jīng)網(wǎng)絡(luò)計(jì)算的實(shí)際輸出。N為參與訓(xùn)練的樣本總數(shù)如果輸出向量的維數(shù)為m，則：tk,i為第k個(gè)樣本第i維的期望輸出，yk,i為第k個(gè)樣本通過神經(jīng)網(wǎng)絡(luò)計(jì)算出的第i維實(shí)際輸出。第10頁，共26頁，2023年，2月20日，星期四神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通過感知器的學(xué)習(xí)我們知道，如果需要感知器對(duì)問題進(jìn)行分類，必須首先需要訓(xùn)練感知器。同樣，我們也可以想到：作為感知器的擴(kuò)展，神經(jīng)網(wǎng)絡(luò)也需要訓(xùn)練才能對(duì)問題進(jìn)行分類。感知器的訓(xùn)練算法：Delta學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法：誤差逆向傳播算法（BP算法）感知器調(diào)整的參數(shù)：權(quán)值w和閾值θ神經(jīng)網(wǎng)絡(luò)調(diào)整的參數(shù)：所有神經(jīng)元的權(quán)值w和閾值θ第11頁，共26頁，2023年，2月20日，星期四BP算法BP算法主要分為兩個(gè)階段：1.向前計(jì)算階段2.向后計(jì)算階段（逆向誤差修正計(jì)算階段）輸入信號(hào)通過輸入層經(jīng)隱層逐層處理并計(jì)算出每個(gè)節(jié)點(diǎn)的實(shí)際輸出值。逐層計(jì)算實(shí)際輸出和期望輸出之間的誤差，并以此誤差來修正權(quán)值。由于BP算法是多層前饋神經(jīng)網(wǎng)絡(luò)最常用的訓(xùn)練算法，因此，多層前饋神經(jīng)網(wǎng)絡(luò)也被稱為BP神經(jīng)網(wǎng)絡(luò)。第12頁，共26頁，2023年，2月20日，星期四BP算法-向前計(jì)算階段x2x1xi……wijwjkijk…θjθk輸入一個(gè)學(xué)習(xí)樣本(XK,TK),

k表示樣本集中的第k個(gè)樣本。(2)計(jì)算隱層節(jié)點(diǎn)輸出(3)計(jì)算輸出層節(jié)點(diǎn)輸出第13頁，共26頁，2023年，2月20日，星期四BP算法-向后計(jì)算階段(1)隱含層到輸出層權(quán)值調(diào)整單個(gè)神經(jīng)元可視為感知器，根據(jù)感知器學(xué)習(xí)算法：由于神經(jīng)網(wǎng)網(wǎng)絡(luò)神經(jīng)元有sigmoid激勵(lì)函數(shù)，所以誤差δk修正為：且所以：jkwjkθkδk第14頁，共26頁，2023年，2月20日，星期四BP算法-向后計(jì)算階段隱含層到輸出層權(quán)值調(diào)整公式為：(2)輸入層到隱含層權(quán)值調(diào)整由于隱層節(jié)點(diǎn)j有k個(gè)輸出，且每個(gè)輸出的誤差為δk，所以:輸入層到隱含層同樣有激勵(lì)函數(shù)，誤差調(diào)整為：wjkjk…wj1wi2iθjδ1δ2δkδj第15頁，共26頁，2023年，2月20日，星期四BP算法-向后計(jì)算階段權(quán)值修正量：輸入層到隱含層權(quán)值調(diào)整公式為：wjkjk…wj1wi2iθjδ1δ2δkδj第16頁，共26頁，2023年，2月20日，星期四學(xué)習(xí)結(jié)束取一學(xué)習(xí)樣本做為輸入信號(hào)中間層節(jié)點(diǎn)輸出的計(jì)算輸出層節(jié)點(diǎn)輸出的計(jì)算輸出層節(jié)點(diǎn)誤差的計(jì)算中間層節(jié)點(diǎn)誤差的計(jì)算中間層和輸出層間權(quán)值的更新，輸出層節(jié)點(diǎn)閾值更新輸入層和中間層間權(quán)值的更新，中間層節(jié)點(diǎn)閾值更新全部學(xué)習(xí)樣本取完？誤差E小于誤差上限？YYYNNW和的初始化開始向前計(jì)算階段向后計(jì)算階段學(xué)習(xí)次數(shù)達(dá)到？N第17頁，共26頁，2023年，2月20日，星期四W和的初始化對(duì)每個(gè)學(xué)習(xí)樣本計(jì)算誤差修正值緩存區(qū)更新權(quán)值和閾值的更新全部學(xué)習(xí)樣本取完？NY一括修正部分程序流程第18頁，共26頁，2023年，2月20日，星期四舉例例1：下圖給出了一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)。設(shè)學(xué)習(xí)率為0.9，該網(wǎng)絡(luò)的初始權(quán)值和閾值如下表所示，第一個(gè)樣本為X={1,0,1}，通過BP算法學(xué)習(xí)樣本。x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1第19頁，共26頁，2023年，2月20日，星期四(1)向前計(jì)算：逐層計(jì)算節(jié)點(diǎn)輸出x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1節(jié)點(diǎn)4：節(jié)點(diǎn)5：節(jié)點(diǎn)6：第20頁，共26頁，2023年，2月20日，星期四(2)向后計(jì)算：逐層計(jì)算誤差x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1節(jié)點(diǎn)6：節(jié)點(diǎn)4：節(jié)點(diǎn)5：第21頁，共26頁，2023年，2月20日，星期四(2)向后計(jì)算：修正權(quán)值、閾值x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1節(jié)點(diǎn)6權(quán)值、閾值：節(jié)點(diǎn)4權(quán)值、閾值：第22頁，共26頁，2023年，2月20日，星期四(2)向后計(jì)算：修正權(quán)值、閾值x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1節(jié)點(diǎn)5權(quán)值、閾值：第23頁，共26頁，2023年，2月20日，星期四XOR問題XOR邏輯x1

x2

x1XORx2

0 0 00 1 11 0 11 1 0x1

x2

x1XORx2 output 0 0 0 0.0082810 1 1 0.9934461 0 1 0.9931121 1 0 0.006403測(cè)試訓(xùn)練后的網(wǎng)絡(luò)：x2x1θ3θ5wijwjkθ4網(wǎng)絡(luò)模型注：訓(xùn)練誤差上限為0.00010.5為兩類分界線class0110第24頁，共26頁，2023年，2月20日，星期四幾個(gè)問題的討論網(wǎng)絡(luò)癱瘓問題

在訓(xùn)練中，權(quán)可能變得很大，這會(huì)使神經(jīng)元的網(wǎng)絡(luò)輸出變得很大，從而又使得其激活函數(shù)的導(dǎo)函數(shù)在此點(diǎn)上的取值很小。根據(jù)相應(yīng)式子，此時(shí)的訓(xùn)練步長會(huì)變得非常小，進(jìn)而將導(dǎo)致訓(xùn)練速度降得非常低，最終導(dǎo)致網(wǎng)絡(luò)停止收斂。