人工智能算法與實(shí)踐-第13章 BP神經(jīng)網(wǎng)絡(luò)

13.4算法總結(jié)13.1算法概述13.2算法原理13.3算法案例目錄第十三章BP神經(jīng)網(wǎng)絡(luò)人工智能算法與實(shí)踐—1

—

01算法概述PartTHREE—2

—

13.1.1

人工神經(jīng)網(wǎng)絡(luò)—3

—

人工神經(jīng)網(wǎng)絡(luò)又稱神經(jīng)網(wǎng)絡(luò)或全連接神經(jīng)網(wǎng)絡(luò)等，是模仿生物神經(jīng)網(wǎng)絡(luò)（動(dòng)物中樞神經(jīng)系統(tǒng)）的結(jié)構(gòu)和功能來(lái)估計(jì)或近似函數(shù)的數(shù)學(xué)模型或計(jì)算模型。人工神經(jīng)網(wǎng)絡(luò)非常的強(qiáng)大，其算法也是妙不可言，絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用BP神經(jīng)網(wǎng)絡(luò)及其變化形式。BP神經(jīng)網(wǎng)絡(luò)就是一個(gè)萬(wàn)能的通用模型，每次根據(jù)訓(xùn)練得到的結(jié)果與預(yù)想結(jié)果進(jìn)行誤差分析，一步一步修改權(quán)值和閾值，得到和預(yù)想結(jié)果一致的模型。這就是BP神經(jīng)網(wǎng)絡(luò)的核心。大腦神經(jīng)回路（左）與人工神經(jīng)網(wǎng)絡(luò)（右）13.1.1

人工神經(jīng)網(wǎng)絡(luò)—4

—

圖1三層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)主要是由輸入層，隱藏層和輸出層組成。輸入層的每個(gè)神經(jīng)元都代表著這個(gè)網(wǎng)絡(luò)的一個(gè)特質(zhì)輸出層的個(gè)數(shù)代表著網(wǎng)絡(luò)分類(lèi)標(biāo)簽個(gè)數(shù)隱藏層的層數(shù)和隱藏層神經(jīng)元都是人為設(shè)定的—5

—

13.1.2BP神經(jīng)網(wǎng)絡(luò)圖2三層BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是1986年由Rinehart和McClelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。BP神經(jīng)網(wǎng)絡(luò)是一種簡(jiǎn)化的生物模型，它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。每層神經(jīng)網(wǎng)絡(luò)都是由神經(jīng)元構(gòu)成的，單獨(dú)的每個(gè)神經(jīng)元相當(dāng)于一個(gè)感知器。輸入層是單層結(jié)構(gòu)的，輸出層也是單層結(jié)構(gòu)的，而隱藏層可以有多層，也可以是單層的。輸入層得到刺激后傳給隱藏層，隱藏層則會(huì)根據(jù)神經(jīng)元相互聯(lián)系的權(quán)重并根據(jù)規(guī)則把這個(gè)刺激傳給輸出層，輸出層對(duì)比結(jié)果，如果不對(duì)則返回進(jìn)行調(diào)整神經(jīng)元相互聯(lián)系的權(quán)值。這樣就可以進(jìn)行訓(xùn)練并最終學(xué)會(huì)，這就是BP神經(jīng)網(wǎng)絡(luò)模型?！?

—

13.1.2BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)信號(hào)是前向傳播的，而誤差是反向傳播的。神經(jīng)網(wǎng)絡(luò)的基本組成單元是神經(jīng)元，常用的激活函數(shù)有閾值函數(shù)、sigmoid函數(shù)和雙曲正切函數(shù)。BP算法由數(shù)據(jù)流的前向計(jì)算（正向傳播）和誤差信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成。正向傳播時(shí)，傳播方向?yàn)檩斎雽印[藏層→輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播流程。通過(guò)這兩個(gè)過(guò)程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動(dòng)態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過(guò)程。圖3BP神經(jīng)網(wǎng)絡(luò)示意圖02算法原理PartTHREE—7

—

—8

—

13.2.1

正向傳播

—9

—

13.2.2

反向傳播

反向傳播是“誤差反向傳播”的簡(jiǎn)稱，是一種與最優(yōu)化方法（如梯度下降法）結(jié)合使用的，用來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見(jiàn)方法。該方法對(duì)網(wǎng)絡(luò)中所有權(quán)重計(jì)算損失函數(shù)的梯度。這個(gè)梯度會(huì)反饋給最優(yōu)化方法，用來(lái)更新權(quán)值以最小化損失函數(shù)。

—10

—

13.2.2

反向傳播

—11

—

13.2.2

反向傳播

—12

—

13.2.2

反向傳播

—13

—

13.2.3Sigmoid函數(shù)

—14

—

13.2.4BP神經(jīng)網(wǎng)絡(luò)具體步驟

BP神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于非線性建摸、函數(shù)逼近、系統(tǒng)辨識(shí)等方面，但對(duì)實(shí)際問(wèn)題，其模型結(jié)構(gòu)需由實(shí)驗(yàn)確定，無(wú)規(guī)律可尋。具體步驟為：將訓(xùn)練集數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過(guò)隱藏層，最后達(dá)到輸出層并輸出結(jié)果，這是前向傳播過(guò)程；由于輸出結(jié)果與實(shí)際結(jié)果有誤差，則計(jì)算估計(jì)值與實(shí)際值之間的誤差，并將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；在反向傳播的過(guò)程中，根據(jù)誤差調(diào)整各種參數(shù)的值；不斷迭代上述過(guò)程，直至收斂。

—15

—

13.2.5

三層BP神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)當(dāng)訓(xùn)練次數(shù)為1000次時(shí)，其預(yù)測(cè)結(jié)果已經(jīng)非常的精確了，實(shí)踐發(fā)現(xiàn)，通過(guò)調(diào)整隱藏層的結(jié)構(gòu)和增加訓(xùn)練的次數(shù)都可以提升預(yù)測(cè)的準(zhǔn)確率，但要在準(zhǔn)確率和預(yù)測(cè)時(shí)間之間取一個(gè)最優(yōu)解，既要準(zhǔn)確率也要訓(xùn)練和預(yù)測(cè)效率。03算法案例PartTHREE—16

—

13.3.1

天氣溫度預(yù)測(cè)—17

—

給定山東某地區(qū)2016年4月，共30×24小時(shí)溫度數(shù)據(jù)。選擇1—20日（20×24小時(shí)）的數(shù)據(jù)為訓(xùn)練數(shù)據(jù)集，21—30日（10×24小時(shí)）的數(shù)據(jù)為測(cè)試數(shù)據(jù)集。對(duì)山東某地區(qū)歷史溫度數(shù)據(jù)進(jìn)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，通過(guò)前3小時(shí)溫度數(shù)據(jù)，預(yù)測(cè)第4小時(shí)溫度值。13.3.2

代碼實(shí)現(xiàn)—18

—

定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)初始化權(quán)值和閾值13.3.2

代碼實(shí)現(xiàn)—19

—

構(gòu)建圖讀取溫度數(shù)據(jù)13.3.2

代碼實(shí)現(xiàn)—20

—

數(shù)據(jù)歸一化13.3.2

代碼實(shí)現(xiàn)—21

—

創(chuàng)建會(huì)話執(zhí)行圖，訓(xùn)練神經(jīng)網(wǎng)絡(luò)13.3.2

代碼實(shí)現(xiàn)—22

—

測(cè)試13.3.2

代碼實(shí)現(xiàn)—23

—

預(yù)測(cè)效果圖04算法總結(jié)PartTHREE—24

—

13.4

算法總結(jié)—25

—

優(yōu)點(diǎn)：非線性映射能力：適合求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題自學(xué)習(xí)和自適應(yīng)能力：在訓(xùn)練時(shí)能夠通過(guò)學(xué)習(xí)自動(dòng)提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應(yīng)地將學(xué)習(xí)內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。泛化能力：在保證對(duì)分類(lèi)對(duì)象進(jìn)行正確分類(lèi)，能對(duì)未見(jiàn)過(guò)的模式或有噪聲污染的模式進(jìn)行正確的分類(lèi)。容錯(cuò)能力：在其局部的或者部分的神經(jīng)元受到破壞后對(duì)全局的訓(xùn)練結(jié)