BP神經(jīng)網(wǎng)絡(luò)基本原理與應(yīng)用課件

BP神經(jīng)網(wǎng)絡(luò)基本原理與應(yīng)用BP神經(jīng)網(wǎng)絡(luò)基本原理與應(yīng)用目錄1.神經(jīng)網(wǎng)絡(luò)的來源2.ANN初識3.BP神經(jīng)網(wǎng)絡(luò)4.BP神經(jīng)網(wǎng)絡(luò)與應(yīng)用BP神經(jīng)網(wǎng)絡(luò)目錄1.神經(jīng)網(wǎng)絡(luò)的來源2.ANN初識3.BP神經(jīng)網(wǎng)絡(luò)4.BP人工神經(jīng)網(wǎng)絡(luò)來源1人工神經(jīng)網(wǎng)絡(luò)來源1大腦可視作為10的12次方個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。

圖

神經(jīng)元的解剖圖大腦可視作為10的12次方個神經(jīng)元組成的神人類神經(jīng)元的速度100m/s至150m/s，比計算機的要慢，且電位傳播有延時但人類的情感、行為、思維、想法，至今還是計算機沒法完全實現(xiàn)為什么計算機暫時還趕不上人腦？人類神經(jīng)元的速度100m/s至150m/s，比計算機的要慢，因為人與動物神經(jīng)網(wǎng)絡(luò)足夠復(fù)雜一個神經(jīng)元一般會與100到10000個神經(jīng)元連接，所構(gòu)成的網(wǎng)絡(luò)是一個巨復(fù)雜網(wǎng)絡(luò)！并行的運作與存貯同時進(jìn)行有自我學(xué)習(xí)因為人與動物神經(jīng)網(wǎng)絡(luò)足夠復(fù)雜一個神經(jīng)元一般從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型

圖

神經(jīng)元的數(shù)學(xué)模型X為輸入，W為權(quán)值，y為輸出，b為閾值，f(*)為激活函數(shù)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型圖神經(jīng)元的數(shù)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)公式X為輸入，W為權(quán)值，y為輸出，b為閾值，f(*)為激活函數(shù)

輸入值求和：輸出值計算：

從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)公式X為輸入，W為從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)激活函數(shù)執(zhí)行對該神經(jīng)元所獲得從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實數(shù)，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2、閾值函數(shù)（ThresholdFunction）階躍函數(shù)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò) β ifnet>θ2從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)初識2人工神經(jīng)網(wǎng)絡(luò)初識2人工神經(jīng)網(wǎng)絡(luò)（ANN）眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ANN）眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下人工神經(jīng)網(wǎng)絡(luò)（ANN）基本神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWV人工神經(jīng)網(wǎng)絡(luò)（ANN）基本神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1人工神經(jīng)網(wǎng)絡(luò)（ANN）分類從網(wǎng)絡(luò)性能角度，可分為連續(xù)型與離散型網(wǎng)絡(luò)、確定性與隨機性網(wǎng)絡(luò)從網(wǎng)絡(luò)結(jié)構(gòu)角度，可分為前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)從學(xué)習(xí)方法角度，可分為有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)和無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)按連接突觸性質(zhì)，可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ANN）分類從網(wǎng)絡(luò)性能角度，可分為連續(xù)型與離散BP神經(jīng)網(wǎng)絡(luò)3BP神經(jīng)網(wǎng)絡(luò)3何為BP神經(jīng)網(wǎng)絡(luò)BP（BackPropagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。何為BP神經(jīng)網(wǎng)絡(luò)BP（BackPropaBP神經(jīng)網(wǎng)絡(luò)核心思想BP算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構(gòu)成。BP神經(jīng)網(wǎng)絡(luò)核心思想BP算法由數(shù)據(jù)流的前向BP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡(luò)通常有一個或多個隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元則采用線性傳遞函數(shù)，整個網(wǎng)絡(luò)的輸出可以取任意值。BP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-siBP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)：BP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)：輸入層和輸出層可以根據(jù)實際問題確定，但權(quán)值和閾值初始化，卻沒有嚴(yán)格的理論基礎(chǔ)。而BP神經(jīng)網(wǎng)絡(luò)可以通過誤差最速下降法，從而調(diào)整權(quán)值與閾值。權(quán)值和閾值如何確定、學(xué)習(xí)？輸入層和輸出層可以根據(jù)實際問題確定，但權(quán)值和閾值初始化，卻沒BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

學(xué)習(xí)過程：

神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)連接的權(quán)值，閾值。以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：

對各連接權(quán)值、閾值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：

權(quán)值、閾值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)過程：BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有q個神經(jīng)元,

輸出層有m個神經(jīng)元BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù):BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)輸入層與中間層的連接權(quán)值:BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(一)誤差函數(shù)的確定網(wǎng)絡(luò)學(xué)習(xí)誤差函數(shù)分為兩類：（t為預(yù)期值，y為輸出值）A、網(wǎng)絡(luò)對樣本逐個的順序輸入而不斷學(xué)習(xí)，是基于單個樣本誤差e的最小值進(jìn)行。B、第二是待樣本全部輸入后，基于E的最小值來完成權(quán)值空間的梯度搜索，即批處理過程。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(一)誤差函數(shù)的確定BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法梯度下降的基本原理：梯度下降法又稱最速下降法。函數(shù)J(a)在某點ak的梯度是一個向量，其方向是J(a)增長最快的方向。顯然，負(fù)梯度方向是J(a)減少最快的方向。在梯度下降法中，求某函數(shù)極大值時，沿著梯度方向走，可以最快達(dá)到極大點；反之，沿著負(fù)梯度方向走，則最快地達(dá)到極小點。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法求函數(shù)J(a)極小值的問題，可以選擇任意初始點a0,從a0出發(fā)沿著負(fù)梯度方向走，可使得J(a)下降最快。s(0)：點a0的搜索方向。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法求函BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸出層的權(quán)值調(diào)整直觀解釋當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負(fù)，實際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸出層的權(quán)值調(diào)整式中：—學(xué)習(xí)率最終形式為：BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，隱藏層的權(quán)值調(diào)整隱層各神經(jīng)元的權(quán)值調(diào)整公式為：同理，輸出層、隱藏層的閾值調(diào)整就是誤差函數(shù)對閾值的偏導(dǎo)函數(shù)。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，隱BP學(xué)習(xí)算法的步驟:Step1

選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨機確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計算網(wǎng)絡(luò)輸出Step3

BP學(xué)習(xí)算法的步驟:Step1選定學(xué)習(xí)的數(shù)據(jù),p=1,…,BP網(wǎng)絡(luò)設(shè)計：1.輸入層和輸出層的設(shè)計輸入層和輸出層節(jié)點點數(shù)的選擇由應(yīng)用要求決定。輸入層節(jié)點數(shù)一般等于要訓(xùn)練的樣本矢量維數(shù)，可以是原始數(shù)據(jù)的維數(shù)或提取的特征維數(shù)；輸出層節(jié)點數(shù)在分類網(wǎng)絡(luò)中去類別數(shù)m或lbm，在擬合網(wǎng)絡(luò)中取要擬合的函數(shù)輸出空間維數(shù)。2.隱含層結(jié)構(gòu)設(shè)計（1）隱含層數(shù)設(shè)計1989年，RobertHecht-Nielsen證明了對于任何閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用一個隱含層的BP網(wǎng)絡(luò)來逼近。因而，一個3層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映射。BP網(wǎng)絡(luò)設(shè)計：1.輸入層和輸出層的設(shè)計BP網(wǎng)絡(luò)設(shè)計：

BP網(wǎng)絡(luò)設(shè)計：

BP神經(jīng)網(wǎng)絡(luò)與分類（應(yīng)用）4BP神經(jīng)網(wǎng)絡(luò)與分類（應(yīng)用）4人工神經(jīng)網(wǎng)絡(luò)

（ArtificialNeuronNets=ANN）

例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af人工神經(jīng)網(wǎng)絡(luò)

（ArtificialNeuronNets問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個種類？

如果如下圖那么直觀的分清，則問題將會很容易解決問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24新思路：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。但是，如果圖是下面這樣的話：新思路：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作輸入數(shù)據(jù)有15個，即,p=1,…,15;j=1,2;對應(yīng)15個輸出。建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個？）建立神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)有15個，即,p=1,…,15;j=1,2規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個權(quán)重系數(shù)矩陣為：為閾值

其中規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時表示屬于Apf類，t(2（1）隨機給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=（1）隨機給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以?。?）計算因為所以

（4）取

（或其他正數(shù)，可調(diào)整大小）

?。?）計算因為所以（4）取（或其他正數(shù)，可調(diào)整大小(5)計算

和

j=1,2,3,i=1,2,3,計算

j=1,2,3j=1,2,3(5)計算和j=1,2,3,i=1,2,3,計算(6)p=p+1，轉(zhuǎn)（2）

注：僅計算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結(jié)果是：(6)p=p+1，轉(zhuǎn)（2）注：僅計算一圈（p=1，2，…即網(wǎng)絡(luò)模型的解為：

=即網(wǎng)絡(luò)模型的解為：=BP網(wǎng)絡(luò)的局限性:

隱含層節(jié)點個數(shù)沒有理論依據(jù)激活函數(shù)一般使用S型函數(shù)沒有理論依據(jù)最速下降法只是針對局部而言，對整體來說卻不一定最速下降方向?qū)W習(xí)速率采用確定值，一旦太大可能導(dǎo)致學(xué)習(xí)過程振蕩，太小會造成學(xué)習(xí)的周期過長存在學(xué)習(xí)迭代次數(shù)初試權(quán)值的選取較為敏感網(wǎng)絡(luò)結(jié)構(gòu)選擇不能統(tǒng)一BP網(wǎng)絡(luò)的局限性:隱含層節(jié)點個數(shù)沒有理論依據(jù)BP算法的改進(jìn):利用動量法改進(jìn)BP算法

將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計算所得的權(quán)值調(diào)整量上，作為本次的實際權(quán)值調(diào)整量自適應(yīng)調(diào)整學(xué)習(xí)速率

動態(tài)的學(xué)習(xí)速率動量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法L-M學(xué)習(xí)規(guī)則速度更快，但需要存貯空間巨大BP算法的改進(jìn):利用動量法改進(jìn)BP算法謝謝Thanks謝謝ThanksBP神經(jīng)網(wǎng)絡(luò)基本原理與應(yīng)用BP神經(jīng)網(wǎng)絡(luò)基本原理與應(yīng)用目錄1.神經(jīng)網(wǎng)絡(luò)的來源2.ANN初識3.BP神經(jīng)網(wǎng)絡(luò)4.BP神經(jīng)網(wǎng)絡(luò)與應(yīng)用BP神經(jīng)網(wǎng)絡(luò)目錄1.神經(jīng)網(wǎng)絡(luò)的來源2.ANN初識3.BP神經(jīng)網(wǎng)絡(luò)4.BP人工神經(jīng)網(wǎng)絡(luò)來源1人工神經(jīng)網(wǎng)絡(luò)來源1大腦可視作為10的12次方個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。

圖

神經(jīng)元的解剖圖大腦可視作為10的12次方個神經(jīng)元組成的神人類神經(jīng)元的速度100m/s至150m/s，比計算機的要慢，且電位傳播有延時但人類的情感、行為、思維、想法，至今還是計算機沒法完全實現(xiàn)為什么計算機暫時還趕不上人腦？人類神經(jīng)元的速度100m/s至150m/s，比計算機的要慢，因為人與動物神經(jīng)網(wǎng)絡(luò)足夠復(fù)雜一個神經(jīng)元一般會與100到10000個神經(jīng)元連接，所構(gòu)成的網(wǎng)絡(luò)是一個巨復(fù)雜網(wǎng)絡(luò)！并行的運作與存貯同時進(jìn)行有自我學(xué)習(xí)因為人與動物神經(jīng)網(wǎng)絡(luò)足夠復(fù)雜一個神經(jīng)元一般從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型

圖

神經(jīng)元的數(shù)學(xué)模型X為輸入，W為權(quán)值，y為輸出，b為閾值，f(*)為激活函數(shù)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型圖神經(jīng)元的數(shù)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)公式X為輸入，W為權(quán)值，y為輸出，b為閾值，f(*)為激活函數(shù)

輸入值求和：輸出值計算：

從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)公式X為輸入，W為從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵函數(shù)、活化函數(shù)：o=f（net）

1、線性函數(shù)（LinerFunction）

f（net）=k*net+c

netooc從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)激活函數(shù)執(zhí)行對該神經(jīng)元所獲得從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實數(shù)，θ為閾值二值形式：

1 ifnet>θf（net）= 0 ifnet≤θ雙極形式：

1 ifnet>θf（net）= -1 ifnet≤θ

2、閾值函數(shù)（ThresholdFunction）階躍函數(shù)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò) β ifnet>θ2從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)從動物神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)初識2人工神經(jīng)網(wǎng)絡(luò)初識2人工神經(jīng)網(wǎng)絡(luò)（ANN）眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ANN）眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下人工神經(jīng)網(wǎng)絡(luò)（ANN）基本神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWV人工神經(jīng)網(wǎng)絡(luò)（ANN）基本神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1人工神經(jīng)網(wǎng)絡(luò)（ANN）分類從網(wǎng)絡(luò)性能角度，可分為連續(xù)型與離散型網(wǎng)絡(luò)、確定性與隨機性網(wǎng)絡(luò)從網(wǎng)絡(luò)結(jié)構(gòu)角度，可分為前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)從學(xué)習(xí)方法角度，可分為有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)和無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)按連接突觸性質(zhì)，可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ANN）分類從網(wǎng)絡(luò)性能角度，可分為連續(xù)型與離散BP神經(jīng)網(wǎng)絡(luò)3BP神經(jīng)網(wǎng)絡(luò)3何為BP神經(jīng)網(wǎng)絡(luò)BP（BackPropagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。何為BP神經(jīng)網(wǎng)絡(luò)BP（BackPropaBP神經(jīng)網(wǎng)絡(luò)核心思想BP算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構(gòu)成。BP神經(jīng)網(wǎng)絡(luò)核心思想BP算法由數(shù)據(jù)流的前向BP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡(luò)通常有一個或多個隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元則采用線性傳遞函數(shù)，整個網(wǎng)絡(luò)的輸出可以取任意值。BP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-siBP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)：BP網(wǎng)絡(luò)常用傳遞函數(shù):BP網(wǎng)絡(luò)的傳遞函數(shù)：輸入層和輸出層可以根據(jù)實際問題確定，但權(quán)值和閾值初始化，卻沒有嚴(yán)格的理論基礎(chǔ)。而BP神經(jīng)網(wǎng)絡(luò)可以通過誤差最速下降法，從而調(diào)整權(quán)值與閾值。權(quán)值和閾值如何確定、學(xué)習(xí)？輸入層和輸出層可以根據(jù)實際問題確定，但權(quán)值和閾值初始化，卻沒BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

學(xué)習(xí)過程：

神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)連接的權(quán)值，閾值。以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：

對各連接權(quán)值、閾值的動態(tài)調(diào)整學(xué)習(xí)規(guī)則：

權(quán)值、閾值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)過程：BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有q個神經(jīng)元,

輸出層有m個神經(jīng)元BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù):BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)輸入層與中間層的連接權(quán)值:BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(一)誤差函數(shù)的確定網(wǎng)絡(luò)學(xué)習(xí)誤差函數(shù)分為兩類：（t為預(yù)期值，y為輸出值）A、網(wǎng)絡(luò)對樣本逐個的順序輸入而不斷學(xué)習(xí)，是基于單個樣本誤差e的最小值進(jìn)行。B、第二是待樣本全部輸入后，基于E的最小值來完成權(quán)值空間的梯度搜索，即批處理過程。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(一)誤差函數(shù)的確定BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法梯度下降的基本原理：梯度下降法又稱最速下降法。函數(shù)J(a)在某點ak的梯度是一個向量，其方向是J(a)增長最快的方向。顯然，負(fù)梯度方向是J(a)減少最快的方向。在梯度下降法中，求某函數(shù)極大值時，沿著梯度方向走，可以最快達(dá)到極大點；反之，沿著負(fù)梯度方向走，則最快地達(dá)到極小點。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法求函數(shù)J(a)極小值的問題，可以選擇任意初始點a0,從a0出發(fā)沿著負(fù)梯度方向走，可使得J(a)下降最快。s(0)：點a0的搜索方向。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(二)誤差梯度下降法求函BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸出層的權(quán)值調(diào)整直觀解釋當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負(fù)，實際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸出層的權(quán)值調(diào)整式中：—學(xué)習(xí)率最終形式為：BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，輸BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，隱藏層的權(quán)值調(diào)整隱層各神經(jīng)元的權(quán)值調(diào)整公式為：同理，輸出層、隱藏層的閾值調(diào)整就是誤差函數(shù)對閾值的偏導(dǎo)函數(shù)。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(三)BP算法調(diào)整，隱BP學(xué)習(xí)算法的步驟:Step1

選定學(xué)習(xí)的數(shù)據(jù),p=1,…,P,隨機確定初始權(quán)矩陣W（0）Step2

用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù).用學(xué)習(xí)數(shù)據(jù)計算網(wǎng)絡(luò)輸出Step3

BP學(xué)習(xí)算法的步驟:Step1選定學(xué)習(xí)的數(shù)據(jù),p=1,…,BP網(wǎng)絡(luò)設(shè)計：1.輸入層和輸出層的設(shè)計輸入層和輸出層節(jié)點點數(shù)的選擇由應(yīng)用要求決定。輸入層節(jié)點數(shù)一般等于要訓(xùn)練的樣本矢量維數(shù)，可以是原始數(shù)據(jù)的維數(shù)或提取的特征維數(shù)；輸出層節(jié)點數(shù)在分類網(wǎng)絡(luò)中去類別數(shù)m或lbm，在擬合網(wǎng)絡(luò)中取要擬合的函數(shù)輸出空間維數(shù)。2.隱含層結(jié)構(gòu)設(shè)計（1）隱含層數(shù)設(shè)計1989年，RobertHecht-Nielsen證明了對于任何閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用一個隱含層的BP網(wǎng)絡(luò)來逼近。因而，一個3層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映射。BP網(wǎng)絡(luò)設(shè)計：1.輸入層和輸出層的設(shè)計BP網(wǎng)絡(luò)設(shè)計：

BP網(wǎng)絡(luò)設(shè)計：

BP神經(jīng)網(wǎng)絡(luò)與分類（應(yīng)用）4BP神經(jīng)網(wǎng)絡(luò)與分類（應(yīng)用）4人工神經(jīng)網(wǎng)絡(luò)

（ArtificialNeuronNets=ANN）

例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af人工神經(jīng)網(wǎng)絡(luò)

（ArtificialNeuronNets問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于