人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

第3講 感知機及BP網(wǎng)絡(luò)何建華電信系，華中科技大學(xué)

2月25日1人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第1頁一、內(nèi)容回顧二、感知機三、自適應(yīng)線性元件四、內(nèi)容小結(jié)內(nèi)容安排2人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第2頁生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧

3人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第3頁生物神經(jīng)元生物神經(jīng)元模型突觸信息處理信息傳遞功效與特點人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧4人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第4頁生物神經(jīng)元模型一、內(nèi)容回顧5人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第5頁生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法一、內(nèi)容回顧6人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第6頁生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法權(quán)值確定Hebb學(xué)習(xí)規(guī)則誤差校正學(xué)習(xí)規(guī)則相近（無教師）學(xué)習(xí)規(guī)則一、內(nèi)容回顧7人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第7頁Hebb學(xué)習(xí)規(guī)則DonallHebb依據(jù)生理學(xué)中條件反射機理，于1949年提出神經(jīng)元連接強度改變規(guī)則假如兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間突觸連接加強a為學(xué)習(xí)速率，Vi,Vj為神經(jīng)元i和j輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)基本規(guī)則，幾乎全部神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則都能夠看作Hebb學(xué)習(xí)規(guī)則變形8人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第8頁誤差校正規(guī)則用已知樣本作為教師對網(wǎng)絡(luò)進行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實際上是一個梯度方法不能確保得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對樣當(dāng)?shù)乇硎敬涡蚋淖儽容^敏感9人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第9頁無教師學(xué)習(xí)規(guī)則這類學(xué)習(xí)不在于尋找一個特殊映射表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反應(yīng)觀察事件分部輸入能夠為連續(xù)值，對噪聲有較強抗干擾能力對較少輸入樣本，結(jié)果可能要依賴于輸入序列在ART、Kohonen等自組織競爭型網(wǎng)絡(luò)中采取10人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第10頁2.1感知機介紹2.2神經(jīng)元模型2.3網(wǎng)絡(luò)結(jié)構(gòu)2.4功效解釋2.5學(xué)習(xí)和訓(xùn)練2.6不足二、感知機11人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第11頁感知器由美國計算機科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出收斂定理F.Roseblatt證實，假如兩類模式是線性可分（指存在一個超平面將它們分開），則算法一定收斂感知器尤其適合用于簡單模式分類問題，也可用于基于模式分類學(xué)習(xí)控制中本講中感知器特指單層感知器2.1感知機介紹12人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第12頁2.2神經(jīng)元模型13人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第13頁2.3網(wǎng)絡(luò)結(jié)構(gòu)ni第i個神經(jīng)元加權(quán)輸入和ai第i個神經(jīng)元輸出,i＝1,2,…,s14人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第14頁2.4功效解釋感知器基本功效是將輸入矢量轉(zhuǎn)化成0或1輸出依據(jù)輸出值經(jīng)過測試加權(quán)輸入和值落在閾值函數(shù)左右對輸入數(shù)據(jù)進行分類15人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第15頁2.4功效解釋這一功效能夠經(jīng)過在輸人矢量空間里作圖來加以解釋以輸入矢量r＝2為例對選定權(quán)值w1、w2和b，能夠在以p1和p2分別作為橫、縱坐標(biāo)輸入平面內(nèi)畫出W*P+b＝w1p1十w2p2十b＝0軌跡它是一條直線，此直線上及其線以上部分全部p1、p2值均使w1p1十w2p2十b＞0，這些點經(jīng)過由w1、w2和b組成感知器輸出為1；該直線以下部分點經(jīng)過感知器輸出為016人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第16頁2.4功效解釋17人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第17頁當(dāng)采取感知器對不一樣輸入矢量進行期望輸出為0或1分類時，其問題可轉(zhuǎn)化為對已知輸入矢量在輸入空間形成不一樣點位置，設(shè)計感知器權(quán)值W和b感知器權(quán)值參數(shù)設(shè)計目標(biāo)，就是依據(jù)學(xué)習(xí)法則設(shè)計一條W*P+b＝0軌跡，使其對輸入矢量能夠到達(dá)所期望劃分2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練18人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第18頁學(xué)習(xí)規(guī)則用來計算新權(quán)值矩陣W及新偏差B算法權(quán)值改變量等于輸入矢量假定輸入矢量P，輸出矢量A，目標(biāo)矢量為T感知器網(wǎng)絡(luò)2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練19人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第19頁假如第i個神經(jīng)元輸出是正確，即ai＝ti，那么與第i個神經(jīng)元聯(lián)接權(quán)值wij和偏差值bi保持不變假如第i個神經(jīng)元輸出是0，但期望輸出為1，即有ai＝0，而ti＝1，此時權(quán)值修正算法為：新權(quán)值wij為舊權(quán)值wij加上輸人矢量pj；新偏差bi為舊偏差bi加上1假如第i個神經(jīng)元輸出為1，但期望輸出為0，即有ai＝1，而ti＝0，此時權(quán)值修正算法，新權(quán)值wij等于舊權(quán)值wij減去輸入矢量pj；新偏差bi為舊偏差bi減去12.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練20人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第20頁上述用來修正感知器權(quán)值學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個名為1earnp.m函數(shù)。只要直接調(diào)用此函數(shù)，即可馬上取得權(quán)值修正量。此函數(shù)所需要輸人變量為：輸入、輸出矢量和目標(biāo)矢量（P、A和T）調(diào)用命令為：[dW，dB]＝learnp(P，A，T)2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練21人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第21頁訓(xùn)練思想在輸入矢量P作用下，計算網(wǎng)絡(luò)實際輸出A，并與對應(yīng)目標(biāo)矢量T進行比較，檢驗A是否等于T，然后用比較后誤差量，依據(jù)學(xué)習(xí)規(guī)則進行權(quán)值和偏差調(diào)整重新計算網(wǎng)絡(luò)在新權(quán)值作用下輸入，重復(fù)權(quán)值調(diào)整過程，直到網(wǎng)絡(luò)輸出A等于目標(biāo)矢量T或訓(xùn)練次數(shù)到達(dá)事先設(shè)置最大值時訓(xùn)練結(jié)束2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練22人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第22頁訓(xùn)練算法對于所要處理問題，確定輸入矢量P，目標(biāo)矢量T，并確定各矢量維數(shù)及神經(jīng)元數(shù)目：r，s和q；（1）參數(shù)初始化 a)賦給權(quán)矢量w在(—l，1)隨機非零初始值； b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；（2）初始化網(wǎng)絡(luò)表示式。依據(jù)輸人矢量P以及最新權(quán)矢量W，計算網(wǎng)絡(luò)輸出矢量A；（3）檢驗過程。檢驗輸出矢量A與目標(biāo)矢量T是否相同。假如是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，不然轉(zhuǎn)入（4）（4）學(xué)習(xí)過程。依據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回（3）2.5網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練23人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第23頁因為感知器激活函數(shù)采取是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來處理簡單分類問題感知器僅能夠線性地將輸入矢量進行分類當(dāng)輸入矢量中有一個數(shù)比其它數(shù)都大或小得很多時，可能造成較慢收斂速度2.6不足24人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第24頁三、自適應(yīng)線性元件3.1Adline介紹3.2網(wǎng)絡(luò)結(jié)構(gòu)3.3網(wǎng)絡(luò)學(xué)習(xí)3.4網(wǎng)絡(luò)訓(xùn)練3.5應(yīng)用舉例3.6不足25人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第25頁3.1Adline介紹自適應(yīng)線性元件(AdaptiveLinearElement簡稱Adaline)由威德羅(Widrow)和霍夫(Hoff)首先提出自適應(yīng)線性元件主要用途是線性迫近一個函數(shù)式而進行模式聯(lián)想。

它與感知器主要不一樣之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出能夠是任意值，而不但僅只是像感知器中那樣只能取0或1它采取是W-H學(xué)習(xí)法則，也稱最小均方差(LMS)規(guī)則對權(quán)值進行訓(xùn)練26人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第26頁3.2網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元(a)與網(wǎng)絡(luò)(b)27人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第27頁3.3學(xué)習(xí)規(guī)則W-H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出用來修正權(quán)矢量學(xué)習(xí)規(guī)則采取W-H學(xué)習(xí)規(guī)則能夠用來訓(xùn)練一定網(wǎng)絡(luò)權(quán)值和偏差使之線性地迫近一個函數(shù)式而進行模式聯(lián)想(PatternAssociation)定義一個線性網(wǎng)絡(luò)輸出誤差函數(shù)目標(biāo)是經(jīng)過調(diào)整權(quán)矢量，使E(W，B)到達(dá)最小值所以在給定E(W，B)后，利用W-H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間某一點開始，沿著E(W，B)斜面向下滑行28人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第28頁3.3學(xué)習(xí)規(guī)則依據(jù)梯度下降法，權(quán)矢量修正值正比于當(dāng)前位置上E(W，B)梯度，對于第i個輸出節(jié)點有：或表示為29人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第29頁3.3學(xué)習(xí)規(guī)則η為學(xué)習(xí)速率。在普通實際利用中，實踐表明，η通常取一靠近1數(shù)，或取值為：自適應(yīng)線性網(wǎng)絡(luò)還有另一個潛在困難，當(dāng)學(xué)習(xí)速率取得較大時，可造成訓(xùn)練過程不穩(wěn)定采取W-H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂必要條件是被訓(xùn)練輸入矢量必須是線性獨立，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以預(yù)防產(chǎn)生振蕩現(xiàn)象30人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第30頁3.4網(wǎng)絡(luò)訓(xùn)練自適應(yīng)線性元件網(wǎng)絡(luò)訓(xùn)練過程可歸納為以下四個步驟初始化。權(quán)值W,B和T表示。計算訓(xùn)練輸出矢量A=W*P+B，以及與期望輸出之間誤差E=T-A檢驗。將網(wǎng)絡(luò)輸出誤差平方和與期望誤差相比較，假如其值小于期望誤差，或訓(xùn)練已到達(dá)事先設(shè)定最大訓(xùn)練次數(shù)，則停頓訓(xùn)練；不然繼續(xù)學(xué)習(xí)。采取W-H學(xué)習(xí)規(guī)則計算新權(quán)值和偏差，并返回到“表示”過程31人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第31頁3.5應(yīng)用舉例考慮一個較大多神經(jīng)元網(wǎng)絡(luò)模式聯(lián)想設(shè)計問題輸入矢量P和目標(biāo)矢量T32人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第32頁3.5應(yīng)用舉例求解－準(zhǔn)確解這個問題求解一樣能夠采取線性方程組求出，即對每一個輸出節(jié)點寫出輸入和輸出之間關(guān)系等式33人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第33頁3.5應(yīng)用舉例求解－神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差統(tǒng)計訓(xùn)練后權(quán)值34人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第34頁3.5應(yīng)用舉例求解－神經(jīng)網(wǎng)絡(luò)由輸入矢量和目標(biāo)輸出矢量可得：r＝3，s＝4，q＝4。網(wǎng)絡(luò)結(jié)構(gòu)以下列圖示35人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第35頁3.5應(yīng)用舉例分析－Adline與方程求解求解前述16個方程不太輕易，需要一定時間對一些實際問題，假如不需要求出其完美零誤差時解，也即允許存在一定誤差時，采取自適應(yīng)線性網(wǎng)絡(luò)求解能夠很快地訓(xùn)練出滿足一定要求網(wǎng)絡(luò)權(quán)值假如輸入矢量含有奇異性，用函數(shù)solvelin.m求解準(zhǔn)確解時將產(chǎn)生問題。而神經(jīng)網(wǎng)絡(luò)則能得到很好性能36人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第36頁3.6Adline與感知機網(wǎng)絡(luò)模型結(jié)構(gòu)上

感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上主要區(qū)分在于激活函數(shù)，分別為二值型和線性學(xué)習(xí)算法

感知器算法是最早提出可收斂算法它自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小梯度下降法在BP算法中得到深入推廣，它們屬于同一類算法適用性與不足

感知器僅能夠進行簡單分類。感知器能夠?qū)⑤斎敕殖蓛深惢蛩念惖龋珒H能對線性可分輸入進行分類。自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣能夠進行線性分類外，還能夠?qū)崿F(xiàn)線性迫近，因為其激活函數(shù)能夠連續(xù)取值而不一樣于感知器僅能取0或1緣故37人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第37頁四、內(nèi)容小結(jié)內(nèi)容回顧感知機自適應(yīng)線性元件下次講課內(nèi)容38人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第38頁四、內(nèi)容小結(jié)內(nèi)容回顧生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法感知機自適應(yīng)線性元件下次講課內(nèi)容39人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第感知機及BP網(wǎng)絡(luò)專家講座第39頁四、內(nèi)容小結(jié)內(nèi)容回顧感知機感知機介紹神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)功效解釋學(xué)習(xí)和訓(xùn)練不足自適應(yīng)線性