BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用1BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/2024主要內(nèi)容BP神經(jīng)網(wǎng)絡(luò)簡介BP學(xué)習(xí)算法的不足兩種BP學(xué)習(xí)算法的改進(jìn)方法基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用2BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20241BP神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中分為訓(xùn)練階段和使用階段訓(xùn)練階段，是使用適當(dāng)?shù)膶W(xué)習(xí)算法調(diào)整某種結(jié)構(gòu)的網(wǎng)絡(luò)的參數(shù)，使得被訓(xùn)練的網(wǎng)絡(luò)能夠?qū)颖居泻芎玫臄M合作用。BP神經(jīng)網(wǎng)絡(luò)也包括了訓(xùn)練和使用這兩個階段。它是前饋型神經(jīng)網(wǎng)絡(luò)，采用的是BP學(xué)習(xí)算法（后向傳播學(xué)習(xí)算法）。3BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20241BP神經(jīng)網(wǎng)絡(luò)簡介BP神經(jīng)網(wǎng)絡(luò)（BackPropagationFeed-forwardNeuralNetwork），即后向傳播學(xué)習(xí)的前饋型神經(jīng)網(wǎng)絡(luò)前饋型網(wǎng)絡(luò)結(jié)構(gòu)：在處理樣本的時候，前一層的輸出即為下一層的輸入反向傳播：通過比較輸出層的實際輸出和預(yù)期的結(jié)果得到誤差，然后通過相關(guān)的誤差方程式調(diào)整最后一個隱含層到輸出層之間的網(wǎng)絡(luò)權(quán)重，之后是隱含層之間權(quán)重的調(diào)整，直到輸入層與第一隱含層之間的網(wǎng)絡(luò)權(quán)重調(diào)整為止4BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20241BP神經(jīng)網(wǎng)絡(luò)簡介BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程（誤差后向傳播學(xué)習(xí)算法）5BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20242BP學(xué)習(xí)算法的不足理論上BP網(wǎng)絡(luò)能夠逼近任意非線性函數(shù)，但由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)中許多參數(shù)的選擇沒有理論依據(jù)，使得實際中神經(jīng)網(wǎng)絡(luò)的應(yīng)用具有局限性6BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20242BP學(xué)習(xí)算法的不足BP算法存在局限性與缺點的主要原因是其本身存在很多不足之處，主要有：學(xué)習(xí)過程收斂速度慢所得到的網(wǎng)絡(luò)容錯能力差誤差和函數(shù)可能有局部極小值學(xué)習(xí)率不穩(wěn)定（BP算法學(xué)習(xí)速度慢、容錯能力差、算法不完備）7BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20242BP學(xué)習(xí)算法的不足學(xué)習(xí)過程收斂速度慢BP算法是采用對樣本集進(jìn)行逐一學(xué)習(xí)的方法。設(shè)樣本集K={r1=(x1,y1),r2=(x2,y2)……rm=(xm,ym)}，BP算法是先對r1

進(jìn)行學(xué)習(xí)，利用誤差反向傳播對網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行調(diào)整，知道調(diào)整后的網(wǎng)絡(luò)對應(yīng)關(guān)系（f(x)=y）滿足：f(x1)=y1

為止。利用新得的權(quán)值和閾值以及下一個樣本繼續(xù)調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值。但由于所得新的權(quán)值和閾值并不能保證前一個f(xi)=yi

成立。為了克服著個缺點，BP算法采用不斷反復(fù)循環(huán)學(xué)習(xí)，希望求得正確的解。由于反復(fù)循環(huán)學(xué)習(xí)過程需要較長時間，這樣就導(dǎo)致了算法學(xué)習(xí)收斂速度慢。8BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20242BP學(xué)習(xí)算法的不足誤差和函數(shù)可能有局部極小值BP算法本質(zhì)上是以誤差平方和為目標(biāo)函數(shù)，用梯度法求其最小值的算法。因此只有誤差平法和函數(shù)是正定的函數(shù)時，才能找到最小值，其他情況必然產(chǎn)生局部極小值9BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20243兩種BP學(xué)習(xí)算法的改進(jìn)方法針對BP學(xué)習(xí)算法的不足，研究者提出了多種改進(jìn)的算法，其中典型的方法有：引入動量項：在權(quán)值調(diào)節(jié)公式中加入一個動量項。加入的動量項相當(dāng)與阻尼項，它減小了學(xué)習(xí)過程中的震蕩趨勢，改善了收斂性能p為輸入元素,k為訓(xùn)練次數(shù)，mc為動量因子10BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20243兩種BP學(xué)習(xí)算法的改進(jìn)方法變步長法：在BP學(xué)習(xí)算法中，學(xué)習(xí)率參數(shù)不易選擇，選擇太小，收斂太慢；選擇太大，容易引起震蕩甚至發(fā)散。為解決這個問題，可采用變步長方法，也可以稱為自適應(yīng)學(xué)習(xí)速率。當(dāng)一個較大的學(xué)習(xí)速率容能夠使網(wǎng)絡(luò)穩(wěn)定學(xué)習(xí)，使誤差持續(xù)下降，則增加學(xué)習(xí)速率，使其以更大的學(xué)習(xí)速率進(jìn)行學(xué)習(xí)。一旦學(xué)習(xí)速率調(diào)得過大，而不能保證誤差繼續(xù)下降，則減少學(xué)習(xí)速率直到使其學(xué)習(xí)過程穩(wěn)定為止。11BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20244基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)在車牌字符識別中的應(yīng)用一種基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng)，克服傳統(tǒng)BP算法最終進(jìn)化至最優(yōu)解較慢和神經(jīng)網(wǎng)絡(luò)易陷入局部極小值的權(quán)限通過采用改進(jìn)的BP算法，大大提高了識別的速度和精確度12BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20244基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用此應(yīng)用中采用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)計車牌字符的特點：漢字（1），字母（2），字母或數(shù)字（3,4），數(shù)字（5-7）。根據(jù)此特點，構(gòu)造4個含一個隱含層的三層BP神經(jīng)網(wǎng)絡(luò)，分別用來識別車牌的四部分漢字：13個輸入節(jié)點，6個輸出節(jié)點字母：13個輸入節(jié)點，10個輸出（實際收集的樣本較少）字母或數(shù)字：13個輸入節(jié)點，20個輸出節(jié)點（10個字母，10個數(shù)字）數(shù)字：13個輸入節(jié)點，10個輸入節(jié)點13BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20244基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用采用13特征提取法來提取樣本的特征向量作為BP網(wǎng)絡(luò)的輸入，提取步驟：把字符平均分成8分，統(tǒng)計每一份中黑色像素點的個數(shù)作為8個特征統(tǒng)計水平方向中間兩列和豎直方向兩列的黑色像素點的個數(shù)作為4個特征統(tǒng)計所有黑的像素點的個數(shù)作為第13個特征14BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20244基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用樣本的選擇與處理采集多個車牌圖片，選擇一部分作為訓(xùn)練樣本，剩余部分作為測試樣本將所有圖片進(jìn)行定位、預(yù)處理、分割以及歸一化等操作，使得各原始圖片變成大小都為16×16的字符圖像利用13特征法進(jìn)行特征提取，將其作為網(wǎng)絡(luò)的輸入15BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20244基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用識別數(shù)字的BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)為三層：只包含一層隱含層隱含層的神經(jīng)元數(shù)目：三層BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點數(shù)s的經(jīng)驗參考公式：

n,m分別為輸入輸出神經(jīng)元個數(shù)；a為1~10之間的數(shù)字16BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20244基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用初始權(quán)值、傳遞函數(shù)以及參數(shù)的設(shè)定網(wǎng)絡(luò)的初始權(quán)值和閾值采用隨機選取的方式傳遞函數(shù)依次采用：transig、purelin采用附加動量項法和變長步法（自適應(yīng)學(xué)習(xí)效率調(diào)整法）改進(jìn)BP算法動量因子采用：mc=0.9517BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/20244基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用網(wǎng)絡(luò)輸出網(wǎng)絡(luò)的設(shè)計是為了使其輸出矢量在正確的位置上輸出為1，而在其他位置上輸出為0。然而噪聲輸入矢量可能導(dǎo)致網(wǎng)絡(luò)的1或0輸出不正確，或出現(xiàn)其他輸出值。0~9對應(yīng)的輸出表如下所示：18BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/202419BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/2024參考文獻(xiàn)BP神經(jīng)網(wǎng)絡(luò)局限性及其改進(jìn)的研究神經(jīng)網(wǎng)絡(luò)在車牌字符識別中的應(yīng)用計算智能清華大學(xué)出版社20BP神經(jīng)網(wǎng)絡(luò)的不足及改進(jìn)后的應(yīng)用5/9/2024學(xué)習(xí)動物精神11、機智應(yīng)變的猴子：工作的流程有時往往是一成不變的，新人的優(yōu)勢在于不了解既有的做法，而能創(chuàng)造出新的創(chuàng)意與點子。一味地接受工作的交付，只能學(xué)到工作方法的皮毛，能思考應(yīng)變的人，才會學(xué)到方法的精髓。21BP神經(jīng)網(wǎng)絡(luò)的不