基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法課件

基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法1目錄1.簡(jiǎn)要介紹BP網(wǎng)絡(luò)算法2.簡(jiǎn)要介紹遺傳算法3.介紹基于遺傳算法的BP網(wǎng)絡(luò)迭代流程目錄1.簡(jiǎn)要介紹BP網(wǎng)絡(luò)算法2BP神經(jīng)網(wǎng)絡(luò)

(BackPropagationNeuralNetwork)其主要的學(xué)習(xí)過程是：將輸入從輸入層經(jīng)隱層單元逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則將誤差信號(hào)沿原來的連接通路反向傳播，通過梯度下降法修改各神經(jīng)元的權(quán)值，使誤差信號(hào)最小。BP神經(jīng)網(wǎng)絡(luò)

(BackPropagationNeura3梯度下降循環(huán)求導(dǎo)更新w直到E(w)取得最小值，如果函數(shù)E(w)包含多個(gè)變量，那么就要分別對(duì)不同變量求偏導(dǎo)來更新不同變量的值。梯度下降循環(huán)求導(dǎo)更新w直到E(w)取得最小值，如果函數(shù)E4局部極小化問題傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)為一種局部搜索的優(yōu)化方法，它要解決的是一個(gè)復(fù)雜非線性化問題，網(wǎng)絡(luò)的權(quán)值是通過沿局部改善的方向逐漸進(jìn)行調(diào)整的，這樣會(huì)使算法陷入局部極值，權(quán)值收斂到局部極小點(diǎn)，從而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練失敗。局部極小化問題傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)為一種局部搜索的優(yōu)化方法，5遺傳算法(GeneticAlgorithm)遺傳算法是一種用于全局優(yōu)化搜索的迭代算法模仿生物的遺傳進(jìn)化原理，通過選擇(Selection)、交叉(Crossover)、變異(Mutation)等機(jī)制，使種群中個(gè)體的適應(yīng)性(Fitness)不斷提高核心思想：適者生存遺傳算法(GeneticAlgorithm)遺傳算法是一種6遺傳算法特點(diǎn)優(yōu)點(diǎn)：1）良好的并行性（操作對(duì)象是一組可行解；搜索軌道有多條）2）強(qiáng)大的通用性（只需利用目標(biāo)的取值信息，無需梯度等高價(jià)值信息）3）良好的全局優(yōu)化性和魯棒性4）良好的可操作性缺點(diǎn)：1）大量計(jì)算（涉及到大量個(gè)體的計(jì)算，當(dāng)問題復(fù)雜時(shí)，計(jì)算時(shí)間是個(gè)問題）2）穩(wěn)定性差（算法屬于隨機(jī)類算法，需要多次運(yùn)算，結(jié)果的可靠性差，不能穩(wěn)定的得到解）遺傳算法特點(diǎn)優(yōu)點(diǎn)：7遺傳算法基本流程Step1：開始Step2：參數(shù)編碼Step3：初始化種群Step4：計(jì)算適應(yīng)度Step5：判斷是否滿足終止條件，滿足則直接執(zhí)行Step10Step6：執(zhí)行選擇操作Step7：執(zhí)行交叉操作Step8：執(zhí)行變異操作Step9：產(chǎn)生新種群，返回執(zhí)行Step4Step10：結(jié)束遺傳算法基本流程Step1：開始8基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)通過遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，可以達(dá)到克服BP神經(jīng)網(wǎng)絡(luò)原有的缺陷。種群中每個(gè)個(gè)體都包含一個(gè)網(wǎng)絡(luò)所有權(quán)值和閾值，個(gè)體適應(yīng)度的值由個(gè)體通過適應(yīng)度函數(shù)來計(jì)算，遺傳算法通過選擇、交叉和變異操作找到最優(yōu)適應(yīng)度值對(duì)應(yīng)個(gè)體。經(jīng)過以上計(jì)算就得到了最適合的BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)初始權(quán)值和閾值?；谶z傳算法的BP神經(jīng)網(wǎng)絡(luò)通過遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值9基于遺傳的BP算法流程圖基于遺傳的BP算法流程圖10參數(shù)編碼參數(shù)編碼11選擇操作(Selection)M個(gè)樣本產(chǎn)生的均方誤差：適應(yīng)度(Fitness)：根據(jù)各個(gè)染色體的適應(yīng)度函數(shù)值，利用輪盤法進(jìn)行復(fù)制操作選擇操作(Selection)12交叉操作(Crossover)DNA1DNA2NEWDNA交叉概率：交叉操作(Crossover)DNA113變異操作(Mutation)變異概率：變異操作(Mutation)變異概率：14性能比較BP算法實(shí)驗(yàn)時(shí)，選用的樣本數(shù)是550，學(xué)習(xí)速率α=0.7，輸人層結(jié)點(diǎn)14個(gè)(共有14個(gè)特征點(diǎn))，輸出層共有5個(gè)，隱含層9個(gè)。BP一GA算法實(shí)驗(yàn)時(shí)，選用的樣本數(shù)是550，交換概率Pc=0.7，變異概率Pm=0.2，輸人層結(jié)點(diǎn)14個(gè)，輸出層結(jié)點(diǎn)5個(gè)，隱含層9個(gè)，種群規(guī)模300個(gè)。性能比較BP算法實(shí)驗(yàn)時(shí)，選用的樣本數(shù)是550，學(xué)習(xí)速率α=015回填區(qū)地表沉降系數(shù)預(yù)測(cè)模型實(shí)驗(yàn)結(jié)果回填區(qū)地表沉降系數(shù)預(yù)測(cè)模型實(shí)驗(yàn)結(jié)果16小結(jié)基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法結(jié)合了兩個(gè)算法的優(yōu)點(diǎn)，克服了BP算法中學(xué)習(xí)效率低、收斂速度慢、容易陷入局部最優(yōu)等缺點(diǎn)。但是應(yīng)當(dāng)注意到，由于BP一GA算法在擴(kuò)大種群規(guī)模的時(shí)候，其用于存儲(chǔ)染色體的存儲(chǔ)空間直線變大，對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜的神經(jīng)網(wǎng)絡(luò)更是如此，這也是該算法的一個(gè)缺點(diǎn)，有待于改進(jìn)。小結(jié)基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法結(jié)合了兩個(gè)算法的優(yōu)點(diǎn)，克服17參考文獻(xiàn)[1]周志華.機(jī)器學(xué)習(xí)[M].北京,清華大學(xué)出版社,2016:97-107.[2]WenyuLv,MengWangandXinguangZhu.ModelforpredictionofsurfacesubsidencecoefficientinbackfilledcoalminingareasbasedongeneticalgorithmandBPneuralnetwork[J].JournalofComputationalMethodsinSciencesandEngineering16(2016)745–753.[3]王崇駿.一種基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用[J].南京大學(xué)學(xué)報(bào)(自然科學(xué)),2003,39(5).[4]Xiao-MinMA,XinW.AnimprovedBPneuralnetworkalgorithmbasedongeneticalgorithm[J].JournalofYunnanUniversity,2013.[5]DingS,SuC,YuJ.AnoptimizingBPneural