智能控制理論及應(yīng)用 課件 第10章 神經(jīng)網(wǎng)絡(luò)的應(yīng)用及控制

主要內(nèi)容10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧10.2神經(jīng)網(wǎng)絡(luò)用于控制10.2.1單神經(jīng)元PID自適應(yīng)控制器算法10.2.2神經(jīng)網(wǎng)絡(luò)前饋學(xué)習(xí)控制10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧（1）數(shù)據(jù)選擇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的來(lái)源為樣本數(shù)據(jù)，因此數(shù)據(jù)的質(zhì)量和數(shù)量是決定神經(jīng)網(wǎng)絡(luò)效果的根本。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)必須覆蓋神經(jīng)網(wǎng)絡(luò)可能會(huì)用到的輸入空間。盡量采用標(biāo)準(zhǔn)化操作自行設(shè)計(jì)數(shù)據(jù)收集的實(shí)驗(yàn)，以保證實(shí)驗(yàn)的設(shè)置能夠遍歷使用神經(jīng)網(wǎng)絡(luò)時(shí)的所有情況；如果無(wú)法控制數(shù)據(jù)收集的過(guò)程，則盡量使用所有收集到的數(shù)據(jù)，待訓(xùn)練完成后通過(guò)分析訓(xùn)練好的網(wǎng)絡(luò)，判斷訓(xùn)練數(shù)據(jù)是否充分，結(jié)果是否可靠？1.訓(xùn)練前的準(zhǔn)備第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧（2）數(shù)據(jù)預(yù)處理：數(shù)據(jù)歸一化特征選擇或提取輸入/目標(biāo)變量的編碼缺失數(shù)據(jù)處理數(shù)據(jù)集的劃分1.訓(xùn)練前的準(zhǔn)備第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧數(shù)據(jù)歸一化：最大最小歸一化均值方差歸一化MATLAB函數(shù)：mapminmaxMATLAB函數(shù)：normalize1.訓(xùn)練前的準(zhǔn)備第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧1.訓(xùn)練前的準(zhǔn)備特征選擇從原始特征集中選擇出有效的特征子集，是一種包含的關(guān)系分為Filter型、Wrapper型和Embedded型三大類特征提取通過(guò)屬性間的關(guān)系，如組合不同的特征得到新的特征代表性算法：主成分分析PCA、獨(dú)立成分分析ICA、線性判別分析LDA、典型相關(guān)分析CCA以及各種核方法第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧1.訓(xùn)練前的準(zhǔn)備輸出編碼（舉例：四個(gè)類的模式識(shí)別問(wèn)題）用四個(gè)數(shù)值{1,2,3,4}來(lái)表示目標(biāo)輸出；用二進(jìn)制編碼來(lái)表示四種類型，即{(0,0),(0,1),(1,0),(1,1)}；使用四位輸出{(1,0,0,0),(0,1,0,0),(0,0,1,0),(0,0,0,1)}進(jìn)行編碼。匹配對(duì)應(yīng)的激勵(lì)函數(shù)第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧1.訓(xùn)練前的準(zhǔn)備缺失數(shù)據(jù)處理丟棄法；補(bǔ)全法：利用已有數(shù)據(jù)補(bǔ)全缺失數(shù)據(jù)；如果某輸入變量中存在缺失數(shù)據(jù)，可以用該變量的平均值或鄰近值代替缺失數(shù)據(jù)，并用額外的標(biāo)記對(duì)其進(jìn)行標(biāo)注；如果目標(biāo)中的某些數(shù)據(jù)存在缺失，則可以修改性能指標(biāo)，去掉與缺失的目標(biāo)輸出值相關(guān)聯(lián)的誤差信息。第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧1.訓(xùn)練前的準(zhǔn)備數(shù)據(jù)集劃分訓(xùn)練集、驗(yàn)證集、測(cè)試集；通常的比例為：70%、15%、15%。注意：這些子集應(yīng)該能夠代表整個(gè)數(shù)據(jù)集，即三個(gè)子集覆蓋一樣的輸入空間，因此最簡(jiǎn)單的數(shù)據(jù)劃分方法是每個(gè)子集從整個(gè)數(shù)據(jù)集中隨機(jī)選擇。第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧（3）網(wǎng)絡(luò)類型及結(jié)構(gòu)選擇：擬合/回歸：目標(biāo)變量為連續(xù)值隱層采用Tan-Sigmoid，輸出層采用線性神經(jīng)元的多層感知器。徑向基網(wǎng)絡(luò)：隱層使用高斯激勵(lì)函數(shù)，輸出使用線性激勵(lì)函數(shù)。分類：目標(biāo)變量為離散量多層感知器用于模式識(shí)別問(wèn)題時(shí)，輸出層通常使用Sigmoid或者Softmax函數(shù)。徑向基函數(shù)也可以用于模式識(shí)別。1.訓(xùn)練前的準(zhǔn)備第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧對(duì)于多層網(wǎng)絡(luò)，權(quán)重和偏差通常設(shè)置為較小的隨機(jī)值。如果輸入歸一化到-1到1之間，則均勻分布在-0.5到0.5之間。如果初始化權(quán)值和偏置量為0，初始條件可能會(huì)落在性能曲面的鞍點(diǎn)上；如果初始權(quán)值很大，由于Sigmoid函數(shù)趨于飽和，初始條件可能落在性能曲面的平坦部分。2.網(wǎng)絡(luò)訓(xùn)練權(quán)值初始化第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧對(duì)于多層網(wǎng)絡(luò)，通常使用基于梯度或Jacobian的算法；對(duì)于有幾百個(gè)權(quán)值的多層網(wǎng)絡(luò)，Levenberg-Marquardt算法運(yùn)算最快；當(dāng)權(quán)值數(shù)量達(dá)到上千或更多時(shí)，Levenberg-Marquardt算法就不如共軛梯度方法效率高。2.網(wǎng)絡(luò)訓(xùn)練訓(xùn)練算法選擇第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧性能指標(biāo)2.網(wǎng)絡(luò)訓(xùn)練均方誤差帶正則項(xiàng)的均方誤差交叉熵第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧終止條件設(shè)置最大迭代次數(shù)：如果達(dá)到最大迭代次數(shù)時(shí)，權(quán)值依然沒(méi)有收斂，可以使用上一次訓(xùn)練得到的權(quán)值初始化網(wǎng)絡(luò)并重新開(kāi)始訓(xùn)練。性能指標(biāo)梯度的范數(shù)（通常采用誤差平方和）為零或?yàn)橐缓苄≈禃r(shí)停止訓(xùn)練。2.網(wǎng)絡(luò)訓(xùn)練第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧（1）擬合問(wèn)題MSE與Epochs3.訓(xùn)練結(jié)果分析第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧（1）擬合問(wèn)題3.訓(xùn)練結(jié)果分析ty線性回歸網(wǎng)絡(luò)輸出與對(duì)應(yīng)的目標(biāo)輸出做回歸計(jì)算兩者之間的相關(guān)系數(shù)R（希望R接近1）第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧（1）分類問(wèn)題3.訓(xùn)練結(jié)果分析預(yù)測(cè)類實(shí)際類121TPFN2FPTNTP:

TruePositive將正類預(yù)測(cè)為正類FN:

FalseNegative將正類預(yù)測(cè)為負(fù)類FP:

FalsePositive將負(fù)類預(yù)測(cè)為正類TN:

TrueNegative將負(fù)類預(yù)測(cè)為負(fù)類第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧混淆矩陣預(yù)測(cè)類實(shí)際類121TPFN2FPTN3.訓(xùn)練結(jié)果分析第10章10.1神經(jīng)網(wǎng)絡(luò)應(yīng)用技巧10.2神經(jīng)網(wǎng)絡(luò)用于控制神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的應(yīng)用（1）在反饋控制系統(tǒng)中直接充當(dāng)控制器；（2）在基于精確模型的控制系統(tǒng)中充當(dāng)被控對(duì)象的模型；（3）在傳統(tǒng)控制系統(tǒng)中起優(yōu)化作用，如優(yōu)化PID參數(shù)；（4）與其他智能控制方法或優(yōu)化方法融合使用，如模糊控制、遺傳算法等。第10章10.2神經(jīng)網(wǎng)絡(luò)用于控制10.2.1單神經(jīng)元PID自適應(yīng)控制器

第10章10.2.1單神經(jīng)元PID自適應(yīng)控制器單神經(jīng)元PID自適應(yīng)控制器第10章10.2.1單神經(jīng)元PID自適應(yīng)控制器單神經(jīng)元PID自適應(yīng)控制器第10章10.2.1單神經(jīng)元PID自適應(yīng)控制器10.2.2神經(jīng)網(wǎng)絡(luò)前饋學(xué)習(xí)控制第10章10.2