智能控制理論及應(yīng)用 課件 第7章-線性神經(jīng)網(wǎng)絡(luò)

主要內(nèi)容7.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)7.2線性神經(jīng)網(wǎng)絡(luò)的功能7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法LMS7.4線性神經(jīng)網(wǎng)絡(luò)仿真示例7.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是等值映射函數(shù)。此單元的輸出就是它的凈輸入。.第7章7.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)…Adaline和Perceptron有什么區(qū)別？？？Adaline:線性神經(jīng)網(wǎng)絡(luò)BernardWidrow,19597.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第7章7.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)激勵(lì)函數(shù)不同7.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第7章7.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)若網(wǎng)絡(luò)中包含多個(gè)神經(jīng)元節(jié)點(diǎn)，就能形成多個(gè)輸出，這種線性神經(jīng)網(wǎng)絡(luò)叫做Madaline網(wǎng)絡(luò)7.2線性神經(jīng)網(wǎng)絡(luò)的功能Adaline本質(zhì)上就是一個(gè)線性回歸器第7章7.2線性神經(jīng)網(wǎng)絡(luò)的功能65輛汽車的樣本數(shù)據(jù)，每個(gè)點(diǎn)代表一個(gè)樣本，橫坐標(biāo)為汽車重量（噸），縱坐標(biāo)為每升汽油可行駛公里數(shù)（公里/升。解決方案：基于給定的數(shù)據(jù)建立線性神經(jīng)網(wǎng)絡(luò)模型假設(shè)我們給出第66輛汽車的重量，請(qǐng)你根據(jù)上述數(shù)據(jù)預(yù)測(cè)它的耗油量?7.2線性神經(jīng)網(wǎng)絡(luò)的功能第7章7.2線性神經(jīng)網(wǎng)絡(luò)的功能哪組參數(shù)是最優(yōu)的？LMS:最小方差算法（LeastMeanSquare）；1960年，由Widrow和Hoff共同提出；又被稱為Widrow-Hoff學(xué)習(xí)算法或DeltaRule。7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法定義評(píng)價(jià)函數(shù)（損失函數(shù)）注意:p:訓(xùn)練樣本的序號(hào)。:第p組樣本的目標(biāo)輸出。:第p組樣本的網(wǎng)絡(luò)計(jì)算輸出。7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法評(píng)價(jià)函數(shù)E是關(guān)于權(quán)值向量w的函數(shù)7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法以7.2節(jié)中的汽車重量-油耗為例，該例中65組樣本數(shù)據(jù)的誤差平方和E與的函數(shù)關(guān)系為7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法以7.2節(jié)中的汽車重量-油耗為例，該例中65組樣本數(shù)據(jù)的誤差平方和E與的函數(shù)關(guān)系為線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)是找到適當(dāng)?shù)膚，使得誤差E(w)最小。*梯度下降算法又稱為最速下降法其思路為從空間中的某一點(diǎn)開(kāi)始，沿著負(fù)梯度方向（最陡下降方向）不斷迭代，直到達(dá)到目標(biāo)函數(shù)的最小值。隨機(jī)選擇w0,w1的初始值。更新參數(shù)

w0,w1重復(fù)步驟2，直到損失函數(shù)E接近于零第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法最佳預(yù)測(cè)=最小化

E=最優(yōu)參數(shù)

w0,w1梯度定義:梯度通常只指其偏導(dǎo)數(shù)的向量。對(duì)于三維坐標(biāo)系:第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法梯度7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法LMS算法的實(shí)現(xiàn)步驟7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法討論1:批量學(xué)習(xí)vs增量學(xué)習(xí)批量學(xué)習(xí):在更新權(quán)重之前，累積訓(xùn)練集中所有數(shù)據(jù)點(diǎn)的梯度貢獻(xiàn)。增量學(xué)習(xí):在看到每個(gè)數(shù)據(jù)點(diǎn)后立即更新權(quán)重。第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法討論1:批量學(xué)習(xí)vs增量學(xué)習(xí)當(dāng)訓(xùn)練集數(shù)量巨大時(shí)，建議使用增量式梯度下降算法Initializew0,w1Update,untilconvergeforp=1:N(numberoftrainingexamples){fori=1:n(numberofinputs)

{wi:=wi-learning_rate*Gradient;}}第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法討論2:學(xué)習(xí)率如果

太小,該算法需要很長(zhǎng)時(shí)間才能收斂如果

太大,最終可能會(huì)在誤差曲面上來(lái)回跳動(dòng)，最終發(fā)散lr=maxlinlr(P)P:輸入向量輸入向量組成的協(xié)方差矩陣的最大特征值第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法討論2:學(xué)習(xí)率第7章7.3線性神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法學(xué)習(xí)率隨著學(xué)習(xí)次數(shù)的增加逐漸下降比保持不變更加合理。在學(xué)習(xí)的初期，用較大的學(xué)習(xí)率保證搜索效率，隨著迭代次數(shù)增加，減少學(xué)習(xí)率以保證精度。線性下降法指數(shù)下降法課堂練習(xí)推導(dǎo)損失函數(shù)E的梯度。假設(shè)我們有以下訓(xùn)練樣本，請(qǐng)計(jì)算w1和w0的第一次迭代更新后的值。x1d-1.250.8-0.90.3-0.50.2w1

,w0

的初始值為0.1和0.2學(xué)習(xí)率=0.017.4線性神經(jīng)網(wǎng)絡(luò)仿真示例第7章7.4線性神經(jīng)網(wǎng)絡(luò)仿真示例%清除操作Clear,

clc,closeall;%樣本數(shù)據(jù)的散點(diǎn)圖繪制loadcardata%導(dǎo)入數(shù)據(jù)，第一列為汽車重量，第二列為每升汽油可行駛的公里數(shù)plot(cardata(:,1),cardata(:,2),'.','MarkerSize',14);%繪制樣本數(shù)據(jù)xlabel('carweight/ton');%設(shè)置x軸標(biāo)簽ylabel('kmperliter')%設(shè)置y軸標(biāo)簽axis([0.62.4211.6])%設(shè)置坐標(biāo)軸的范圍

%構(gòu)建線性神經(jīng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練cardata=cardata';%數(shù)據(jù)轉(zhuǎn)置lr=maxlinlr(cardata(1,:),'bias')%根據(jù)輸入矩陣求解最大學(xué)習(xí)率net=linearlayer(0,lr);%建立線性神經(jīng)網(wǎng)絡(luò)，第一個(gè)參數(shù)為輸入延遲量net=train(net,cardata(1,:),cardata(2,:));%訓(xùn)練網(wǎng)絡(luò)view(net);%顯示網(wǎng)絡(luò)結(jié)構(gòu)y=net(cardata(1,:));%基于訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)perf=perform(net,cardata(2,:),y)