線性神經(jīng)網(wǎng)絡(luò)

線性神經(jīng)網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)第1頁Outline1.線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.LMS學(xué)習(xí)算法3.LMS算法中學(xué)習(xí)率選擇4.線性神經(jīng)網(wǎng)絡(luò)與感知器對比5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例線性神經(jīng)網(wǎng)絡(luò)第2頁1.線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)最經(jīng)典例子是自適應(yīng)線性元件（AdaptiveLinearElement，Adaline）。線性神經(jīng)網(wǎng)絡(luò)與感知器主要區(qū)分在于，感知器傳輸函數(shù)只能輸出兩種可能值，而線性神經(jīng)網(wǎng)絡(luò)輸出能夠取任意值，其傳輸函數(shù)是線性函數(shù)。

線性神經(jīng)網(wǎng)絡(luò)在收斂精度和速度上較感知器都有了較大提升，但因?yàn)槠渚€性運(yùn)算規(guī)則，它也只能處理線性可分問題。

線性神經(jīng)網(wǎng)絡(luò)第3頁1.線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)線性神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上與感知器網(wǎng)絡(luò)非常相同，只是神經(jīng)元傳輸函數(shù)不一樣。線性神經(jīng)網(wǎng)絡(luò)第4頁1.線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)若網(wǎng)絡(luò)中包含多個神經(jīng)元節(jié)點(diǎn)，就能形成多個輸出，這種線性神經(jīng)網(wǎng)絡(luò)叫Madaline網(wǎng)絡(luò)。Madaline能夠用一個間接方式處理線性不可分問題，方法是用多個線性函數(shù)對區(qū)域進(jìn)行劃分，然后對各個神經(jīng)元輸出做邏輯運(yùn)算。線性神經(jīng)網(wǎng)絡(luò)第5頁1.線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

線性神經(jīng)網(wǎng)絡(luò)處理線性不可分問題另一個方法是，對神經(jīng)元添加非線性輸入，從而引入非線性成份，這么做會使等效輸入維度變大。線性神經(jīng)網(wǎng)絡(luò)第6頁2.LMS學(xué)習(xí)算法LMS算法與感知器網(wǎng)絡(luò)學(xué)習(xí)算法在權(quán)值調(diào)整上都基于糾錯學(xué)習(xí)規(guī)則，但LMS更易實(shí)現(xiàn)，所以得到了廣泛應(yīng)用，成為自適應(yīng)濾波標(biāo)準(zhǔn)算法。也稱為規(guī)則采取均方誤差作為評價指標(biāo)是輸入訓(xùn)練樣本個數(shù)。線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)是找到適當(dāng)，使得誤差均方差最小。只要用對求偏導(dǎo)，再令該偏導(dǎo)等于零即可求出極值。顯然，必為正值，所以二次函數(shù)是凹向上，求得極值必為極小值。線性神經(jīng)網(wǎng)絡(luò)第7頁2.LMS學(xué)習(xí)算法誤差表示為求導(dǎo)誤差等于期望輸出—實(shí)際輸出求導(dǎo)代入，有：權(quán)值修正值正比于當(dāng)前位置上梯度線性神經(jīng)網(wǎng)絡(luò)第8頁2.LMS學(xué)習(xí)算法（1）定義變量和參數(shù)。（2）初始化。給向量賦一個較小隨機(jī)初值。（3）輸入樣本，計(jì)算實(shí)際輸出和誤差。（4）調(diào)整權(quán)值向量。（5）判斷算法是否收斂。若滿足收斂條件，則算法結(jié)束，不然跳轉(zhuǎn)到第3步重新計(jì)算。線性神經(jīng)網(wǎng)絡(luò)第9頁3.LMS算法中學(xué)習(xí)率選擇學(xué)習(xí)率越小，算法運(yùn)行時間就越長，算法也就記憶了更多過去數(shù)據(jù)。所以，學(xué)習(xí)率倒數(shù)反應(yīng)了LMS算法記憶容量大小。1996年Hayjin證實(shí)，只要學(xué)習(xí)率滿足下式，LMS算法就是按方差收斂：輸入向量自相關(guān)矩陣最大特征值普通不可知，用矩陣跡代替，跡就是主對角線元素之和。線性神經(jīng)網(wǎng)絡(luò)第10頁3.LMS算法中學(xué)習(xí)率選擇自相關(guān)矩陣主對角線元素就是各輸入向量均方值，故：在感知器學(xué)習(xí)算法中曾提到，學(xué)習(xí)率伴隨學(xué)習(xí)進(jìn)行逐步下降比一直不變愈加合理。反百分比函數(shù)指數(shù)式下降搜索—收斂方案線性神經(jīng)網(wǎng)絡(luò)第11頁4.線性神經(jīng)網(wǎng)絡(luò)與感知器對比網(wǎng)絡(luò)傳輸函數(shù)。感知器傳輸函數(shù)是一個二值閾值元件，而線性神經(jīng)網(wǎng)絡(luò)傳輸函數(shù)是線性。這就決定了感知器只能做簡單分類，而線性神經(jīng)網(wǎng)絡(luò)還能夠?qū)崿F(xiàn)擬合或迫近。學(xué)習(xí)算法。LMS算法得到分類邊界往往處于兩類模式正中間，而感知器學(xué)習(xí)算法在剛才能正確分類位置就停下來了，從而使分類邊界離一些模式距離過近，使系統(tǒng)對誤差更敏感。線性神經(jīng)網(wǎng)絡(luò)第12頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解net=newlind(P,T)P：R*Q矩陣，包含Q個訓(xùn)練輸入向量。T：S*Q矩陣，包含Q個期望輸出向量。net:訓(xùn)練好線性神經(jīng)網(wǎng)絡(luò)newlind——設(shè)計(jì)一個線性層newlind函數(shù)返回net已經(jīng)訓(xùn)練完成，不需要再自行調(diào)用train函數(shù)訓(xùn)練線性神經(jīng)網(wǎng)絡(luò)第13頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解>>x=-5:5;>>y=3*x-7; %直線方程為>>randn('state',2); %設(shè)置種子，便于重復(fù)執(zhí)行>>y=y+randn(1,length(y))*1.5; %加入噪聲直線>>plot(x,y,'o');>>P=x;T=y;>>net=newlind(P,T); %用newlind建立線性層>>new_x=-5:.2:5; %新輸入樣本>>new_y=sim(net,new_x); %仿真>>holdon;plot(new_x,new_y);>>legend('原始數(shù)據(jù)點(diǎn)','最小二乘擬合直線');>>net.iw >>net.b >>title('newlind用于最小二乘擬合直線');newlind擬合直線線性神經(jīng)網(wǎng)絡(luò)第14頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解[net=newlin(P,S,ID,LR)P：R*Q矩陣，P中包含Q個經(jīng)典輸入向量，向量維數(shù)為RS：標(biāo)量，表示輸出節(jié)點(diǎn)個數(shù)。ID：表示輸入延遲向量，默認(rèn)值為0LR：學(xué)習(xí)率，默認(rèn)值為0.01newlin——結(jié)構(gòu)一個線性層。newlin函數(shù)用于創(chuàng)建一個未經(jīng)訓(xùn)練線性神經(jīng)網(wǎng)絡(luò)。輸入?yún)?shù)格式以下線性神經(jīng)網(wǎng)絡(luò)第15頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解>>x=-5:5;>>y=3*x-7; %直線方程為>>randn('state',2); %設(shè)置種子，便于重復(fù)執(zhí)行>>y=y+randn(1,length(y))*1.5; %加入噪聲直線>>plot(x,y,'o');>>P=x;T=y;>>net=newlin(minmax(P),1,[0],maxlinlr(P)); %用newlin創(chuàng)建線性網(wǎng)絡(luò)>>tic;net=train(net,P,T);toc >>new_x=-5:.2:5;>>new_y=sim(net,new_x); %仿真>>holdon;plot(new_x,new_y);>>legend('原始數(shù)據(jù)點(diǎn)','最小二乘擬合直線');>>title('newlin用于最小二乘擬合直線');>>net.iw>>net.bnewlin實(shí)現(xiàn)直線擬合線性神經(jīng)網(wǎng)絡(luò)第16頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解purelin——線性傳輸函數(shù)輸入就等于輸出，不做其它操作線性神經(jīng)網(wǎng)絡(luò)第17頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解learnwh——LMS學(xué)習(xí)函數(shù)learnwh是Widrow-Hoff規(guī)則（LMS算法）學(xué)習(xí)函數(shù)。[dW,LS]=learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)用learnwh能夠自行編寫訓(xùn)練函數(shù)。用learwh實(shí)現(xiàn)線性神經(jīng)網(wǎng)絡(luò)與newlin、newlind函數(shù)算得結(jié)果是一樣。

運(yùn)行example5_4.m線性神經(jīng)網(wǎng)絡(luò)第18頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解maxlinlr——計(jì)算最大學(xué)習(xí)率lr=maxlinlr(P)lr=maxlinlr(P,’bias’)

：包含偏置>>X=[12-47;0.13106]%輸入矩陣，由4個二維向量組成>>lr=maxlinlr(X,‘bias’) %帶偏置時最大學(xué)習(xí)率>>lr=maxlinlr(X) %不帶偏置最大學(xué)習(xí)率>>lr=0.9999/max(eig(X*X'))>>P=-5:5;>>lr=maxlinlr(P)線性神經(jīng)網(wǎng)絡(luò)第19頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解

mse——均方誤差性能函數(shù)。>>rand('seed',2)>>a=rand(3,4) >>mse(a) >>b=a(:); >>sum(b.^2)/length(b)>>mse(b) 線性神經(jīng)網(wǎng)絡(luò)第20頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解

linearlayer——結(jié)構(gòu)線性層函數(shù).linearlayer函數(shù)用于設(shè)計(jì)靜態(tài)或動態(tài)線性系統(tǒng)，給定一個足夠小學(xué)習(xí)率能使它穩(wěn)定收斂。net=linearlayer(inputDelays,widrowHoffLR)inputDelays：表示輸入延遲行向量widrowHoffLR：學(xué)習(xí)率newlin是將被系統(tǒng)廢棄函數(shù)，使用newlin函數(shù)場所以后用linearlayer代替線性神經(jīng)網(wǎng)絡(luò)第21頁5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解>>x=-5:5;>>y=3*x-7;>>randn('state',2); %設(shè)置種子，便于重復(fù)執(zhí)行>>y=y+randn(1,length(y))*1.5; %加入噪聲直線>>plot(x,y,'o');>>P=x;T=y;>>lr=maxlinlr(P,'bias') %計(jì)算最大學(xué)習(xí)率>>net=linearlayer(0,lr); %用linearlayer創(chuàng)建線性層，輸入延遲為0>>tic;net=train(net,P,T);toc %用train函數(shù)訓(xùn)練>>new_x=-5:.2:5;>>new_y=sim(net,new_x); %仿真>>holdon;plot(new_x,new_y);>>title('linearlayer用于最小二乘擬合直線');>>legend('原始數(shù)據(jù)點(diǎn)','最小二乘擬合直線');>>xlabel('x');ylabel('y');>>s=sprintf('y=%f*x+%f',net.iw{1,1},net.b{1,1})>>text(-2,0,s);linearlayer實(shí)現(xiàn)直線擬合線性神經(jīng)網(wǎng)絡(luò)第22頁6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與網(wǎng)絡(luò)訓(xùn)練中共需確定3個自由變量，而輸入訓(xùn)練向量則有4個，所以能夠形成一個線性方程組：因?yàn)榉匠虃€數(shù)超出了自變量個數(shù)，所以方程沒有準(zhǔn)確解，只有近似解，用偽逆方法能夠求得權(quán)值向量值：>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P]>>d=[0,0,0,1] >>pinv(P')*d' 線性神經(jīng)網(wǎng)絡(luò)第23頁6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與手算：%定義>>P=[0,0,1,1;0,1,0,1]>>P=[ones(1,4);P] %包含偏置輸入向量>>d=[0,0,0,1] %期望輸出向量%初始化>>w=[0,0,0] %權(quán)值向量初始化為零向量>>lr=maxlinlr(P) %依據(jù)輸入矩陣求解最大學(xué)習(xí)率>>MAX=200; %最大迭代次數(shù)，依據(jù)經(jīng)驗(yàn)確定線性神經(jīng)網(wǎng)絡(luò)第24頁>>fori=1:MAX...fprintf('第%d次迭代\n',i);v=w*P; %求出輸出y=v;disp('線性網(wǎng)絡(luò)二值輸出：');yy=y>=0.5 %將模擬輸出轉(zhuǎn)化為二值輸出，以0.5為閾值e=d-y; %誤差m(i)=mse(e); %均方誤差fprintf('均方誤差：%f\n',m(i));dw=lr*e*P'; %權(quán)值向量調(diào)整量fprintf('權(quán)值向量：\n');w=w+dw %調(diào)整權(quán)值向量end6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與線性神經(jīng)網(wǎng)絡(luò)第25頁plot([0,0,1],[0,1,0],'o');holdon;plot(1,1,'d');x=-2:.2:2;y=1.5-x;plot(x,y)axis([-0.5,2,-0.5,2])xlabel('x');ylabel('ylabel');title('線性神經(jīng)網(wǎng)絡(luò)用于求解與邏輯')legend('0','1','分類面');得到分類超平面為：6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例——與線性神經(jīng)網(wǎng)絡(luò)第