信息工程概論課件 第十講 機(jī)器學(xué)習(xí)-感知器算法

第10講機(jī)器學(xué)習(xí)-感知器算法10.1概述由美國(guó)學(xué)者Rosenblatt在1957年首次提出學(xué)習(xí)算法是Rosenblatt在1958年提出的包含一個(gè)突觸權(quán)值可調(diào)的神經(jīng)元屬于前向神經(jīng)網(wǎng)絡(luò)類型只能區(qū)分線性可分的模式IEEE設(shè)立以其名字命名的獎(jiǎng)項(xiàng)2信息科學(xué)導(dǎo)論10.2單層感知器模型f(v)x1······by=f(v)x2xiw1xmw2wmwi3信息科學(xué)導(dǎo)論10.2單層感知器模型單層感知器工作原理 單層感知器可將外部輸入分為兩類。當(dāng)感知器的輸出為+1時(shí)，輸入屬于l1類，當(dāng)感知器的輸出為-1時(shí)，輸入屬于l2類，從而實(shí)現(xiàn)兩類目標(biāo)的識(shí)別。在二維空間，單層感知器進(jìn)行模式識(shí)別的判決超平面由下式?jīng)Q定：4信息科學(xué)導(dǎo)論10.2單層感知器模型單層感知器工作原理對(duì)于只有兩個(gè)輸入的判別邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的和，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開(kāi)。5信息科學(xué)導(dǎo)論10.2單層感知器學(xué)習(xí)算法基于迭代的思想，通常是采用誤差校正學(xué)習(xí)規(guī)則的學(xué)習(xí)算法?？梢詫⑵米鳛樯窠?jīng)元權(quán)值向量的第一個(gè)分量加到權(quán)值向量中,也可以設(shè)其值為0。輸入向量和權(quán)值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。6信息科學(xué)導(dǎo)論10.2單層感知器學(xué)習(xí)算法7信息科學(xué)導(dǎo)論10.3感知器算法學(xué)習(xí)算法實(shí)例:

構(gòu)建一個(gè)神經(jīng)元，它能夠?qū)崿F(xiàn)邏輯與操作x1 x2 d0 0 00 1 01 0 01 1

1邏輯“與”真值表8信息科學(xué)導(dǎo)論10.3感知器算法確定權(quán)值和閾值w1=w2=b=9信息科學(xué)導(dǎo)論10.3感知器算法設(shè)閾值為0.6，初始權(quán)值均為0.1，學(xué)習(xí)率為0.5，誤差值要求為0，神經(jīng)元的激活函數(shù)為硬限幅函數(shù)，求權(quán)值w1與w2。迭代次數(shù)樣本標(biāo)號(hào)輸入或權(quán)值標(biāo)號(hào)變量10信息科學(xué)導(dǎo)論10.3感知器算法11信息科學(xué)導(dǎo)論10.3感知器算法對(duì)于樣本1，輸出神經(jīng)元的輸入為：輸出神經(jīng)元的輸出為：12信息科學(xué)導(dǎo)論10.3感知器算法權(quán)值調(diào)整樣本2與3同樣本1，因輸出為0省略對(duì)于樣本4，輸出神經(jīng)元的輸入為：13信息科學(xué)導(dǎo)論10.3感知器算法輸出神經(jīng)元的輸出為：權(quán)值調(diào)整：14信息科學(xué)導(dǎo)論10.3感知器算法此時(shí)完成一次循環(huán)過(guò)程，由于誤差沒(méi)有達(dá)到0，返回第2步繼續(xù)循環(huán)，在第二次循環(huán)中，前三個(gè)樣本輸入時(shí)因誤差均為0，所以沒(méi)有對(duì)權(quán)值進(jìn)行調(diào)整，各權(quán)值仍保持第一次循環(huán)的最后值，第四個(gè)樣本輸入時(shí)各參數(shù)值如下：15信息科學(xué)導(dǎo)論10.3感知器算法計(jì)算誤差時(shí)，對(duì)所有的樣本，網(wǎng)絡(luò)的輸出誤差均為0，達(dá)到預(yù)定的要求，訓(xùn)練結(jié)束.16信息科學(xué)導(dǎo)論10.4感知器算法Ⅱ任選一初始增廣權(quán)矢量用訓(xùn)練樣本檢驗(yàn)分類是否正確對(duì)所有訓(xùn)練樣本都正確分類？YesENDYesNo對(duì)權(quán)值進(jìn)行校正No17信息科學(xué)導(dǎo)論10.4感知器算法Ⅱ18

(4)如果k<N，令k=k+1，返至⑵。如果k=N，檢驗(yàn)判別函數(shù)對(duì)是否都能正確分類。若是，結(jié)束；若不是,令k=1，返至⑵。

(3)調(diào)整增廣權(quán)矢量，規(guī)則是

--如果和，則

--如果和，則

--如果和，或和，則<010.4感知器算法Ⅱ1910.4感知器算法Ⅱ如果訓(xùn)練模式已經(jīng)規(guī)范化，即：已乘以-1（包括增廣分量），則校正權(quán)矢量的規(guī)則可以統(tǒng)一為：在用全部模式訓(xùn)練完一輪后，只要還有模式被判錯(cuò)，則需進(jìn)行第二輪迭代，建立新的權(quán)矢量，如此循環(huán)，直到能對(duì)所有模式均能正確分類為止。20信息科學(xué)導(dǎo)論舉例：已知四個(gè)訓(xùn)練樣本

w1={(0,0),(0,1)}

w2={(1,0),(1,1)}

使用感知器固定增量法求判別函數(shù)設(shè)w1=(1