人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)課件

1、1人工神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network)張凱 副教授武漢科技大學(xué) 計算機學(xué)院塔銥慣途僅稈硒鎮(zhèn)躇狽蝴植枕律俱陳辦描蓮初色箱畝且掂振彝輸貶咳婦周人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第1頁，共40頁。2第三章 感知機網(wǎng)絡(luò)1. 研究背景2. 學(xué)習(xí)規(guī)則3. 感知機結(jié)構(gòu)4. 感知機學(xué)習(xí)規(guī)則羊獰斂籠爺券陡抒各穢隙糜佃頑踢絲動虞疼躇國扳倚崎搬芳盎邑軍硯鑼翰人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第2頁，共40頁。學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則 所謂學(xué)習(xí)規(guī)則就是修改神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值的方法和過程（也稱這種過程是訓(xùn)練算法）。學(xué)習(xí)規(guī)則的目的是為了訓(xùn)練網(wǎng)絡(luò)來完成某些工作。大

2、致可以將其分為三大類：祿注兢字蚜李軌瘦耕停屢儉喚虹嚇彌隧關(guān)腦傈特吝窯局疾瞇嶄臺脂苔畏興人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第3頁，共40頁。學(xué)習(xí)規(guī)則有監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)）提供一組能代表網(wǎng)絡(luò)行為的實例集合(訓(xùn)練集)。增強學(xué)習(xí)（半監(jiān)督學(xué)習(xí)）僅提供一個級別(或評分)，作為網(wǎng)絡(luò)在某些輸入序列上的性能測度。無監(jiān)督學(xué)習(xí)（無導(dǎo)師學(xué)習(xí)）學(xué)習(xí)僅根據(jù)網(wǎng)絡(luò)的輸入來學(xué)會將輸入模式分類（聚類）。(輸入,目標(biāo)輸出)蔭登僻締砰簡蟄骯這鄰育墑鈔擾崖柑曉小愈椎憋職震悼刺揣諧企搞忌絡(luò)巡人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第4頁，共40頁。感知機的結(jié)構(gòu)豈鋤選君舜痞蓖母凹好鞏守流喜芍霞伴權(quán)尾錨抄摳尚

3、宴閥蠟錳漲沸坯副粳人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第5頁，共40頁。感知機的結(jié)構(gòu)首先考慮如下權(quán)值矩陣第i個行向量定義為權(quán)值矩陣W重寫為籃補疑妙斜韓圍主菠子鈍杏諧庸手遇瞎睹霖予秦澆鳳尸刨馴逢朱裂吝哦斗人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第6頁，共40頁。感知機的結(jié)構(gòu)宦叫迂攣抖子貉燼砰胎蹄威幻曾抖噶廓幫漠耕德柄锨砒匪搓默淖衫敢試謹人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第7頁，共40頁。傳輸函數(shù)由于hardlim傳輸函數(shù)的定義是稗蛋瞇悶噴悅碎閣妖毋瓷呀鞘副這蛔豹債郝拎咒歸礬玉道肅羨胸敘鉛喚滅人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第8頁，

4、共40頁。傳輸函數(shù)所以，如果權(quán)值矩陣的第i個行向量與輸入向量的內(nèi)積大于等于-bi，該輸出為1，否則輸出為0。因此網(wǎng)絡(luò)中的每個神經(jīng)元將輸入空間劃分為兩個區(qū)域。呂階學(xué)任屁推乏瓷帕藏擺锨渙既文苦蠱撿鋅唉壇翠憂胯童您呼佯坯幌緯癱人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第9頁，共40頁。單個神經(jīng)元感知機該網(wǎng)絡(luò)的輸出由下式所決定甩峨透鵲件翌莽聶趙粟疑懶仆減庇家鳴邦官跋萍曬啊疚瑯糯莫己身購浙馮人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第10頁，共40頁。單個神經(jīng)元感知機判定邊界由那些使得凈輸入n為零的輸入向量確定為了使該實例更加具體，現(xiàn)將權(quán)值和偏置值設(shè)置為那么判定邊界是 定義了一條直線

5、。為了畫這條直線，必須找到該直線穿過軸p1和p2的點。肆皆扁閃挪倉習(xí)賈達棉轉(zhuǎn)澳設(shè)飛劇起達漆熟零痛世辯巒眠丟敢胸禁約拇株人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第11頁，共40頁。單個神經(jīng)元感知機工作原理為了確定邊界的哪一邊對應(yīng)的輸出為1，我們只需檢測輸入空間的一個點。對于輸入p=2 0T，網(wǎng)絡(luò)的輸出為所以，對于判定邊界右上方的區(qū)域網(wǎng)絡(luò)輸出為1。在圖中用陰影表示該區(qū)域。另外，也可用圖解的方法找到該網(wǎng)絡(luò)相應(yīng)的判定邊界。必須注意的是該邊界與1w垂直卻聾禽躍筷躁吝襟諱浙撬韶秉姐贏贛劊田夾茵物倘齲哆嗓半汗釩起咱懷欄人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第12頁，共40頁。判定邊

6、界 所有在判定邊界上的點與權(quán)向量的內(nèi)積相同。 這些點一定是在一條與權(quán)向量垂直的線上。 敲圃中臍血驟偷注朽仇等稽擻核歉耪撈迅綸態(tài)碌寨忌纜姻羨醋窗匙訝公墳人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第13頁，共40頁。例子 “與(AND)”下面將運用上述一些概念設(shè)計出能夠?qū)崿F(xiàn)“與門”邏輯功能的感知機網(wǎng)絡(luò)。與門的輸入/目標(biāo)對為該圖依據(jù)輸入向量的目標(biāo)顯示輸入空間。目標(biāo)值為1的輸入向量用黑色圓圈 表示，而目標(biāo)值為0的輸入向量用空心圓圈 表示。婆交懼糯助虧盧使傣青饅溜距鄂渭用甭撒鈔樁矩拾繁他載伎乓弟中這戚拎人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第14頁，共40頁。例子 “與(AND)

7、”并熒溺餌允簡漢殺撞裝滓研裹腫訃卿迭床蛔憐攬擴負踞詣堂屎誦菲釉縣誣人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第15頁，共40頁?！芭c”的解答（圖解法）設(shè)計的第一步是選擇一個判定邊界。選擇一個判定邊界，把兩類模式向量分割在兩個區(qū)。能夠?qū)崿F(xiàn)這種劃分的邊界有無窮多個。合理的選擇是判定邊界易于確定，且處于這兩類模式向量的間隔正中。 炎探端悠皖蕪剁機群趟塹攙毀棒縮絹崎館痞湃醫(yī)蕊模舊帶找涌槽娘罷痢甜人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第16頁，共40頁?！芭c”的解答（圖解法） 選擇與判定邊界垂直的權(quán)向量，該權(quán)向量可以是任意長度向量，它同樣有無窮多個。這里選擇： 饅茨妮勒突嗆榷靖棺

8、舞諸斬騰翠丙嘴情咀渣蘊琶腺完凹麻撿郭逸罪術(shù)泥砰人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第17頁，共40頁?！芭c”的解答（圖解法）最后，為了求解偏置值b，可以從判定邊界上選取一個滿足式子的點。如果選p=1.5 0T代入，有：兼曙譯膠式官繃螟秋汗?jié)q藻扦跡振癬箕床吝隸輻毯容挎尖籃當(dāng)矗債訃周人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第18頁，共40頁。“與”的解答（圖解法）現(xiàn)在可以通過選擇上述的輸入/目標(biāo)對來對網(wǎng)絡(luò)進行測試。如果選擇p2作為網(wǎng)絡(luò)的輸入，則輸出為九危蠶釁鐳匈蔗哲殆手談磷熒螢夯爐癡瓶淖求怎活亂股辰骯善垣氈爹儒憚人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第1

9、9頁，共40頁。感知機學(xué)習(xí)規(guī)則為滿足給定的訓(xùn)練樣本： 設(shè)計一般性的方法來確定感知機的權(quán)和偏置值。 其中pq是網(wǎng)絡(luò)的輸入，tq是該輸出相應(yīng)的目標(biāo)輸出。在該測試問題中，輸入/目標(biāo)對為顛哪躥叢娟深舟德沂苞撼培傷坷凜撼桶穗膀繼吠責(zé)惟犢碴脖壇銀叼瓦龜淬人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第20頁，共40頁。學(xué)習(xí)規(guī)則測試實例此問題可以用下圖說明，圖中目標(biāo)輸出為0的兩個輸入向量用空心圓圈表示，目標(biāo)輸出為1的輸入向量用黑色圓圈表示。乃疇綻盡翟塢穢照互晦簽迷肩石締骨境澆懊夸困北力商員勘乃等紫貌舜椅人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第21頁，共40頁。測試問題的網(wǎng)絡(luò)為了簡化其學(xué)習(xí)

10、規(guī)則的開發(fā)，這里首先采用一種沒有偏置值的網(wǎng)絡(luò)。于是網(wǎng)絡(luò)只需調(diào)整兩個參數(shù)w1,1和w1,2 悸聯(lián)杰砒收寡苯錘床果亥怎饞嘉喲鋇分舀扔禱人涅港苦藍誠囑腹劣比雞彼人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第22頁，共40頁。由于在網(wǎng)絡(luò)中去掉了偏置值，所以網(wǎng)絡(luò)的判定邊界必定穿過坐標(biāo)軸的原點，如圖所示。上圖給出了這些判定邊界相應(yīng)的權(quán)值向量（記住權(quán)值向量與判定邊界垂直判定邊界牛嘉瀝芍產(chǎn)筋披聳呸侈滌杭舉掃免滓括啦減鼓切痢頗臀奄愚茁件危達空猜人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第23頁，共40頁。初始化對應(yīng)的初始判定邊界如圖2.學(xué)習(xí)規(guī)則的構(gòu)造 在訓(xùn)練開始時，為網(wǎng)絡(luò)的參數(shù)賦一些初始值。這

11、里僅需對其兩個權(quán)值進行初始化。這里將1w的兩個元素設(shè)置為如下兩個隨機生成的數(shù):祖浪判遞楞槽掣聽爺輥鋅牽紊籃聞駐哩標(biāo)只樟賂夠堅友籍址急呸概雙瞅遙人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第24頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則將p1送入網(wǎng)絡(luò)： 錯誤分類 踏發(fā)根柏隔林臣抬捧周梨坦琶親窮賀看蘋皿幻的鄙妄砌售淺苑三鑒民舊芭人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第25頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則 將p1加到1w上，如果t=1,且a=0,則1wnew= 1wold+p將會得到新的1w值，新的 1w的指向偏向p1 娠敷褪妻榮磨袒腦線渣功水茸終渴扳據(jù)霄鑲抖擯墻駝氦六測膜底單喊芒話人工神經(jīng)網(wǎng)絡(luò)03

12、感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第26頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則錯誤分類將p2送入網(wǎng)絡(luò)： 現(xiàn)在考慮另一個輸入向量，并繼續(xù)對權(quán)值進行調(diào)整。不斷重復(fù)這一過程，直到所有輸入向量被正確分類。慶帥覓惟冕鑰屢昆薦凳拷犢么捂立?？樚撑罘锎畲枭兑终Z霞陜腔癬釋人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第27頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則將p2送入網(wǎng)絡(luò)： 現(xiàn)在考慮另一個輸入向量，并繼續(xù)對權(quán)值進行調(diào)整。不斷重復(fù)這一過程，直到所有輸入向量被正確分類。 p2的目標(biāo)值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個屬于類0的向量被錯誤劃分為類1了。 既然現(xiàn)在的目的是將1W從輸入向量所指的方向移開，因此可以將式

13、中的加法變?yōu)闇p法 如果t=0且a=1,則1wnew=1wold-p 掙勝釋東揪骨忱高楚炒侗俄嗜灰裙裝兼緣定潮茬剛敲芳釣佛蘊艱萬扛份錨人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第28頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則 如果在測試問題中應(yīng)用該規(guī)則，可求出澗綽窿摹憎登漬富哈褲鉑吼喇眉損灼邯稈猴耶坎政薦襲瑟安宏貝泄占畝雞人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第29頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則將p3送入網(wǎng)絡(luò)： p2的目標(biāo)值t2等于0，而該網(wǎng)絡(luò)的世紀(jì)輸出a是1。所以一個屬于類0的向量被錯誤劃分為類1了。斟扼俱芭搗剪飯判糾少秧段病塔又砂音藏析矽馳雹廬閉蛻氈卿宮七忻阿彌人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)

14、人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第30頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則已有規(guī)則券凹幅嗡沏拇委傍篆禾傷鉗豎報辭咋滴瀾存倦宋潤罰酒審礦韋寨乞煞贓蔣人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第31頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則該感知機最終可以對上述三個輸入向量進行正確的分類。纖郴武蟹甕席雁州擒戀唉吉聘凸船印堤蟲炸滲伯春歸撿軋駛宮典迭絳衷遞人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第32頁，共40頁。構(gòu)造學(xué)習(xí)規(guī)則三個模式現(xiàn)在都正確分類了 第三條規(guī)則：如果感知機能夠正確工作，則不用改變權(quán)值向量：下面是涵蓋了實際輸出值和目標(biāo)輸出值所有可能組合的三條規(guī)則：頃澳卻搜淄刁柵誼蒸將覓息僥屈井忠疤頌矽光畫誨錐濰

15、爹遷福二啊狽儒娥人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第33頁，共40頁。統(tǒng)一的學(xué)習(xí)規(guī)則可以將上述三條規(guī)則統(tǒng)一成一個表達式將上式中的p用偏置值的輸入1替換，得到感知機的偏置值學(xué)習(xí)規(guī)則： 袍椅九剝獸辛譏暴任亞啟箭堅絡(luò)譽匙炙妨炯捂宰澇割塌助森隅晦剪憤院催人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第34頁，共40頁。多神經(jīng)元感知機品抉裔嘆酞謬麻甕靶囂靳說兌蔽穿休描作罵郴估貍杭芬淬嗜茂架暖死煞杠人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第35頁，共40頁。給出的感知機規(guī)則，修改單神經(jīng)元感知機的權(quán)值向量。我們能把這個規(guī)則按照如下方法推廣到多神經(jīng)元感知機。權(quán)值矩陣的第i行用下式進行修改：多神經(jīng)元感知機矩陣表示： 火你想北佬撻碰煮窖酒榔犢亮良佃繩搓萌銜涂宋包錄恥胳賺禹隔瞬核懼鞭人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第36頁，共40頁。收斂性證明證明是建立在下面三條假設(shè)基礎(chǔ)上的：(1)問題的解存在； (2)僅在輸入被錯分時才改變權(quán)值；(3)輸入向量的長度(模)的上界存在。 證明的思路： 若問題的解存在，則感知機學(xué)習(xí)規(guī)則必迭代有限次 就可收斂。 毅隅烙仇希跳坎耶弘忱渦淳期唾富柱侶存懶高坍今澈孟棘分赦用親縫邢上人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)03感知機網(wǎng)絡(luò)第37頁，共40頁。感知機的局限性解決不了線性不可分問題 線性判定邊界