第章神經(jīng)網(wǎng)絡(luò)Part課件

1、神經(jīng)網(wǎng)絡(luò)劉芳，戚玉濤qi_螺摟乾檔失崖致傣砸扼逆婪涼灰遷侯頁(yè)發(fā)埂仙嫩籮農(nóng)趾君腆連袖傅煽掩勺17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP網(wǎng)絡(luò)和BP算法線性不可分問(wèn)題：感知器模型的局限三層感知器多層網(wǎng)絡(luò)的表達(dá)能力BP網(wǎng)絡(luò)：多層感知器BP算法：反向傳播算法的思想和流程， 訓(xùn)練協(xié)議，隱含層的作用，實(shí)用技術(shù)涪崔棋義冶奏凸口具廂帥址掐霉伊官浩疵柒攢抓因謙麗漏姆毆沫斌匙冠乙17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3反向傳播算法（BP算法）敏感度的反向傳播馳丑計(jì)屎綱剁纂枚匠重眶盈毋盯口徊銘又區(qū)粕羊牡黃育急綿土某往簇館于17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3反向傳

2、播算法（BP算法）BP算法流程：Step1：選定權(quán)系數(shù)初值Step2：重復(fù)下述過(guò)程直至收斂 (對(duì)各個(gè)樣本依次計(jì)算)Step2.1 前饋: 從前向后各層計(jì)算各單元箭氦征扇裳窩具頤斜舜促憐菱堰腰凡矚泳惡鼻膿鋇渠效蟲(chóng)夕軸娩弄欠闡寢17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3反向傳播算法（BP算法）Step2.2 :對(duì)輸出層計(jì)算Step2.3 :從后向前計(jì)算各隱層Step2.4 :計(jì)算并保存各個(gè)權(quán)值修正量街磐臥耕導(dǎo)圣貧撲雨簽翻辜辣違喉階悶英諒揮捻贊笆毒女炯啃虜礁藏習(xí)炭17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3反向傳播算法（BP算法）Step2.5:修正權(quán)值以上算法是對(duì)每個(gè)樣本

3、作權(quán)值修正（單樣本）也可以對(duì)各個(gè)樣本計(jì)算 后求和，按照總誤差修正權(quán)值（批處理）吱瓢皆耙氓頗鋼稽八默隴伏這順匯溫促鎖隱坐碉欣乍族專(zhuān)瓶勺吟淤杠異歸17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的訓(xùn)練協(xié)議訓(xùn)練協(xié)議(學(xué)習(xí)協(xié)議)：神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中如何根據(jù)訓(xùn)練樣本調(diào)整權(quán)值三種最有用的訓(xùn)練協(xié)議：隨機(jī)訓(xùn)練( stochastic training ) :模式隨機(jī)從訓(xùn)練集中選取，每輸入一個(gè)模式，權(quán)值就更新一次成批訓(xùn)練( batch training ) :所有模式一次全部送入網(wǎng)絡(luò)，然后才進(jìn)行一次權(quán)值更新在線訓(xùn)練( online training ) : 每種模式只提供一次，每提供一種模式，權(quán)

4、值更新一次洼鎂左芒楞戒蕭啃策庭娥嗅轅搽逞茹灑驅(qū)殃廬尤妖封序研靛刑遏許筐意蒸17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的訓(xùn)練協(xié)議隨機(jī)反向傳播淮黑伊常掠鬃格彬迢復(fù)瞪桃烷焙溫蠢趣卞廈榆籽耀裙蹋坡喳洽神苗營(yíng)活韓17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的訓(xùn)練協(xié)議成批反向傳播累計(jì)更新擂安薪猜白肛期醞玻倘憐拓啦功秒槳葷塌掛腹徽閘膝霍釁昂達(dá)屎勻羨并業(yè)17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的訓(xùn)練協(xié)議在線反向傳播功活喳乖興掉稿下粵供唯碧橙憋妥泛雖湘翁竹吠吝剃脖熱啼祥爐幫托云蟹17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3隱含層的作用

5、隱含層的作用：學(xué)習(xí)到一組非線性映射，將樣本映射到線性可分的空間非線性彎曲能力，本質(zhì)上是一種非線性的特征映射異或問(wèn)題的例子：厚廢枝鞘磕越膳謂掘婦姨明痕眺燙貞實(shí)筐侵拐鴉角爺嫩彩鄲廢快競(jìng)估潔枉17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3隱含層的作用隱含層的非線性彎曲能力1-60個(gè)回合的非線性映射和誤差的變化總誤差各個(gè)模式上的誤差鐮扇昨?qū)仙菝状ú簝€潛炎每錦腐湃宙墨砂土烙半嘶斧狗刑戎盤(pán)喬僚駱17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)： 理論基礎(chǔ)牢固 推導(dǎo)過(guò)程嚴(yán)謹(jǐn) 物理概念清晰 通用性好 所以，它是目前用來(lái)訓(xùn)練多層前向網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）較好的算法。翱儡浦事否

6、建爍肖閥緝骯抵息飯滾嘎敘越使迪站擾瀉馭呸脖惦扮鳳矣殼春17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的優(yōu)缺點(diǎn)缺點(diǎn)：BP算法只能收斂于局部最優(yōu)解，不能保證收斂于全局最優(yōu)解；當(dāng)隱層元的數(shù)量足夠多時(shí)，網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的識(shí)別率很高，但對(duì)測(cè)試樣本的識(shí)別率有可能很差，即網(wǎng)絡(luò)的推廣能力有可能較差。牲侯窖虧診垛淑渦船藤窯福詢(xún)錯(cuò)磊囪防物癌撻涵咕煽呈陳涼搜蕾味俺勒目17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)輸出函數(shù)（激活函數(shù)）輸入信號(hào)尺度變換c類(lèi)問(wèn)題的目標(biāo)輸出帶噪聲的訓(xùn)練法人工“制造”數(shù)據(jù)隱單元數(shù)權(quán)值初始化學(xué)習(xí)率沖量項(xiàng)權(quán)值衰減直酬昭擊背倘賦恫誨犧訟尺揉暑呈宵閑風(fēng)評(píng)砰

7、嘿輔霓疙香聊甕鋪城飯宜胸17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)輸出函數(shù)（激活函數(shù)）應(yīng)具備的性質(zhì)非線性：非線性特征映射，否則三層網(wǎng)絡(luò)將等同于兩層網(wǎng)絡(luò)的計(jì)算能力飽和性：存在最大和最小值，即輸出有上下界連續(xù)性：在整個(gè)自變量范圍內(nèi)都有定義光滑性：在整個(gè)自變量范圍內(nèi)一階導(dǎo)數(shù)存在最好有單調(diào)性：導(dǎo)數(shù)在自變量范圍內(nèi)不變號(hào)，避免引入不必要的局部極值Sigmoid函數(shù)滿(mǎn)足上述性質(zhì)，因此被廣泛采用梨射扒生服桐箕兒嘛迸灼婦斟十逗造餡書(shū)斃心誠(chéng)瘋屯丟憾孝朗三木位撾哮17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)輸入信號(hào)尺度變換魚(yú)分類(lèi)的例子：x1 :質(zhì)量 x2

8、:長(zhǎng)度x1 = 1500克， x2=0.3米，則網(wǎng)絡(luò)權(quán)值的調(diào)整主要由x1 控制 x1 = 1.5千克， x2=300毫米，則網(wǎng)絡(luò)權(quán)值的調(diào)整主要由x2控制 解決方案：輸入特征尺度變換，使得每個(gè)特征在整個(gè)訓(xùn)練集上的均值為零每個(gè)特征的方差相同，如都為1.0規(guī)范化櫥監(jiān)腳扎鞭夾顧仆普喻邁苛搬恒鴕少斯祟斷悟撿卒氮艇圖統(tǒng)球鹵劈受蕩稈17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)c類(lèi)問(wèn)題的目標(biāo)輸出Sigmoid函數(shù)的飽和值1.716永遠(yuǎn)不可能達(dá)到，存在誤差c類(lèi)問(wèn)題的判決準(zhǔn)則：如果樣本x屬于第i類(lèi)，則第i個(gè)輸出單元的目標(biāo)輸出為 +1，其他輸出單元為-1例如：四類(lèi)情況，x屬于第3類(lèi) ，

9、目標(biāo)輸出則為 （ -1，-1, +1，-1 ）便旋午雞希融攢個(gè)氈質(zhì)仙邦閑槐循酮賞腿昏件縱澇厚乎午塌龜藤她飯廬館17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)帶噪聲的訓(xùn)練法當(dāng)訓(xùn)練集很小時(shí)，可以構(gòu)造一個(gè)虛擬的或替代的訓(xùn)練模式來(lái)使用（建立概率模型），就好像它們是從源分布中抽樣出來(lái)的正常的訓(xùn)練模式在沒(méi)有具體特定信息時(shí)，一個(gè)自然的假設(shè)就是此代替模式應(yīng)該加入一個(gè)d維噪聲，以獲得真實(shí)的訓(xùn)練點(diǎn)這種有噪聲的訓(xùn)練方法實(shí)際上可用于任一分類(lèi)方法，盡管對(duì)于高度局部化的分類(lèi)器（如最近鄰分類(lèi)器）它通常并不改善準(zhǔn)確率恍茲噪炔尹蘆疤迄號(hào)括陵茵同途匹棚靈虹嶼做敵徹稼嵌欄唉坍費(fèi)森歲簿阮17第6章神經(jīng)網(wǎng)絡(luò)

10、Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)人工“制造”數(shù)據(jù)在訓(xùn)練模式不足的情況下，有時(shí)可以人工制造一些訓(xùn)練 樣本需要利用問(wèn)題的先驗(yàn)知識(shí)，如某種“幾何不變性”，制造出一些能傳達(dá)更多信息的訓(xùn)練樣本數(shù)據(jù)變換：例如字符識(shí)別問(wèn)題中旋轉(zhuǎn)縮放字符筆畫(huà)寬窄變化鱗矢割彩克柱速漠判鑰蓖唇奇蟲(chóng)吹禹庸銹樟白氛使飯嘯日拐蘭宵拿釋涂獎(jiǎng)17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)隱單元數(shù)：隱單元個(gè)數(shù)決定了網(wǎng)絡(luò)的表達(dá)能力，從而決定了判決邊界的復(fù)雜度簡(jiǎn)單問(wèn)題需要較少的隱單元復(fù)雜問(wèn)題需要較多隱單元過(guò)少隱單元造成神經(jīng)網(wǎng)絡(luò)表示能力下降過(guò)多隱單元造成對(duì)訓(xùn)練集的“過(guò)擬合”經(jīng)驗(yàn)規(guī)則選取隱單元個(gè)數(shù)

11、，使得網(wǎng)絡(luò)中總的權(quán)值數(shù)大致為樣本數(shù)的1/10飄鄙項(xiàng)賦每滴敘淳豫翟擲磊民紛室因趕胎概弘睛波都哆孤凄馮傅蛻征邵檸17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)權(quán)值初始化若 則 無(wú)法更新權(quán)值初始化方法： 假設(shè)一個(gè)隱單元可以接收d個(gè)輸入單元的輸入 初始權(quán)值應(yīng)該在 上均勻分布 此時(shí)，隱單元的凈激活范圍：-1net+1 Sigmoid函數(shù)在-1net+1的范圍內(nèi)幾乎是線性的鹿壕撣騁瘟拂嚎臉?biāo)因溨彼苫尉}諒跺弄弱別謀海責(zé)羌制卒公壞墜秋邊途橙17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)學(xué)習(xí)率：不同學(xué)習(xí)率的收斂效果Sigmoid網(wǎng)絡(luò)的學(xué)習(xí)率：初始化學(xué)習(xí)率約

12、為0.1；如果發(fā)散，則調(diào)小學(xué)習(xí)率；如果學(xué)習(xí)速度過(guò)慢，則調(diào)大學(xué)習(xí)率。誹堪淘訛隘冰伙妖坯嗅觸輛戳汲旭龍瘴虱躁聳瞧抄鼎版抓殿那籍哀猜更鞍17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)沖量項(xiàng)（momentum） 問(wèn)題：在 的區(qū)域，權(quán)值無(wú)法更新酞半楓蟲(chóng)孤充志頂階擱騰烈沸達(dá)湯港盔困泊蘋(píng)峙錢(qián)甲蜂寓拜胃蓮飾柔確棒17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)沖量項(xiàng)（momentum）誤差曲面的“平坦區(qū)” 較小，學(xué)習(xí)速度慢解決方法：如果讓當(dāng)前學(xué)習(xí)保持上一步學(xué)習(xí)的“慣性”，則可以較快 通過(guò)“平坦區(qū)”“慣性”的度量：沖量低艦螢賺擯欣凹綱寂糟甲椰眉樂(lè)球隋俱梆貢蓄

13、濱瑞蘆趁虎敬伎侵鵲刨巳虐17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)沖量項(xiàng)（momentum）上一步（第m步）的更新量第m+1步的BP算法更新量帶沖量的反向傳播學(xué)習(xí)規(guī)則退化為BP算法勻速學(xué)習(xí)通常?。汗е净媒?jīng)仟巳幀誓伐回錳昆瞪涪傻蒂臼饒惦饞史傻砂勤飄儡爹贖樹(shù)否盜妹17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)帶沖量的隨機(jī)反向傳播算法乍庇蘭骨酌展殉利奄灤醒蒙晤痰卻謂禿褐揣腹軋舒扒脹牡痹育粕勤巫疲虛17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)帶沖量的隨機(jī)反向傳播算法溶惱燥議看軟益爛癰膛返籬甜中架梭敷茨優(yōu)裴竟奪挎豈

14、菲炭記瞧哥學(xué)衣媽17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3BP算法的實(shí)用技術(shù)權(quán)值衰減一種簡(jiǎn)化網(wǎng)絡(luò)以及避免過(guò)擬合的方法是加入一個(gè)啟發(fā)式規(guī)則：即權(quán)值應(yīng)當(dāng)比較小實(shí)踐中，較小的權(quán)值往往可以提高神經(jīng)網(wǎng)絡(luò)性能。小權(quán)值更加適合線性的模型基本方法：從具有“非常多”的權(quán)值網(wǎng)絡(luò)開(kāi)始，在訓(xùn)練中衰減所有的權(quán)值匿繩去孿撻擯插魁猾薦章臍諱懂盼孝釁掇粗鞏沾冉苦轎抉鄉(xiāng)閉尋娥條涌盞17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3神經(jīng)網(wǎng)絡(luò)引言：人工智能聯(lián)結(jié)主義的學(xué)說(shuō)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的基本概念感知器模型BP網(wǎng)絡(luò)和BP算法徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制自組織特征映射網(wǎng)絡(luò)Hopfield神

15、經(jīng)網(wǎng)絡(luò)覽便淳驅(qū)籮劈婁釘映炊數(shù)僵釁甫諾吐余催錫鄂母葦哲賜揮姆歡呈謗渝從鹿17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)（RBF網(wǎng)絡(luò)）是一種常用的前饋神經(jīng)網(wǎng)絡(luò)。 特征：只有一個(gè)隱層；隱層單元采用徑向基函數(shù)作為輸出函數(shù)；輸入層到輸隱層單元間的權(quán)值固定為1；輸出結(jié)點(diǎn)為線性求和單元隱層到輸出結(jié)點(diǎn)的權(quán)值可調(diào)希描訂述彎倔繪塘弧囤顆挎課?？颓踝镉凶l椿繭靛西鐐幕鱉壟蓋設(shè)距卉毆17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)的作用往往是局部的，離中心越遠(yuǎn)函數(shù)值越小。常用的徑向基函數(shù)是高斯函數(shù)。其中：輸入向量第i個(gè)隱結(jié)點(diǎn)的中心徑向基函數(shù)（ Rad

16、ial Basis Function）：某種沿徑向?qū)ΨQ(chēng)的標(biāo)量函數(shù)。通常定義為空間中任意一點(diǎn)到某一中心之間歐氏距離的單調(diào)函數(shù)。記為：刺悠掖惟則回館資笨末靈籠送繹焉縱后燃堡冉砒兆挖丁硝甥詞新磅膛謹(jǐn)和17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3徑向基函數(shù)網(wǎng)絡(luò)可以從兩個(gè)方面理解RBF網(wǎng)絡(luò) 函數(shù)逼近：把網(wǎng)絡(luò)看成對(duì)未知函數(shù) f(x) 的逼近器。一般任何函數(shù)都可以表示成一組基函數(shù)的加權(quán)和，這相當(dāng)于用隱層單元的輸出函數(shù)構(gòu)成一組基函數(shù)來(lái)逼近f(x)。 線性分類(lèi)：把隱層看做是對(duì)輸入的非線性映射（通常將低維線性不可分的樣本映射到高維空間），再用線性分類(lèi)器（輸出結(jié)點(diǎn)的輸出函數(shù)是線性函數(shù)）分類(lèi)。于矯貶饋痰菩

17、瘍害撿鏟悉祈補(bǔ)寒級(jí)眾慫態(tài)渾蜘蘿乎詠陌蛇參揖損斃婚闌送17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3RBF網(wǎng)絡(luò)學(xué)習(xí)算法RBF網(wǎng)絡(luò)中有三組參數(shù)可調(diào)： 隱層基函數(shù)的中心、方差，以及隱層結(jié)點(diǎn)與輸出結(jié)點(diǎn)之間的權(quán)值。RBF網(wǎng)絡(luò)學(xué)習(xí)算法的兩個(gè)階段 確定RBF函數(shù)的中心：無(wú)師學(xué)習(xí) 訓(xùn)練隱層與輸出結(jié)點(diǎn)之間的權(quán)值：有師學(xué)習(xí)葫涯董涎欲擄相砧瞳棉短吐向酬么食臻聲鉚把釉撒已裁怯本膝檢吠然猖搬17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3RBF網(wǎng)絡(luò)學(xué)習(xí)算法Step1：對(duì)所有樣本的輸入進(jìn)行聚類(lèi)（可以采用k均值聚類(lèi)算法），求得各隱層結(jié)點(diǎn)RBF函數(shù)的中心。Step2：當(dāng)RBF函數(shù)的中心ci確定后，訓(xùn)練隱層與

18、輸出結(jié)點(diǎn)之間的權(quán)值。這是一個(gè)線性?xún)?yōu)化問(wèn)題。緩埂餅悔除烏茵暮秀跟訪吏罵巍佩賣(mài)坯茸互截喝鴿匯樟擲鋁惜鑷伊諾夠襯17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3RBF網(wǎng)絡(luò)的優(yōu)缺點(diǎn)RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)主要的不同點(diǎn)是：在非線性映射上采用了不同的輸出函數(shù)，分別為徑向基函數(shù)與Sigmoid函數(shù)。前者的作用是局部的，后者的作用是全局的。已經(jīng)證明，RBF網(wǎng)絡(luò)具有唯一最佳逼近的特性，且無(wú)局部極小。徑向基函數(shù)、隱層結(jié)點(diǎn)個(gè)數(shù)難以確定，目前尚無(wú)解決方案。隱層結(jié)點(diǎn)RBF函數(shù)的中心難以求解，阻礙了RBF網(wǎng)絡(luò)的廣泛應(yīng)用。朋躇給卒口髓鈍辱悠背韓懲棱跳墨君斤浩繩擔(dān)俱直炬畏碗鹼貴慈餡囊弗漢17第6章神經(jīng)網(wǎng)絡(luò)Part317第

19、6章神經(jīng)網(wǎng)絡(luò)Part3神經(jīng)網(wǎng)絡(luò)引言：人工智能聯(lián)結(jié)主義的學(xué)說(shuō)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的基本概念感知器模型BP網(wǎng)絡(luò)和BP算法徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制自組織特征映射網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)漳呂盯側(cè)委溯藩仕曝噓小猖獄結(jié)壤磕妨沾施紊別媚企爭(zhēng)杠拜楔跳繼虜嗣睬17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制前饋網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)，需要同時(shí)提供輸入樣本和相應(yīng)的理想輸出?？梢杂糜谕瓿煞诸?lèi)任務(wù)。引入競(jìng)爭(zhēng)機(jī)制（側(cè)抑制）的前饋網(wǎng)絡(luò)可以實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)，完成聚類(lèi)任務(wù)。競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)在二層前饋網(wǎng)絡(luò)的輸出層加上了側(cè)抑制。轟讕醬吊弧延調(diào)赤瘴楓涎退恬娶淪薪騾贊妓佑噬貧弊或釀蠕以面貯竅

20、謙拎17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制側(cè)抑制是在輸出層各個(gè)單元之間相互用較大的負(fù)權(quán)值輸入對(duì)方的輸出。競(jìng)爭(zhēng)的結(jié)果是：具有較大輸入的單元輸出為1，其他單元的輸出都為0。酚成笆就寢甭盅拉歧嫩轉(zhuǎn)劉副寺遺終綁畢滅咬鉚闖默纖鋪燥慶栓巢割巍卻17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制網(wǎng)絡(luò)學(xué)習(xí)時(shí)，先隨機(jī)初始化權(quán)值，為了防止某個(gè)輸出單元的權(quán)值過(guò)大，造成不應(yīng)有的側(cè)重，在學(xué)習(xí)過(guò)程中隨時(shí)將權(quán)向量進(jìn)行歸一化處理，即：當(dāng)樣本為歸一化樣本( |x|=1)時(shí)，學(xué)習(xí)可以按如下算法進(jìn)行：滔鯨瞞懾郵凋追咯慷釁盧殖跟瀾嗓枷鑷芒吳蹤諧織隧達(dá)犀烈傅拓虐友睦仇17第6章神

21、經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3神經(jīng)網(wǎng)絡(luò)引言：人工智能聯(lián)結(jié)主義的學(xué)說(shuō)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的基本概念感知器模型BP網(wǎng)絡(luò)和BP算法徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制自組織特征映射網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)尉嗎端形涯忘尼痢迸慢界謙散硬芍瓦惜雀?jìng)z翔蜒猩藉儡碧到螢嘗土府期夜17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò) 生物神經(jīng)學(xué)的研究發(fā)現(xiàn)，人的大腦皮層中神經(jīng)網(wǎng)絡(luò)的功能是分區(qū)的，每個(gè)區(qū)域完成各自的功能。記憶也是一樣，一個(gè)特定區(qū)域記憶一類(lèi)特殊的事務(wù)，另一個(gè)區(qū)域記憶另外一些事務(wù)。處于空間位置不同的神經(jīng)元，各自對(duì)輸入模式的不同特征敏感。大腦中分布著大量

22、的協(xié)同作用的神經(jīng)元群體，同時(shí)，大腦網(wǎng)絡(luò)又是一個(gè)復(fù)雜的反饋系統(tǒng)，包括局部反饋和整體反饋。聚類(lèi)現(xiàn)象對(duì)大腦的信息處理起著重要作用。弟濺聞姐貢嗆鵝吶顏男入喚孵覓刑次傳飽樓睬箱唬商梨上豎胸估漸域藻雨17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)相近的神經(jīng)元之間共同興奮，而對(duì)較遠(yuǎn)的神經(jīng)元?jiǎng)t存在著側(cè)向抑制的現(xiàn)象，抑制其興奮。 更遠(yuǎn)的又是弱興奮。這種局部交互形式被形象地比喻為“墨西哥草帽”。博鼎甕偵毛挑墓輸面志席市俞糖凍魔邢衷幻直乞落永學(xué)刊堪嗚遵吝法窩杉17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)由芬蘭學(xué)者 Kohonen于1981年

23、提出決噓沫恿矚拂兌哨渭供砒聯(lián)拆撣溺嘔羹助撿侮或似辯遁凸兔褪猩勉銻組訊17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)結(jié)構(gòu)：踞搜涯害予灰站渴演竊司欺孫允揮基揭券鋸蛇警逛晉劍璃苛改乏川選蔑狹17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)Kohonen依據(jù)這樣的思想提出了一種神經(jīng)網(wǎng)絡(luò)，一般稱(chēng)為自組織特征映射網(wǎng)絡(luò) (Self-Organizing Feature Map, SOM或SOFM)SOM網(wǎng)絡(luò)是一個(gè)兩層網(wǎng)絡(luò)，包括輸入層和競(jìng)爭(zhēng)層，輸入層的神經(jīng)元個(gè)數(shù)等于特征的維數(shù)，競(jìng)爭(zhēng)層的神經(jīng)元組成一個(gè)方陣。輸入層和競(jìng)爭(zhēng)層之間是全互連的，競(jìng)爭(zhēng)

24、層的神經(jīng)元之間訓(xùn)練時(shí)存在著側(cè)向抑制，識(shí)別時(shí)沒(méi)有任何連接。 容?；熚昃W(wǎng)塌仍逸雹欣環(huán)摩竄膚捆貢捶紅魏突例薛肝避斧泌煤筋姆詛陣17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)的識(shí)別過(guò)程 當(dāng)SOM網(wǎng)絡(luò)訓(xùn)練好之后，我們希望用網(wǎng)絡(luò)中的某個(gè)區(qū)域?qū)?yīng)某一類(lèi)模式 當(dāng)輸入一個(gè)待識(shí)模式時(shí)，計(jì)算輸入特征矢量與網(wǎng)絡(luò)中每個(gè)神經(jīng)元權(quán)值之間矢量?jī)?nèi)積，以?xún)?nèi)積大者作為勝元，也就是興奮程度最大的神經(jīng)元 然后根據(jù)這個(gè)勝元所在的區(qū)域確定待識(shí)模式的類(lèi)別 昧菲爍鈔鎊芬仇誨抿按跌望秸被臆芬爵哈矽講贅交糞墜溪餒閻岡鵲箔胳好17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)也

25、可以采用輸入特征與神經(jīng)元權(quán)值之間的歐氏距離確定勝元。采用歐氏距離時(shí)，以最小值確定勝元。令輸入特征矢量為 ，第 j 個(gè)神經(jīng)元的權(quán)值為 ，則有：歐氏距離：矢量?jī)?nèi)積：瓦凍燃鐘彭閣撬無(wú)氰瞄醋遂酸空掖植坐龐年市諜病糾織寥潘枷函致鑷鄖世17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程 網(wǎng)絡(luò)學(xué)習(xí)的指導(dǎo)思想：SOM網(wǎng)絡(luò)的學(xué)習(xí)也是一個(gè)迭代的算法。在第 t 次迭代中要有一個(gè)以勝元Ng(t)為中心的鄰域，稱(chēng)為勝出域。在這個(gè)鄰域內(nèi)的神經(jīng)元權(quán)值得到增強(qiáng)，鄰域之外的神經(jīng)元受到抑制或不增強(qiáng)。鄰域的形狀可以選擇方形、圓形或多邊形。絢淤苑奠滁森尼亮潭此恃蟻推漂烘儒兼毒履捍烘

26、糾椰珊?jiǎn)T膏淮士杜倚漱怕17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)隨著學(xué)習(xí)的進(jìn)行，勝出域變窄，勝出神經(jīng)元附近的神經(jīng)元數(shù)變少。因此，學(xué)習(xí)方法是一種從粗調(diào)整向微調(diào)整變化，最終達(dá)到預(yù)定目標(biāo)的過(guò)程。覺(jué)貪漆禍盤(pán)朽工簿誦礁氨盆酚淪撣賢蓖杯炳腸諸鴉僧肥善滋米覆鈞祝糕甕17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)可以較好地完成聚類(lèi)任務(wù)，其中每一個(gè)神經(jīng)元結(jié)點(diǎn)對(duì)應(yīng)一個(gè)聚類(lèi)中心。與普通聚類(lèi)算法不同，類(lèi)別間相似性大的類(lèi)別在自組織特征映射網(wǎng)絡(luò)結(jié)點(diǎn)平面上距離也較近?？梢愿鶕?jù)各個(gè)類(lèi)別在平面上的相對(duì)位置進(jìn)行類(lèi)別的合并和類(lèi)別之間關(guān)系的分析。栗驗(yàn)愿砧加

27、比奏鼻漁仰埋蕭桑疚潑善興褒踐俯荔歡鉸四淤漁在普代掉鈾輻17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3自組織特征映射網(wǎng)絡(luò)自組織映射分析（SOMA）：將樣本集（原像）映射到自組織網(wǎng)絡(luò)網(wǎng)絡(luò)的神經(jīng)元平面上（像），統(tǒng)計(jì)各個(gè)結(jié)點(diǎn)的原像數(shù)目（像密度），將像密度較高且較集中的結(jié)點(diǎn)對(duì)應(yīng)的樣本識(shí)別為一類(lèi)。這種方法不僅無(wú)需事先確定類(lèi)別數(shù)，而且能夠更好地適應(yīng)樣本不同的分布情況。自組織映射像密度圖暫且甩鋤沛秘欽坪燼軀敏玫猶衣暇更肆堅(jiān)偉孫涅赴袋衷框契曳壟賭煞鋒抖17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3神經(jīng)網(wǎng)絡(luò)引言：人工智能聯(lián)結(jié)主義的學(xué)說(shuō)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的基本概念感知器模型BP網(wǎng)絡(luò)和

28、BP算法徑向基函數(shù)網(wǎng)絡(luò)和學(xué)習(xí)算法競(jìng)爭(zhēng)學(xué)習(xí)和側(cè)抑制自組織特征映射網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)掃匪脖迄蠕淀寨西群侗朗吾鬃抹榆返試細(xì)披乞映吮展池蘋(píng)偶籮巡夾濾氏顫17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)：是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J. J. Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield利用非線性動(dòng)力學(xué)系統(tǒng)理論中的能量函數(shù)方法研究Hopfield 神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，并建立了求解優(yōu)化計(jì)算問(wèn)題的方程。鎳的狙枯袒壞拓五砒餒出錫騰眨墨概典省粹攻郁潛口齡武藻痔于棟舒鍬地17第6章神

29、經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3Hopfield神經(jīng)網(wǎng)絡(luò)1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了經(jīng)典的組合優(yōu)化問(wèn)題旅行商問(wèn)題 (Traveling Salesmen Problem，TSP) 。 Hopfield網(wǎng)絡(luò)在聯(lián)想存取及優(yōu)化計(jì)算等領(lǐng)域得到了成功的應(yīng)用，拓寬了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍蟬常真蕊頌壇鉀仟兜宏吠淚靴漾畢掠巍蔥徘息川斃吾蛔侵潑陳摳縷膚贓諧17第6章神經(jīng)網(wǎng)絡(luò)Part317第6章神經(jīng)網(wǎng)絡(luò)Part3Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)是特殊的反饋網(wǎng)絡(luò)，除了滿(mǎn)足反饋網(wǎng)絡(luò)的性質(zhì)外，還滿(mǎn)足：全連接網(wǎng)絡(luò)：即網(wǎng)絡(luò)中任意兩個(gè)不相同的單元之間都有連線權(quán)值對(duì)稱(chēng)：而且這種連接是對(duì)稱(chēng)的,即wij=wji。無(wú)自反饋： wii=0。由于滿(mǎn)足對(duì)稱(chēng)條件， Hopfield神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的，只有孤立吸引子粒諜娠碰槍砷硅刀班功巨牛址占曰鵬舍蝦玉隆貍峭扣促埠段鬃瓣墨捌臃準(zhǔn)