自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)概述

1、第四章第四章 自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)本章主要介紹自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、本章主要介紹自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、學(xué)習(xí)算法，及相關(guān)理論。學(xué)習(xí)算法，及相關(guān)理論。1第四章自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)第四章自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)4.1 前言前言4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念和原理競(jìng)爭(zhēng)學(xué)習(xí)的概念和原理4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)4.4自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)的設(shè)計(jì)4.5 對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)4.6小結(jié)小結(jié)24.1 前言前言n在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即在生物神經(jīng)系統(tǒng)中，存在著一種側(cè)抑制現(xiàn)象，即一個(gè)神經(jīng)細(xì)胞興奮以后，會(huì)對(duì)周圍其他

2、神經(jīng)細(xì)胞一個(gè)神經(jīng)細(xì)胞興奮以后，會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制作用。這種抑制作用會(huì)使神經(jīng)細(xì)胞之間產(chǎn)生抑制作用。這種抑制作用會(huì)使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng)，其結(jié)果是某些獲勝，而另一些則失敗。出現(xiàn)競(jìng)爭(zhēng)，其結(jié)果是某些獲勝，而另一些則失敗。表現(xiàn)形式是獲勝神經(jīng)細(xì)胞興奮，失敗神經(jīng)細(xì)胞抑表現(xiàn)形式是獲勝神經(jīng)細(xì)胞興奮，失敗神經(jīng)細(xì)胞抑制。制。n自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就是模擬上述生物神經(jīng)系統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。統(tǒng)功能的人工神經(jīng)網(wǎng)絡(luò)。3n自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)是一種無(wú)教師監(jiān)督學(xué)習(xí)，自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)是一種無(wú)教師監(jiān)督學(xué)習(xí)，具有自組織功能的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)通過(guò)自身的訓(xùn)具有自組織功能的神經(jīng)網(wǎng)絡(luò)。

3、網(wǎng)絡(luò)通過(guò)自身的訓(xùn)練，能自動(dòng)對(duì)輸入模式進(jìn)行分類。這一點(diǎn)與練，能自動(dòng)對(duì)輸入模式進(jìn)行分類。這一點(diǎn)與Hopfield網(wǎng)絡(luò)的模擬人類功能十分相似，自組織網(wǎng)絡(luò)的模擬人類功能十分相似，自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其他神經(jīng)競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及其學(xué)習(xí)規(guī)則與其他神經(jīng)網(wǎng)絡(luò)相比有自己的特點(diǎn)。網(wǎng)絡(luò)相比有自己的特點(diǎn)。n在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競(jìng)爭(zhēng)層構(gòu)成在網(wǎng)絡(luò)結(jié)構(gòu)上，它一般是由輸入層和競(jìng)爭(zhēng)層構(gòu)成的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向連接，的兩層網(wǎng)絡(luò)。兩層之間各神經(jīng)元實(shí)現(xiàn)雙向連接，而且網(wǎng)絡(luò)沒(méi)有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間而且網(wǎng)絡(luò)沒(méi)有隱含層。有時(shí)競(jìng)爭(zhēng)層各神經(jīng)元之間還存在橫向連接。還存在橫向連接。4n在學(xué)習(xí)

4、算法上，它模擬生物神經(jīng)元之間的興奮、在學(xué)習(xí)算法上，它模擬生物神經(jīng)元之間的興奮、協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用的信息處理的動(dòng)力學(xué)原理協(xié)調(diào)與抑制、競(jìng)爭(zhēng)作用的信息處理的動(dòng)力學(xué)原理來(lái)指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)來(lái)指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)與工作，而不像大多數(shù)神經(jīng)網(wǎng)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準(zhǔn)絡(luò)那樣是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法的準(zhǔn)則。則。n競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)構(gòu)成的基本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式響應(yīng)的機(jī)會(huì)，最后僅有各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式響應(yīng)的機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者。這一獲勝神經(jīng)元?jiǎng)t一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的勝者。這一獲勝神經(jīng)元?jiǎng)t表示對(duì)輸

5、入模式的分類。表示對(duì)輸入模式的分類。5n自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò)是基于上述生物結(jié)構(gòu)自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò)是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M(jìn)行自組織和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M(jìn)行自組織訓(xùn)練和判斷，并將其最終分為不同的類型。訓(xùn)練和判斷，并將其最終分為不同的類型。 n與與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能力進(jìn)一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、分力進(jìn)一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、分類方面的應(yīng)用，另一方面，競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的核類方面的應(yīng)用，另一方面，競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的核心心競(jìng)爭(zhēng)層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型競(jìng)爭(zhēng)層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部

6、分。的重要組成部分。6常用的自組織網(wǎng)絡(luò)常用的自組織網(wǎng)絡(luò)n自組織特征映射自組織特征映射(Self-Organizing Feature Map)網(wǎng)絡(luò)網(wǎng)絡(luò)n對(duì)偶傳播對(duì)偶傳播(Counter propagation)網(wǎng)絡(luò)網(wǎng)絡(luò) 返回返回 7自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) 競(jìng)爭(zhēng)層競(jìng)爭(zhēng)層輸入層輸入層4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理8分類分類分類是在類別知識(shí)等導(dǎo)師信號(hào)的指分類是在類別知識(shí)等導(dǎo)師信號(hào)的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類中去。式類中去。聚類聚類無(wú)導(dǎo)師指導(dǎo)的分類稱為聚類，聚類無(wú)導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相

7、似的模式樣本劃歸一類，而將的目的是將相似的模式樣本劃歸一類，而將不相似的分離開(kāi)不相似的分離開(kāi)。4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念競(jìng)爭(zhēng)學(xué)習(xí)的概念9 相似性測(cè)量相似性測(cè)量歐式距離法歐式距離法)()(iTiiXXXXXX 類 1 類 2 類 1 類 2 T T (a)基于歐式距離的相似性測(cè)量 (b)基于余弦法的相似性測(cè)量 兩個(gè)模式向量的歐式距離越小，兩個(gè)模式向量的歐式距離越小，兩個(gè)向量越接近，因此認(rèn)為這兩兩個(gè)向量越接近，因此認(rèn)為這兩個(gè)模式越相似，當(dāng)兩個(gè)模式完全個(gè)模式越相似，當(dāng)兩個(gè)模式完全相同時(shí)其歐式距離為零。如果對(duì)相同時(shí)其歐式距離為零。如果對(duì)同一類內(nèi)各個(gè)模式向量間的歐式同

8、一類內(nèi)各個(gè)模式向量間的歐式距離作出規(guī)定，不允許超過(guò)某一距離作出規(guī)定，不允許超過(guò)某一最大值最大值T T，則最大歐式距離，則最大歐式距離T T就成就成為一種聚類判據(jù)，同類模式向量為一種聚類判據(jù)，同類模式向量的距離小于的距離小于T T，兩類模式向量的，兩類模式向量的距離大于距離大于T T。10 相似性測(cè)量相似性測(cè)量余弦法余弦法iiTXXXXcos類 1 類 2 類 1 類 2 T T (a)基于 歐式 距離 的相 似性 測(cè)量 (b)基于余弦 法的 相似 性測(cè) 量?jī)蓚€(gè)模式向量越接近，其夾角兩個(gè)模式向量越接近，其夾角越小，余弦越大。當(dāng)兩個(gè)模式越小，余弦越大。當(dāng)兩個(gè)模式向量完全相同時(shí)，其余弦?jiàn)A角向量完全相

9、同時(shí)，其余弦?jiàn)A角為為1 1。如果對(duì)同一類內(nèi)各個(gè)模式。如果對(duì)同一類內(nèi)各個(gè)模式向量間的夾角作出規(guī)定，不允向量間的夾角作出規(guī)定，不允許超過(guò)某一最大夾角許超過(guò)某一最大夾角a a，則最大，則最大夾角就成為一種聚類判據(jù)。同夾角就成為一種聚類判據(jù)。同類模式向量的夾角小于類模式向量的夾角小于a a，兩類，兩類模式向量的夾角大于模式向量的夾角大于a a。余弦法。余弦法適合模式向量長(zhǎng)度相同和模式適合模式向量長(zhǎng)度相同和模式特征只與向量方向相關(guān)的相似特征只與向量方向相關(guān)的相似性測(cè)量。性測(cè)量。11競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-AllWinner-Take-All網(wǎng)絡(luò)的輸出神經(jīng)元

10、之間相互競(jìng)爭(zhēng)以求被激活，網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Winner Take AllTake All。4.2 競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理121.1.向量歸一化向量歸一化 首先將當(dāng)前輸入模式向量首先將當(dāng)前輸入模式向量X X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量W Wj j 全部進(jìn)行歸一化處理；全部進(jìn)行歸一化處理； (

11、j=1,2,m)(j=1,2,m)Tnjjnnjjxxxx12121.XXX13向量歸一化之向量歸一化之 * * * * * * * * 14向量歸一化之向量歸一化之 * * * * * * * * * * 15競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-All2.2.尋找獲勝神經(jīng)元尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均量時(shí)，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神經(jīng)元。判為競(jìng)爭(zhēng)獲勝神經(jīng)元。欲使兩單位向量最

12、相似，須使其點(diǎn)積最大。即：欲使兩單位向量最相似，須使其點(diǎn)積最大。即：)(max,.,2, 1*XWXWTjmjTj16從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即：量的點(diǎn)積最大。即：)(max,.,2, 1*XWXWTjmjTjjmjjWXWXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-All173.3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整網(wǎng)絡(luò)輸出與權(quán)值調(diào)整*01) 1(jjjjtoj*(1)( )( )( )()jjjjjtttt

13、WWWWX W)()1(ttjjWW j j j j* *步驟步驟3 3完成后回到步驟完成后回到步驟1 1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0 0。競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-All18 * * * * * * * * 競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義19 * 1W *jW * )()()()(*ttttjpWXW * )(*1tjW )(tpX jW mW * *競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義20例例4.1 4.1 用競(jìng)爭(zhēng)學(xué)習(xí)算法將下列各模式分為用競(jìng)爭(zhēng)學(xué)習(xí)算法將下列各模式分為2 2類類：6 . 08 . 01X9848. 01736. 02X7

14、07. 0707. 03X9397. 0342. 04X8 . 06 . 05X解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式 ：89.3611X8012X5 .4413X7014X13.5315X競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：0101)0(1W180101)0(2W21 x5 x3 x1 w2 w1 x2 x4 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1

15、1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0

16、0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 22 x5 x3 x1 w2

17、 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4

18、3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8

19、1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 23 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 .

20、. 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1

21、1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 24 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1

22、1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . .

23、5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7

24、5 5 25 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4

25、4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 -

26、- 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 26 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4

27、3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - -

28、1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 27 x5 x3 x1 w2 x2 x4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9

29、9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 .

30、. 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 -

31、- 7 7 5 5 - - 7 7 5 5 28 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4

32、4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0

33、0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 29 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0

34、0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 -

35、- 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 30 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4

36、5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3

37、. . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - -

38、8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 31 x5 x3 x1 x2 x4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8 . . 4 4 3 3 - - 3 3 0 0 . . 8 8 7 7 - - 3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4

39、4 3 3 4 4 4 4 4 4 4 4 0 0 . . 5 5 4 4 0 0 . . 5 5 4 4 3 3 4 4 3 3 4 4 7 7 . . 5 5 4 4 2 2 4 4 2 2 4 4 3 3 . . 5 5 4 4 3 3 . . 5 5 4 4 8 8 . . 5 5 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 8 8 0 0 - - 1 1 3 3 0 0 - - 1 1 3 3 0 0 - - 1 1 0 0 0 0 - - 1 1 0

40、0 0 0 - - 1 1 0 0 0 0 - - 9 9 0 0 - - 9 9 0 0 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 1 1 - - 8 8 0 0 . . 5 5 - - 8 8 0 0 . . 5 5 - - 7 7 5 5 - - 7 7 5 5 32n1981年芬蘭年芬蘭Helsink大學(xué)的大學(xué)的T.Kohonen教授提出教授提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱一種自組織特征映射網(wǎng)，簡(jiǎn)稱SOM網(wǎng)，又稱網(wǎng)，又稱Kohonen網(wǎng)。網(wǎng)。nKohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斒綍r(shí)，

41、將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征，而且這個(gè)過(guò)程是入模式具有不同的響應(yīng)特征，而且這個(gè)過(guò)程是自動(dòng)完成的。自組織特征映射正是根據(jù)這一看自動(dòng)完成的。自組織特征映射正是根據(jù)這一看法提出來(lái)的，其特點(diǎn)與人腦的自組織特性相類法提出來(lái)的，其特點(diǎn)與人腦的自組織特性相類似。似。4.3自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò)33SOMSOM網(wǎng)的生物學(xué)基礎(chǔ)網(wǎng)的生物學(xué)基礎(chǔ)生物學(xué)研究的事實(shí)表明，在人腦的感覺(jué)通道上，神經(jīng)元生物學(xué)研究的事實(shí)表明，在人腦的感覺(jué)通道上，神經(jīng)元的組織原理是有序排列。因此當(dāng)人腦通過(guò)感官接受外界的組織原理是有序排列。因此當(dāng)人腦通過(guò)感官接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定

42、區(qū)域興奮，而且類的特定時(shí)空信息時(shí)，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象的。似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象的。對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)元的有序排列以及對(duì)外界信息的連續(xù)映象是自組織特征映射網(wǎng)序排列以及對(duì)外界信息的連續(xù)映象是自組織特征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。34SOMSOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)網(wǎng)的拓?fù)浣Y(jié)構(gòu)SOMSOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。 (a)一維線陣

43、 (b)二維平面線陣 35SOMSOM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域 SOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种?，因此其學(xué)習(xí)算近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。的神經(jīng)元在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：這種調(diào)整可用三種函數(shù)表示：3637SOMSOM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該半徑圈定的范

44、圍稱為優(yōu)勝鄰域。在定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學(xué)習(xí)算法中，優(yōu)網(wǎng)學(xué)習(xí)算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開(kāi)獲勝神經(jīng)元的距勝鄰域內(nèi)的所有神經(jīng)元均按其離開(kāi)獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。離遠(yuǎn)近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開(kāi)始定得很大，但其大小隨著訓(xùn)練次數(shù)的優(yōu)勝鄰域開(kāi)始定得很大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。增加不斷收縮，最終收縮到半徑為零。38SOMSOM網(wǎng)的運(yùn)行原理網(wǎng)的運(yùn)行原理n訓(xùn)練階段訓(xùn)練階段 * W4 W1* W2 * W3* *W5 * * W1 W2 * W3*W5 * W4 w1 w2 w3 w4 w539 * * W1 W2 * W3*W5 *

45、 W4 * * W1 W2 * W3*W5 * W4SOM網(wǎng)的運(yùn)行原理網(wǎng)的運(yùn)行原理n工作階段工作階段40SOM網(wǎng)的學(xué)習(xí)算法網(wǎng)的學(xué)習(xí)算法( (1)初始化初始化 對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化處理，得到理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域；建立初始優(yōu)勝鄰域Nj*(0)；學(xué)習(xí)；學(xué)習(xí)率率 賦初始值。賦初始值。jW(2)接受輸入接受輸入 從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行歸一化處理，得到歸一化處理，得到 ，p 1,2,P。pX(3)尋找獲勝節(jié)點(diǎn)尋找獲勝節(jié)點(diǎn) 計(jì)算計(jì)算 與與 的點(diǎn)積，的點(diǎn)積，j=1,2,m，從，從

46、中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。pXjW(4)定義優(yōu)勝鄰域定義優(yōu)勝鄰域Nj*(t) 以以j*為中心確定為中心確定t 時(shí)刻的權(quán)值調(diào)整域，時(shí)刻的權(quán)值調(diào)整域，一般初始鄰域一般初始鄰域Nj*(0)較大，訓(xùn)練過(guò)程中較大，訓(xùn)練過(guò)程中Nj*(t)隨訓(xùn)練時(shí)間逐隨訓(xùn)練時(shí)間逐漸收縮。漸收縮。Kohonen 學(xué)習(xí)算法學(xué)習(xí)算法41 Nj*(0) Nj*(0) Nj*(1) Nj*(1) Nj*(2) Nj*(2)42(5)調(diào)整權(quán)值調(diào)整權(quán)值 對(duì)優(yōu)勝鄰域?qū)?yōu)勝鄰域Nj*(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值：內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值： i=1,2,n j Nj*(t) 式中，式中， 是訓(xùn)練時(shí)間是訓(xùn)練時(shí)間t 和鄰域內(nèi)

47、第和鄰域內(nèi)第j 個(gè)神經(jīng)元與獲勝經(jīng)個(gè)神經(jīng)元與獲勝經(jīng)元元 j* 之間的拓?fù)渚嚯x之間的拓?fù)渚嚯xN 的函數(shù)，該函數(shù)一般有以下規(guī)律：的函數(shù)，該函數(shù)一般有以下規(guī)律：)(),()()1(twxNttwtwijpiijij),( NtNt,43NetNt)(),(t) (t) (t)(0) (0) (0) 0 t 0 t 0 t(6)結(jié)束檢查結(jié)束檢查 學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的正小數(shù)？學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的正小數(shù)？44初始化、歸一化權(quán)向量 W：jW，j=1,2,m；建立初始優(yōu)勝鄰域 Nj*(0)學(xué)習(xí)率(t)賦初始值輸入歸一化樣本pX，p1,2,P計(jì)算點(diǎn)積pTjXW，j=1,2,m選出點(diǎn)積最大的獲勝

48、節(jié)點(diǎn) j*定義優(yōu)勝鄰域 Nj*(t)對(duì)優(yōu)勝鄰域 Nj*(t)內(nèi)節(jié)點(diǎn)調(diào)整權(quán)值：)()()()(twxN, ttw1twijpiijiji=1,2,n jNj*(t) N )(tmin Y結(jié)束K o h o n e n 學(xué) 習(xí) 算 法 程 序 流 程學(xué) 習(xí) 算 法 程 序 流 程45功 能 分 析(1)保序映射保序映射將輸入空間的樣本模式類有序地映射在輸出層上。將輸入空間的樣本模式類有序地映射在輸出層上。例例1：動(dòng)物屬性特征映射。：動(dòng)物屬性特征映射。 動(dòng) 物 屬 性 鴿 子 母 雞 鴨 鵝 貓 頭鷹 隼 鷹 狐 貍 狗 狼 貓 虎 獅 馬 斑 馬 牛 小 中 大 2只 腿 4只 腿 毛 蹄 鬃 毛

49、 羽 毛 獵 跑 飛 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0

50、 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 46功能分析功能分析 鴨 馬 牛 斑馬 虎 鵝 狼 貓 隼 頭 獅 鴿 鷹 狗 鷹 母雞 狐 貓47功功 能能 分分 析析(2) 數(shù)據(jù)壓縮數(shù)據(jù)壓縮-將高維空間的樣本在保持拓?fù)鋵⒏呔S空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條件下投影到低維的空間，在這結(jié)構(gòu)不變的條件下投影到低維的空間，在這方面方面SOM網(wǎng)具有明顯的優(yōu)勢(shì)。無(wú)論輸入樣本網(wǎng)具有明顯的優(yōu)勢(shì)。無(wú)論

51、輸入樣本空間是多少維，其模式都可以在空間是多少維，其模式都可以在SOM網(wǎng)輸出網(wǎng)輸出層的某個(gè)區(qū)域得到相應(yīng)。層的某個(gè)區(qū)域得到相應(yīng)。SOM網(wǎng)經(jīng)過(guò)訓(xùn)練以網(wǎng)經(jīng)過(guò)訓(xùn)練以后，在高維空間輸入相近的樣本，其輸出相后，在高維空間輸入相近的樣本，其輸出相應(yīng)的位置也相近。應(yīng)的位置也相近。(3) 特征提取特征提取-從高維空間樣本向低維空間的從高維空間樣本向低維空間的映射，映射，SOM網(wǎng)的輸出層相當(dāng)于低維特征空間。網(wǎng)的輸出層相當(dāng)于低維特征空間。484.4 自組織特征映射網(wǎng)絡(luò)的設(shè)計(jì)自組織特征映射網(wǎng)絡(luò)的設(shè)計(jì)1. 輸出層設(shè)計(jì)輸出層設(shè)計(jì)a.節(jié)點(diǎn)數(shù)設(shè)計(jì)節(jié)點(diǎn)數(shù)設(shè)計(jì)節(jié)點(diǎn)數(shù)與訓(xùn)練集樣本有多少模式類有關(guān)。如果節(jié)點(diǎn)數(shù)少于模節(jié)點(diǎn)數(shù)與訓(xùn)練集樣本

52、有多少模式類有關(guān)。如果節(jié)點(diǎn)數(shù)少于模式類數(shù)，則不足以區(qū)分全部模式類，訓(xùn)練的結(jié)果勢(shì)必將相近式類數(shù)，則不足以區(qū)分全部模式類，訓(xùn)練的結(jié)果勢(shì)必將相近的模式類合并為一類。這種情況相當(dāng)于對(duì)輸入樣本進(jìn)行的模式類合并為一類。這種情況相當(dāng)于對(duì)輸入樣本進(jìn)行“粗粗分分”。如果節(jié)點(diǎn)數(shù)多于模式類數(shù)，一種可能是將類別分得過(guò)。如果節(jié)點(diǎn)數(shù)多于模式類數(shù)，一種可能是將類別分得過(guò)細(xì)，而另一種可能是出現(xiàn)細(xì)，而另一種可能是出現(xiàn)“死節(jié)點(diǎn)死節(jié)點(diǎn)”，即在訓(xùn)練過(guò)程中，某，即在訓(xùn)練過(guò)程中，某個(gè)節(jié)點(diǎn)從未獲勝過(guò)且遠(yuǎn)離其他獲勝節(jié)點(diǎn)，因此它們的權(quán)值從個(gè)節(jié)點(diǎn)從未獲勝過(guò)且遠(yuǎn)離其他獲勝節(jié)點(diǎn)，因此它們的權(quán)值從未得到過(guò)調(diào)整。在解決分類問(wèn)題時(shí)，如果對(duì)類別數(shù)沒(méi)有確切未

53、得到過(guò)調(diào)整。在解決分類問(wèn)題時(shí)，如果對(duì)類別數(shù)沒(méi)有確切的信息，寧可先設(shè)定較多的節(jié)點(diǎn)數(shù)，以便較好的映射樣本的的信息，寧可先設(shè)定較多的節(jié)點(diǎn)數(shù)，以便較好的映射樣本的拓?fù)浣Y(jié)構(gòu)，如果分類過(guò)細(xì)再酌情減少輸出節(jié)點(diǎn)。拓?fù)浣Y(jié)構(gòu)，如果分類過(guò)細(xì)再酌情減少輸出節(jié)點(diǎn)。“死節(jié)點(diǎn)死節(jié)點(diǎn)”問(wèn)題一般可通過(guò)重新初始化權(quán)值得到解決。問(wèn)題一般可通過(guò)重新初始化權(quán)值得到解決。491. 輸出層設(shè)計(jì)輸出層設(shè)計(jì)b.節(jié)點(diǎn)排列的設(shè)計(jì)節(jié)點(diǎn)排列的設(shè)計(jì)輸出層的節(jié)點(diǎn)排列成哪種形式取決于實(shí)際應(yīng)用的需要，排輸出層的節(jié)點(diǎn)排列成哪種形式取決于實(shí)際應(yīng)用的需要，排列形式應(yīng)盡量直觀反映出實(shí)際問(wèn)題的物理意義。例如，對(duì)列形式應(yīng)盡量直觀反映出實(shí)際問(wèn)題的物理意義。例如，對(duì)于旅行路

54、徑類的問(wèn)題，二維平面比較直觀；對(duì)于一般的分于旅行路徑類的問(wèn)題，二維平面比較直觀；對(duì)于一般的分類問(wèn)題，一個(gè)輸出節(jié)點(diǎn)節(jié)能代表一個(gè)模式類，用一維線陣類問(wèn)題，一個(gè)輸出節(jié)點(diǎn)節(jié)能代表一個(gè)模式類，用一維線陣意義明確結(jié)構(gòu)簡(jiǎn)單。意義明確結(jié)構(gòu)簡(jiǎn)單。502. 權(quán)值初始化問(wèn)題權(quán)值初始化問(wèn)題SOM網(wǎng)的權(quán)值一般初始化為較小的隨機(jī)數(shù)，這樣做的目的網(wǎng)的權(quán)值一般初始化為較小的隨機(jī)數(shù)，這樣做的目的是使權(quán)向量充分分散在樣本空間。但在某些應(yīng)用中，樣本整是使權(quán)向量充分分散在樣本空間。但在某些應(yīng)用中，樣本整體上相對(duì)集中于高維空間的某個(gè)局部區(qū)域，全向量的初始位體上相對(duì)集中于高維空間的某個(gè)局部區(qū)域，全向量的初始位置卻隨機(jī)地分散于樣本空間的廣

55、闊區(qū)域，訓(xùn)練時(shí)必然是離整置卻隨機(jī)地分散于樣本空間的廣闊區(qū)域，訓(xùn)練時(shí)必然是離整個(gè)樣本群最近的全向量被不斷調(diào)整，并逐漸進(jìn)入全體樣本的個(gè)樣本群最近的全向量被不斷調(diào)整，并逐漸進(jìn)入全體樣本的中心位置，而其他權(quán)向量因初始位置遠(yuǎn)離樣本群而永遠(yuǎn)得不中心位置，而其他權(quán)向量因初始位置遠(yuǎn)離樣本群而永遠(yuǎn)得不到調(diào)整。如此訓(xùn)練的結(jié)果可能使全部樣本聚為一類。解決這到調(diào)整。如此訓(xùn)練的結(jié)果可能使全部樣本聚為一類。解決這類問(wèn)題的思路是盡量使權(quán)值的初始位置與輸入樣本的大概分類問(wèn)題的思路是盡量使權(quán)值的初始位置與輸入樣本的大概分布區(qū)域充分重合。布區(qū)域充分重合。512. 權(quán)值初始化問(wèn)題權(quán)值初始化問(wèn)題一種簡(jiǎn)單易行的方法是從訓(xùn)練集中隨機(jī)抽取

56、一種簡(jiǎn)單易行的方法是從訓(xùn)練集中隨機(jī)抽取m m個(gè)輸入樣本作個(gè)輸入樣本作為初始權(quán)值，即為初始權(quán)值，即 (0),1,2,ramkjWXjm=K其中其中 是輸入樣本的順序隨機(jī)數(shù)，是輸入樣本的順序隨機(jī)數(shù)， 。因?yàn)椤Ｒ驗(yàn)槿魏我欢ㄊ禽斎肟臻g某個(gè)模式類的成員，各個(gè)權(quán)向量按上式任何一定是輸入空間某個(gè)模式類的成員，各個(gè)權(quán)向量按上式初始化后從訓(xùn)練一開(kāi)始就分別接近了輸入空間的各模式類，初始化后從訓(xùn)練一開(kāi)始就分別接近了輸入空間的各模式類，占據(jù)了十分有利的占據(jù)了十分有利的“地形地形”。另一種可行的辦法是先計(jì)算出。另一種可行的辦法是先計(jì)算出全體樣本的中心向量全體樣本的中心向量ramk1,2, ramkPK11PppXXP=

57、在該中心向量基礎(chǔ)上迭加小隨機(jī)數(shù)作為權(quán)向量初始值，也在該中心向量基礎(chǔ)上迭加小隨機(jī)數(shù)作為權(quán)向量初始值，也可將權(quán)向量的初始位置確定在樣本群中?？蓪?quán)向量的初始位置確定在樣本群中。523. 優(yōu)勝鄰域的設(shè)計(jì)優(yōu)勝鄰域的設(shè)計(jì)優(yōu)勝領(lǐng)域設(shè)計(jì)原則是使領(lǐng)域不斷縮小，這樣輸出平面上相鄰優(yōu)勝領(lǐng)域設(shè)計(jì)原則是使領(lǐng)域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對(duì)應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)南嗨菩?，從而神?jīng)元對(duì)應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)南嗨菩裕瑥亩ＷC當(dāng)獲勝節(jié)點(diǎn)對(duì)某一類模式產(chǎn)生最大響應(yīng)時(shí)，其領(lǐng)域節(jié)點(diǎn)保證當(dāng)獲勝節(jié)點(diǎn)對(duì)某一類模式產(chǎn)生最大響應(yīng)時(shí)，其領(lǐng)域節(jié)點(diǎn)也能產(chǎn)生較大響應(yīng)。領(lǐng)域的形狀可以是正方形、六邊形或者也能產(chǎn)生較大響應(yīng)。領(lǐng)域的形

58、狀可以是正方形、六邊形或者菱形。優(yōu)勢(shì)領(lǐng)域的大小用領(lǐng)域的半徑表示，菱形。優(yōu)勢(shì)領(lǐng)域的大小用領(lǐng)域的半徑表示，r r( (t t) )的設(shè)計(jì)目前的設(shè)計(jì)目前沒(méi)有一般化的數(shù)學(xué)方法，通常憑借經(jīng)驗(yàn)來(lái)選擇沒(méi)有一般化的數(shù)學(xué)方法，通常憑借經(jīng)驗(yàn)來(lái)選擇11/1( )(1)( )mmB tttr tCtr tCe-=-= 為于輸出層節(jié)點(diǎn)數(shù)為于輸出層節(jié)點(diǎn)數(shù)m m有關(guān)的正常數(shù)，有關(guān)的正常數(shù)， 為大于為大于1 1的常數(shù)，的常數(shù)，為預(yù)先選定的最大訓(xùn)練次數(shù)。為預(yù)先選定的最大訓(xùn)練次數(shù)。1C1Bmt534. 學(xué)習(xí)率的設(shè)計(jì)學(xué)習(xí)率的設(shè)計(jì)在訓(xùn)練開(kāi)始時(shí)，學(xué)習(xí)率可以選取較大的值，之后以較快在訓(xùn)練開(kāi)始時(shí)，學(xué)習(xí)率可以選取較大的值，之后以較快的速度下

59、降，這樣有利于很快捕捉到輸入向量的大致結(jié)的速度下降，這樣有利于很快捕捉到輸入向量的大致結(jié)構(gòu)，然后學(xué)習(xí)率在較小的值上緩降至構(gòu)，然后學(xué)習(xí)率在較小的值上緩降至0 0值，這樣可以精值，這樣可以精細(xì)地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。細(xì)地調(diào)整權(quán)值使之符合輸入空間的樣本分布結(jié)構(gòu)。22/2( )(1)( )mmB t tttCttC ehh=-=54 d1 dk dl o1 ok ol W1 Wk Wl 輸輸 出出層層 y1 y2 yj ym 競(jìng)競(jìng)爭(zhēng)爭(zhēng)層層 V1 Vm 輸輸入入 層層 x1 x2 xi xn-1 xn 4.5 對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)對(duì)偶傳播神經(jīng)網(wǎng)絡(luò)對(duì)偶傳播網(wǎng)絡(luò)對(duì)偶傳播網(wǎng)絡(luò)55 X X( (x x1 1, ,x x2 2 ,x xn n) )T T Y Y( (y y1 1, ,y y2 2 ,y ym m) )T T，y yi i 0 0, ,1 1 ，i i=1,2,=