自組織神經(jīng)網(wǎng)絡(luò)(SOM)方法及其應(yīng)用.

1、第四章第四章 自組織神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò) 4.1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理 4.2自組織特征映射神經(jīng)網(wǎng)絡(luò) 自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu) 第四章第四章 自組織神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò) 競(jìng)爭(zhēng)層競(jìng)爭(zhēng)層 輸入層輸入層 第四章第四章 自組織神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò) 自組織學(xué)習(xí)自組織學(xué)習(xí)(self-organized learning) ： 通過(guò)自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本通過(guò)自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本 質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)質(zhì)屬性，自組織、自適應(yīng)地改變網(wǎng)絡(luò)參數(shù) 與結(jié)構(gòu)。與結(jié)構(gòu)。 自組織網(wǎng)絡(luò)的自組織功能是通過(guò)競(jìng)爭(zhēng)自組織網(wǎng)絡(luò)的自組織功能是通過(guò)競(jìng)爭(zhēng) 學(xué)習(xí)（學(xué)習(xí)（competitiv

2、e learning）實(shí)現(xiàn)的。）實(shí)現(xiàn)的。 4.14.1競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理 4.1.1 4.1.1 基本概念基本概念 分類分類分類是在類別知識(shí)等導(dǎo)師信號(hào)的指分類是在類別知識(shí)等導(dǎo)師信號(hào)的指 導(dǎo)下，將待識(shí)別的輸入模式分配到各自的導(dǎo)下，將待識(shí)別的輸入模式分配到各自的 模式類中去。模式類中去。 聚類聚類無(wú)導(dǎo)師指導(dǎo)的分類稱為聚類，聚類無(wú)導(dǎo)師指導(dǎo)的分類稱為聚類，聚類 的目的是將相似的模式樣本劃歸一類，而的目的是將相似的模式樣本劃歸一類，而 將不相似的分離開(kāi)將不相似的分離開(kāi)。 相似性測(cè)量相似性測(cè)量歐式距離法歐式距離法 )()( i T ii XXXXXX 類 1 類 2 類 1 類 2

3、T T (a )基 于 歐 式 距 離 的 相 似 性 測(cè) 量 (b )基 于 余 弦 法 的 相 似 性 測(cè) 量 4.1.1 基本概念基本概念 相似性測(cè)量相似性測(cè)量余弦法余弦法 4.1.1 基本概念基本概念 i i T XX XX cos 類 1 類 2 類 1 類 2 T T (a )基 于 歐 式 距 離 的 相 似 性 測(cè) 量 (b )基 于 余 弦 法 的 相 似 性 測(cè) 量 4.1.2 4.1.2 競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)原理 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-All 網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被 激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神

4、經(jīng)元激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元 被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝 神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱 為為Winner Take All。 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-All 1.1.向量歸一化向量歸一化 首先將當(dāng)前輸入模式向量首先將當(dāng)前輸入模式向量 X X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星向量W Wj j 全部進(jìn)行歸一化處理；全部進(jìn)行歸一化處理； (j=1,2,m)(j=1,2,m) T n j j n n j j x x x x 1 2 1 2 1

5、 . X X X 向量歸一化之向量歸一化之 * * * * * * * * 向量歸一化之向量歸一化之 * * * * * * * * * * 競(jìng)爭(zhēng)學(xué)習(xí)原理競(jìng)爭(zhēng)學(xué)習(xí)原理 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-All 2.2.尋找獲勝神經(jīng)元尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)， 競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相 似性比較，并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神似性比較，并將最相似的內(nèi)星權(quán)向量判為競(jìng)爭(zhēng)獲勝神 經(jīng)元。經(jīng)元。 欲使兩單位向量最相似，須使其點(diǎn)積最大。即：欲使兩單位向量最相似，須使其點(diǎn)積

6、最大。即： ) (max ,.,2, 1 * XWXW T j mj T j 從上式可以看出，欲使兩單位向量的歐式距離從上式可以看出，欲使兩單位向量的歐式距離 最小，須使兩向量的點(diǎn)積最大。即：最小，須使兩向量的點(diǎn)積最大。即： ) (max ,.,2, 1 * XWXW T j mj T j j mj j WXWX min ,.,2,1 * ) () ( * j T j j WXWXWX T j T j T j T * 2 WWXWXX) 1(2 *X W T j 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則Winner-Take-All 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則勝者為王勝者為王(Winner-Take-All)

7、3.3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 * * 0 1 ) 1( jj jj to j ) ( )()( )( ) 1( * jjjjj ttttWXWWWW )( )1(tt jj WW j j j j* * 步驟步驟3 3完成后回到步驟完成后回到步驟1 1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率繼續(xù)訓(xùn)練，直到學(xué)習(xí)率 衰減到衰減到0 0。 * * * * * * * * 競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義 競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義競(jìng)爭(zhēng)學(xué)習(xí)的幾何意義 * 1W * j W * )( )( )()(*tttt j p WXW h * )( *1t j W )( t p X jW mW * * 競(jìng)爭(zhēng)學(xué)習(xí)游戲競(jìng)爭(zhēng)學(xué)習(xí)

8、游戲 將一維樣本空間的將一維樣本空間的12個(gè)樣本分為個(gè)樣本分為3類類 競(jìng)爭(zhēng)學(xué)習(xí)游戲競(jìng)爭(zhēng)學(xué)習(xí)游戲 w1 w2w3 x 訓(xùn)練樣本集訓(xùn)練樣本集 o1o1o1 例例4.1 4.1 用競(jìng)爭(zhēng)學(xué)習(xí)算法將下列各模式分為用競(jìng)爭(zhēng)學(xué)習(xí)算法將下列各模式分為2 2類：類： 6 . 0 8 . 0 1 X 9848. 0 1736. 0 2 X 707. 0 707. 0 3 X 9397. 0 342. 0 4 X 8 . 0 6 . 0 5 X 解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式解：為作圖方便，將上述模式轉(zhuǎn)換成極坐標(biāo)形式 ： 89.361 1 X801 2 X 5 .441 3 X701 4 X13.531

9、5 X 競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量：競(jìng)爭(zhēng)層設(shè)兩個(gè)權(quán)向量，隨機(jī)初始化為單位向量： 01 0 1 )0( 1 W1801 0 1 )0( 2 W x 5 x 3 x 1 w2 w1 x 2 x 4 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24

10、 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0

11、- -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 w2 x 2 x 4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1

12、2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 9

13、0 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 w2 x 2 x 4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 1

14、1 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 -

15、-9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 w2 x 2 x 4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2

16、 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90

17、0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 w2 x 2 x 4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3

18、32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9

19、 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 w2 x 2 x 4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 -

20、 -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0

21、- -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 w2 x 2 x 4 w1 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7

22、 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 0

23、0 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 x 2 x 4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8

24、 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1

25、10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 x 2 x 4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0

26、. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 -

27、 -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 x 2 x 4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3

28、30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00

29、 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x 3 x 1 x 2 x 4 w1 w2 訓(xùn)訓(xùn) 練練 次次 數(shù)數(shù) W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 -

30、 -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 1

31、0 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 4.2自組織特征映射神經(jīng)網(wǎng)絡(luò)自組織特征映射神經(jīng)網(wǎng)絡(luò) （Self-Organizing feature Map） p 1981 1981年芬蘭年芬蘭HelsinkHelsink大學(xué)的大學(xué)的T.KohonenT.Kohonen教授教授 提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱提出一種自組織特征映射網(wǎng)，簡(jiǎn)稱SOMSOM網(wǎng)，又稱網(wǎng)，又稱 KohonenKohonen網(wǎng)。網(wǎng)

32、。 p KohonenKohonen認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸認(rèn)為：一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸 入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域入模式時(shí)，將會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域 對(duì)輸入模式具有不同的響應(yīng)特征，而且這個(gè)過(guò)對(duì)輸入模式具有不同的響應(yīng)特征，而且這個(gè)過(guò) 程是自動(dòng)完成的。自組織特征映射正是根據(jù)這程是自動(dòng)完成的。自組織特征映射正是根據(jù)這 一看法提出來(lái)的，其特點(diǎn)與人腦的自組織特性一看法提出來(lái)的，其特點(diǎn)與人腦的自組織特性 相類似。相類似。 SOMSOM網(wǎng)的生物學(xué)基礎(chǔ)網(wǎng)的生物學(xué)基礎(chǔ) 生物學(xué)研究的事實(shí)表明，在人腦的感覺(jué)通道上，生物學(xué)研究的事實(shí)表明，在人腦的感覺(jué)通道上， 神經(jīng)元的組織原理是神經(jīng)元的組織原

33、理是有序排列有序排列。因此當(dāng)人腦通過(guò)感官。因此當(dāng)人腦通過(guò)感官 接受外界的特定時(shí)空信息時(shí)，大腦皮層的接受外界的特定時(shí)空信息時(shí)，大腦皮層的特定特定區(qū)域區(qū)域興興 奮奮，而且類似的外界信息在對(duì)應(yīng)區(qū)域是，而且類似的外界信息在對(duì)應(yīng)區(qū)域是連續(xù)映象連續(xù)映象的。的。 對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng)對(duì)于某一圖形或某一頻率的特定興奮過(guò)程，神經(jīng) 元的有序排列以及對(duì)外界信息的連續(xù)映象是自組織特元的有序排列以及對(duì)外界信息的連續(xù)映象是自組織特 征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。征映射網(wǎng)中競(jìng)爭(zhēng)機(jī)制的生物學(xué)基礎(chǔ)。 SOMSOM網(wǎng)的拓?fù)浣Y(jié)構(gòu)網(wǎng)的拓?fù)浣Y(jié)構(gòu) SOMSOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信網(wǎng)共有兩層，輸入層

34、模擬感知外界輸入信 息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。息的視網(wǎng)膜，輸出層模擬做出響應(yīng)的大腦皮層。 (a)一維線陣 (b)二維平面線陣 SOMSOM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域 SOMSOM網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的網(wǎng)的獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元的 影響是由近及遠(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲绊懯怯山斑h(yuǎn)，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲?因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào)因此其學(xué)習(xí)算法中不僅獲勝神經(jīng)元本身要調(diào) 整權(quán)向量，它周圍的神經(jīng)元在其影響下也要整權(quán)向量，它周圍的神經(jīng)元在其影響下也要 程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種 函數(shù)表示：函數(shù)表示： SOMS

35、OM網(wǎng)的權(quán)值調(diào)整域網(wǎng)的權(quán)值調(diào)整域 以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域半徑，該 半徑圈定的范圍稱為半徑圈定的范圍稱為優(yōu)勝鄰域優(yōu)勝鄰域。在。在SOMSOM網(wǎng)學(xué)習(xí)算法網(wǎng)學(xué)習(xí)算法 中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開(kāi)獲勝神中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開(kāi)獲勝神 經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開(kāi)始定得很大，但其大小隨著訓(xùn)練優(yōu)勝鄰域開(kāi)始定得很大，但其大小隨著訓(xùn)練 次數(shù)的增加不斷收縮，最終收縮到半徑為零。次數(shù)的增加不斷收縮，最終收縮到半徑為零。 SOMSOM網(wǎng)的運(yùn)行原理網(wǎng)的運(yùn)行原理 p 訓(xùn)練階段 * W4 W1* W2 *

36、 W3* *W5 * * W1 W2 * W3 *W5 * W4 w1 w2 w3 w4 w5 * * W1 W2 * W3 *W5 * W4 * * W1 W2 * W3 *W5 * W4 SOM網(wǎng)的運(yùn)行原理 p 工作階段工作階段 SOMSOM網(wǎng)的學(xué)習(xí)算法網(wǎng)的學(xué)習(xí)算法 (1)(1)初始化初始化 對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化對(duì)輸出層各權(quán)向量賦小隨機(jī)數(shù)并進(jìn)行歸一化 處理，得到處理，得到 ，j=1,2,m；建立初始優(yōu)勝鄰域建立初始優(yōu)勝鄰域Nj*(0)； 學(xué)習(xí)率學(xué)習(xí)率h h 賦初始值。賦初始值。 j W (2)接受輸入接受輸入 從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式并進(jìn)行從訓(xùn)練集中隨機(jī)選取一個(gè)輸入

37、模式并進(jìn)行 歸一化處理，得到歸一化處理，得到 ，p 1,2,P。 p X (3)尋找獲勝節(jié)點(diǎn)尋找獲勝節(jié)點(diǎn) 計(jì)算計(jì)算 與與 的點(diǎn)積，的點(diǎn)積，j=1,2,m， 從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)從中選出點(diǎn)積最大的獲勝節(jié)點(diǎn)j*。 p X j W (4)定義優(yōu)勝鄰域定義優(yōu)勝鄰域Nj* (t) 以以j*為中心確定為中心確定t 時(shí)刻的權(quán)值調(diào)整域，時(shí)刻的權(quán)值調(diào)整域， 一般初始鄰域一般初始鄰域Nj* (0)較大，訓(xùn)練過(guò)程中較大，訓(xùn)練過(guò)程中Nj* (t)隨訓(xùn)練時(shí)間逐隨訓(xùn)練時(shí)間逐 漸收縮。漸收縮。 Kohonen 學(xué)習(xí)算法學(xué)習(xí)算法 KohonenKohonen學(xué)習(xí)算法學(xué)習(xí)算法 Nj*(0) Nj*(0) Nj*(1) N

38、j*(1) Nj*(2) Nj*(2) SOMSOM網(wǎng)的學(xué)習(xí)算法網(wǎng)的學(xué)習(xí)算法 (5)(5)調(diào)整權(quán)值調(diào)整權(quán)值 對(duì)優(yōu)勝鄰域?qū)?yōu)勝鄰域N Nj j* *( (t t) )內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值：內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值： i=1,2,ni=1,2,n j j N Nj j* *( (t t) ) 式中，式中， 是訓(xùn)練時(shí)間是訓(xùn)練時(shí)間t t 和鄰域內(nèi)第和鄰域內(nèi)第j j 個(gè)神經(jīng)元與獲個(gè)神經(jīng)元與獲 勝神經(jīng)元?jiǎng)偕窠?jīng)元 j j* * 之間的拓?fù)渚嚯x之間的拓?fù)渚嚯xN N 的函數(shù)，該函數(shù)一般的函數(shù)，該函數(shù)一般 有以下規(guī)律：有以下規(guī)律： )(),()()1(twxNttwtw ij p iijij h ),( Nth hh

39、Nt, KohonenKohonen學(xué)習(xí)算法學(xué)習(xí)算法 SOMSOM網(wǎng)的學(xué)習(xí)算法網(wǎng)的學(xué)習(xí)算法 (5)(5)調(diào)整權(quán)值調(diào)整權(quán)值 N etNt )(),(hh h(t) h(t) h(t) h(0) h(0) h(0) 0 t 0 t 0 t (6)(6)結(jié)束檢查結(jié)束檢查 學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的學(xué)習(xí)率是否衰減到零或某個(gè)預(yù)定的 正小數(shù)？正小數(shù)？ KohonenKohonen學(xué)習(xí)算法學(xué)習(xí)算法 SOMSOM網(wǎng)的學(xué)習(xí)算法網(wǎng)的學(xué)習(xí)算法 初始化、歸一化權(quán)向量 W： j W，j=1,2,m； 建立初始優(yōu)勝鄰域 Nj*(0) 學(xué)習(xí)率h(t)賦初始值 輸入歸一化樣本 p X ，p1,2,P 計(jì)算點(diǎn)積 pT j

40、XW ，j=1,2,m 選出點(diǎn)積最大的獲勝節(jié)點(diǎn) j* 定義優(yōu)勝鄰域 Nj*(t) 對(duì)優(yōu)勝鄰域 Nj*(t)內(nèi)節(jié)點(diǎn)調(diào)整權(quán)值： )()()()(twxN, ttw1tw ij p iijij h i=1,2,n jNj*(t) N )(th min h Y 結(jié)束 K o h o n e nK o h o n e n學(xué)習(xí)算法程序流程 學(xué)習(xí)算法程序流程 功功 能能 分分 析析 (1)(1)保序映射保序映射將輸入空間的樣本模式類有序地映射在輸出層上。將輸入空間的樣本模式類有序地映射在輸出層上。 例例1 1：動(dòng)物屬性特征映射。：動(dòng)物屬性特征映射。 動(dòng)物 屬性 鴿子 母雞 鴨 鵝 貓頭 鷹 隼 鷹 狐貍 狗

41、 狼 貓 虎 獅 馬 斑馬 牛 小 中 大 2只腿 4只腿 毛 蹄 鬃毛 羽毛 獵 跑 飛 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0

42、1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 功能分析功能分析 鴨 馬 牛 斑馬 虎 鵝 狼 貓 隼 頭 獅 鴿 鷹 狗 鷹 母雞 狐 貓 (2)(2)數(shù)據(jù)壓縮數(shù)據(jù)壓縮 將高維空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條將高維空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條 件下投影到低維空間。件下投影到低維空間。 (3)(3)特征抽取特征抽取

43、 高維空間的向量經(jīng)過(guò)特征抽取后可以在低維高維空間的向量經(jīng)過(guò)特征抽取后可以在低維 特征空間更加清晰地表達(dá)。特征空間更加清晰地表達(dá)。 例例2 2：SOMSOM網(wǎng)用于字符排序。網(wǎng)用于字符排序。 ABCDEFGHIGKLMNOPQRSTUVWXYZ123456 x 0 12345333333333333333333333333333 x 1 00000123453333333333333333333333 x 2 00000000001234567833336666666666 x 3 00000000000000000012341234222222 x 4 000000000000000000000

44、00000123456 功能分析功能分析 A B C D E F G H K L M N O P Q R I S W J T X 1 2 3 4 5 6 U Y V Z B C D E Q R Y Z A P X F N O W 1 G M 2 H K L T U 3 I 4 J S V 5 6 SOMSOM網(wǎng)在皮革配皮中的應(yīng)用網(wǎng)在皮革配皮中的應(yīng)用 要生產(chǎn)出優(yōu)質(zhì)皮衣，必須保證每件皮衣所用皮料在要生產(chǎn)出優(yōu)質(zhì)皮衣，必須保證每件皮衣所用皮料在 顏色和紋理方面的相似性。在生產(chǎn)中，通常由有經(jīng)驗(yàn)的顏色和紋理方面的相似性。在生產(chǎn)中，通常由有經(jīng)驗(yàn)的 工人根據(jù)皮料顏色、紋理的相近程度進(jìn)行分類。這道稱工人根據(jù)皮料

45、顏色、紋理的相近程度進(jìn)行分類。這道稱 為為“配皮配皮”的工序，因光照條件、工人經(jīng)驗(yàn)不同以及情的工序，因光照條件、工人經(jīng)驗(yàn)不同以及情 緒、體力等因素變化的影響，質(zhì)量難于保證。緒、體力等因素變化的影響，質(zhì)量難于保證。 計(jì)算機(jī)皮革檢測(cè)與分類系統(tǒng)可對(duì)成批皮革的顏色及計(jì)算機(jī)皮革檢測(cè)與分類系統(tǒng)可對(duì)成批皮革的顏色及 紋理進(jìn)行在線檢測(cè)、特征值提取及快速分類，從而代替紋理進(jìn)行在線檢測(cè)、特征值提取及快速分類，從而代替 了傳統(tǒng)的手工操作，取得了良好的效果。了傳統(tǒng)的手工操作，取得了良好的效果。 系統(tǒng)硬件組成系統(tǒng)硬件組成 CCD 彩彩 色色 攝像攝像 機(jī)機(jī) 解碼器解碼器 （PAL) 圖圖 像像 采集卡采集卡 及及 幀幀

46、 存存 儲(chǔ)儲(chǔ) 器器 計(jì)算機(jī)計(jì)算機(jī) 486/66 彩彩 色色 監(jiān)視器監(jiān)視器 打印機(jī)打印機(jī) 標(biāo)準(zhǔn)燈箱標(biāo)準(zhǔn)燈箱 皮革皮革 皮料傳送帶皮料傳送帶 D65光源光源 1. 顏色紋理特征提取顏色紋理特征提取 顏色參數(shù)顏色參數(shù): CIE1996均勻顏色空間值均勻顏色空間值 l*, a*, b* 紋理參數(shù)紋理參數(shù): 梯度均值梯度均值2, 梯度標(biāo)差梯度標(biāo)差 2 , 及梯度及梯度 墑墑T8。 皮革外觀由維輸入矢量皮革外觀由維輸入矢量 I = l*, a*, b*, 2 ,2 ,T8 描述描述 2. SOM 神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì) 網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu): 6輸入輸入1維線陣輸出。維線陣輸出。 聚類時(shí)每批聚類時(shí)每批1

47、00張皮，平均每件皮衣需要張皮，平均每件皮衣需要5 6張皮，因此將輸出層設(shè)置張皮，因此將輸出層設(shè)置20個(gè)神經(jīng)元。每個(gè)神經(jīng)元。每 個(gè)神經(jīng)元代表一類外觀效果相似的皮料，如個(gè)神經(jīng)元代表一類外觀效果相似的皮料，如 果聚為一類的皮料不夠做一件皮衣，可以和果聚為一類的皮料不夠做一件皮衣，可以和 相鄰類歸并使用。相鄰類歸并使用。 )(th t tp tm 3.網(wǎng)絡(luò)參數(shù)設(shè)計(jì)網(wǎng)絡(luò)參數(shù)設(shè)計(jì) N j* (t) 優(yōu)勝鄰域在訓(xùn)練開(kāi)始時(shí)覆蓋整個(gè)輸出線陣，以后訓(xùn)練優(yōu)勝鄰域在訓(xùn)練開(kāi)始時(shí)覆蓋整個(gè)輸出線陣，以后訓(xùn)練 次數(shù)每增加次數(shù)每增加t =tm/P，Nj*(t)鄰域兩端各收縮一個(gè)神經(jīng)元直至鄰域內(nèi)鄰域兩端各收縮一個(gè)神經(jīng)元直至鄰域

48、內(nèi) 只剩下獲勝神經(jīng)元。只剩下獲勝神經(jīng)元。 對(duì)對(duì)(t)采用了以下模擬退火函數(shù)：采用了以下模擬退火函數(shù)： 00.95 tm5000 tp1500 4.皮革紋理分類結(jié)果皮革紋理分類結(jié)果 頻頻度度 節(jié)節(jié)點(diǎn)點(diǎn) SOM網(wǎng)用于物流中心城市分類評(píng)價(jià)網(wǎng)用于物流中心城市分類評(píng)價(jià) (1)物流中心城市評(píng)價(jià)指標(biāo)與數(shù)據(jù)樣本物流中心城市評(píng)價(jià)指標(biāo)與數(shù)據(jù)樣本 簡(jiǎn)單選取簡(jiǎn)單選取5個(gè)評(píng)價(jià)指標(biāo)作為網(wǎng)絡(luò)輸入：個(gè)評(píng)價(jià)指標(biāo)作為網(wǎng)絡(luò)輸入： x1人均人均GDP(元元)， x2工業(yè)總產(chǎn)值工業(yè)總產(chǎn)值(億元億元)， x3社會(huì)消費(fèi)品零售總額社會(huì)消費(fèi)品零售總額(億元億元)， x4批發(fā)零售貿(mào)易總額批發(fā)零售貿(mào)易總額(億元億元)， x5貨運(yùn)總量貨運(yùn)總量(萬(wàn)噸

49、萬(wàn)噸)。 城城市市 X1 X2 X3 X4 X5 城城市市 X1 X2 X3 X4 X5 北北京京 27527 2738.30 1494.83 3055.63 30500 青青島島 29682 1212.02 182.80 598. 06 29068 天天津津 22073 2663.56 782.33 1465.65 28151 煙煙臺(tái)臺(tái) 21017 298.73 92.71 227.39 8178 石石家家莊莊 25584 467.42 156.02 763.46 12415 鄭鄭州州 17330 261.80 215.63 402.98 7373 唐唐山山 19387 338.67 95.

50、73 199.69 14522 武武漢漢 17882 1020.84 685.82 1452 16244 太太原原 13919 304.13 141.94 155.22 15170 長(zhǎng)長(zhǎng)沙沙 26327 241.76 269.93 369.83 7550 呼呼和和浩浩特特 13738 82.23 69.27 108.12 2415 衡衡陽(yáng)陽(yáng) 12386 61.53 63.95 72.65 3004 沈沈陽(yáng)陽(yáng) 21736 729.04 590.26 1752.4 15156 廣廣州州 42828 2446.97 1166.10 3214.19 24500 大大連連 34659 1003.56 4

51、31.83 728.08 19736 深深圳圳 152099 3079.63 609.26 801.06 5167 長(zhǎng)長(zhǎng)春春 24799 900.26 309.75 173.99 10346 汕汕頭頭 19414 192.93 112.96 280.84 1443 哈哈爾爾濱濱 20737 402.73 360.38 762.94 8814 湛湛江江 15290 228.45 99.08 149.16 5524 上上海海 40788 6935.57 1531.89 3921.2 49499 南南寧寧 17715 109.39 142.08 264.32 3371 南南京京 26697 1579

52、.21 401.20 1253.73 14120 柳柳州州 17598 256.76 68.93 159.44 3397 徐徐州州 19727 295.73 108.17 187.39 7124 海?？诳?24782 100.13 81.03 142.54 2018 連連云云港港 17869 112.18 47.94 134.89 4096 成成都都 22956 412.23 400.56 754.07 23724 杭杭州州 31784 1615.63 373.28 1788.29 15841 重重慶慶 9778 870.82 389.60 823.72 29470 寧寧波波 46471 751.58 167.70 529.68 11182 貴貴陽(yáng)陽(yáng) 13176 207.95 108.93 285.27 4885 溫溫州州 29781 381.93 233.44 272.84 6292 昆昆明明 24554 303.78 227.44 428.64 12084 合合肥肥 19770 330.14 140.14 3