SOM自組織映射學(xué)習(xí)匯報(bào)

九逸作品匯報(bào)人：1我學(xué)到了什么我下一步要做什么自組織神經(jīng)網(wǎng)絡(luò)SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching2自組織神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)是一類無教師學(xué)習(xí)方式的神經(jīng)網(wǎng)絡(luò)模型，它無需期望輸出，知識根據(jù)數(shù)據(jù)樣本進(jìn)行學(xué)習(xí)，并調(diào)整自身權(quán)重以達(dá)到學(xué)習(xí)的目的。自組織神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則大都采用競爭型的學(xué)習(xí)規(guī)則。

競爭型神經(jīng)網(wǎng)絡(luò)的基本思想是網(wǎng)絡(luò)競爭層的各神經(jīng)元通過競爭來獲取對輸入模式的響應(yīng)機(jī)會。競爭結(jié)果會存在獲勝神經(jīng)元，獲勝神經(jīng)元有關(guān)的各連接權(quán)值向著更有利于其競爭的方向發(fā)展。3競爭層輸入層Wj權(quán)值不同的輸入歸結(jié)到1個(gè)神經(jīng)元上，幾個(gè)輸入就是一類，實(shí)現(xiàn)了分類。4競爭學(xué)習(xí)：

網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，稱為WTA（Winner-Take-All）。5學(xué)習(xí)規(guī)則：1.向量歸一化。首先將當(dāng)前輸入模式向量X和競爭層中各神經(jīng)元對應(yīng)的向量Wj全部進(jìn)行歸一化處理。2.尋找獲勝神經(jīng)元。當(dāng)網(wǎng)絡(luò)得到一個(gè)輸入模式向量時(shí)，競爭層的所有神經(jīng)元對應(yīng)的權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)權(quán)向量判為競爭獲勝神經(jīng)元。3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整。4.重新向量歸一化。6用競爭學(xué)習(xí)算法將下列各模式分為2類：

輸入向量為：學(xué)習(xí)率為a=0.5

向量歸一化設(shè)置兩個(gè)權(quán)向量7競爭學(xué)習(xí)X1學(xué)習(xí)d1=||X1-W1(0)||=1∠36.89°,d2=||X1-W2(0)||=1∠216.89°d1<d2,所以神經(jīng)元1獲勝，W1調(diào)整W1(1)=W1(0)+a(X1-W1(0))=1∠18.43°W2(1)=W2(0)=1∠-180°X2學(xué)習(xí)d1=||X2-W1(1)||=1∠98.43°,d2=||X2-W2(1)||=1∠100°d1<d2,所以神經(jīng)元1獲勝，W1調(diào)整W1(2)=W1(1)+a(X2-W1(1))=1∠-30.8°W2(2)=W2(1)=1∠-180°8d1=1∠104°d2=1∠100°9我學(xué)到了什么我下一步要做什么自組織神經(jīng)網(wǎng)絡(luò)SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching10SOM

SOM，Self-OrganizingFeatureMaps,自組織神經(jīng)網(wǎng)絡(luò)，是一種無導(dǎo)師學(xué)習(xí)的網(wǎng)絡(luò)，主要用來對于輸入向量進(jìn)行區(qū)域分類。SOM的算法思想：

某個(gè)輸出節(jié)點(diǎn)能對某一類模式做出特別的反應(yīng)以代表該模式類。

輸出層上相鄰的節(jié)點(diǎn)能對實(shí)際模式分布中相近的模式類做出特別的反應(yīng)。

當(dāng)某類數(shù)據(jù)模式輸入時(shí)，對某以輸出節(jié)點(diǎn)產(chǎn)生最大刺激（獲勝神經(jīng)元），同時(shí)對獲勝神經(jīng)元節(jié)點(diǎn)周圍的一些節(jié)點(diǎn)產(chǎn)生較大的刺激。11SOM

網(wǎng)絡(luò)中有兩種鏈接權(quán)值，一種是神經(jīng)元對外部輸入反應(yīng)的連接權(quán)值，另外一種是神經(jīng)元之間的特征權(quán)值。它的大小控制著神經(jīng)元之間交互作用的強(qiáng)弱。

SOM拓?fù)浣Y(jié)構(gòu)圖12SOM算法是一種無導(dǎo)師的聚類法，他能將任意維輸入模在輸出層映射成一維或者二維離散圖形，并保持其拖布結(jié)構(gòu)不變，即在無導(dǎo)師的情況下，通過對輸入模式的自組織學(xué)習(xí)，在競爭層將分類結(jié)果表示出來。此外，網(wǎng)絡(luò)通過對輸入模式的反復(fù)學(xué)習(xí)，可以使連接權(quán)值空間分布密度與輸入模式的概率分布趨于一致，即鏈接權(quán)向量空間分布能反應(yīng)輸入模式的統(tǒng)計(jì)特征。

13SOM算法是一個(gè)競爭-合作的過程。1.競爭。對于輸入模式，網(wǎng)絡(luò)中的神經(jīng)元計(jì)算他們各自判別函數(shù)的值。這個(gè)判別函數(shù)對神經(jīng)元之間的競爭提供基礎(chǔ)，具有判別函數(shù)最優(yōu)值（在歐式距離中是最小值）的特定神經(jīng)元成為競爭的勝利者。2.合作。獲勝神經(jīng)元的的相鄰神經(jīng)元的是合作的基礎(chǔ)。神經(jīng)元決定興奮神經(jīng)元的拓?fù)溧徲虻目臻g位置，從而提供這樣的相鄰神經(jīng)元的合作的基礎(chǔ)。3.突出調(diào)節(jié)。最后的這個(gè)機(jī)制使神經(jīng)元通過對他們突觸權(quán)值的調(diào)節(jié)以增加他們的關(guān)于該輸入模式的判別的函數(shù)值。所做的調(diào)節(jié)使獲勝神經(jīng)元對以后相似輸入模式的響應(yīng)增強(qiáng)了。14SOM算法步驟Step.1網(wǎng)絡(luò)初始化用隨機(jī)數(shù)設(shè)定輸入層和映射層之間權(quán)值的初始值：Wij。設(shè)定學(xué)習(xí)次數(shù)T，相關(guān)鄰域Ni(d)。WijX1X2……XijStep.2輸入向量把輸入向量輸入給輸入層：Xi。15SOM算法步驟Step.3計(jì)算映射層的權(quán)值向量和輸入向量的距離。由歐式距離給出：WijX1X2……Xij16SOM算法步驟Step.4選擇與權(quán)值向量的距離最小的神經(jīng)元。計(jì)算并選擇使輸入向量和權(quán)值向量距離最小的神經(jīng)元，把其稱為勝出神經(jīng)元，標(biāo)記為j*，并給出鄰接神經(jīng)元集合。WijX1X2……Xij17SOM算法在修正神經(jīng)元的時(shí)候，同時(shí)要修正獲勝神經(jīng)元的附近區(qū)域Ni(d)內(nèi)所有的神經(jīng)元。Ni(d)={j,dij<=d}12543671098111215141316172019182122252423N13(1)={8，12，13，14，18}N13(2)={3，7，8，9，11，12，13，14，15，17，18，19，23}18SOM算法步驟Step.5調(diào)整權(quán)值勝出神經(jīng)元和位于其鄰接的神經(jīng)元的權(quán)值通過下式調(diào)整。Wij(t+1)=Wij(t)+a(t)h(j,j*)(Xi-Wij)其中，a(t)為學(xué)習(xí)率，隨著t的增大而減小。h（j,j*）為鄰域函數(shù)，隨著學(xué)習(xí)程度逐漸減小。Step.6若t<=T，則停止學(xué)習(xí)，否則繼續(xù)執(zhí)行Step.2。19解釋：可以用兩種方式來解釋SOM算法。首先，因?yàn)樵谟?xùn)練階段，整個(gè)鄰域的權(quán)值向著相同的方向靠近，所以類似的項(xiàng)目趨向于刺激鄰近的神經(jīng)元。因此，SOM形成了一個(gè)使相同樣本靠近，不同樣本分離的語義映射。這樣，SOM便實(shí)現(xiàn)了分類的過程。其次，可以考慮神經(jīng)元的權(quán)值作為輸入空間的指針，形成了一個(gè)訓(xùn)練樣本分布的離散近似值。更多的神經(jīng)元指向了高度訓(xùn)練的樣本集中的區(qū)域。20性質(zhì)：輸入空間的近似對于V空間中的向量v，首先根據(jù)特征映射Φ確定在輸出空間A中最佳的匹配單元S，S的權(quán)重向量Ws可視為S投影到輸入空間的坐標(biāo)。通過不斷調(diào)整權(quán)重矩陣，是輸出空間A近似的表示輸入空間V。SOM實(shí)質(zhì)上是從任意維離散或者連續(xù)空間V到一維或者二維離散空間A的一種保序映射。21SOM功能分析1.保序映射：將輸入空間的樣本模式類有序地映射

在輸出層上。2.數(shù)據(jù)壓縮：將高維空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條件下投影到低維空間。在SOM中，無論輸入空間樣本有多少維，都可以在SOFM輸出層的某個(gè)區(qū)域得到響應(yīng)。3.特征抽?。焊呔S空間的向量經(jīng)過特征抽取后可以在低維特征空間更加清晰地表達(dá)。22我學(xué)到了什么我下一步要做什么自組織神經(jīng)網(wǎng)絡(luò)SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching23AnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching

論文是對于原來的NeuralArchitectureforGazeMovementControlinTargetSearching的改進(jìn)。24論文在第三層和第四層之間增加了一個(gè)新的MovementCodingNeuron,以便更好地實(shí)現(xiàn)gazemotionestimationandcontrol。

原來結(jié)構(gòu)的缺點(diǎn)是，第三層所有的大反應(yīng)神經(jīng)元向第四層中運(yùn)動控制神經(jīng)元傳輸了權(quán)值響應(yīng)，從而參與了凝視運(yùn)動的合成。然而，這些大反應(yīng)神經(jīng)元可能產(chǎn)生不同的運(yùn)動估計(jì)量的分組。談及分組鏈接權(quán)值時(shí)，要對這些神經(jīng)元的運(yùn)動估計(jì)進(jìn)行分辨及分類，有必要在第四層把這些神經(jīng)元對應(yīng)著運(yùn)動控制神經(jīng)元組織起來。25我學(xué)到了什么我下一步要做什么自組織神經(jīng)網(wǎng)絡(luò)SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching261.對于AnImprovedNeuralArch