四種無監(jiān)督學(xué)習(xí)定律主要講前兩種

四種無監(jiān)督學(xué)習(xí)定律主要講前兩種2023/7/101第1頁，課件共35頁，創(chuàng)作于2023年2月1、信號的Heb學(xué)習(xí)通過求解Heb學(xué)習(xí)法則的公式

(132)可獲得如下積分方程

(133)2023/7/102第2頁，課件共35頁，創(chuàng)作于2023年2月1、信號的Heb學(xué)習(xí)近期的影響與遺忘漸進相關(guān)編碼Heb相關(guān)解碼2023/7/103第3頁，課件共35頁，創(chuàng)作于2023年2月近期的影響與遺忘Heb學(xué)習(xí)遵循的是指數(shù)加權(quán)平均的樣本模式。式中的遺忘項為。上述遺忘項產(chǎn)生了積分方程中先前突觸的指數(shù)系數(shù)。說明學(xué)習(xí)的同時也在遺忘，而且是呈指數(shù)衰減。在式（132）中的遺忘項產(chǎn)生了（133）中對先前知識的指數(shù)權(quán)。2023/7/104第4頁，課件共35頁，創(chuàng)作于2023年2月近期的影響與遺忘實際上遺忘定律提供的最簡單的局部非監(jiān)督學(xué)習(xí)定律為：

（134）說明了兩個關(guān)鍵特征：

1僅依賴于局部信息，即現(xiàn)在的突觸強度。

2呈指數(shù)律達到平衡，可實時操作。2023/7/105第5頁，課件共35頁，創(chuàng)作于2023年2月漸進相關(guān)編碼

突觸矩陣M可用雙極相關(guān)矩陣表示

(135)X和Y：雙極信號和。，=1，-1

兩種極端情況：

1、

2、實際中必須使用一個對角衰減記憶指數(shù)矩陣來補償固有的信息指數(shù)衰減。2023/7/106第6頁，課件共35頁，創(chuàng)作于2023年2月漸進相關(guān)編碼

（142）

X和Y表示二極信號矢量矩陣。簡單說，用對角衰減矩陣W的目的就是對過去的聯(lián)想模式取一段學(xué)習(xí)時間，而給最近的m個聯(lián)想模式取更短一些的學(xué)習(xí)時間。達到補償指數(shù)衰減的目的。2023/7/107第7頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼

考慮m個二極矢量聯(lián)想對的二極相關(guān)編碼。表示n維二極空間中的一個點，表示p維二極空間中的一個點。

二極聯(lián)想對對應(yīng)于二值矢量聯(lián)對。這里表示n維布爾空間中的一個點，代表p維空間中的一個點。2023/7/108第8頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼

可以看出，把－1換成0，就會變成。這樣，若加權(quán)矩陣W為單位陣I，二極聯(lián)想對的Heb編碼就對應(yīng)于（142）的加權(quán)Heb編碼方案：（143）可用Heb突觸矩陣M對和神經(jīng)元信號進行雙向處理?？砂焉窠?jīng)元信號前向通過M，后向通過。這里僅考察前向的情況。二極矢量提供給神經(jīng)元系統(tǒng)。有若干，越接近，解碼精度越高。2023/7/109第9頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼

矢量通過濾波器M時，同步閾值產(chǎn)生輸出雙極矢量Y，Y與Yi接近到什么程度？我們可對信噪分解

（144）

（145）

（146）2023/7/1010第10頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼

其中，這里為信號矢量而為噪聲矢量。為校正系數(shù)，使每個盡可能從符號上接近于。把或其它靠近的矢量Y通過，校正性質(zhì)依然成立。用神經(jīng)元網(wǎng)絡(luò)從有代表性的訓(xùn)練樣本中估計連續(xù)函數(shù)f時，有一個連續(xù)的假設(shè)。2023/7/1011第11頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼

假定異聯(lián)想樣本從連續(xù)函數(shù)f上取樣，那么輸入的微小變化必然引起輸出的微小變化。

相同的比特數(shù)-不同的比特數(shù)

（154）

H表示漢明距離：2023/7/1012第12頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼?若兩個二值矢量和靠近，相同的比特數(shù)大于不同的比特數(shù)，那么。極端情況下，。?時，，校正系數(shù)將度量上含糊不清的矢量丟棄掉，不參與求和。?與相差較遠，。極端情況下則，。2023/7/1013第13頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼Heb編碼步驟：

1把二值矢量變?yōu)殡p極矢量；

2對鄰接的相關(guān)編碼的聯(lián)想求和

若時間聯(lián)想記憶（TAM）假設(shè)成立：則對同步的TAM輸入，把激勵同步閾值化為信號，就產(chǎn)生了：2023/7/1014第14頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼Heb編碼步驟（例證）：一個三步極限環(huán)位矢量：

將位矢量轉(zhuǎn)換成二極矢量2023/7/1015第15頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼

產(chǎn)生TAM矩陣2023/7/1016第16頁，課件共35頁，創(chuàng)作于2023年2月Heb相關(guān)解碼位矢量通過T產(chǎn)生：因此產(chǎn)生前向極限環(huán)

后向情況用位矢量乘以，可得到：2023/7/1017第17頁，課件共35頁，創(chuàng)作于2023年2月2、競爭學(xué)習(xí)確定性競爭學(xué)習(xí)定律：

（165）

展開：

這里用的是非線性遺忘項，而Heb學(xué)習(xí)定律用的是線性遺忘項。因此兩種學(xué)習(xí)方法的區(qū)別在于它們?nèi)绾芜z忘而不是如何學(xué)習(xí)。2023/7/1018第18頁，課件共35頁，創(chuàng)作于2023年2月2、競爭學(xué)習(xí)兩種情況下都有當(dāng)?shù)趈個競爭神經(jīng)元獲勝時，突觸以指數(shù)率迅速編碼信號。與Heb突觸不同的是，競爭突觸當(dāng)后突觸神經(jīng)元失敗時，并不遺忘，即。因此（165）就簡化為不改變的形式。而Heb學(xué)習(xí)則簡化為（134）的形式。Heb學(xué)習(xí)是分布式的，對每個樣本模式進行編碼，因此學(xué)習(xí)新模式后，會遺忘每個所學(xué)模式的部分。2023/7/1019第19頁，課件共35頁，創(chuàng)作于2023年2月2、競爭學(xué)習(xí)而競爭學(xué)習(xí)不是分布式的，只有贏得突觸矢量才對樣本模式或進行編碼。如果樣本模式或堅持足夠長的學(xué)習(xí)，競爭突觸就會成為“grandmother”突觸，突觸值很快等于模式或，其它突觸不會編碼這種模式。2023/7/1020第20頁，課件共35頁，創(chuàng)作于2023年2月2、競爭學(xué)習(xí)競爭作為指示器競爭作為相關(guān)檢測器漸進質(zhì)心估計競爭協(xié)方差估計2023/7/1021第21頁，課件共35頁，創(chuàng)作于2023年2月競爭作為指示器質(zhì)心估計需要競爭信號近似為局部樣本模式的指示函數(shù)

（168）

這樣如果樣本x來自于區(qū)域，則第j個競爭元獲勝，其它神經(jīng)元失敗。（169）

2023/7/1022第22頁，課件共35頁，創(chuàng)作于2023年2月競爭作為指示器上式是的神經(jīng)元激勵。使用的是隨機線性競爭學(xué)習(xí)和簡單的加模型。與是隨機行矢量，是競爭神經(jīng)元向第j個神經(jīng)元發(fā)出的阻性反饋。

（170）2023/7/1023第23頁，課件共35頁，創(chuàng)作于2023年2月競爭作為指示器

其中是阻性反饋值，它等于突觸加權(quán)信號的和式。式（170）中為二值閾值化函數(shù)，因此該式可簡化為：當(dāng)?shù)趈個神經(jīng)元獲勝時，如果第k個神經(jīng)元獲勝，則。競爭神經(jīng)元激勵自己（或鄰近區(qū)域），同時抑制其它（或較遠的區(qū)域）。2023/7/1024第24頁，課件共35頁，創(chuàng)作于2023年2月競爭作為相關(guān)檢測器度量指示函數(shù)：

（171）于是競爭學(xué)習(xí)就簡化為信號相關(guān)檢測。那么如何將度量競爭學(xué)習(xí)簡化為相關(guān)檢測？設(shè)在每個時刻的突觸矢量具有相等的正的有限的范數(shù)值：2023/7/1025第25頁，課件共35頁，創(chuàng)作于2023年2月競爭作為相關(guān)檢測器

（173）

從（4-171）知：第j個競爭神經(jīng)元獲勝當(dāng)且僅當(dāng)：

（174－177）2023/7/1026第26頁，課件共35頁，創(chuàng)作于2023年2月競爭作為相關(guān)檢測器

利用等范數(shù)特性并進一步簡化可得：（179）可看出當(dāng)且僅當(dāng)輸入信號模式x與最大相關(guān)時，第j個競爭元才競爭獲勝。利用余弦定律：得到度量競爭學(xué)習(xí)的幾何解釋：第j個神經(jīng)元當(dāng)且僅當(dāng)輸入模式更平行于突觸矢量時才獲勝。2023/7/1027第27頁，課件共35頁，創(chuàng)作于2023年2月漸進的質(zhì)心估計簡化的競爭學(xué)習(xí)定律：

（181）

突觸矢量傾向于等于區(qū)域的質(zhì)心，至少也是平均意義上的質(zhì)心。具體的細節(jié)見第六章。結(jié)論：平均突觸矢量可以指數(shù)規(guī)律迅速收斂到質(zhì)心。應(yīng)用此特性可以把訓(xùn)練樣本只通過一次或少數(shù)的幾次即可。

2023/7/1028第28頁，課件共35頁，創(chuàng)作于2023年2月競爭協(xié)方差估計質(zhì)心估計提供未知概率密度函數(shù)的一階估計，而局部的協(xié)方差估計提供它的二階描述。競爭學(xué)習(xí)規(guī)律擴展到漸進估計條件協(xié)方差矩陣。

（189）

這里表示的質(zhì)心。每個確定類都有一個質(zhì)心。2023/7/1029第29頁，課件共35頁，創(chuàng)作于2023年2月競爭協(xié)方差估計

誤差估計理論的一個重要定理：

（190）

其中為Borel測度隨機矢量函數(shù)。2023/7/1030第30頁，課件共35頁，創(chuàng)作于2023年2月競爭協(xié)方差估計

每一步迭代中估計未知的質(zhì)心作為當(dāng)前突觸矢量。這樣就成為一個誤差條件協(xié)方差矩陣。對于獲勝突觸矢量有下列隨機微分方程算法（191-192）

初始化