盲源分離之極大似然ICA算法

1、極大似然獨立成分分析算法一、似然度極大似然估計可以解釋為：采納那些使觀測向量具有最大概率的估計參數(shù)值。設(shè)是對觀測向量的概率密度的估計，源信號的概率密度函數(shù)為，根據(jù)線性變換下兩個概率密度函數(shù)之間的關(guān)系，觀測數(shù)據(jù)的概率密度函數(shù)的估計與源信號概率密度函數(shù)滿足對于給定的模型，觀測數(shù)據(jù)的似然函數(shù)是模型參數(shù)的函數(shù)，定義為當模型參數(shù)為分離矩陣時，對數(shù)似然函數(shù)為式中，為獨立同分布觀測數(shù)據(jù)的樣本數(shù)，最大化此似然函數(shù)就可獲得關(guān)于參數(shù)的最優(yōu)估計。二、Infomax算法Infomax算法即為信息傳輸極大化算法。圖1 Infomax算法框圖由圖1可知，Infomax算法是一種基于信息論的前向反饋自組織神經(jīng)網(wǎng)絡(luò)的算法，其

2、中為多路觀測信號向量，它是由個獨立源線性混合而成，網(wǎng)絡(luò)輸出是對真實源的逼近。為可逆單調(diào)非線性函數(shù)，非線性輸出為。獨立性判據(jù)為最大信息傳輸準則，即通過對分離矩陣 (神經(jīng)網(wǎng)絡(luò)的連接權(quán)值矩陣)的調(diào)整尋找優(yōu)化的，使網(wǎng)絡(luò)輸出和輸入之間的互信息達到最大。由信息論可知式中，為網(wǎng)絡(luò)聯(lián)合輸出熵；為輸出的條件熵。若系統(tǒng)存在噪聲，即，有，則上式可表示為于是，和之間的互信息最大等價于網(wǎng)絡(luò)聯(lián)合輸出熵最大(噪聲與系統(tǒng)無關(guān))。以網(wǎng)絡(luò)輸出的聯(lián)合熵作為目標函數(shù)，由信息熵理論可知式中，為非線性輸出的邊緣熵；為非線性輸出之間的互信息，其值總是非負的，只有當非線性輸出之間彼此相互獨立時，。由互信息可知，單調(diào)可逆非線性映射對互信息沒有

3、影響，所以取最小值0時，也同時達到最小值零，于是各成分間相互統(tǒng)計獨立，ICA問題得以解決。此時式中，為輸出的概率密度函數(shù)，因此最大化包含了最大化邊緣熵和最小化互信息兩個內(nèi)容。選擇熵作為目標函數(shù)是因為熵是一個隨機變量無序性的度量及信息量大小(不確定信息的多少)的測度，的各成分統(tǒng)計獨立性越高則相應(yīng)的熵越大，所含信息也越多?？梢宰C明，當非線性函數(shù)為源的概率密度函數(shù)的積分累積分布函數(shù)時，邊緣熵最大。由于在系統(tǒng)中，所以其中，為分離矩陣的雅克比行列式的絕對值，即得到由上式可知，當已知時，的大小隨而變，即隨權(quán)值矩陣而變，將代入上式并求梯度，可得 (1)對于(1)式的第一項，將權(quán)值按行展開為，為對應(yīng)元素的代數(shù)

4、余子式，由于所以式中，表示的伴隨矩陣。對于(1)式的第二項，可以將對數(shù)項展開，而對于某一個，展開項中只有一個與其相關(guān)，令顯然，第二項與有關(guān)，這樣得到分離矩陣調(diào)整算法公式為可以選擇取值在0,1之間的單調(diào)遞升函數(shù)，如Sigmod函數(shù)和tanh函數(shù)等?？紤]語音信號一般為超高斯信號，采用固定形式為函數(shù)的非線性函數(shù)參數(shù)調(diào)節(jié)公式為 (2) (3)式中，為迭代次數(shù)；為學習率(通常是一個小于1的正數(shù))。Infomax算法就按式(2)和(3)進行分離矩陣的迭代求解，知道算法收斂。采用自然梯度(或相對梯度)對式(2)進行化簡，即在其右邊乘以，于是式(2)化為 (4)由于為正定矩陣，并不影響隨機梯度下降算法的收斂，

5、同時式(4)避免了矩陣的求逆過程，因而計算量明顯降低，收斂速度加快。缺點：由于Sigmod函數(shù)的微分所表示的概率分布函數(shù)是超高斯的(峰度為正)，因此Infomax算法只適用于超高斯源信號的盲分離。三、擴展Infomax算法實際觀測信號通常是超高斯源和亞高斯源的混合信號，因此在傳統(tǒng)Infomax算法基礎(chǔ)上采用雙概率模型，并在盲分離算法迭代過程中，根據(jù)分離結(jié)果的統(tǒng)計特性變化，動態(tài)切換概率模型，最終實現(xiàn)概率模型與真實源信號概率分布類型的統(tǒng)一，實現(xiàn)最佳的盲分離效果。圖2所示為擴展Infomax算法的原理框圖，其中亞高斯概率密度模型為 (5)圖2 擴展Infomax算法原理框圖令，由式(5)及雙曲正切函數(shù)的定義，可以得到令及，則上式可以簡化為于是，分離矩陣的更新規(guī)則為圖2中的單峰超高斯概率密度模型為式中，為具有零均值、單位方差的高斯密度函數(shù)；同理，可計算出非線性函數(shù)為因此，分離矩陣的更新規(guī)則為引入維對角矩陣，稱為概率密度切換矩陣，對角元素為峰度符號，取值根據(jù)歸一化峰度的符號變化來確定。根據(jù)峰度的定義，有對于高斯信號，；對于超高斯信號，；對于亞高斯信號，。擴展Infomax算法的分離矩陣的更新規(guī)則為其中，超高斯信號：；亞高斯信號：?？偨Y(jié)，擴展Infomax算法