(完整)ICA快速算法原理和程序

1、實驗實驗 2:FastICA 算法算法一一算法原理算法原理: :獨立分量分析(ICA)的過程如圖所示：在信源s(t)中各分量相互獨立的假設下，由觀察x(t)通過解混系統(tǒng)B把他們分離開來，使輸出y(t)逼近s(t)！解混尋議H亦)U圖1-ICA的一般過程ICA算法的研究可分為基于信息論準則的迭代估計方法和基于統(tǒng)計學的代數(shù)方法兩大類， 從原理上來說,它們都是利用了源信號的獨立性和非高斯性。基于信息論的方法研究中，各國學者從最大熵、最小互信息、最大似然和負熵最大化等角度提出了一系列估計算法。如FastICA算法，Infomax算法，最大似然估計算法等。基于統(tǒng)計學的方法主要有二階累積量、四階累積量等高

2、階累積量方法。本實驗討論FastICA算法。1.數(shù)據(jù)的預處理數(shù)據(jù)的預處理一般情況下，所獲得的數(shù)據(jù)都具有相關性，所以通常都要求對數(shù)據(jù)進行初步的白化或球化處理，因為白化處理可去除各觀測信號之間的相關性，從而簡化了后續(xù)獨立分量的提取過程，而且，通常情況下，數(shù)據(jù)進行白化處理與不對數(shù)據(jù)進行白化處理相比，算法的收斂性較好.若一零均值的隨機向量Z=(Z,Z)T滿足EZZTLI，其中：I為單位矩陣，我們稱這個向量為白化向1M量。白化的本質(zhì)在于去相關，這同主分量分析的目標是一樣的。在ICA中，對于為零均值的獨立源信號S(t)=kQ.,S，有：E*SLESE幺L0,當i豐j，且協(xié)方差矩陣是單位陣cov(S)=I,

3、因此，1Nijij源信號SC)是白色的。對觀測信號X(/)，我們應該尋找一個線性變換，使XQ投影到新的子空間后變成白化向量，即：Z()二WX(t)(2.1)0其中，W為白化矩陣，Z為白化向量。0利用主分量分析，我們通過計算樣本向量得到一個變換W=A-1/2UT0其中U和A分別代表協(xié)方差矩陣C的特征向量矩陣和特征值矩陣?？梢宰C明，線性變換W滿足白化變換的X0要求。通過正交變換，可以保證UTU二UUT=I。因此，協(xié)方差矩陣:再將XQ=AS(t)式代入ZC)二WXC),且令WA=A，有00ZC)=WAS(t)=ASC)(2.3)0由于線性變換A連接的是兩個白色隨機矢量Z(t)和S(t),可以得出A定

4、是一個正交變換。如果把上式中的ZC)看作新的觀測信號，那么可以說，白化使原來的混合矩陣A簡化成一個新的正交矩陣A。證明也是簡單的：EZZT=EkSSTATIAESTAT=AAT二I其實正交變換相當于對多維矢量所在的坐標系進行一個旋轉(zhuǎn)。在多維情況下，混合矩陣A是NXN的，白化后新的混合矩陣A由于是正交矩陣，其自由度降為NX(N-1)/2，所以說白化使得ICA問題的工作量幾乎減少了一半。白化這種常規(guī)的方法作為ICA的預處理可以有效地降低問題的復雜度，而且算法簡單，用傳統(tǒng)的PCA就可完成。用PCA對觀測信號進行白化的預處理使得原來所求的解混合矩陣退化成一個正交陣，減少了ICA的工作量.此外，PCA本

5、身具有降維功能，當觀測信號的個數(shù)大于源信號個數(shù)時,經(jīng)過白化可以自動將觀測信號數(shù)目降到與源信號維數(shù)相同。2.FastICA 算法算法FastICA算法，又稱固定點(Fixed-Point)算法，是由芬蘭赫爾辛基大學Hyvrinen等人提出來的。是一種快速尋優(yōu)迭代算法，與普通的神經(jīng)網(wǎng)絡算法不同的是這種算法采用了批處理的方式，即在每一步迭代中有大量的樣本數(shù)據(jù)參與運算。但是從分布式并行處理的觀點看該算法仍可稱之為是一種神經(jīng)網(wǎng)絡算法。FastICA算法有基于峭度、基于似然最大、基于負熵最大等形式，這里，我們介紹基于負熵最大的FastICA算法。它以負熵最大作為一個搜尋方向，可以實現(xiàn)順序地提取獨立源，充分

6、體現(xiàn)了投影追蹤(ProjectionPursuit)這種傳統(tǒng)線性變換的思想。此外，該算法采用了定點迭代的優(yōu)化算法，使得收斂更加快速、穩(wěn)健。因為FastICA算法以負熵最大作為一個搜尋方向，因此先討論一下負熵判決準則.由信息論理論可知：在所有等方差的隨機變量中，高斯變量的熵最大，因而我們可以利用熵來度量非高斯性，常用熵的修正形式，即負熵。根據(jù)中心極限定理，若一隨機變量X由許多相互獨立的隨機變量S(=1,2,3,.N)之和組成，只要Sii具有有限的均值和方差，則不論其為何種分布，隨機變量X較S更接近高斯分布。換言之，S較X的非高ii斯性更強。因此，在分離過程中，可通過對分離結(jié)果的非高斯性度量來表示

7、分離結(jié)果間的相互獨立性，當非高斯性度量達到最大時，則表明已完成對各獨立分量的分離.負熵的定義:EZZT=E.-I/2UTXXTUA一1/2(完整)ICA快速算法原理和程序(2.2)2。4)A-1/2UTE/2二A-l/2AA-1/2二I的迭代公式：N(Y)=H(Y)-H(Y)(2.5)gGauss式中，Y是一與Y具有相同方差的高斯隨機變量，H()為隨機變量的微分熵GaussH(y)=Jp)lgp)dg(2。6)根據(jù)信息理論， 在具有相同方差的隨機變量中， 高斯分布的隨機變量具有最大的微分熵。 當Y具有高斯分布時，N(Y)=0；Y的非高斯性越強，其微分熵越小，N(Y)值越大，所以N(Y)可以作為

8、隨機變量Y非高ggg斯性的測度。由于根據(jù)式(3.6)計算微分熵需要知道Y的概率密度分布函數(shù)，這顯然不切實際，于是采用如下近似公式：N(y)=臥(y)-E【g(y張(2.7)g其中，E】為均值運算；g()為非線性函數(shù)，可取g(y)=tanh(ay)，或g(y)=yexp(y2/2)或g(y)=y3等1123Gauss非線性函數(shù)，這里，1a2，通常我們?nèi)=1。11快速ICA學習規(guī)則是找一個方向以便WTX=WTX)具有最大的非高斯性.這里，非高斯性用式(3。7)給出的負熵N(WTX)的近似值來度量，WTX的方差約束為1,對于白化數(shù)據(jù)而言，這等于約束W的范數(shù)為g1。FastlCA算法的推導如下。首先

9、，WTX的負熵的最大近似值能通過對EGWTX進行優(yōu)化來獲得.根據(jù)KuhnTucker條件，在EWTX)|W|2=1的約束下，EGWTX的最優(yōu)值能在滿足下式的點上獲得。這里，0是一個恒定值，0=E+0W=0TX”W是優(yōu)化后的W值.下面我們利用牛頓迭代法解方程(3.8)。002.8)用F表示式(3。8)左邊的函數(shù)，可得F的雅可比矩陣JF(W)如下:JF(W)=EXXTgWTXLI2。9)為了簡化矩陣的求逆，可以近似為(3.9)式的第一項。由于數(shù)據(jù)被球化，EXXT丿=I，所以,E&XTgWTX九EXXT1EWTXM=EWTX。因而雅可比矩陣變成了對角陣，并且能比較容易地求逆。因而可以得到下面

10、的近似牛頓迭代公式：W*=W-IELgWTX尢卩WILtWTX尢卩W=W*(2.10)TX牙規(guī)格化能提高解的穩(wěn)定性。簡化后就可以得到FastlCA算法0這里，W*是W的新值,（完整）ICA快速算法原理和程序W*=EXgWTX-EgWTXW=W*/|W*11實踐中，F(xiàn)astICA算法中用的期望必須用它們的估計值代替.當然最好的估計是相應的樣本平均.理想情況下，所有的有效數(shù)據(jù)都應該參與計算，但這會降低計算速度。所以通常用一部分樣本的平均來估計，樣本數(shù)目的多少對最后估計的精確度有很大影響。迭代中的樣本點應該分別選取,假如收斂不理想的話,可以增加樣本的數(shù)量。3。FastICA 算法的基本步驟：算法的基

11、本步驟：1。對觀測數(shù)據(jù)X進行中心化，使它的均值為0;2。對數(shù)據(jù)進行白化，XTZ。3。選擇需要估計的分量的個數(shù)m，設迭代次數(shù)pJ14。選擇一個初始權(quán)矢量（隨機的）W。p5。令W=EZgWTZ）-EWTZ血，非線性函數(shù)g的選取見前文。9.令p=p+1，如果p0稱為超高斯型，佇.0稱為亞高斯型，可用工的大小作為信號距離高斯型程度的度量.工越大，表明信號距高斯型越遠，即信號的非高斯性越強。下圖中3種信號在源信號中的四階累積量分別為：方波為一8。0,正弦波為-6.0，鋸齒波為一4。8154，表明方波的非高斯性最強，鋸齒波德非高斯性最弱。經(jīng)ICA分離后得到的方波、正弦波和鋸齒波與源信號中對應的三種信號的相關系數(shù)依次為：-0。9994