主成分分析簡(jiǎn)介課件

獨(dú)立成分分析法基本原理主成分分析簡(jiǎn)介主成分分析是將多指標(biāo)化為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)方法。宗旨：降維綜合變量既要能盡可能多地反映原來(lái)變量的信息，又要彼此互不相關(guān)主成分分析簡(jiǎn)介總體：Z=AX,Z、X均為隨機(jī)向量，A為線性變換矩陣。對(duì)第i個(gè)變量，要使方差最大，且與前面的所有變量均不相關(guān)樣本：Z=XA,X為樣本數(shù)據(jù)陣，Z為樣本主成分，A為線性變換矩陣。主成分分析簡(jiǎn)介考慮p維隨機(jī)向量X（均值為，協(xié)方差陣為）的線性變換主成分分析簡(jiǎn)介對(duì)，要使它盡可能多地反映原來(lái)變量的信息，最經(jīng)典的方法就是以它的方差來(lái)表達(dá)，在限制條件下，方差越大則其包含的信息就越多（其將包含各的方差及協(xié)方差）同時(shí)，對(duì)于，則不希望再出現(xiàn)所反映過(guò)的信息，所以要求如此類推，…則可解出全部主成分。可以證明，就樣本數(shù)據(jù)而言，對(duì)樣本相關(guān)陣

作特征值分解，即可獲得以上理論所闡述的主成分Z=XA主成分分析簡(jiǎn)介ICA的背景介紹ICA可以看成是主成分分析與因子分析的延展,它是一種強(qiáng)有力的技術(shù),當(dāng)經(jīng)典方法完全失效時(shí),仍能找到支撐觀測(cè)數(shù)據(jù)的內(nèi)在因子。目的：從多通道測(cè)量中得到的有若干獨(dú)立信源線性組合成的觀察信號(hào)中，將這些獨(dú)立成分分解開(kāi)來(lái)?；綢CA模型變量的設(shè)定S，不可知的真實(shí)變量所構(gòu)成的數(shù)據(jù)樣本X，通過(guò)多個(gè)通道觀測(cè)到的數(shù)據(jù)樣本Z，對(duì)觀測(cè)數(shù)據(jù)進(jìn)行白化（whitening）處理后的數(shù)據(jù)矩陣Y，對(duì)Z進(jìn)行線性處理后得到的對(duì)S的估計(jì)A，線性變換矩陣，X=ASB，A的逆，非方陣為廣義逆矩陣基本ICA模型可以認(rèn)為，觀測(cè)到的n個(gè)隨機(jī)變量，由另外n個(gè)隨機(jī)變量線性組合得到獨(dú)立成分必須是非正態(tài)的或至少不全是正態(tài)的，在正態(tài)假設(shè)下，直接使用主成分分析或因子分析方法即可達(dá)到目的，由相關(guān)性的理解，ICA的解法中必然將涉及到高階累積量(高階矩構(gòu)成的統(tǒng)計(jì)量)基本ICA模型假定未知的混合矩陣A為方陣，則在它的估計(jì)矩陣不可逆或行列式接近于0時(shí)，所估計(jì)的獨(dú)立成分中有可忽略的冗余變量實(shí)踐中無(wú)法估計(jì)各成分的方差，為方便求解，一般先將X白化，但這將導(dǎo)致結(jié)果中符號(hào)的不確定性并沒(méi)有確切的方法確定各成分的順序，但可以通過(guò)B了解各成分對(duì)不同通道的影響基本ICA模型各ICA計(jì)算方法優(yōu)劣評(píng)判準(zhǔn)則討論：采用針對(duì)實(shí)際目標(biāo)的模擬數(shù)據(jù)（X=AS

已知），通過(guò)算法得出A的估計(jì);以作為處理效果的衡量標(biāo)準(zhǔn);理論支持：如果估計(jì)完全準(zhǔn)確，則P應(yīng)為單位陣（由于獨(dú)立成分的排序不定，允許各行序列的變化），則可以通過(guò)對(duì)角元素平方和評(píng)判優(yōu)劣。觀測(cè)數(shù)據(jù)白化的基本原理

由PCA出發(fā)作出解釋C為X的協(xié)方差陣（未取均值），可以證明，觀測(cè)數(shù)據(jù)白化的基本原理由于Z矩陣是正交矩陣，于是使得白化陣不唯一以上白化完全消除各觀測(cè)間的二階相關(guān)性基于四階累積量的JADE法是在累積量矩陣特征分解下的引申首先要定義四階累計(jì)量（四階矩的函數(shù)）矩陣基于四階累積量的JADE法由為對(duì)稱陣，則存在這樣的特征分解，所找到的矩陣起到將對(duì)角化的作用基于四階累積量的JADE法步驟：1、取一組矩陣，由定義分別求（矩陣的簡(jiǎn)單取法：取N*N個(gè)矩陣，分別只有一個(gè)元素為1，或取一組對(duì)稱/反對(duì)稱的基矩陣，引自[2]P53）通過(guò)優(yōu)化求解U，使各聯(lián)合對(duì)角化（使中非對(duì)角元素的平方和最?。┗谒碾A累積量的JADE法分解結(jié)果：JADE法應(yīng)用：最多只有一個(gè)分布接近正態(tài)分布盲分離的移位阻斷法

shiftblockmethodofblindseparation基于數(shù)據(jù)的maxkurt法(峰度，四階矩的函數(shù))比較直接，但效果相對(duì)較差，基于四階累積量的JADE法效果雖然較好，但是需要n*n個(gè)矩陣，計(jì)算所需內(nèi)存較大。混合法（SHIBBS）將這兩種折中與綜合具體步驟①選擇p個(gè)矩陣M，p<<n*n②作一輪旋轉(zhuǎn)掃描：對(duì)各矩陣估計(jì)，得到全部四階累積量，對(duì)它們估計(jì)聯(lián)合對(duì)角化矩陣U③更新；如果U足夠接近于恒等變換則終止。否則作更新，并返回步驟①此法的矩陣集合可取為分解結(jié)果：非線性PCA的自適應(yīng)算法以均方誤差最小作為收斂判據(jù)，非線性PCA引入非線性因素等效于考慮高階矩算法具體步驟為：1、對(duì)觀測(cè)值求均值，用遞歸法求白化陣Z，2、初始化U陣：設(shè)U(0),要求各列正交且范數(shù)均為1（單位正交陣）非線性PCA的自適應(yīng)算法3、按以下公式更新：4、如未收斂則回到步驟3注：其中是兩個(gè)待調(diào)整的參數(shù)；函數(shù)g(y)的選擇見(jiàn)參考文獻(xiàn)[2]P68逐次提取獨(dú)立成分

—投影追蹤方法度量非正態(tài)性（非高斯性）：可以認(rèn)為，兩個(gè)獨(dú)立變量之和形成的分布比兩個(gè)原始變量中的任意一個(gè)都更接近于正態(tài)分布由于Z是Y的線性組合，只要找到一個(gè)度量非正態(tài)性的量，使達(dá)到最大，就可以使Y中各分量獨(dú)立性最大負(fù)熵是四階矩（峰度）的函數(shù)逐次提取獨(dú)立成分

—投影追蹤方法負(fù)熵是四階矩（峰度）的函數(shù)所以利用負(fù)熵作為度量的算法與以峰度度量的maxkurt法有很大的相似性，但是前者對(duì)于超正態(tài)（超高斯）、次正態(tài)（次高斯）具有更靈活的算法主要算法有梯度算法、固定點(diǎn)算法、旋轉(zhuǎn)因子乘積法等逐次提取獨(dú)立成分

—投影追蹤方法利用固定點(diǎn)算法（FastICA）逐次提取多個(gè)獨(dú)立成分：步驟：1、設(shè)m為待提取ICs的數(shù)目，并令p=1；2、任意取，要求；3、迭代公式如下函數(shù)f(y)的選擇見(jiàn)參考文獻(xiàn)p97表6-1逐次提取獨(dú)立成分

—投影追蹤方法4、為了保證每次提取出來(lái)的都是尚未提取過(guò)的信源，因此使用正交化步驟，Gram-Schmidt正交分解法：逐次提取獨(dú)立成分

—投影追蹤方法5、歸一化：如果未收斂，回到步驟3；令p加1，當(dāng)p<=m時(shí)，回到步驟3。參考文獻(xiàn)[1]A.Hyvarinen等著，周宗潭等譯，獨(dú)立成分分析，北京：電子工業(yè)出版社，2007年[2]楊福生、洪波著，獨(dú)立分量分析的原理與應(yīng)用，北京：清華大學(xué)出版社，2006年內(nèi)容總結(jié)獨(dú)立成分分析法基本原理。綜合變量既要能盡可能多地反映原來(lái)變量的信息，又要彼此互不相關(guān)。ICA可以看成是主成分分析與因子分析的延展,它是一種強(qiáng)有力的技術(shù),當(dāng)經(jīng)典方法完全失效時(shí),仍能找到支撐觀測(cè)數(shù)據(jù)的內(nèi)在因子。S，不可知的真實(shí)變量所構(gòu)成的數(shù)據(jù)樣本。Z，對(duì)觀測(cè)數(shù)據(jù)進(jìn)行白化（whitening）處理后的數(shù)據(jù)矩陣。A，線性變換矩陣，X=AS。B，A的逆，非方陣為廣義逆矩陣。首先要定義四階累計(jì)量（四階矩的函數(shù)）矩陣。非線性PCA引