考研輕松理解線代協(xié)方差矩陣

也談協(xié)方差矩陣方差呢就是描述樣本穩(wěn)定性的，比如你的成績，一會兒全班第一，一會兒不及格，這就是方差很大。張三總是在班級前十，但也沒當(dāng)過第一，這方差就比較小。那么協(xié)方差到底是做什么用的呢？我們一直在討論一個隨機(jī)變量的情況，一個隨機(jī)變量的均值，一個隨機(jī)變量的方差，當(dāng)涉及到兩個隨機(jī)變量的時候，有時候我們要判定他們兩個的相關(guān)性，協(xié)方差的意義就在于此。我們再回頭看方差的定義：這是描述的一個隨機(jī)變量，然后我們看看兩個隨機(jī)變量X,Y，協(xié)方差的定義如下：明白了吧，協(xié)方差在描述兩個隨機(jī)變量之間的相關(guān)度。之所以除以n-1而不是除以n，是因?yàn)檫@樣能使我們以較小的樣本集更好的逼近總體的標(biāo)準(zhǔn)差，即統(tǒng)計(jì)上所謂的“無偏估計(jì)”。而方差則僅僅是標(biāo)準(zhǔn)差的平方。

基于以上理論，我們明白了協(xié)方差的意義。那么協(xié)方差矩陣又是做什么的呢？想象一下，兩個隨機(jī)變量X,Y我們可以用協(xié)方差表示，那么10個，20個，n個呢。協(xié)方差矩陣就產(chǎn)生了。定義n維隨機(jī)變量Xn=[X1，X2，X3，.....Xn-1，Xn]；（其實(shí)相當(dāng)于n個隨機(jī)變量的集合）我們用協(xié)方差矩陣表示他們互相之間的協(xié)方差：（式中Un表示Xn的均值）明顯這是個對稱矩陣，第i行j列，或者j行i列的值，表示Xi與Xj的協(xié)方差。

好了，最后，我覺得理解協(xié)方差矩陣的關(guān)鍵點(diǎn)在于理解多維隨機(jī)變量，不同維度之間的協(xié)方差，對應(yīng)起來就是協(xié)方差矩陣的元素。再談協(xié)方差矩陣之主成分分析2月24日2011自從

上次談了協(xié)方差矩陣

之后，感覺寫這種科普性文章還不錯，那我就再談一把協(xié)方差矩陣吧。上次那篇文章在理論層次介紹了下協(xié)方差矩陣，沒準(zhǔn)很多人覺得這東西用處不大，其實(shí)協(xié)方差矩陣在好多學(xué)科里都有很重要的作用，比如多維的正態(tài)分布，再比如今天我們今天的主角——主成分分析(PrincipalComponentAnalysis，簡稱PCA)。結(jié)合PCA相信能對協(xié)方差矩陣有個更深入的認(rèn)識~PCA的緣起PCA大概是198x年提出來的吧，簡單的說，它是一種通用的降維工具。在我們處理高維數(shù)據(jù)的時候，為了能降低后續(xù)計(jì)算的復(fù)雜度，在“預(yù)處理”階段通常要先對原始數(shù)據(jù)進(jìn)行降維，而PCA就是干這個事的。本質(zhì)上講，PCA就是將高維的數(shù)據(jù)通過線性變換投影到低維空間上去，但這個投影可不是隨便投投，要遵循一個指導(dǎo)思想，那就是：找出最能夠代表原始數(shù)據(jù)的投影方法

。這里怎么理解這個思想呢？“最能代表原始數(shù)據(jù)”希望降維后的數(shù)據(jù)不能失真，也就是說，被PCA降掉的那些維度只能是那些

噪聲

或是

冗余的數(shù)據(jù)。這里的噪聲和冗余我認(rèn)為可以這樣認(rèn)識：噪聲

：我們常說“噪音污染”，意思就是“噪聲”干擾我們想聽到的真正聲音。同樣，假設(shè)樣本中某個主要的維度A，它能代表原始數(shù)據(jù)，是“我們真正想聽到的東西”，它本身含有的“能量”(即該維度的方差，為啥？別急，后文該解釋的時候就有啦~)本來應(yīng)該是很大的，但由于它與其他維度有那么一些千絲萬縷的相關(guān)性，受到這些個相關(guān)維度的干擾，它的能量被削弱了，我們就希望通過PCA處理后，使維度A與其他維度的相關(guān)性盡可能減弱，進(jìn)而恢復(fù)維度A應(yīng)有的能量，讓我們“聽的更清楚”！冗余：冗余也就是多余的意思，就是有它沒它都一樣，放著就是占地方。同樣，假如樣本中有些個維度，在所有的樣本上變化不明顯(極端情況：在所有的樣本中該維度都等于同一個數(shù))，也就是說該維度上的方差接近于零，那么顯然它對區(qū)分不同的樣本絲毫起不到任何作用，這個維度即是冗余的，有它沒它一個樣，所以PCA應(yīng)該去掉這些維度。這么一分析，那么PCA的最終目的就是“降噪”和消滅這些“冗余”的維度，以使降低維度的同時保存數(shù)據(jù)原有的特征不失真。后面我們將結(jié)合例子繼續(xù)討論。協(xié)方差矩陣——PCA實(shí)現(xiàn)的關(guān)鍵前面我們說了，PCA的目的就是“降噪”和“去冗余”?！敖翟搿钡哪康木褪鞘贡Ａ粝聛淼木S度間的相關(guān)性盡可能小，而“去冗余”的目的就是使保留下來的維度含有的“能量”即方差盡可能大。那首先的首先，我們得需要知道各維度間的相關(guān)性以及個維度上的方差??！那有什么數(shù)據(jù)結(jié)構(gòu)能同時表現(xiàn)不同維度間的相關(guān)性以及各個維度上的方差呢？自然是非協(xié)方差矩陣莫屬?；貞浵?/p>

淺談協(xié)方差矩陣

的內(nèi)容，協(xié)方差矩陣度量的是維度與維度之間的關(guān)系，而非樣本與樣本之間。協(xié)方差矩陣的主對角線上的元素是各個維度上的方差(即能量)，其他元素是兩兩維度間的協(xié)方差(即相關(guān)性)。我們要的東西協(xié)方差矩陣都有了，先來看“降噪”，讓保留下的不同維度間的相關(guān)性盡可能小，也就是說讓協(xié)方差矩陣中非對角線元素都基本為零。達(dá)到這個目的的方式自然不用說，線代中講的很明確——矩陣對角化。而對角化后得到的矩陣，其對角線上是協(xié)方差矩陣的特征值，它還有兩個身份：首先，它還是各個維度上的新方差；其次，它是各個維度本身應(yīng)該擁有的能量(能量的概念伴隨特征值而來)。這也就是我們?yōu)楹卧谇懊娣Q“方差”為“能量”的原因。也許第二點(diǎn)可能存在疑問，但我們應(yīng)該注意到這個事實(shí)，通過對角化后，剩余維度間的相關(guān)性已經(jīng)減到最弱，已經(jīng)不會再受“噪聲”的影響了，故此時擁有的能量應(yīng)該比先前大了?？赐炅恕敖翟搿?，我們的“去冗余”還沒完呢。對角化后的協(xié)方差矩陣，對角線上較小的新方差對應(yīng)的就是那些該去掉的維度。所以我們只取那些含有較大能量(特征值)的維度，其余的就舍掉即可。PCA的本質(zhì)其實(shí)就是對角化協(xié)方差矩陣。下面就讓我們跟著上面的感覺來推推公式吧。假設(shè)我們有一個樣本集X，里面有N個樣本，每個樣本的維度為d。即：X={X1,…,XN}Xi=(xi1,…,xid)∈Rd,i=1,…,N將這些樣本組織成樣本矩陣的形式，即每行為一個樣本，每一列為一個維度，得到樣本矩陣S：S∈RN×d。我們先將樣本進(jìn)行中心化，即保證每個維度的均值為零，只需讓矩陣的每一列

減去對應(yīng)的均值即可。很多算法都會先將樣本中心化，以保證所有維度上的偏移都是以零為基點(diǎn)的。然后，對樣本矩陣計(jì)算其協(xié)方差矩陣，按照《淺談協(xié)方差矩陣》里末尾的update，我們知道，協(xié)方差矩陣可以簡單的按下式計(jì)算得到：C=STSN?1C∈Rd×下面，根據(jù)我們上文的推理，將協(xié)方差矩陣C對角化。注意到，這里的矩陣C是是對稱矩陣，對稱矩陣對角化就是找到一個正交矩陣P，滿足：PTCP=Λ。具體操作是：先對C進(jìn)行特征值分解，得到特征值矩陣(對角陣)即為

Λ，得到特征向量矩陣并正交化即為

P。顯然，P,Λ∈Rd×d。假如我們?nèi)∽畲蟮那皃(p<d)個特征值對應(yīng)的維度，那么這個p個特征值組成了新的對角陣

Λ1∈Rp×p，對應(yīng)的p個特征向量組成了新的特征向量矩陣

P1∈Rd×p。實(shí)際上，這個新的特征向量矩陣

P1

就是投影矩陣，為什么這么說呢？假設(shè)PCA降維后的樣本矩陣為

S1，顯然，根據(jù)PCA的目的，S1

中的各個維度間的協(xié)方差基本為零，也就是說，S1

的協(xié)方差矩陣應(yīng)該為

Λ1。即滿足：ST1S1N?1=Λ1而我們又有公式：PTCP=Λ?PT1CP1=Λ1代入可得：ST1S1N?1=Λ1=PT1CP1=PT1(STSN?1)P1=(SP1)T(SP1)N?1?S1=SP1S1∈RN×p由于樣本矩陣

SN×d

的每一行是一個樣本，特征向量矩陣

P1(d×p)

的每一列是一個特征向量。右乘

P1

相當(dāng)于每個樣本以

P1

的特征向量為基進(jìn)行線性變換，得到的新樣本矩陣

S1∈RN×p

中每個樣本的維數(shù)變?yōu)榱藀，完成了降維操作。實(shí)際上，P1

中的特征向量就是低維空間新的坐標(biāo)系，稱之為“主成分”。這就是“主成分分析”的