淺談協(xié)方差矩陣.doc

轉(zhuǎn)淺談協(xié)方差矩陣 聲明：本文轉(zhuǎn)自穎風(fēng)的博客，原文地址：/2010/08/31/covariance/今天看論文的時(shí)候又看到了協(xié)方差矩陣這個(gè)破東西，以前看模式分類的時(shí)候就特困擾，沒(méi)想到現(xiàn)在還是搞不清楚，索性開(kāi)始查協(xié)方差矩陣的資料，惡補(bǔ)之后決定馬上記錄下來(lái)，嘿嘿本文我將用自認(rèn)為循序漸進(jìn)的方式談?wù)剠f(xié)方差矩陣。統(tǒng)計(jì)學(xué)的基本概念學(xué)過(guò)概率統(tǒng)計(jì)的孩子都知道，統(tǒng)計(jì)里最基本的概念就是樣本的均值，方差，或者再加個(gè)標(biāo)準(zhǔn)差。首先我們給你一個(gè)含有n個(gè)樣本的集合，依次給出這些概念的公式描述，這些高中學(xué)過(guò)數(shù)學(xué)的孩子都應(yīng)該知道吧，一帶而過(guò)。均值：標(biāo)準(zhǔn)差：方差：很顯然，均值描述的是樣本集合的中間點(diǎn)，它告訴我們的信息是很有限的，而標(biāo)準(zhǔn)差給我們描述的則是樣本集合的各個(gè)樣本點(diǎn)到均值的距離之平均。以這兩個(gè)集合為例，0，8，12，20和8，9，11，12，兩個(gè)集合的均值都是10，但顯然兩個(gè)集合差別是很大的，計(jì)算兩者的標(biāo)準(zhǔn)差，前者是8.3，后者是1.8，顯然后者較為集中，故其標(biāo)準(zhǔn)差小一些，標(biāo)準(zhǔn)差描述的就是這種“散布度”。之所以除以n-1而不是除以n，是因?yàn)檫@樣能使我們以較小的樣本集更好的逼近總體的標(biāo)準(zhǔn)差，即統(tǒng)計(jì)上所謂的“無(wú)偏估計(jì)”。而方差則僅僅是標(biāo)準(zhǔn)差的平方。為什么需要協(xié)方差？上面幾個(gè)統(tǒng)計(jì)量看似已經(jīng)描述的差不多了，但我們應(yīng)該注意到，標(biāo)準(zhǔn)差和方差一般是用來(lái)描述一維數(shù)據(jù)的，但現(xiàn)實(shí)生活我們常常遇到含有多維數(shù)據(jù)的數(shù)據(jù)集，最簡(jiǎn)單的大家上學(xué)時(shí)免不了要統(tǒng)計(jì)多個(gè)學(xué)科的考試成績(jī)。面對(duì)這樣的數(shù)據(jù)集，我們當(dāng)然可以按照每一維獨(dú)立的計(jì)算其方差，但是通常我們還想了解更多，比如，一個(gè)男孩子的猥瑣程度跟他受女孩子歡迎程度是否存在一些聯(lián)系啊，嘿嘿協(xié)方差就是這樣一種用來(lái)度量?jī)蓚€(gè)隨機(jī)變量關(guān)系的統(tǒng)計(jì)量，我們可以仿照方差的定義：來(lái)度量各個(gè)維度偏離其均值的程度，標(biāo)準(zhǔn)差可以這么來(lái)定義：協(xié)方差的結(jié)果有什么意義呢？如果結(jié)果為正值，則說(shuō)明兩者是正相關(guān)的(從協(xié)方差可以引出“相關(guān)系數(shù)”的定義)，也就是說(shuō)一個(gè)人越猥瑣就越受女孩子歡迎，嘿嘿，那必須的結(jié)果為負(fù)值就說(shuō)明負(fù)相關(guān)的，越猥瑣女孩子越討厭，可能嗎？如果為0，也是就是統(tǒng)計(jì)上說(shuō)的“相互獨(dú)立”。從協(xié)方差的定義上我們也可以看出一些顯而易見(jiàn)的性質(zhì)，如：協(xié)方差多了就是協(xié)方差矩陣上一節(jié)提到的猥瑣和受歡迎的問(wèn)題是典型二維問(wèn)題，而協(xié)方差也只能處理二維問(wèn)題，那維數(shù)多了自然就需要計(jì)算多個(gè)協(xié)方差，比如n維的數(shù)據(jù)集就需要計(jì)算個(gè)協(xié)方差，那自然而然的我們會(huì)想到使用矩陣來(lái)組織這些數(shù)據(jù)。給出協(xié)方差矩陣的定義：這個(gè)定義還是很容易理解的，我們可以舉一個(gè)簡(jiǎn)單的三維的例子，假設(shè)數(shù)據(jù)集有三個(gè)維度，則協(xié)方差矩陣為可見(jiàn)，協(xié)方差矩陣是一個(gè)對(duì)稱的矩陣，而且對(duì)角線是各個(gè)維度上的方差。Matlab協(xié)方差實(shí)戰(zhàn)上面涉及的內(nèi)容都比較容易，協(xié)方差矩陣似乎也很簡(jiǎn)單，但實(shí)戰(zhàn)起來(lái)就很容易讓人迷茫了。必須要明確一點(diǎn)，協(xié)方差矩陣計(jì)算的是不同維度之間的協(xié)方差，而不是不同樣本之間的。這個(gè)我將結(jié)合下面的例子說(shuō)明，以下的演示將使用Matlab，為了說(shuō)明計(jì)算原理，不直接調(diào)用Matlab的cov函數(shù)(藍(lán)色部分為Matlab代碼)。首先，隨機(jī)產(chǎn)生一個(gè)10*3維的整數(shù)矩陣作為樣本集，10為樣本的個(gè)數(shù)，3為樣本的維數(shù)。MySample = fix(rand(10,3)*50)根據(jù)公式，計(jì)算協(xié)方差需要計(jì)算均值，那是按行計(jì)算均值還是按列呢，我一開(kāi)始就老是困擾這個(gè)問(wèn)題。前面我們也特別強(qiáng)調(diào)了，協(xié)方差矩陣是計(jì)算不同維度間的協(xié)方差，要時(shí)刻牢記這一點(diǎn)。樣本矩陣的每行是一個(gè)樣本，每列為一個(gè)維度，所以我們要按列計(jì)算均值。為了描述方便，我們先將三個(gè)維度的數(shù)據(jù)分別賦值：dim1 = MySample(:,1);dim2 = MySample(:,2);dim3 = MySample(:,3);計(jì)算dim1與dim2，dim1與dim3，dim2與dim3的協(xié)方差：sum( (dim1-mean(dim1) .* (dim2-mean(dim2) ) / ( size(MySample,1)-1 ) % 得到 74.5333sum( (dim1-mean(dim1) .* (dim3-mean(dim3) ) / ( size(MySample,1)-1 )% 得到 -10.0889sum( (dim2-mean(dim2) .* (dim3-mean(dim3) ) / ( size(MySample,1)-1 )% 得到 -10*000搞清楚了這個(gè)后面就容易多了，協(xié)方差矩陣的對(duì)角線就是各個(gè)維度上的方差，下面我們依次計(jì)算：std(dim1)2 % 得到 108.3222std(dim2)2% 得到 260.6222std(dim3)2% 得到 94.1778這樣，我們就得到了計(jì)算協(xié)方差矩陣所需要的所有數(shù)據(jù)，調(diào)用Matlab自帶的cov函數(shù)進(jìn)行驗(yàn)證：cov(MySample)把我們計(jì)算的數(shù)據(jù)對(duì)號(hào)入座，是不是一摸一樣？Update：今天突然發(fā)現(xiàn)，原來(lái)協(xié)方差矩陣還可以這樣計(jì)算，先讓樣本矩陣中心化，即每一維度減去該維度的均值，使每一維度上的均值為0，然后直接用新的到的樣本矩陣乘上它的轉(zhuǎn)置，然后除以(N-1)即可。其實(shí)這種方法也是由前面的公式通道而來(lái)，只不過(guò)理解起來(lái)不是很直觀，但在抽象的公式推導(dǎo)時(shí)還是很常用的！同樣給出Matlab代碼實(shí)現(xiàn)：X = MySample repmat(mean(MySample),10,1); % 中心化樣本矩陣，使各維度均值為0C = (X*X)./(size(X,1)-1)總結(jié)理解協(xié)方差矩陣的關(guān)鍵就在于牢記它計(jì)算的是不同維度之間的協(xié)方差，而不是不同樣本之