高斯混合模型聚類（詳解）

...wd......wd......wd...高斯混合模型詳解聚類的方法有很多種，k-means要數(shù)最簡單的一種聚類方法了，其大致思想就是把數(shù)據(jù)分為多個(gè)堆，每個(gè)堆就是一類。每個(gè)堆都有一個(gè)聚類中心〔學(xué)習(xí)的結(jié)果就是獲得這k個(gè)聚類中心〕，這個(gè)中心就是這個(gè)類中所有數(shù)據(jù)的均值，而這個(gè)堆中所有的點(diǎn)到該類的聚類中心都小于到其他類的聚類中心〔分類的過程就是將未知數(shù)據(jù)對這k個(gè)聚類中心進(jìn)展比擬的過程，離誰近就是誰〕。其實(shí)k-means算的上最直觀、最方便理解的一種聚類方式了，原則就是把最像的數(shù)據(jù)分在一起，而“像〞這個(gè)定義由我們來完成，比方說歐式距離的最小，等等。想對k-means的具體算法過程了解的話，請看這里。而在這篇博文里，我要介紹的是另外一種比擬流行的聚類方法----GMM〔GaussianMixtureModel〕。GMM和k-means其實(shí)是十分相似的，區(qū)別僅僅在于對GMM來說，我們引入了概率。說到這里，我想先補(bǔ)充一點(diǎn)東西。統(tǒng)計(jì)學(xué)習(xí)的模型有兩種，一種是概率模型，一種是非概率模型。所謂概率模型，就是指我們要學(xué)習(xí)的模型的形式是P(Y|X)，這樣在分類的過程中，我們通過未知數(shù)據(jù)X可以獲得Y取值的一個(gè)概率分布，也就是訓(xùn)練后模型得到的輸出不是一個(gè)具體的值，而是一系列值的概率〔對應(yīng)于分類問題來說，就是對應(yīng)于各個(gè)不同的類的概率〕，然后我們可以選取概率最大的那個(gè)類作為判決對象〔算軟分類softassignment〕。而非概率模型，就是指我們學(xué)習(xí)的模型是一個(gè)決策函數(shù)Y=f(X)，輸入數(shù)據(jù)X是多少就可以投影得到唯一的一個(gè)Y，就是判決結(jié)果〔算硬分類hardassignment〕。回到GMM，學(xué)習(xí)的過程就是訓(xùn)練出幾個(gè)概率分布，所謂混合高斯模型就是指對樣本的概率密度分布進(jìn)展估計(jì)，而估計(jì)的模型是幾個(gè)高斯模型加權(quán)之和〔具體是幾個(gè)要在模型訓(xùn)練前建設(shè)好〕。每個(gè)高斯模型就代表了一個(gè)類〔一個(gè)Cluster〕。對樣本中的數(shù)據(jù)分別在幾個(gè)高斯模型上投影，就會(huì)分別得到在各個(gè)類上的概率。然后我們可以選取概率最大的類所為判決結(jié)果。得到概率有什么好處呢我們知道人很聰明，就是在于我們會(huì)用各種不同的模型對觀察到的事物和現(xiàn)象做判決和分析。當(dāng)你在路上發(fā)現(xiàn)一條狗的時(shí)候，你可能光看外形好似鄰居家的狗，又更像一點(diǎn)點(diǎn)女朋友家的狗，你很難判斷，所以從外形上看，用軟分類的方法，是女朋友家的狗概率51%，是鄰居家的狗的概率是49%，屬于一個(gè)易混淆的區(qū)域內(nèi)，這時(shí)你可以再用其它方法進(jìn)展區(qū)分到底是誰家的狗。而如果是硬分類的話，你所判斷的就是女朋友家的狗，沒有“多像〞這個(gè)概念，所以不方便多模型的融合。從中心極限定理的角度上看，把混合模型假設(shè)為高斯的是比擬合理的，當(dāng)然也可以根據(jù)實(shí)際數(shù)據(jù)定義成任何分布的MixtureModel,不過定義為高斯的在計(jì)算上有一些方便之處，另外，理論上可以通過增加Model的個(gè)數(shù)，用GMM近似任何概率分布。混合高斯模型的定義為：其中K為模型的個(gè)數(shù)，πk為第k個(gè)高斯的權(quán)重，則為第k個(gè)高斯的概率密度函數(shù)，其均值為μk，方差為σk。我們對此概率密度的估計(jì)就是要求πk、μk和σk各個(gè)變量。當(dāng)求出的表達(dá)式后，求和式的各項(xiàng)的結(jié)果就分別代表樣本x屬于各個(gè)類的概率。在做參數(shù)估計(jì)的時(shí)候，常采用的方法是最大似然。最大似然法就是使樣本點(diǎn)在估計(jì)的概率密度函數(shù)上的概率值最大。由于概率值一般都很小，N很大的時(shí)候這個(gè)聯(lián)乘的結(jié)果非常小，容易造成浮點(diǎn)數(shù)下溢。所以我們通常取log，將目標(biāo)改寫成：也就是最大化log-likelyhoodfunction，完整形式則為：一般用來做參數(shù)估計(jì)的時(shí)候，我們都是通過對待求變量進(jìn)展求導(dǎo)來求極值，在上式中，log函數(shù)中又有求和，你想用求導(dǎo)的方法算的話方程組將會(huì)非常復(fù)雜，所以我們不好考慮用該方法求解〔沒有閉合解〕。可以采用的求解方法是EM算法——將求解分為兩步：第一步是假設(shè)我們知道各個(gè)高斯模型的參數(shù)〔可以初始化一個(gè)，或者基于上一步迭代結(jié)果〕，去估計(jì)每個(gè)高斯模型的權(quán)值；第二步是基于估計(jì)的權(quán)值，回過頭再去確定高斯模型的參數(shù)。重復(fù)這兩個(gè)步驟，直到波動(dòng)很小，近似到達(dá)極值〔注意這里是個(gè)極值不是最值，EM算法會(huì)陷入局部最優(yōu)〕。具體表達(dá)如下：1、對于第i個(gè)樣本xi來說，它由第k個(gè)model生成的概率為：在這一步，我們假設(shè)高斯模型的參數(shù)和是的〔由上一步迭代而來或由初始值決定〕。〔Estep〕〔Mstep〕3、重復(fù)上述兩步驟直到算法收斂〔這個(gè)算法一定是收斂的，至于具體的證明請回溯到EM算法中去，而我也沒有具體關(guān)注，以后補(bǔ)上〕。最后總結(jié)一下，用GMM的優(yōu)點(diǎn)是投影后樣本點(diǎn)不是得到一個(gè)確定的分類標(biāo)記，而是得到每個(gè)類的概率，這是一個(gè)重要信息。GMM每一步迭代的計(jì)算量比擬大，大于k-means。GMM的求解方法基于EM算法，因此有可能陷入局部極值，這和初始值的選取十分相關(guān)了。GMM不僅可以用在聚類上，也可以用在概率密度估計(jì)上。第二篇：高斯混合模型的介紹高斯模型就是用高斯概率密度函數(shù)〔正態(tài)分布曲線〕準(zhǔn)確地量化事物，將一個(gè)事物分解為假設(shè)干的基于高斯概率密度函數(shù)〔正態(tài)分布曲線〕形成的模型。對圖像背景建設(shè)高斯模型的原理及過程：圖像灰度直方圖反映的是圖像中某個(gè)灰度值出現(xiàn)的頻次，也可以以為是圖像灰度概率密度的估計(jì)。如果圖像所包含的目標(biāo)區(qū)域和背景區(qū)域相差比擬大，且背景區(qū)域和目標(biāo)區(qū)域在灰度上有一定的差異，那么該圖像的灰度直方圖呈現(xiàn)雙峰-谷形狀，其中一個(gè)峰對應(yīng)于目標(biāo)，另一個(gè)峰對應(yīng)于背景的中心灰度。對于復(fù)雜的圖像，尤其是醫(yī)學(xué)圖像，一般是多峰的。通過將直方圖的多峰特性看作是多個(gè)高斯分布的疊加，可以解決圖像的分割問題。在智能監(jiān)控系統(tǒng)中，對于運(yùn)動(dòng)目標(biāo)的檢測是中心內(nèi)容，而在運(yùn)動(dòng)目標(biāo)檢測提取中，背景目標(biāo)對于目標(biāo)的識(shí)別和跟蹤至關(guān)重要。而建模正是背景目標(biāo)提取的一個(gè)重要環(huán)節(jié)。我們首先要提起背景和前景的概念，前景是指在假設(shè)背景為靜止的情況下，任何有意義的運(yùn)動(dòng)物體即為前景。建模的根本思想是從當(dāng)前幀中提取前景，其目的是使背景更接近當(dāng)前視頻幀的背景。即利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進(jìn)展加權(quán)平均來更新背景,但是由于光照突變以及其他外界環(huán)境的影響，一般的建模后的背景并非十分干凈清晰，而高斯混合模型(GMM，Gaussianmixturemodel)是建模最為成功的方法之一，同時(shí)GMM可以用在監(jiān)控視頻索引與檢索?；旌细咚鼓Ｐ褪褂肒〔根本為3到5個(gè)〕個(gè)高斯模型來表征圖像中各個(gè)像素點(diǎn)的特征,在新一幀圖像獲得后更新混合高斯模型,用當(dāng)前圖像中的每個(gè)像素點(diǎn)與混合高斯模型匹配,如果成功則判定該點(diǎn)為背景點(diǎn),否則為前景點(diǎn)。通觀整個(gè)高斯模型，他主要是由方差和均值兩個(gè)參數(shù)決定，對均值和方差的學(xué)習(xí),采取不同的學(xué)習(xí)機(jī)制,將直接影響到模型的穩(wěn)定性、準(zhǔn)確性和收斂性。由于我們是對運(yùn)動(dòng)目標(biāo)的背景提取建模，因此需要對高斯模型中方差和均值兩個(gè)參數(shù)實(shí)時(shí)更新。為提高模型的學(xué)習(xí)能力,改良方法對均值和方差的更新采用不同的學(xué)習(xí)率;為提高在繁忙的場景下,大而慢的運(yùn)動(dòng)目標(biāo)的檢測效果,引入權(quán)值均值的概念,建設(shè)背景圖像并實(shí)時(shí)更新,然后結(jié)合權(quán)值、權(quán)值均值和背景圖像對像素點(diǎn)進(jìn)展前景和背景的分類。具體更新公式如下：建模過程中，我們需要對混合高斯模型中的方差、均值、權(quán)值等一些參數(shù)初始化，并通過這些參數(shù)求出建模所需的數(shù)據(jù)，如馬茲距離。在初始化過程中，一般我們將方差設(shè)置的盡量大些〔如15〕，而權(quán)值則盡量小些〔如0.001〕。這樣設(shè)置是由于初始化的高斯模型是一個(gè)并不準(zhǔn)確，可能的模型，我們需要不停的縮小他的范圍，更新他的參數(shù)值，從而得到最可能的高斯模型，將方差設(shè)置大些，就是為了將盡可能多的像素包含到一個(gè)模型里面，從而獲得最有可能的模型。多維高斯分布講解高斯分布高斯分布：1維高斯分布公式：多維高斯分布公式：對于1維的來說是期望，是方差；對于多維來說D表示X的維數(shù)，表示D*D的協(xié)方差矩陣，定義為

，為該協(xié)方差的行列式的值。代碼如下：m=[01]';

S=eye(2);x1=[0.2

1.3]';

x2=[2.2

-1.3]';pg1=comp_gauss_dens_val(m,S,x1)pg2=comp_gauss_dens_val(m,S,x2)其中comp_gauss_dens_val函數(shù)文件的代碼如下：function

[z]=comp_gauss_dens_val(m,S,x)[l,c]=size(m);z=(1/(

(2*pi)^(l/2)*det(S)^0.5)

)*exp(-0.5*(x-m)'*inv(S)*(x-m));題目大致意思就是判斷x是屬于w1還是w2代碼如下：P1=0.5;P2=0.5;m1=[11]';m2=[33]';S=eye(2);x=[1.81.8]';p1=P1*comp_gauss_dens_val(m1,S,x)p2=P2*comp_gauss_dens_val(m2,S,x)題目大致意思就是：給出正態(tài)分布的期望和方差，構(gòu)造出一些服從這個(gè)分布的數(shù)據(jù)點(diǎn)代碼如下：%Generate

the

first

dataset

(case

#1)randn('seed',0);m=[0

0]';S=[1

0;0

1];N=500;X=mvnrnd(m,S,N)';%Plotthefirstdatasetfigure(1),plot(X(1,:),X(2,:),'.');figure(1),axisequalfigure(1),axis([-77-77])%

Generate

and

plot

the

second

dataset

(case

#2)m=[0

0]';S=[0.2

0;0

0.2];N=500;X

=

mvnrnd(m,S,N)';figure(2),

plot(X(1,:),X(2,:),'.');figure(2),

axis

equalfigure(2),

axis([-7

7

-7

7])%

Generate

and

plot

the

third

dataset

(case

#3)m=[0

0]';S=[2

0;0

2];N=500;X

=

mvnrnd(m,S,N)';figure(3),

plot(X(1,:),X(2,:),'.');figure(3),

axis

equalfigure(3),

axis([-7

7

-7

7])%

Generate

and

plot

the

fourth

dataset

(case

#4)m=[0

0]';S=[0.2

0;0

2];N=500;X

=

mvnrnd(m,S,N)';figure(4),

plot(X(1,:),X(2,:),'.');figure(4),

axis

equalfigure(4),

axis([-7

7

-7

7])%

Generate

and

plot

the

fifth

dataset

(case

#5)m=[0

0]';S=[2

0;0

0.2];N=500;X

=

mvnrnd(m,S,N)';figure(5),

plot(X(1,:),X(2,:),'.');figure(5),

axis

equalfigure(5),

axis([-7

7

-7

7])%

Generate

and

plot

the

sixth

dataset

(case

#6)m=[0

0]';S=[1

0.5;0.5

1];N=500;X

=

mvnrnd(m,S,N)';figure(6),

plot(X(1,:),X(2,:),'.');figure(6),

axis

equalfigure(6),

axis([-7

7

-7

7])%

Generate

and

plot

the

seventh

dataset

(case

#7)m=[0

0]';S=[.3

0.5;0.5

2];N=500;X

=

mvnrnd(m,S,N)';figure(7),

plot(X(1,:),X(2,:),'.');figure(7),

axis

equalfigure(7),

axis([-7

7

-7

7])%

Generate

and

plot

the

eighth

dataset

(case

#8)m=[0

0]';S=[.3

-0.5;-0.5

2];N=500;X

=

mvnrnd(m,S,N)';figure(8),

plot(X(1,:),X(2,:),'.');figure(8),

axis

equalfigure(8),

axis([-7

7

-7

7])即生成了8副圖像注：1、協(xié)方差在概率論和統(tǒng)計(jì)學(xué)中，協(xié)方差用于衡量兩個(gè)變量的總體誤差。而方差是協(xié)方差的一種特殊情況，即當(dāng)兩個(gè)變量是一樣的情況。期望值分別為E[X]與E[Y]的兩個(gè)實(shí)數(shù)隨機(jī)變量X與Y之間的協(xié)方差定義為：直觀上來看，協(xié)方差表示的是兩個(gè)變量總體誤差的期望。如果兩個(gè)變量的變化趨勢一致，也就是說如果其中一個(gè)大于自身的期望值時(shí)另外一個(gè)也大于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是正值；如果兩個(gè)變量的變化趨勢相反，即其中一個(gè)變量大于自身的期望值時(shí)另外一個(gè)卻小于自身的期望值，那么兩個(gè)變量之間的協(xié)方差就是負(fù)值。如果X與Y是統(tǒng)計(jì)獨(dú)立的，那么二者之間的協(xié)方差就是0，因?yàn)閮蓚€(gè)獨(dú)立的隨機(jī)變量滿足E[XY]=E[X]E[Y]。但是，反過來并不成立。即如果X與Y的協(xié)方差為0，二者并不一定是統(tǒng)計(jì)獨(dú)立的。協(xié)方差Cov(X,Y)的度量單位是X的協(xié)方差乘以Y的協(xié)方差。而取決于協(xié)方差的相關(guān)性，是一個(gè)衡量線性獨(dú)立的無量綱的數(shù)。協(xié)方差為0的兩個(gè)隨機(jī)變量稱為是不相關(guān)的。2、期望定義1：按照定義,離散隨機(jī)變量的一切可能值與其對應(yīng)的概率P的乘積之和稱為數(shù)學(xué)期望,記為咐.如果隨機(jī)變量只取得有限個(gè)值:x,、π隨機(jī)變量的數(shù)學(xué)期望值在概率論和統(tǒng)計(jì)學(xué)中，一個(gè)離散性隨機(jī)變量的期望值〔或數(shù)學(xué)期望、或均值，亦簡稱期望〕是試驗(yàn)中每次可能結(jié)果的概率乘以其結(jié)果的總和。換句話說，期望值是隨機(jī)試驗(yàn)在同樣的時(shí)機(jī)下重復(fù)屢次的結(jié)果計(jì)算出的等同“期望〞的平均值。需要注意的是，期望值并不一定等同于常識(shí)中的“期望〞——“期望值〞也許與每一個(gè)結(jié)果都不相等?！矒Q句話說，期望值是該變量輸出值的平均數(shù)。期望值并不一定包含于變量的輸出值集合里?！硢为?dú)數(shù)據(jù)的數(shù)學(xué)期望值算法對于數(shù)學(xué)期望的定義是這樣的。數(shù)學(xué)期望E(X)=X1*p(X1)+X2*p(X2)+……+Xn*p(Xn)X1,X2,X3,……,Xn為這幾個(gè)數(shù)據(jù)，p(X1),p(X2),p(X3),……p(Xn)為這幾個(gè)數(shù)據(jù)的概率函數(shù)。在隨機(jī)出現(xiàn)的幾個(gè)數(shù)據(jù)中p(X1),p(X2),p(X3),……p(Xn)概率函數(shù)就理解為數(shù)據(jù)X1,X2,X3,……,Xn出現(xiàn)的頻率f(Xi).則：E(X)=X1*p(X1)+X2*p(X2)+……+Xn*p(Xn)=X1*f1(X1)+X2*f2(X2)+……+Xn*fn(Xn)很容易證明E(X)對于這幾個(gè)數(shù)據(jù)來說就是他們的算術(shù)平均值。3、淺談協(xié)方差矩陣今天看論文的時(shí)候又看到了協(xié)方差矩陣這個(gè)破東西，以前看模式分類的時(shí)候就特困擾，沒想到現(xiàn)在還是搞不清楚，索性開場查協(xié)方差矩陣的資料，惡補(bǔ)之后決定馬上記錄下來，嘿嘿~本文我將用自認(rèn)為循序漸進(jìn)的方式談?wù)剠f(xié)方差矩陣。統(tǒng)計(jì)學(xué)的根本概念學(xué)過概率統(tǒng)計(jì)的孩子都知道，統(tǒng)計(jì)里最根本的概念就是樣本的均值，方差，或者再加個(gè)標(biāo)準(zhǔn)差。首先我們給你一個(gè)含有n個(gè)樣本的集合，依次給出這些概念的公式描述，這些高中學(xué)過數(shù)學(xué)的孩子都應(yīng)該知道吧，一帶而過。均值：標(biāo)準(zhǔn)差：方差：很顯然，均值描述的是樣本集合的中間點(diǎn)，它告訴我們的信息是很有限的，而標(biāo)準(zhǔn)差給我們描述的則是樣本集合的各個(gè)樣本點(diǎn)到均值的距離之平均。以這兩個(gè)集合為例，[0，8，12，20]和[8，9，11，12]，兩個(gè)集合的均值都是10，但顯然兩個(gè)集合差異是很大的，計(jì)算兩者的標(biāo)準(zhǔn)差，前者是8.3，后者是1.8，顯然后者較為集中，故其標(biāo)準(zhǔn)差小一些，標(biāo)準(zhǔn)差描述的就是這種“散布度〞。之所以除以n-1而不是除以n，是因?yàn)檫@樣能使我們以較小的樣本集更好的逼近總體的標(biāo)準(zhǔn)差，即統(tǒng)計(jì)上所謂的“無偏估計(jì)〞{這個(gè)要用到統(tǒng)計(jì)學(xué)的知識(shí)，因?yàn)檫@個(gè)標(biāo)準(zhǔn)差是樣本的標(biāo)準(zhǔn)差是對總體的估計(jì)，而對總體的估計(jì)的要求當(dāng)中，有個(gè)標(biāo)準(zhǔn)是無偏性，除以n-1是無偏估計(jì)，而除以n不是。所以都用n-1，具體證明可參看數(shù)理統(tǒng)計(jì)的教材，}。而方差則僅僅是標(biāo)準(zhǔn)差的平方。為什么需要協(xié)方差上面幾個(gè)統(tǒng)計(jì)量看似已經(jīng)描述的差不多了，但我們應(yīng)該注意到，標(biāo)準(zhǔn)差和方差一般是用來描述一維數(shù)據(jù)的，但現(xiàn)實(shí)生活我們常常遇到含有多維數(shù)據(jù)的數(shù)據(jù)集，最簡單的大家上學(xué)時(shí)免不了要統(tǒng)計(jì)多個(gè)學(xué)科的考試成績。面對這樣的數(shù)據(jù)集，我們當(dāng)然可以按照每一維獨(dú)立的計(jì)算其方差，但是通常我們還想了解更多，比方，一個(gè)男孩子的猥瑣程度跟他受女孩子歡送程度是否存在一些聯(lián)系啊，嘿嘿~協(xié)方差就是這樣一種用來度量兩個(gè)隨機(jī)變量關(guān)系的統(tǒng)計(jì)量，我們可以仿照方差的定義：來度量各個(gè)維度偏離其均值的程度，標(biāo)準(zhǔn)差可以這么來定義：協(xié)方差的結(jié)果有什么意義呢如果結(jié)果為正值，則說明兩者是正相關(guān)的(從協(xié)方差可以引出“相關(guān)系數(shù)〞的定義)，也就是說一個(gè)人越猥瑣就越受女孩子歡送，嘿嘿，那必須的~結(jié)果為負(fù)值就說明負(fù)相關(guān)的，越猥瑣女孩子越討厭，可能嗎如果為0，也是就是統(tǒng)計(jì)上說的“相互獨(dú)立〞。從協(xié)方差的定義上我們也可以看出一些顯而易見的性質(zhì)，如：協(xié)方差多了就是協(xié)方差矩陣上一節(jié)提到的猥瑣和受歡送的問題是典型二維問題，而協(xié)方差也只能處理二維問題，那維數(shù)多了自然就需要計(jì)算多個(gè)協(xié)方差，比方n維的數(shù)據(jù)集就需要計(jì)算個(gè)協(xié)方差，那自然而然的我們會(huì)想到使用矩陣來組織這些數(shù)據(jù)。給出協(xié)方差矩陣的定義：這個(gè)定義還是很容易理解的，我們可以舉一個(gè)簡單的三維的例子，假設(shè)數(shù)據(jù)集有三個(gè)維度，則協(xié)方差矩陣為可見，協(xié)方差矩陣是一個(gè)對稱的矩陣，而且對角線是各個(gè)維度上的方差。Matlab協(xié)方差實(shí)戰(zhàn)上面涉及的內(nèi)容都比擬容易，協(xié)方差矩陣似乎也很簡單，但實(shí)戰(zhàn)起來就很容易讓人迷茫了。必須要明確一點(diǎn)，協(xié)方差矩陣計(jì)算的是不同維度之間的協(xié)方差，而不是不同樣本之間的。這個(gè)我將結(jié)合下面的例子說明，以下的演示將使用Matlab，為了說明計(jì)算原理，不直接調(diào)用Matlab的cov函數(shù)(藍(lán)色局部為Matlab代碼)。首先，隨機(jī)產(chǎn)生一個(gè)10*3維的整數(shù)矩陣作為樣本集，10為樣本的個(gè)數(shù)，3為樣本的維數(shù)。1MySample=fix(rand(10,3)*50)根據(jù)公式，計(jì)算協(xié)方差需要計(jì)算均值，那是按行計(jì)算均值還是按列呢，我一開場就老是困擾這個(gè)問題。前面我們也特別強(qiáng)調(diào)了，協(xié)方差矩陣是計(jì)算不同維度間的協(xié)方差，要時(shí)刻牢記這一點(diǎn)。樣本矩陣的每行是一個(gè)樣本，每列為一個(gè)維度，所以我們要按列計(jì)算均值。為了描述方便，我們先將三個(gè)維度的數(shù)據(jù)分別賦值：1dim1=MySample(:,1);2dim2=MySample(:,2);3dim3=MySample(:,3);計(jì)算dim1與dim2，dim1與dim3，dim2與d