貝葉斯決策理論與統(tǒng)計判決方法_第1頁
貝葉斯決策理論與統(tǒng)計判決方法_第2頁
貝葉斯決策理論與統(tǒng)計判決方法_第3頁
貝葉斯決策理論與統(tǒng)計判決方法_第4頁
貝葉斯決策理論與統(tǒng)計判決方法_第5頁
已閱讀5頁,還剩122頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、第二章第二章 貝葉斯決策理論貝葉斯決策理論與統(tǒng)計判決方法與統(tǒng)計判決方法引言引言 在前一章中已提到,模式識別是一種分類問題,即根據(jù)識在前一章中已提到,模式識別是一種分類問題,即根據(jù)識別對象所呈現(xiàn)的觀察值,將其分到某個類別中去。統(tǒng)計決別對象所呈現(xiàn)的觀察值,將其分到某個類別中去。統(tǒng)計決策理論是處理模式分類問題的基本理論之一,對模式分析策理論是處理模式分類問題的基本理論之一,對模式分析和分類器的設計起指導作用。貝葉斯決策理論是統(tǒng)計模式和分類器的設計起指導作用。貝葉斯決策理論是統(tǒng)計模式識別中的一個基本方法,我們先討論這一決策理論,然后識別中的一個基本方法,我們先討論這一決策理論,然后討論涉及統(tǒng)計判別方法

2、的一些基本問題。討論涉及統(tǒng)計判別方法的一些基本問題。例:魚的分類例:魚的分類設想有一個魚類的加工廠,希望能將傳送帶上的魚的品種的分類過程自設想有一個魚類的加工廠,希望能將傳送帶上的魚的品種的分類過程自動進行。比如通過光學感知手段,架設一臺攝像機,拍攝若干樣品的圖動進行。比如通過光學感知手段,架設一臺攝像機,拍攝若干樣品的圖像,來區(qū)分鮭魚(像,來區(qū)分鮭魚(salmon)和鱸魚()和鱸魚(sea bass).例:魚的分類例:魚的分類識別過程:識別過程: 數(shù)據(jù)獲?。杭茉O一個攝像機,采集一些樣本圖像,獲取樣本數(shù)據(jù)數(shù)據(jù)獲?。杭茉O一個攝像機,采集一些樣本圖像,獲取樣本數(shù)據(jù) 預處理:去噪聲,用一個分割操作把

3、魚和魚之間以及魚和背景之預處理:去噪聲,用一個分割操作把魚和魚之間以及魚和背景之間分開間分開 特征提取和選擇:對單個魚的信息進行特征選擇,從而通過測量特征提取和選擇:對單個魚的信息進行特征選擇,從而通過測量某些特征來減少信息量某些特征來減少信息量 長度長度 亮度亮度 寬度寬度 魚翅的數(shù)量和形狀魚翅的數(shù)量和形狀 嘴的位置,等等嘴的位置,等等 分類決策:把特征送入決策分類器分類決策:把特征送入決策分類器例:魚的分類例:魚的分類例:例: 模型模型: 鱸魚通常較鮭魚長(專家知識)鱸魚通常較鮭魚長(專家知識)鱸魚的典型長度是鱸魚的典型長度是Lb鮭魚的典型長度是鮭魚的典型長度是LsLb Ls 分類器分類器

4、: 比如比如: 鮭魚鮭魚 15 critLlengthBass 0(A)0,P P(B(Bi i)0)0,(i=1,2,(i=1,2,n),n),則,則: :)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率論概率論”有關(guān)概念復習有關(guān)概念復習)()()()(iiiBAPBPABPAPB1SB2B3B4A劃分劃分示意圖示意圖“概率論概率論”有關(guān)概念復習有關(guān)概念復習)()()()(iiiBAPBPABPAP例:考試有用嗎?例:考試有用嗎?老師出了一道老師出了一道5選題,選題,5個選項中只有一個是正確的選擇。個選項中只有一個是正確的選擇。假定某

5、學生知道正確答案的概率為假定某學生知道正確答案的概率為1/2,如果他最后選對了,如果他最后選對了,問他確實知道答案的概率是多少問他確實知道答案的概率是多少?解:解:設設 A事件為事件為知道答案知道答案,B事件為事件為選擇正確選擇正確,由題意可知:由題意可知:由全概率公式由全概率公式:P(B|A)=1/5,P(B|A)=1,P(A)=1/2P(B)=P(B|A)XP(A)+P(B|A)XP(A)=1X1/2+1/5X1/2=0.6例:考試有用嗎?例:考試有用嗎?這說明老師們依據(jù)試卷成績來衡量學生平時的學習狀況這說明老師們依據(jù)試卷成績來衡量學生平時的學習狀況還是有科學依據(jù)的。還是有科學依據(jù)的。利用

6、貝葉斯公式可以得到利用貝葉斯公式可以得到:會騙人的測謊儀會騙人的測謊儀測謊儀是用來檢測一個人是否說謊的儀器,經(jīng)常被用于征兵、安全部門的測謊儀是用來檢測一個人是否說謊的儀器,經(jīng)常被用于征兵、安全部門的篩查、偵破、訴訟等領(lǐng)域。定義事件篩查、偵破、訴訟等領(lǐng)域。定義事件T=測謊儀檢測到一個人在說謊測謊儀檢測到一個人在說謊,L=一個人真正在說謊一個人真正在說謊。根據(jù)統(tǒng)計數(shù)據(jù)根據(jù)統(tǒng)計數(shù)據(jù)P(T|L)= 0. 88,P(T|L)= 0. 86。看起來,測謊儀??雌饋恚瑴y謊儀是比較精確的。問題是:在一次試驗中,檢測出被測對象在說謊,他真正是比較精確的。問題是:在一次試驗中,檢測出被測對象在說謊,他真正在說謊的

7、概率有多大?在說謊的概率有多大? 解:按照上面所給資料,很多人都會認為這個人說謊的概率會很高。假如根據(jù)統(tǒng)解:按照上面所給資料,很多人都會認為這個人說謊的概率會很高。假如根據(jù)統(tǒng)計,在人群中撒謊的人所占比例為百分之一,即先驗概率計,在人群中撒謊的人所占比例為百分之一,即先驗概率P(L)=0.01,根據(jù)全,根據(jù)全概率公式可以計算出:概率公式可以計算出:P(T)=P(L)XP(T|L)+P(L)XP(T|L)=0.01X0.88+0.99X0.14=0.1474再根據(jù)貝葉斯公式:再根據(jù)貝葉斯公式:P(L|T)=P(L)XP(T|L)/P(T)=0.01X0.88/0.14740.06會騙人的測謊儀會騙

8、人的測謊儀從計算結(jié)果來看,從計算結(jié)果來看,94%的檢測都是錯誤的。問題出在哪里呢?的檢測都是錯誤的。問題出在哪里呢?問題在于先驗概率問題在于先驗概率P(L)。普通人群對于測試的撒謊率是很低的,因此測謊儀的結(jié)果并不能告訴你普通人群對于測試的撒謊率是很低的,因此測謊儀的結(jié)果并不能告訴你一個普通人是否撒了謊。一個普通人是否撒了謊。然而,如果這一檢驗用于罪犯(嫌疑犯),由于罪犯對于特定問題說謊然而,如果這一檢驗用于罪犯(嫌疑犯),由于罪犯對于特定問題說謊的概率很高(也許是不得不撒謊,比如警察問:你有沒有干壞事?罪犯的概率很高(也許是不得不撒謊,比如警察問:你有沒有干壞事?罪犯的回答是:嗯,這個么,也許

9、,大概,可能,是這樣的的回答是:嗯,這個么,也許,大概,可能,是這樣的),假設),假設P(L)= 0.5,這時我們可以得到,這時我們可以得到P(L|T)=0.86,這個概率還是可以接,這個概率還是可以接受的。受的。 條件概率條件概率“概率論概率論”有關(guān)概念復習有關(guān)概念復習)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先驗概率:先驗概率:P( i)表示類表示類 i出現(xiàn)的先驗概率,簡稱類出現(xiàn)的先驗概率,簡稱類 i的概率。的概率。后驗概率:后驗概率:P P( ( i i|x)|x)表示表示x x出現(xiàn)條件下類出現(xiàn)條件下類 i i出現(xiàn)的概率出現(xiàn)的概率, ,稱其為類別的稱其

10、為類別的后驗概率后驗概率,對于模式識別來講可理解為對于模式識別來講可理解為x x來自類來自類 i i的概率。的概率。類條件概率密度:類條件概率密度: p(x|(x| i i) )表示在類表示在類 i i條件下的概率密度,即類條件下的概率密度,即類 i i模式模式x x的概率的概率分布密度,簡稱為分布密度,簡稱為類條件概率密度類條件概率密度?;谧钚″e誤率的貝葉斯決策基于最小錯誤率的貝葉斯決策一般說來,一般說來,c類不同的物體應該具有各不相同的屬性,在類不同的物體應該具有各不相同的屬性,在d維特征空間,維特征空間,各自有不同的分布。當某一特征向量值各自有不同的分布。當某一特征向量值X只為某一類物

11、體所特有,即只為某一類物體所特有,即 對其作出決策是容易的,也不會出什么差錯。問題在于出現(xiàn)模棱兩可的對其作出決策是容易的,也不會出什么差錯。問題在于出現(xiàn)模棱兩可的情況。此時,任何決策都存在判錯的可能性。這里討論的是使錯誤率為情況。此時,任何決策都存在判錯的可能性。這里討論的是使錯誤率為最小的決策方法,稱為基于最小錯誤率的貝葉斯決策理論。最小的決策方法,稱為基于最小錯誤率的貝葉斯決策理論?;谧钚″e誤率的貝葉斯決策基于最小錯誤率的貝葉斯決策最小錯誤率是在統(tǒng)計的意義上說的,請注意其含義。最小錯誤率是在統(tǒng)計的意義上說的,請注意其含義。在這里要弄清楚條件概率這個概念。在這里要弄清楚條件概率這個概念。P

12、(*|#)是條件概率的通用符號,在是條件概率的通用符號,在“|”后邊出現(xiàn)的后邊出現(xiàn)的#為條件,之前的為條件,之前的*為某個事件,即在某條件為某個事件,即在某條件#下出現(xiàn)某下出現(xiàn)某個事件個事件*的概率。的概率。P(K|X)是表示在是表示在X出現(xiàn)條件下,樣本為出現(xiàn)條件下,樣本為K類的概類的概率。率。一個事物在某條件下出現(xiàn)的概率一個事物在某條件下出現(xiàn)的概率P(*|#)與該事件在不帶任何條件下出現(xiàn)與該事件在不帶任何條件下出現(xiàn)的概率的概率(寫成寫成P(*)是不相同的。例如全世界人口有是不相同的。例如全世界人口有60億。因此你見到億。因此你見到一個人在不帶任何條件下,有一個人在不帶任何條件下,有20%的可

13、能性是中國人的可能性是中國人P(*)=0.2,但是,但是如果你在中國,或香港、臺灣,那么中國、香港、臺灣都是指一種條件如果你在中國,或香港、臺灣,那么中國、香港、臺灣都是指一種條件(#),這種地理條件下,你所見到的某一個人是中國人,這種地理條件下,你所見到的某一個人是中國人(*)的概率就要大的概率就要大得多,此時得多,此時P(*|#)就應該大于就應該大于20%,甚至更多了。甚至更多了。對于兩類對于兩類 1 1, 2 2問題,直觀地,可以根據(jù)后驗概率做判決:問題,直觀地,可以根據(jù)后驗概率做判決:121122 (| )(| ) (| )(| ) p xp xxp xp xx若則若則21(|)()(

14、|)()(|)()(|)()iiiiiiiip xPp xPpxp xp xP Bayes法則最大后驗概率準則法則最大后驗概率準則根據(jù)根據(jù)Bayes公式,后驗概率公式,后驗概率 可由類可由類 i的先驗概率的先驗概率P( i)和條件概率密度和條件概率密度 來表示,即來表示,即(/)ipx(/)ip x將將P( i|x)代入判別式,判別規(guī)則可表示為代入判別式,判別規(guī)則可表示為1122111222 ( |)()( |)() ( |)()( |)() p x Pp x Pxp x Pp x Px若則若則或改寫為或改寫為212122112112122112 )()()|()|( )()()|()|(xP

15、PxpxplxPPxpxpl則則l12稱為稱為似然比似然比(likelihood ratio),), 12稱為似然比的判決閥值。稱為似然比的判決閥值。原則:要確定原則:要確定x x是屬于是屬于11類還是類還是22類,要看類,要看x x是來自于是來自于11類的概率大還是類的概率大還是來自來自22類的概率大。類的概率大。已知:已知:(統(tǒng)計結(jié)果)(統(tǒng)計結(jié)果)先驗概率:先驗概率:P( ( 1 1)=1/3)=1/3(鱸魚出現(xiàn)的概率)(鱸魚出現(xiàn)的概率) P( ( 2 2)=1-)=1-P( ( 1 1)=2/3 )=2/3 (鮭魚出現(xiàn)的概率鮭魚出現(xiàn)的概率)條件概率條件概率:p(x| 1 1) 見圖示見圖

16、示(鱸魚的長度特征分布概率)(鱸魚的長度特征分布概率)p(x| 2 2)見圖示見圖示(鮭魚的長度特征分布概率)(鮭魚的長度特征分布概率)求:后驗概率求:后驗概率:P( |x=10)=?(如果一條魚如果一條魚x x1010,是什么類別?),是什么類別?)解法解法1 1:111111122(10 |)()(|10)()(|)() (|)()(|)()0.05 1/3 0.0480.05 1/30.502 /3p xPPxp xp xPp xPp xP10101010利用利用Bayes公式公式寫成似然比形式寫成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()

17、1/3 , , p xlxp xPPlxx10()10判決閥值(10)即是鮭魚。解法解法2:)(1xP)(2xPx條件概率密度分布)(ixP鱸魚鱸魚鮭魚鮭魚100.050.55.58.5)(1xP)(2xPx2 . 04 . 06 . 08 . 00 . 1后驗概率分布)(xPi10例:男女性別識別例:男女性別識別分別輸入分別輸入50組男性和女性的身高、體重數(shù)據(jù),作為訓練集。輸入組男性和女性的身高、體重數(shù)據(jù),作為訓練集。輸入300組數(shù)據(jù)作為測試集,組數(shù)據(jù)作為測試集,其中其中50組女性數(shù)據(jù),組女性數(shù)據(jù),250組男性數(shù)據(jù)。組男性數(shù)據(jù)。選擇不同的先驗概率分別做了兩組實驗:選擇不同的先驗概率分別做了兩

18、組實驗:1.設定男性先驗概率為設定男性先驗概率為0.5,女性先驗概率為,女性先驗概率為0.5。結(jié)果:。結(jié)果:男性錯誤分類(男性錯分為女性)數(shù):男性錯誤分類(男性錯分為女性)數(shù):31女性錯誤分類(女性錯分為男性)數(shù):女性錯誤分類(女性錯分為男性)數(shù):1錯誤率:錯誤率:10.67% (31+1)/300例:男女性別識別例:男女性別識別2.設定男性先驗概率為設定男性先驗概率為0.5,女性先驗概率為,女性先驗概率為0.5。結(jié)果:結(jié)果:男性錯誤分類(男性錯分為女性)數(shù):男性錯誤分類(男性錯分為女性)數(shù):8女性錯誤分類(女性錯分為男性)數(shù):女性錯誤分類(女性錯分為男性)數(shù):6錯誤率:錯誤率:4.67% (

19、8+6)/300例:男女性別識別例:男女性別識別由實驗結(jié)果可見,對于貝葉斯決策的使用,由實驗結(jié)果可見,對于貝葉斯決策的使用,選擇選擇合適的先驗概率合適的先驗概率是必要的,先驗概率選擇合是必要的,先驗概率選擇合適,通過貝葉斯決策會得到好的分類結(jié)果,反之,則會影響分類結(jié)果。適,通過貝葉斯決策會得到好的分類結(jié)果,反之,則會影響分類結(jié)果。例:癌細胞的識別例:癌細胞的識別假設每個要識別的細胞已作過預處理,并抽取出了假設每個要識別的細胞已作過預處理,并抽取出了d個特征描述量,用個特征描述量,用一個一個d維的特征向量維的特征向量X表示,識別的目的是要依據(jù)該表示,識別的目的是要依據(jù)該X向量將細胞劃分為向量將細

20、胞劃分為正常細胞或者異常細胞。這里我們用正常細胞或者異常細胞。這里我們用表示是正常細胞,而表示是正常細胞,而則屬于則屬于異常細胞。異常細胞。類別的狀態(tài)是一個隨機變量,而某種狀態(tài)出現(xiàn)的概率是可以估計的。概類別的狀態(tài)是一個隨機變量,而某種狀態(tài)出現(xiàn)的概率是可以估計的。概率的估計包含兩層含義,一是由統(tǒng)計資料表明,正常細胞與異常細胞在率的估計包含兩層含義,一是由統(tǒng)計資料表明,正常細胞與異常細胞在統(tǒng)計意義上的比例,這稱為先驗概率統(tǒng)計意義上的比例,這稱為先驗概率P(1)及及P(2),另一種則分別,另一種則分別表示所檢查細胞呈現(xiàn)出的不同屬性的概率密度函數(shù)表示所檢查細胞呈現(xiàn)出的不同屬性的概率密度函數(shù)P(x|1)

21、和和P(x|2),顯然在一般情況下正常細胞占比例大,即,顯然在一般情況下正常細胞占比例大,即P(1)P(2),因此如果我們不對具體的細胞化驗值作仔細觀察,我,因此如果我們不對具體的細胞化驗值作仔細觀察,我們作出該細胞是正常細胞的判決,在統(tǒng)計的意義上來說,也就是平均意們作出該細胞是正常細胞的判決,在統(tǒng)計的意義上來說,也就是平均意義上說,錯判可能性比判為異常細胞時小。但是僅按先驗概率來決策,義上說,錯判可能性比判為異常細胞時小。但是僅按先驗概率來決策,就會把所有細胞都劃歸為正常細胞,并沒有達到將正常細胞與異常細胞就會把所有細胞都劃歸為正常細胞,并沒有達到將正常細胞與異常細胞區(qū)分開的目的。這表明由先

22、驗概率所提供的信息太少。區(qū)分開的目的。這表明由先驗概率所提供的信息太少。例:癌細胞的識別例:癌細胞的識別為此我們還必須利用對細胞作病理分析所觀測到的信息,也就是所抽取到的為此我們還必須利用對細胞作病理分析所觀測到的信息,也就是所抽取到的d維維觀測向量。為簡單起見,我們假定只用其一個特征進行分類,即觀測向量。為簡單起見,我們假定只用其一個特征進行分類,即d=1,并已知,并已知這兩類的類條件概率密度函數(shù)分布,如圖所示,其中這兩類的類條件概率密度函數(shù)分布,如圖所示,其中P(x|1)是正常細胞的屬是正常細胞的屬性分布,性分布,P(x|2)是異常細胞的屬性分布。那末,當觀測向量為是異常細胞的屬性分布。那

23、末,當觀測向量為X值時,它屬值時,它屬于各類的概率又是多少呢于各類的概率又是多少呢?為此我們利用貝葉斯公式為此我們利用貝葉斯公式, 來計算后驗概率來計算后驗概率P(i|X)。例:癌細胞的識別例:癌細胞的識別上例中圖上例中圖2.1表示的類條件概率可用式表示的類條件概率可用式(2-1)換算成如圖換算成如圖2.2所示的后驗所示的后驗概率分布??梢钥闯?,在概率分布??梢钥闯?,在X值小時,細胞被判為正常是比較合理的,判值小時,細胞被判為正常是比較合理的,判斷錯誤的可能性小。基于最小錯誤概率的貝葉斯決策理論就是按后驗概斷錯誤的可能性小。基于最小錯誤概率的貝葉斯決策理論就是按后驗概率的大小作判決的。率的大小

24、作判決的。例:癌細胞的識別例:癌細胞的識別假設在某地區(qū)切片細胞中正常假設在某地區(qū)切片細胞中正常(1)和異常和異常()兩類的先驗概率分別為兩類的先驗概率分別為P(1)=0.9,P(2)=0.1?,F(xiàn)有一待識別細胞呈現(xiàn)出狀態(tài)?,F(xiàn)有一待識別細胞呈現(xiàn)出狀態(tài)x,由其類條件概,由其類條件概率密度分布曲線查得率密度分布曲線查得p(x|1)=0.2,p(x|)=0.4,試對細胞,試對細胞x進行分類。進行分類。解:利用貝葉斯公式,分別計算出狀態(tài)為解:利用貝葉斯公式,分別計算出狀態(tài)為x時時1與與的后驗概率的后驗概率根據(jù)貝葉斯決策根據(jù)貝葉斯決策(2-2)則有則有P(1|x)0.818P(|x)0.0182因此判定該細

25、胞為正常細胞比較合理。因此判定該細胞為正常細胞比較合理。 例:癌細胞的識別例:癌細胞的識別從這個例子可以看出,盡管類別從這個例子可以看出,盡管類別呈現(xiàn)出狀態(tài)呈現(xiàn)出狀態(tài)x的條件概率要高于的條件概率要高于1類呈現(xiàn)此類呈現(xiàn)此狀態(tài)的概率,但是考慮到狀態(tài)的概率,但是考慮到P(1)遠大于遠大于P(),因此狀態(tài),因此狀態(tài)x屬于類別屬于類別1的可能的可能性遠比屬于類別性遠比屬于類別的可能性大。將該細胞判為正常在統(tǒng)計的意義上講出錯率要的可能性大。將該細胞判為正常在統(tǒng)計的意義上講出錯率要小得多。小得多。由于統(tǒng)計判別方法是基于統(tǒng)計參數(shù)作出決策,因此錯誤率也只能從平均的意義由于統(tǒng)計判別方法是基于統(tǒng)計參數(shù)作出決策,因此

26、錯誤率也只能從平均的意義上講,表示為在觀測值可能取值的整個范圍內(nèi)錯識率的均值。在連續(xù)條件下,上講,表示為在觀測值可能取值的整個范圍內(nèi)錯識率的均值。在連續(xù)條件下,平均錯誤率,以平均錯誤率,以P(e)表示,應有表示,應有其中其中p(e,x)表示錯誤率為表示錯誤率為e觀測值為觀測值為x的聯(lián)合概率密度,的聯(lián)合概率密度,P(e|x)是觀測值為是觀測值為x時的條件錯誤概率密度函數(shù),時的條件錯誤概率密度函數(shù),P(x)為為x值出現(xiàn)的概率,而積分運算則表示為在值出現(xiàn)的概率,而積分運算則表示為在整個整個d維特征空間上的總和。在此一維情況下,維特征空間上的總和。在此一維情況下,x取從取從到到+的整個范圍。的整個范圍

27、。例:癌細胞的識別例:癌細胞的識別在兩類別問題中,按在兩類別問題中,按(2-2)式給出的決策規(guī)則,當式給出的決策規(guī)則,當P(w2|x)p(w1|x)時決時決策為策為w2。顯然這個決策意味著,對觀測值。顯然這個決策意味著,對觀測值x有有P(w1|x)概率的錯誤率。例如在概率的錯誤率。例如在上例中所作的上例中所作的w1決策,實際上包含有決策,實際上包含有P(w2|x)=0.182的錯誤概率。在兩類的錯誤概率。在兩類別的情況下,可以將別的情況下,可以將p(e|x)表示成當表示成當如果我們把作出如果我們把作出w1決策的所有觀測值區(qū)域稱為決策的所有觀測值區(qū)域稱為R1,則在,則在R1區(qū)內(nèi)的每個區(qū)內(nèi)的每個x

28、值,條值,條件錯誤概率為件錯誤概率為p(w2|x)。另一個區(qū)。另一個區(qū)R2中的中的x,條件錯誤概率為條件錯誤概率為p(w1|x)。因此。因此平均錯誤率平均錯誤率P(e)可表示成可表示成例:癌細胞的識別例:癌細胞的識別由于在由于在R1區(qū)內(nèi)任一個區(qū)內(nèi)任一個x值都有值都有P(w2|x)P(w1|x),同樣在,同樣在R2區(qū)內(nèi)任一個區(qū)內(nèi)任一個x值都有值都有P(w1|x)P(w2|x),錯誤率在每個錯誤率在每個x值處都取小者,因而平均錯誤率值處都取小者,因而平均錯誤率P(e)也必然達到最小,這就證明了按也必然達到最小,這就證明了按(2-2)式作出的決策,其平均錯誤率為最式作出的決策,其平均錯誤率為最小。小

29、。例:癌細胞的識別例:癌細胞的識別圖圖2.3表示了在某種概率分布下表示了在某種概率分布下R1與與R2區(qū)的分布情況,該圖分別畫出區(qū)的分布情況,該圖分別畫出p(x1)P(1)及及p(x2)P(2)的分布情況,由于的分布情況,由于P(e)也可以也可以(2-8)式寫成式寫成因此錯誤率為圖中兩個劃線部分之和,顯而易見只有這種劃分才能使對應的錯因此錯誤率為圖中兩個劃線部分之和,顯而易見只有這種劃分才能使對應的錯誤率區(qū)域面積為最小。誤率區(qū)域面積為最小。)()(11Pxp)()(22Pxp212)(P121)(P最小誤判概率準則下的判決規(guī)則:最小誤判概率準則下的判決規(guī)則: 如果,如果, 則判則判)()(11x

30、pP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等價地,或等價地, 如果,如果, 則判則判)(1xP)(2xP21x另一個等價形式是:另一個等價形式是: 如果如果 則判則判)()()()(iiixpPxPxp由貝葉斯定理由貝葉斯定理對于多類問題,對于多類問題,最小誤判概率準則最小誤判概率準則有如下有如下幾種等價的判決規(guī)則幾種等價的判決規(guī)則:若若 ,則判,則判 若若 , ,則判,則判 )()(xPxPjiij ix)(xPi)(maxxPjjix(后驗概率形式)(后驗概率形式)若若 , ,則判,則判 若若 ,則判,則判 (條件概率形式)(條件概率形式))()(

31、)()(jjiiPxpPxpij ix)()(iiPxp)()(maxjjjPxpix若若 , , 則判則判 ijijjiijPPxpxpxl)()()()()(ij ix(似然比形式)(似然比形式)如果如果 , ,則判則判 (條件概率的對數(shù)形式)(條件概率的對數(shù)形式))(ln)(ln)(ln)(lnjjiiPxpPxpij ix基于最小風險的貝葉斯決策基于最小風險的貝葉斯決策 上面我們討論了使錯誤率最小的貝葉斯決策規(guī)則。然而當接觸到實際問題上面我們討論了使錯誤率最小的貝葉斯決策規(guī)則。然而當接觸到實際問題時,可以發(fā)現(xiàn)使錯誤率最小并不一定是一個普遍適用的最佳選擇。時,可以發(fā)現(xiàn)使錯誤率最小并不一定

32、是一個普遍適用的最佳選擇。譬如,在上面討論過的細胞分類的例子中,把正常細胞錯分為癌細胞,或譬如,在上面討論過的細胞分類的例子中,把正常細胞錯分為癌細胞,或相反方向的錯誤,其嚴重性是截然不同的。把正常細胞誤判為異常細胞固相反方向的錯誤,其嚴重性是截然不同的。把正常細胞誤判為異常細胞固然會給人帶來不必要的痛苦,但若將癌細胞誤判為正常細胞,則會使病人然會給人帶來不必要的痛苦,但若將癌細胞誤判為正常細胞,則會使病人因失去及早治療的機會而遭受極大的損失。因失去及早治療的機會而遭受極大的損失。由此可見,根據(jù)不同性質(zhì)的錯誤會引起不同程度的損失這一考慮出發(fā),我由此可見,根據(jù)不同性質(zhì)的錯誤會引起不同程度的損失這

33、一考慮出發(fā),我們寧肯擴大一些總的錯誤率,但也要使總的損失減少。這會引進一個與損們寧肯擴大一些總的錯誤率,但也要使總的損失減少。這會引進一個與損失有關(guān)聯(lián)的,更為廣泛的概念失有關(guān)聯(lián)的,更為廣泛的概念風險。在作出決策時,要考慮所承擔的風險。在作出決策時,要考慮所承擔的風險?;谧钚★L險的貝葉斯決策規(guī)則正是為了體現(xiàn)這一點而產(chǎn)生的。風險?;谧钚★L險的貝葉斯決策規(guī)則正是為了體現(xiàn)這一點而產(chǎn)生的?;谧钚★L險的貝葉斯決策基于最小風險的貝葉斯決策 在討論基于風險的決策方法的具體內(nèi)容之前,讓我們首先回顧一下上一節(jié)討論的在討論基于風險的決策方法的具體內(nèi)容之前,讓我們首先回顧一下上一節(jié)討論的基于最小錯誤概率的決策方

34、法。從式基于最小錯誤概率的決策方法。從式(2-10)可以看出,在分類時所作的判決可以看出,在分類時所作的判決(稱稱之為決策之為決策)單純?nèi)Q于觀測值單純?nèi)Q于觀測值X對各類的后驗概率的最大值,因而也就無法估計作對各類的后驗概率的最大值,因而也就無法估計作出錯誤決策所帶來的損失。為此不妨將作出判決的依據(jù)從單純考慮后驗概率最大出錯誤決策所帶來的損失。為此不妨將作出判決的依據(jù)從單純考慮后驗概率最大值,改為對該觀測值值,改為對該觀測值X條件下各狀態(tài)后驗概率求加權(quán)和的方式,表示成條件下各狀態(tài)后驗概率求加權(quán)和的方式,表示成其中其中 表示觀測樣本表示觀測樣本X實屬類別實屬類別j,而被判為狀態(tài)而被判為狀態(tài)i時

35、所造成的損失,時所造成的損失,Ri則表示了則表示了觀測值觀測值X被判為被判為i類時損失的均值。如果我們希望盡可能避免將某狀態(tài)類時損失的均值。如果我們希望盡可能避免將某狀態(tài)j,錯判為錯判為狀態(tài)狀態(tài)i,則可將相應的則可將相應的 值選擇得大些,以表明損失的嚴重性。加權(quán)和值選擇得大些,以表明損失的嚴重性。加權(quán)和Ri用來衡用來衡量觀測樣本量觀測樣本X被判為狀態(tài)被判為狀態(tài)i所需承擔的風險。而究竟將所需承擔的風險。而究竟將X判為何類則應依據(jù)所有判為何類則應依據(jù)所有Ri,(i=1,c)中的最小值,即最小風險來定。中的最小值,即最小風險來定?;谧钚★L險的貝葉斯決策基于最小風險的貝葉斯決策 比如,我們見到一個病

36、理切片比如,我們見到一個病理切片X,要確定其中有沒有癌細胞,要確定其中有沒有癌細胞(用用1表示正常,表示正常,2表示異常表示異常),則,則P(1|X)與與P(2|X)分別表示了兩種可能性的大小。如果分別表示了兩種可能性的大小。如果X確實確實是癌細胞是癌細胞(2),但被判作正常,但被判作正常(1),則會有損失,這種損失用,則會有損失,這種損失用 表示,表示,X確實確實是正常是正常(1),卻被判定為異常,卻被判定為異常(2),則損失表示成,則損失表示成 ,另外為了使式子寫的更,另外為了使式子寫的更方便,我們也可以定義方便,我們也可以定義 與與 , 是指正確判斷也可有損失。那么把是指正確判斷也可有損

37、失。那么把X判作判作1引進的損失應該與引進的損失應該與 以及以及 都有關(guān),哪一個占主要成分,則取決于都有關(guān),哪一個占主要成分,則取決于P(1|X)與與P(2|X)。因此變成了一個加權(quán)和。因此變成了一個加權(quán)和 同樣將同樣將X判為判為2的風險就成為的風險就成為 此時作出哪一種決策就要看是此時作出哪一種決策就要看是R1(X)小還是小還是R2(X)小了,這就是基于最小風小了,這就是基于最小風險的貝葉斯決策的基本出發(fā)點。險的貝葉斯決策的基本出發(fā)點。(1)自然狀態(tài)與狀態(tài)空間。其中自然狀態(tài)是指待識別對象的類別,而狀態(tài)空間自然狀態(tài)與狀態(tài)空間。其中自然狀態(tài)是指待識別對象的類別,而狀態(tài)空間則是由所有自然狀態(tài)所組則

38、是由所有自然狀態(tài)所組成的空間,成的空間,=1,2,c(2)決策與決策空間。在決策論中,對分類問題所作的判決,稱之為決策,由所有決策組成的空間稱為決決策與決策空間。在決策論中,對分類問題所作的判決,稱之為決策,由所有決策組成的空間稱為決策空間。決策不僅包括根據(jù)觀測值將樣本劃歸哪一類別策空間。決策不僅包括根據(jù)觀測值將樣本劃歸哪一類別(狀態(tài)狀態(tài)),還可包括其它決策,如,還可包括其它決策,如“拒絕拒絕”等,因此等,因此決策空間內(nèi)決策總數(shù)決策空間內(nèi)決策總數(shù)a可以不等于類別數(shù)可以不等于類別數(shù)c,表示成表示成 (3)損失函數(shù)損失函數(shù)(i|j)(或?qū)懗苫驅(qū)懗?i,j)。這就是前面引用過的。這就是前面引用過的

39、。它表示對自然狀態(tài)。它表示對自然狀態(tài)j,作出決策,作出決策i時所造成的損失。時所造成的損失。(4)觀測值觀測值X條件下的期望損失條件下的期望損失R(i|X), ,i=1,2,a(2-14)這就是前面引用的符號這就是前面引用的符號Ri,也稱為條件風險。,也稱為條件風險。與式與式(2-10)類似,最小風險貝葉斯決策規(guī)則可寫成:類似,最小風險貝葉斯決策規(guī)則可寫成:如果如果 ,則則=k (2-15)但與但與(2-10)式不同的是,這里計算的是最小值。式不同的是,這里計算的是最小值。與基于最小錯誤概率的決策方法中所引用的平均錯誤率與基于最小錯誤概率的決策方法中所引用的平均錯誤率P(e)相類似,在這里引入

40、一個期望風險相類似,在這里引入一個期望風險R, (2-16)它表示對所有它表示對所有X取值所作的決策取值所作的決策(X)所帶來的平均風險。當所采取的每一個決策都使其條件風險最小,則所帶來的平均風險。當所采取的每一個決策都使其條件風險最小,則對所有的對所有的X所作的決策,其期望風險也必然最小。所作的決策,其期望風險也必然最小。具體步驟具體步驟對于實際問題,最小風險貝葉斯決策可按下列步驟進行:對于實際問題,最小風險貝葉斯決策可按下列步驟進行:(1)在已知在已知P(i),P(X|i),i=1,,c及給出待識別的及給出待識別的X的情況下,根據(jù)貝的情況下,根據(jù)貝葉斯公式計算出后驗概率:葉斯公式計算出后驗

41、概率: j=1,,x(2)利用計算出的后驗概率及決策表,按式利用計算出的后驗概率及決策表,按式(2-14)計算出采取計算出采取i,i=1,,a的的條件風險條件風險 ,i=1,2,a(3)對對(2)中得到的中得到的a個條件風險值個條件風險值R(i|X),i=1,,a進行比較,找出使條件進行比較,找出使條件風險最小的決策風險最小的決策k,則,則k就是最小風險貝葉斯決策。就是最小風險貝葉斯決策。例:癌細胞的識別例:癌細胞的識別在上例條件的基礎上,已知在上例條件的基礎上,已知11=0,(11表示表示(1|1)的簡寫的簡寫),12=6,21=1,22=0,按最小風險貝葉斯決策進行分類。,按最小風險貝葉斯

42、決策進行分類。解:已知條件為解:已知條件為P(1)0.9, P(2)0.1p(X|1)0.2, p(X|2)0.4110, 126, 211, 220 根據(jù)根據(jù)2.1的計算結(jié)果可知后驗概率為的計算結(jié)果可知后驗概率為P(1|X)0.818, P(2|X)0.182再按式再按式(2-14)計算出條件風險計算出條件風險由于由于R(1|X)R(2|X)即決策為即決策為2的條件風險小于決策為的條件風險小于決策為1的條件風險,因此應采取決策行動的條件風險,因此應采取決策行動2,即,即判待識別的細胞判待識別的細胞X為為2類類異常細胞。異常細胞?;谧钚★L險的貝葉斯決策基于最小風險的貝葉斯決策將本例與前例相對

43、比,其分類結(jié)果正好相反,這是因為影響決策結(jié)果的因素又多了一個將本例與前例相對比,其分類結(jié)果正好相反,這是因為影響決策結(jié)果的因素又多了一個“損損失失”。由于兩類錯誤決策所造成的損失相差很懸殊,因此。由于兩類錯誤決策所造成的損失相差很懸殊,因此“損失損失”在這里起了主導作用。在這里起了主導作用。如果只考慮兩類別問題,并只有一維特征向量的情況,可以畫出一張與圖如果只考慮兩類別問題,并只有一維特征向量的情況,可以畫出一張與圖2.3類似的圖類似的圖2.4,用來表示最小風險貝葉斯決策方法的分類結(jié)果。與圖用來表示最小風險貝葉斯決策方法的分類結(jié)果。與圖2.3不同的是,不同的是,R1與與R2兩個區(qū)域的分界兩個區(qū)

44、域的分界線不再是線不再是t,而是向左移了一段距離,這是由于損失函數(shù)而是向左移了一段距離,這是由于損失函數(shù)12比比21大所造成的,在發(fā)生位移這大所造成的,在發(fā)生位移這一區(qū)域內(nèi),盡管一區(qū)域內(nèi),盡管P(x|1)P(1)P(x|2)P(2),但是為了減少將,但是為了減少將2錯判為錯判為1所帶來的所帶來的嚴重損失,在嚴重損失,在P(x|2)P(2)尚不很小的情況下,使將尚不很小的情況下,使將2類樣本錯判為類樣本錯判為1的可能性減小,的可能性減小,以減小決策所承擔的風險。當然平均錯誤率則明顯增大了。以減小決策所承擔的風險。當然平均錯誤率則明顯增大了。判別函數(shù)、決策面與分類器設計判別函數(shù)、決策面與分類器設計

45、 以上討論了幾種常用的決策原則,在這些原則的指導下,可以進行分類器的設計。以上討論了幾種常用的決策原則,在這些原則的指導下,可以進行分類器的設計。在討論分類器設計前,需要說明在分類器設計中使用的一些概念,這就是決策面與在討論分類器設計前,需要說明在分類器設計中使用的一些概念,這就是決策面與判別函數(shù)。判別函數(shù)。在前面討論中曾提到,分類決策實質(zhì)上是在描述待識別對象的在前面討論中曾提到,分類決策實質(zhì)上是在描述待識別對象的d維特征所組成的特維特征所組成的特征空間內(nèi),將其劃分為征空間內(nèi),將其劃分為c個決策域,待識別的特征向量落在哪個決策域,該樣本就個決策域,待識別的特征向量落在哪個決策域,該樣本就被判為

46、哪一類。因此決策域的邊界面就是決策面,在數(shù)學上用解析形式表示成決策被判為哪一類。因此決策域的邊界面就是決策面,在數(shù)學上用解析形式表示成決策面方程。用于表達決策規(guī)則的某些函數(shù)則稱為判別函數(shù)。顯然判別函數(shù)與決策面方面方程。用于表達決策規(guī)則的某些函數(shù)則稱為判別函數(shù)。顯然判別函數(shù)與決策面方程是密切相關(guān)的,并且都是由相應決策規(guī)則所確定的。程是密切相關(guān)的,并且都是由相應決策規(guī)則所確定的。判別函數(shù)、決策面與分類器設計判別函數(shù)、決策面與分類器設計 例如在兩類別問題中,按最小錯誤率作決策時,決策規(guī)則的一種形式是例如在兩類別問題中,按最小錯誤率作決策時,決策規(guī)則的一種形式是 ,否則,否則 則相應的判別函數(shù)就是則相

47、應的判別函數(shù)就是 gi(X)P(i|X), i=1,2而決策面方程則可寫成而決策面方程則可寫成 g1(X)g2(X)此時決策規(guī)則也可以寫成用判別函數(shù)表示的形式此時決策規(guī)則也可以寫成用判別函數(shù)表示的形式如果如果 gi(X)gj(X) i,j=1,2 且且 ij則則Xi,否則,否則 Xj至于多類別情況,則對應于一種決策規(guī)則要定義一組判別函數(shù)至于多類別情況,則對應于一種決策規(guī)則要定義一組判別函數(shù) gi(X), i=1,2,,c而決策規(guī)則可表示成而決策規(guī)則可表示成如果如果 ,則將,則將X歸于歸于i類;類;判別函數(shù)、決策面與分類器設計判別函數(shù)、決策面與分類器設計 決策面是一種統(tǒng)稱,當特征空間只是決策面是

48、一種統(tǒng)稱,當特征空間只是一維時,一個決策面實際上只是一個一維時,一個決策面實際上只是一個點。在二維特征空間里,決策面是一點。在二維特征空間里,決策面是一條曲線。三維則是一曲面,超過三維條曲線。三維則是一曲面,超過三維的空間,決策面是一個超曲面。圖的空間,決策面是一個超曲面。圖(a)表示了一個三類別問題用一維特表示了一個三類別問題用一維特征空間時的所有決策邊界,而圖征空間時的所有決策邊界,而圖(b)則表示了相應的二維特征空間中的決則表示了相應的二維特征空間中的決策邊界。策邊界。判別函數(shù)、決策面與分類器設計判別函數(shù)、決策面與分類器設計 在討論了判別函數(shù)等概念后,設計分在討論了判別函數(shù)等概念后,設計

49、分類器的任務就清楚了。分類器可以用類器的任務就清楚了。分類器可以用軟件或硬件實現(xiàn)。圖軟件或硬件實現(xiàn)。圖1表示了兩類別表示了兩類別問題分類器的框圖,而圖問題分類器的框圖,而圖2則表示了則表示了多類別分類器的結(jié)構(gòu)框圖。兩者主要多類別分類器的結(jié)構(gòu)框圖。兩者主要的不同在于多類別情況需有一個求最的不同在于多類別情況需有一個求最大值的環(huán)節(jié),在圖大值的環(huán)節(jié),在圖2中用中用MAX表示,表示,而兩類情況則可簡化為正負號判別器而兩類情況則可簡化為正負號判別器(閾值單元閾值單元)。 判別函數(shù)、決策面與分類器設計判別函數(shù)、決策面與分類器設計 分類器設計除了確定結(jié)構(gòu)框圖外,問題主要集中在判別函數(shù)的選擇,使用分類器設計除

50、了確定結(jié)構(gòu)框圖外,問題主要集中在判別函數(shù)的選擇,使用最小風險決策時合理的損失函數(shù)的確定。此外貝葉斯決策理論都是基于統(tǒng)計分最小風險決策時合理的損失函數(shù)的確定。此外貝葉斯決策理論都是基于統(tǒng)計分布確定的情況下的計算,而統(tǒng)計參數(shù)的確定恰恰是最困難的問題。如果要按貝布確定的情況下的計算,而統(tǒng)計參數(shù)的確定恰恰是最困難的問題。如果要按貝葉斯決策方法設計分類器,就必須設法獲得必需的統(tǒng)計參數(shù),這個問題在此不葉斯決策方法設計分類器,就必須設法獲得必需的統(tǒng)計參數(shù),這個問題在此不作討論,可參看相關(guān)的書籍。作討論,可參看相關(guān)的書籍。前面討論的前面討論的Bayes決策理論其實是很簡單的,對特征空間任一點決策理論其實是很簡

51、單的,對特征空間任一點X只要能只要能確定落在該點的樣本確定落在該點的樣本X屬于哪一種類的可能性大,就將這點劃分到這類的決策屬于哪一種類的可能性大,就將這點劃分到這類的決策域。問題是后驗概率域。問題是后驗概率P(i|X)要通過先驗概率和類概率密度函數(shù)計算。因為要通過先驗概率和類概率密度函數(shù)計算。因為Bayes決策是一種通用方法,它只在原理上講特征空間中符合什么條件才能決策是一種通用方法,它只在原理上講特征空間中符合什么條件才能作為哪一類決策域,而我們希望能把決策域用簡便的方式,最好是函數(shù)形式劃作為哪一類決策域,而我們希望能把決策域用簡便的方式,最好是函數(shù)形式劃分出來,直接計算判別函數(shù)就方便了。顯

52、然具體的決策域劃分與樣本的概率分分出來,直接計算判別函數(shù)就方便了。顯然具體的決策域劃分與樣本的概率分布有關(guān)。下面結(jié)合正態(tài)分布概率密度函數(shù)進行討論。布有關(guān)。下面結(jié)合正態(tài)分布概率密度函數(shù)進行討論。 單變量正態(tài)分布單變量正態(tài)分布單變量正態(tài)分布概率密度函數(shù)定義為單變量正態(tài)分布概率密度函數(shù)定義為 (229)式中式中表示隨機變量表示隨機變量x的數(shù)學期望,的數(shù)學期望,2為其方差,而為其方差,而則稱為標準差。則稱為標準差。 (2-30) (2-31)(2-29)表明單變量正態(tài)分布概率密度函數(shù)表明單變量正態(tài)分布概率密度函數(shù)p(x)完全可由完全可由與與2兩個參數(shù)確定,兩個參數(shù)確定,常記作常記作N(,2)。正態(tài)分布

53、的樣本主要集中分布在其均值附近,其分散程度。正態(tài)分布的樣本主要集中分布在其均值附近,其分散程度可用標準差來衡量,可用標準差來衡量,愈大分散程度也越大。從正態(tài)分布的總體中抽取樣本,愈大分散程度也越大。從正態(tài)分布的總體中抽取樣本,約有約有95%的樣本都落在區(qū)間的樣本都落在區(qū)間(2,+2)內(nèi)。內(nèi)。單變量正態(tài)分布單變量正態(tài)分布 為了加深對正態(tài)分布的理解,對正態(tài)分布再進一步討論一下。為了加深對正態(tài)分布的理解,對正態(tài)分布再進一步討論一下。首先正態(tài)分布是指一個隨機實數(shù)度量值在整個實數(shù)域上的分布規(guī)律。因此首先正態(tài)分布是指一個隨機實數(shù)度量值在整個實數(shù)域上的分布規(guī)律。因此它屬于概率密度函數(shù)類,不是我們所討論的先驗

54、概率它屬于概率密度函數(shù)類,不是我們所討論的先驗概率P(i),也不是后驗概率,也不是后驗概率P(i|X),而是,而是p(x|i)。式。式(2-37)用用p(x)表示,是因為通用公式,如具表示,是因為通用公式,如具體到我們的情況,可將體到我們的情況,可將(2-37)具體化,則具體化,則 其中其中i, i分別是對分別是對(2-29)中中及及的具體化。的具體化。 請思考一下,正態(tài)分布請思考一下,正態(tài)分布(又稱高斯分布又稱高斯分布)以以x為橫軸,為橫軸,y為縱軸畫出來是什為縱軸畫出來是什么樣子?有沒有最高點?最高點的么樣子?有沒有最高點?最高點的x坐標是什么?坐標是什么?的大小對你所畫的圖有什的大小對你

55、所畫的圖有什么影響?如果有兩種高斯分布么影響?如果有兩種高斯分布1=2,12,兩者有什么不同?,兩者有什么不同? 均值均值和標準差和標準差兩個概念十分重要,一定要弄清楚。兩個概念十分重要,一定要弄清楚。 多元正態(tài)分布的概率密度函數(shù)多元正態(tài)分布的概率密度函數(shù) 多元是指樣本以多個變量來描述,或具有多個屬性,在此一般用多元是指樣本以多個變量來描述,或具有多個屬性,在此一般用d維特征向維特征向量表示,量表示,Xx1,xdT。d維特征向量的正態(tài)分布用下式表示維特征向量的正態(tài)分布用下式表示 (2-32)其中其中是是X的均值向量,也是的均值向量,也是d維,維, EX1,2,dT (2-33)是是dd維協(xié)方差

56、矩陣,而維協(xié)方差矩陣,而1是是的逆矩陣,的逆矩陣,|是是的行列式的行列式 E(X)(X)T (2-34)是非負矩陣,在此我們只考慮正定陣,即是非負矩陣,在此我們只考慮正定陣,即|0。多元正態(tài)分布與單態(tài)量正態(tài)分布在形式上盡管不同,但有很多相似之處,實際上多元正態(tài)分布與單態(tài)量正態(tài)分布在形式上盡管不同,但有很多相似之處,實際上單變量正態(tài)分布就是維數(shù)為單變量正態(tài)分布就是維數(shù)為1的多元分布。當?shù)亩嘣植?。當d=1時,時,只是一個只是一個11的矩陣,的矩陣,也就是只有也就是只有1個元素的矩陣,退化成一個數(shù),個元素的矩陣,退化成一個數(shù),|1/2也就是標準差也就是標準差,1也就也就是是-2,而,而(X)T(X

57、)也變成也變成(X-)2,因此,因此(2-32)也就演變成也就演變成(2-29)。多元正態(tài)分布的概率密度函數(shù)多元正態(tài)分布的概率密度函數(shù)多元正態(tài)分布的概率密度函數(shù)中的元就是我們前面說得特征向量的分量數(shù),也就多元正態(tài)分布的概率密度函數(shù)中的元就是我們前面說得特征向量的分量數(shù),也就是維數(shù)。為了方便我們著重討論二維向量,是一個隨機向量,其中每一個分量都是維數(shù)。為了方便我們著重討論二維向量,是一個隨機向量,其中每一個分量都是隨機變量,服從正態(tài)分布。但是一個二維隨機向量不僅要求考慮每個分量單獨是隨機變量,服從正態(tài)分布。但是一個二維隨機向量不僅要求考慮每個分量單獨的分布,還要考慮兩個隨機變量之間的關(guān)系。下圖的

58、例子中的兩個二元正態(tài)分布的分布,還要考慮兩個隨機變量之間的關(guān)系。下圖的例子中的兩個二元正態(tài)分布的各個分量是相同的,即它們的期望的各個分量是相同的,即它們的期望(1和和2)方差方差1和和2都相同,但這兩個特都相同,但這兩個特征向量在空間的分布卻不相同。征向量在空間的分布卻不相同。 多元正態(tài)分布的概率密度函數(shù)多元正態(tài)分布的概率密度函數(shù)對右圖來說,對右圖來說,x1和和x2有很大的相關(guān)性,而對左圖來說,隨機變量有很大的相關(guān)性,而對左圖來說,隨機變量x1與與x2之間的相關(guān)性很小。之間的相關(guān)性很小。對于右圖可以看出一個隨機變量的對于右圖可以看出一個隨機變量的x1分量較小時,另一分量分量較小時,另一分量x2

59、也必然較小。而當隨機變量也必然較小。而當隨機變量的的x1較大時,則其相應的較大時,則其相應的x2分量也較大。換句話說,如果分量也較大。換句話說,如果x1分量小于其均值分量小于其均值1,則其相應則其相應的分量的分量x2也很可能小于它的均值也很可能小于它的均值2。因此當。因此當x1-10時,也常伴有時,也常伴有x2-22時,超二次曲面時,超二次曲面, ()iiiP最小距離分類器最小距離分類器 1.1.第一種情況:各特征統(tǒng)計獨立,且同方差情第一種情況:各特征統(tǒng)計獨立,且同方差情況。這種情況下協(xié)方差矩陣是對角陣。況。這種情況下協(xié)方差矩陣是對角陣。零。,只有方差,協(xié)方差為即22112.0.0.:nniI 幾何上,幾何上,這種情況對應于樣本落于相等大小的超球體聚這種情況對應于樣本落于相等大小的超球體聚類中,第類中,第i類的聚類以均值向量類的聚類以均值向量 為中心。為中心。i最小距離分類器

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論