02 貝葉斯決策理論

1、模式識(shí)別貝葉斯決策理論馬勤勇mqy_一 最簡(jiǎn)單的貝葉斯分類算法 還使用前面的例子：鱸魚(yú)(sea bass)和鮭魚(yú)(salmon)。使用一個(gè)特征亮度對(duì)這兩種魚(yú)進(jìn)行表示。新來(lái)了一條魚(yú)特征是x(亮度)，怎么根據(jù)特征x確定它到底是鱸魚(yú)1還是鮭魚(yú)2？已知數(shù)據(jù)：鱸魚(yú)類標(biāo)號(hào)1，鮭魚(yú)類標(biāo)號(hào)2。鱸魚(yú)總數(shù)量占所有魚(yú)總數(shù)量的比率為P(1)，鮭魚(yú)總數(shù)量占所有魚(yú)總數(shù)量的比率為P(2)。由鱸魚(yú)的分布得知這條魚(yú)的亮度x在分類為鱸魚(yú)時(shí)出現(xiàn)的概率為p(x|1),由鮭魚(yú)的分布得知這條魚(yú)的亮度x在分類為鮭魚(yú)時(shí)出現(xiàn)的概率為p(x|2)。如何求解？可以求出x屬于鱸魚(yú)1的概率P(1|x)和x屬于鮭魚(yú)2的概率P(2|x)。如果P(1|x)

2、P(2|x)，就認(rèn)為x是鱸魚(yú)?，F(xiàn)在的問(wèn)題是如何求P(1|x)和P(2|x)。有一個(gè)概率公式： 從而推出： 換一種寫法： 這就是著名的貝葉斯公式。其中P(j)叫做先驗(yàn)概率，就是類別出現(xiàn)的可能性；p(x|j)叫條件概率，就是在j時(shí)x出現(xiàn)的可能性；p(j|x)叫后驗(yàn)概率；p(x)是該樣例出現(xiàn)的可能性。 因此： 對(duì)于上面的問(wèn)題： 如果p(1|x)p(2|x)，那么就認(rèn)為x屬于1，即這條魚(yú)是鱸魚(yú)。同理于： 這幾個(gè)基本數(shù)據(jù)都已經(jīng)給出了，因此可以計(jì)算出不等式的結(jié)果。如果p(1|x)gj(x)，那么認(rèn)為x屬于第i個(gè)類別i。比如令gi(x)=-R(i|x)。上面是一個(gè)不等式關(guān)系，如果不等式兩邊都乘以相同的正數(shù)，

3、或加上相同的樹(shù)，或取自然對(duì)數(shù)。那么不等式的關(guān)系是不變的。因此不考慮損失時(shí)的貝葉斯判別函數(shù)： 可以寫成：四 正態(tài)分布貝葉斯公式中的p(x|j)是條件概率，代表在類別為j時(shí)，x的概率。比如在j為鱸魚(yú)時(shí)，一個(gè)特定亮度x的概率。條件概率分布中常見(jiàn)的一個(gè)分布是高斯分布(正態(tài)分布)。正態(tài)分布是最重要的一種概率分布。正態(tài)分布概念是由德國(guó)的數(shù)學(xué)家和天文學(xué)家Moivre于1733年首次提出的，但由于德國(guó)數(shù)學(xué)家Gauss(Carl Friedrich Gauss，17771855)率先將其應(yīng)用于天文學(xué)家研究，故正態(tài)分布又叫高斯分布。 高斯分布的形狀是鐘形曲線。 很多隨機(jī)變量的概率分布都可以近似地用正態(tài)分布來(lái)描述。

4、例如：同一種生物體的身長(zhǎng)、體重等指標(biāo)；百度高個(gè)吧投票的身高分布：在生產(chǎn)條件不變的情況下，產(chǎn)品的強(qiáng)力、抗壓強(qiáng)度、口徑、長(zhǎng)度等指標(biāo)；同一種種子的重量；測(cè)量同一物體的誤差；某個(gè)地區(qū)的年降水量；學(xué)生的智力水平，包括學(xué)習(xí)能力，實(shí)際動(dòng)手能力等呈正態(tài)分布。單變量正態(tài)分布的概率密度函數(shù) ：其中是均值，是標(biāo)準(zhǔn)差。均值就是所有數(shù)的平均數(shù)，就是把所有數(shù)都加起來(lái)再除以個(gè)數(shù)2方差就是把每個(gè)數(shù)減去它們的平均數(shù)再平方，把這些平方加起來(lái)再除以個(gè)數(shù)。方差表示統(tǒng)計(jì)數(shù)據(jù)的離散程度。經(jīng)?？梢园焉厦娴墓胶?jiǎn)寫成：p(x)N(,2)。多變量正態(tài)分布的概率密度函數(shù) ：其中是d維平均向量。是d*d的協(xié)方差矩陣。|是它的行列式，-1是它的轉(zhuǎn)置。經(jīng)?？梢园焉厦娴墓胶?jiǎn)寫成：p(x)N(,)。 五 正態(tài)分布下的判別函數(shù)將多變量正態(tài)分布公式帶入下面的判別函數(shù)：得到：將單變量正態(tài)分布公式帶入下面的判別函數(shù)：得到：1. i=2I當(dāng)所有變量都相互獨(dú)立，且每個(gè)變量的方差都是2的時(shí)候，所有的協(xié)方差矩陣都相等：i=2I。此時(shí)，判別函數(shù)簡(jiǎn)化成了：此時(shí)判別函數(shù)就變成了一個(gè)線性判別函數(shù)。 當(dāng)p(i)與p(j)相等的時(shí)候，一二三維高斯分布：如下求分割線x的位置： 當(dāng)p(i)與p(j)不相等的時(shí)候，一二三維高斯分布：2. i=當(dāng)所有類別的協(xié)方差矩陣i都相等的時(shí)候