人工智能機器學(xué)習(xí)Bayes分享資料

1、1人工智能Artificial Intelligence主講：鮑軍鵬 博士西安交通大學(xué)電信學(xué)院計算機系電子郵箱：版本：2.02010年1月26.3 貝葉斯學(xué)習(xí)6.3.1 貝葉斯法則6.3.2 樸素貝葉斯方法6.3.3 貝葉斯網(wǎng)絡(luò)6.3.4 EM算法6.3.5 用貝葉斯方法過濾垃圾郵件36.3.1貝葉斯法則貝葉斯學(xué)習(xí)貝葉斯學(xué)習(xí)就是基于貝葉斯理論（Bayesian Theory）的機器學(xué)習(xí)方法。貝葉斯法則貝葉斯法則也稱為貝葉斯理論（Bayesian Theorem，或Bayesian Rule，或Bayesian Law），其核心就是貝葉斯公式。4貝葉斯公式)()()|()|(dPhPhdPdhP

2、后驗概率先驗概率5先驗概率先驗概率先驗概率（Prior Probability）先驗概率就是還沒有訓(xùn)練數(shù)據(jù)之前，某個假設(shè)h（hH）的初始概率，記為P(h)。先驗概率反映了一個背景知識，表示h是一個正確假設(shè)的可能性有多少。如果沒有這一先驗知識，那么可以簡單地將每一候選假設(shè)賦予相同的先驗概率。6似然度P(d)表示訓(xùn)練數(shù)據(jù)d的先驗概率，也就是在任何假設(shè)都未知或不確定時d的概率。P(d|h)表示已知假設(shè)h成立時d的概率，稱之為類條件概率，或者給定假設(shè)h時數(shù)據(jù)d的似似然度然度（Likelihood）。7后驗概率后驗概率后驗概率（Posterior Probability）后驗概率就是在數(shù)據(jù)d上經(jīng)過學(xué)習(xí)之

3、后，獲得的假設(shè)h成立的概率，記為P(h|d)。P(h|d)表示給定數(shù)據(jù)d時假設(shè)h成立的概率，稱為h的后驗概率。8后驗概率是學(xué)習(xí)的結(jié)果，反映了在看到訓(xùn)練數(shù)據(jù)d之后，假設(shè)h成立的置信度。后驗概率用作解決問題時的依據(jù)。對于給定數(shù)據(jù)根據(jù)該概率做出相應(yīng)決策，例如判斷數(shù)據(jù)的類別，或得出某種結(jié)論，或執(zhí)行某種行動等等。9P(h|d)隨著P(h)和P(d|h)的增長而增長，隨著P(d)的增長而減少。即如果d獨立于h時被觀察到的可能性越大，那么d對h的支持度越小。后驗概率是對先驗概率的修正。10后驗概率P(h|d)是在數(shù)據(jù)d上得到的學(xué)習(xí)結(jié)果，反映了數(shù)據(jù)d的影響。這個學(xué)習(xí)結(jié)果是與訓(xùn)練數(shù)據(jù)相關(guān)的。與此相反，先驗概率是

4、與訓(xùn)練數(shù)據(jù)d無關(guān)的，是獨立于d的。注意注意!11貝葉斯法則解決的機器學(xué)習(xí)任務(wù)一般是：在給定訓(xùn)練數(shù)據(jù)D時，確定假設(shè)空間H中的最優(yōu)假設(shè)。這是典型的分類問題。貝葉斯法則基于假設(shè)的先驗概率、給定假設(shè)下觀察到不同數(shù)據(jù)的概率以及觀察到的數(shù)據(jù)本身，提供了一種計算假設(shè)概率的方法。12貝葉斯最優(yōu)假設(shè)分類問題的最優(yōu)假設(shè)（即最優(yōu)結(jié)果），可以分類問題的最優(yōu)假設(shè)（即最優(yōu)結(jié)果），可以有不同定義。有不同定義。例如，與期望誤差最小的假設(shè)；或者能取得最小例如，與期望誤差最小的假設(shè)；或者能取得最小熵（熵（EntropyEntropy）的假設(shè)等等。）的假設(shè)等等。貝葉斯分類器是指為在給定數(shù)據(jù)貝葉斯分類器是指為在給定數(shù)據(jù)d d、假設(shè)空

5、間、假設(shè)空間H H中不同假設(shè)的先驗概率以及有關(guān)知識下的最中不同假設(shè)的先驗概率以及有關(guān)知識下的最可能假設(shè)。可能假設(shè)。這個最可能假設(shè)可有不同選擇。這個最可能假設(shè)可有不同選擇。13極大后驗假設(shè)（1）極大后驗假設(shè)極大后驗假設(shè)（Maximum A PosterioriMaximum A Posteriori，簡稱，簡稱MAPMAP假設(shè)假設(shè)） 極大后驗假設(shè)極大后驗假設(shè) （ H H）就是在候選假設(shè)集合）就是在候選假設(shè)集合H H中尋找對于給定數(shù)據(jù)中尋找對于給定數(shù)據(jù)d d使后驗概率使后驗概率P(h|d)P(h|d)最大的那最大的那個假設(shè)。個假設(shè)。MAPhMAPh14極大后驗假設(shè)arg max(|)(|)( )a

6、rg max( )arg max(|)( )MAPhHhHhHhP h dP dh P hP dP dh P h不依賴于h的常量15極大似然假設(shè)（2）極大似然假設(shè)極大似然假設(shè)（Maximum LikelihoodMaximum Likelihood，簡稱，簡稱MLML假設(shè)假設(shè)）極大似然假設(shè)就是在候選假設(shè)集合極大似然假設(shè)就是在候選假設(shè)集合H H中選擇使中選擇使給定數(shù)據(jù)給定數(shù)據(jù)d d似然度（即類條件概率）似然度（即類條件概率）P(d|h)P(d|h)最大的最大的假設(shè)，即假設(shè)，即MLML假設(shè)假設(shè) （ H H）是滿足下式的假設(shè)）是滿足下式的假設(shè)。)|(maxarghdPhHhMLMLhMLh16極大似

7、然假設(shè)和極大后驗假設(shè)有很強的極大似然假設(shè)和極大后驗假設(shè)有很強的關(guān)聯(lián)性。關(guān)聯(lián)性。由于數(shù)據(jù)似然度是先驗知識，不需要訓(xùn)由于數(shù)據(jù)似然度是先驗知識，不需要訓(xùn)練就能知道。所以在機器學(xué)習(xí)實踐中經(jīng)練就能知道。所以在機器學(xué)習(xí)實踐中經(jīng)常應(yīng)用極大似然假設(shè)來指導(dǎo)學(xué)習(xí)。常應(yīng)用極大似然假設(shè)來指導(dǎo)學(xué)習(xí)。17貝葉斯最優(yōu)分類器（3）貝葉斯最優(yōu)分類器貝葉斯最優(yōu)分類器（Bayes Optimal ClassifierBayes Optimal Classifier）貝葉斯最優(yōu)分類器是對最大后驗假設(shè)的發(fā)展。它貝葉斯最優(yōu)分類器是對最大后驗假設(shè)的發(fā)展。它并不是簡單地直接選取后驗概率最大的假設(shè)（模并不是簡單地直接選取后驗概率最大的假設(shè)（模

8、型）作為分類依據(jù)。型）作為分類依據(jù)。而是對所有假設(shè)（模型）的后驗概率做線性組合而是對所有假設(shè)（模型）的后驗概率做線性組合（加權(quán)求和），然后再選擇加權(quán)和最大結(jié)果作為（加權(quán)求和），然后再選擇加權(quán)和最大結(jié)果作為最優(yōu)分類結(jié)果。最優(yōu)分類結(jié)果。18貝葉斯最優(yōu)分類器設(shè)設(shè)V V表示類別集合，對于表示類別集合，對于V V中的任意一個類別中的任意一個類別v vj j，概率，概率P(vP(vj j|d)|d)表示把數(shù)據(jù)表示把數(shù)據(jù)d d歸為類別歸為類別v vj j的的概率。概率。貝葉斯最優(yōu)分類就是使貝葉斯最優(yōu)分類就是使P(vP(vj j|d)|d)最大的那個最大的那個類別。貝葉斯最優(yōu)分類器就是滿足下式的分類別。貝葉斯

9、最優(yōu)分類器就是滿足下式的分類系統(tǒng)。類系統(tǒng)。HhiijVvijdhPhvP)|()|(maxarg19在相同的假設(shè)空間和相同的先驗概率條件下，在相同的假設(shè)空間和相同的先驗概率條件下，其它方法的平均性能不會比貝葉斯最優(yōu)分類其它方法的平均性能不會比貝葉斯最優(yōu)分類器更好。器更好。雖然貝葉斯最優(yōu)分類器能從給定訓(xùn)練數(shù)據(jù)中雖然貝葉斯最優(yōu)分類器能從給定訓(xùn)練數(shù)據(jù)中獲得最好性能，但是其算法開銷比較大。獲得最好性能，但是其算法開銷比較大。注意注意!20貝葉斯分類器示例例例. . 設(shè)對于數(shù)據(jù)d有假設(shè)h1，h2，h3。它們的先驗概率分別是P(h1)=0.3，P(h2)=0.3，P(h3)=0.4。并且已知P(d|h1)

10、=0.5，P(d|h2)=0.3，P(d|h3)=0.2。又已知在分類集合V=，上數(shù)據(jù)d被h1分類為正，被h2和h3分類為負(fù)。請分別依據(jù)MAP假設(shè)和貝葉斯最優(yōu)分類器對數(shù)據(jù)d進(jìn)行分類。21貝葉斯分類器示例解：先分別計算出假設(shè)h1，h2，h3的后驗概率如下。那么依據(jù)MAP假設(shè)，h1是最優(yōu)假設(shè)，所以數(shù)據(jù)d應(yīng)分類為正。28. 04 . 02 . 03 . 03 . 03 . 05 . 03 . 03 . 0)()()|()|(222dPhPhdPdhP25. 04 . 02 . 03 . 03 . 03 . 05 . 04 . 02 . 0)()()|()|(333dPhPhdPdhP47. 04 .

11、 02 . 03 . 03 . 03 . 05 . 03 . 05 . 0)()()|()|(111dPhPhdPdhP最優(yōu)假設(shè)22貝葉斯分類器示例對于貝葉斯最優(yōu)分類器，再計算分類概率如下。那么依據(jù)貝葉斯最優(yōu)分類器，數(shù)據(jù)d應(yīng)該分類為負(fù)負(fù)。47. 025. 0028. 0047. 01)|()|()|()|()|()|()|()|(332211dhPhPdhPhPdhPhPdhPhPHhiii112233( |) (|)( |) (|)( |) (|)( |) (|)0 0.471 0.28 1 0.250.53iiihHPh P h dPh P hdPh P hdPh P hd 0.53 0.

12、4723貝葉斯分類器MAP假設(shè)假設(shè)貝葉斯最優(yōu)分類器貝葉斯最優(yōu)分類器數(shù)數(shù)據(jù)據(jù)數(shù)據(jù)為正數(shù)據(jù)為正數(shù)據(jù)為負(fù)數(shù)據(jù)為負(fù)不同的方法結(jié)果不同不同的方法結(jié)果不同!24貝葉斯學(xué)習(xí)的特點貝葉斯學(xué)習(xí)為衡量多個假設(shè)的置信度提供了定量的方法，可以計算每個假設(shè)的顯式概率，提供了一個客觀的選擇標(biāo)準(zhǔn)。 特性 觀察到的每個訓(xùn)練樣例可以增量地降低或升高某假設(shè)的估計概率。先驗知識可以與觀察數(shù)據(jù)一起決定假設(shè)的最終概率。允許假設(shè)做出不確定性的預(yù)測。例如前方目標(biāo)是駱駝的可能性是90%，是馬的可能性是5%。新的實例分類可由多個假設(shè)一起做出預(yù)測，用它們的概率來加權(quán)。即使在貝葉斯方法計算復(fù)雜度較高時，它仍可作為一個最優(yōu)決策標(biāo)準(zhǔn)去衡量其它方法。

13、256.3.2 樸素貝葉斯方法在機器學(xué)習(xí)中一個實例x往往有很多屬性a 其中每一維代表一個屬性，該分量的數(shù)值就是所對應(yīng)屬性的值。26)()|,(maxarg),()()|,(maxarg),|(maxarg21212121iinHhniinHhniHhMAPhPhaaaPaaaPhPhaaaPaaahPhiii此時依據(jù)MAP假設(shè)的貝葉斯學(xué)習(xí)就是對一個數(shù)據(jù)，求使其滿足下式的目標(biāo)值。其中H是目標(biāo)值集合。 27估計每個P(hi)很容易，只要計算每個目標(biāo)值hi出現(xiàn)在訓(xùn)練數(shù)據(jù)中的頻率就可以。如果要如此估計所有的P(a1,a2,an|hi)項，則必須計算a1,a2,an的所有可能取值組合，再乘以可能的目標(biāo)值

14、數(shù)量。28假設(shè)一個實例有10個屬性，每個屬性有3個可能取值，而目標(biāo)集合中有5個候選目標(biāo)。那么P(a1,a2,an|hi)項就有 個。105 3不適合于高維數(shù)據(jù)！不適合于高維數(shù)據(jù)！29對于貝葉斯學(xué)習(xí)有兩種思路可以解決高維數(shù)據(jù)問題。一種是樸素貝葉斯樸素貝葉斯（Nave Bayes）方法，也稱為簡單貝葉斯（Simple Bayes）方法。30樸素貝葉斯方法樸素貝葉斯分類器采用最簡單的假設(shè)：對于目標(biāo)值，數(shù)據(jù)各屬性之間相互條件獨立。即，a1,a2,an的聯(lián)合概率等于每個單獨屬性的概率乘積：jijinhaPhaaaP)|()|,(2131樸素貝葉斯方法將上頁的式子帶入上面求 的公式中，就得到樸素貝葉斯分類

15、器所用的方法：其中 表示樸素貝葉斯分類器輸出的目標(biāo)值。jijiHhNBhaPhPhi)|()(maxargNBhMAPh32仍假設(shè)一個實例有10個屬性，每個屬性有3個可能取值，而目標(biāo)集合中有5個候選目標(biāo)。樸素貝葉斯分類器中需要從訓(xùn)練數(shù)據(jù)中估計的P(aj|hi)項的數(shù)量是 。5 53 31010 P(C=valid|t1,t2,tn)則該郵件為垃圾郵件，否則該郵件不是垃圾郵件。判定過程結(jié)束。 ),()|()|()|()(),|(212121nnntttPspamCtPspamCtPspamCtPspamCPtttspamCP),()|()|()|()(),|(212121nnntttPvalidCtPvalidCtPvalidCtPvalidCPtttvalidCP38m-估計方法 問題某個詞頻