華中科技大學(xué)人工智能機(jī)器學(xué)習(xí)-bayes

機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)習(xí)——貝葉斯分類軟木塞問(wèn)題假設(shè)工廠生產(chǎn)的軟木塞都屬于事先分成的兩類：ω1：高質(zhì)量，從生產(chǎn)至今，有n1=901420個(gè)ω2：平均質(zhì)量，從生產(chǎn)至今，有n2=1352130個(gè)先驗(yàn)概率(“自然狀態(tài)”)：P(ω1)=n1/(n1+n2)=0.4P(ω2)=n2/(n1+n2)=0.6對(duì)于一個(gè)具體的，可用特征向量x描述的軟木塞，已知先驗(yàn)概率，同時(shí)已知具備該特征量的高質(zhì)量軟木塞與平均質(zhì)量軟木塞的個(gè)數(shù)，如何判斷x屬于哪一類？貝葉斯公式用P(ωi|x)表示x屬于ωi的概率—后驗(yàn)概率根據(jù)貝葉斯公式極大后驗(yàn)MAP假設(shè)：MaximumAPosteriori如果P(ω1|x)>P(ω2|x),則x∈ω1如果P(ω1|x)<P(ω2|x),則x∈ω2如果P(ω1|x)=P(ω2|x),則可任意決策軟木塞問(wèn)題x=[N]=[65]p(x|ω1)P(ω1)=20/24×0.4=0.333p(x|ω2)P(ω2)=16/23×0.6=0.418X屬于ω2醫(yī)療診斷問(wèn)題兩個(gè)類別Cancer：病人患上了某種癌癥～Cancer：病人未患癌癥先驗(yàn)知識(shí)（由人口統(tǒng)計(jì)得來(lái)）0.8%的人患有癌癥化驗(yàn)測(cè)試（訓(xùn)練集），不完全預(yù)測(cè)化驗(yàn)結(jié)果有兩種：+、-對(duì)于患有癌癥的人，該測(cè)試98%正確率對(duì)于不患癌癥的人，該測(cè)試97%正確率假設(shè)一個(gè)病人，化驗(yàn)返回結(jié)果為+，那么他患癌癥的概率？醫(yī)療診斷問(wèn)題求解P(Cancer)=0.008P(~Cancer)=0.992p(+|cancer)=0.98p(-|cancer)=0.02p(+|～cancer)=0.03p(-|～cancer)=0.97p(+|cancer)×P(Cancer)=0.0078p(+|～cancer)×P(~Cancer)=0.0298該病人未患癌癥樸素貝葉斯分類器動(dòng)機(jī)考慮從訓(xùn)練集中估計(jì)貝葉斯公式所需的兩個(gè)數(shù)據(jù)項(xiàng)P(ωi):ωi在訓(xùn)練集中的出現(xiàn)頻率P(a1,a2,…an|ωi):每一個(gè)ωi中，不同實(shí)例的出現(xiàn)頻率對(duì)于P(a1,a2,…an|ωi)，想要得到合理的估計(jì)值，訓(xùn)練集就要足夠大樸素貝葉斯分類器假定：屬性值之間相互條件獨(dú)立，則有樸素貝葉斯公式樸素貝葉斯分類器-打網(wǎng)球訓(xùn)練集DayOutlookTemperatureHumidityWindPlayTennis1sunnyhothighweakno2sunnyhothighstrongno3overcasthothighweakyes4rainmildhighweakyes5raincoolnormalweakyes6raincoolnormalstrongno7overcastcoolnormalstrongyes8sunnymildhighweakno9sunnycoolnormalweakyes10rainmildnormalweakyes11sunnymildnormalstrongyes12overcastmildhighstrongyes13overcasthotnormalweakyes14rainmildhighstrongno樸素貝葉斯分類器-打網(wǎng)球求解決策以下實(shí)例的類別<Outlook=sunny,Temperature=cool,Humidity=high,Wind=strong>P(PlayTennis=Yes)=9/14=0.64P(PlayTennis=No)=5/14=0.36樸素貝葉斯分類器-打網(wǎng)球求解P(strong|Y)=3/9=0.33 P(strong|N)=3/5=0.60P(high|Y)=3/9=0.33 P(high|N)=4/5=0.80P(cool|Y)=3/9=0.33 P(cool|N)=1/5=0.20P(sunny|Y)=2/9=0.22 P(sunny|N)=3/5=0.60P(yes)P(strong|Y)P(high|Y)P(cool|Y)P(sunny|Y)=0.64*0.333*0.22=0.0031P(no)P(strong|N)P(high|N)P(cool|N)P(sunny|N)=0.36*0.602*0.80*0.20=0.0207PlayTennis=No樸素貝葉斯分類器-估計(jì)概率令P(wind=strong|PlayTennis=No)=nc/n動(dòng)機(jī)假設(shè)樣本足夠足夠多時(shí)，nc/n=0.08但用到的訓(xùn)練集中，PlayTennis=No的樣本只有5個(gè)，因此nc/n極有可能為0產(chǎn)生了過(guò)低估計(jì)概率——需要決策的樣本包含wind=strong時(shí)，后驗(yàn)概率為將為0