樸素貝葉斯方法處理缺失值ppt課件

1、 結(jié) 構(gòu)u貝葉斯實際u貝葉斯分類器 =A1A2.Am，是由一切未知類別的能夠樣本組成的集合； c=A1A2.AmC是由一切知類別的樣本組成的集合。D c是訓(xùn)練樣例集合。 中的元素x表示為x = 。 c中的元素x表示為x = 。其中ai表示第i個屬性的某個取值。 我們用Ai表示第i個屬性，C表示決策屬性；aik表示第i個屬性的第k個取值，cj表示第j類；加上絕對值那么表示相應(yīng)的個數(shù)，如|Ai|表示第i個屬性的取值個數(shù)，|cj|表示第j類樣例個數(shù)。 設(shè)x是一個類別未知的數(shù)據(jù)樣本，cj為某個類別，假設(shè)數(shù)據(jù)樣本x屬于一個特定的類別cj，那么分類問題就是決議P(cj|x)，即在獲得數(shù)據(jù)樣本x時，確定x的

2、最正確分類。所謂最正確分類，一種方法是把它定義為在給定數(shù)據(jù)集D中不同類別cj先驗概率的條件下最能夠most probable分類。貝葉斯實際提供了計算這種能夠性的一種直接方法 更準確地講，貝葉斯法那么基于假設(shè)的先驗概率、給定假設(shè)下察看到不同數(shù)據(jù)的概率，提供了一種計算假設(shè)概率的方法u 先驗概率P(cj)P( cj|x) =P(x|cj)P(cj)P(x)u 結(jié)合概率P(x|cj)u 后驗概率P(cj|x) 假設(shè)沒有這一先驗知識，那么可以簡單地將每一候選類別賦予一樣的先驗概率。不過通常我們可以用樣例中屬于cj的樣例數(shù)|cj|比上總樣例數(shù)|D|來近似，即 P(cj)代表還沒有訓(xùn)練數(shù)據(jù)前，cj擁有的初

3、始概率。P(cj)常被稱為cj的先驗概率(prior probability) ，它反映了我們所擁有的關(guān)于cj是正確分類時機的背景知識,它應(yīng)該是獨立于樣本的。jj|c |P(c )= |D| 結(jié)合概率是指當知類別為cj的條件下，看到樣本x出現(xiàn)的概率。 假設(shè)設(shè)假設(shè)設(shè)x = x = 那么那么P(x|cj)= P(a1,a2am| cj)P(x|cj)= P(a1,a2am| cj) 即給定數(shù)據(jù)樣本x時cj成立的概率,而這正是我們所感興趣的 P(cj|x ) P(cj|x )被稱為被稱為C C的后驗概率的后驗概率posterior posterior probabilityprobability，由

4、于它反映了在看到數(shù)據(jù)樣，由于它反映了在看到數(shù)據(jù)樣本本x x后后cjcj成立的置信度成立的置信度設(shè)設(shè)x = x = ，為一個有，為一個有m m個屬性的樣個屬性的樣例例= max = max P(a1,a2am|cj)P(cj)P(a1,a2am|cj)P(cj)P(a1,a2am)P(a1,a2am)= max P(a1,a2am|cj)P(cj)= max P(a1,a2am|cj)P(cj)(1)(1)P(cMAP|x)= max P(cj|x) j(1,|C|)P(cMAP|x)= max P(cj|x) j(1,|C|)= max P(cj|a1,a2am)= max P(cj|a1,a

5、2am) 樸素貝葉斯分類器基于一個簡單的假定：在給樸素貝葉斯分類器基于一個簡單的假定：在給定目的值時屬性值之間相互條件獨立。換言之，該定目的值時屬性值之間相互條件獨立。換言之，該假定闡明給定實例的目的值情況下，察看到結(jié)合的假定闡明給定實例的目的值情況下，察看到結(jié)合的a1,a2ama1,a2am的概率正好是對每個單獨屬性的概率乘的概率正好是對每個單獨屬性的概率乘積積 12mjij1P(a ,a ,.,a | c )=P(a | c )mi(2)(2) 將將(2) (2) 式其代入式其代入(1)(1)式中，可得到樸素貝葉斯式中，可得到樸素貝葉斯分類器，如下分類器，如下 概括地講，樸素貝葉斯學(xué)習(xí)方法

6、需求估計不同的概括地講，樸素貝葉斯學(xué)習(xí)方法需求估計不同的P(cj)P(cj)和和P(ai|cj)P(ai|cj)項，也就是它們在訓(xùn)練數(shù)據(jù)上的頻率。然后運用公式項，也就是它們在訓(xùn)練數(shù)據(jù)上的頻率。然后運用公式(3)(3)來分類新實例。來分類新實例。ijP (a | c )1mi CNB=argmax CNB=argmax P(cj)P(cj)jcC3 3 其中其中CNBCNB表示樸素貝葉斯分類器輸出的目的值。留意表示樸素貝葉斯分類器輸出的目的值。留意在樸素貝葉斯分類器中，須從訓(xùn)練數(shù)據(jù)中估計的不同在樸素貝葉斯分類器中，須從訓(xùn)練數(shù)據(jù)中估計的不同P(ai|cj)P(ai|cj)項的數(shù)量只是不同的屬性值數(shù)

7、量乘以不同目的項的數(shù)量只是不同的屬性值數(shù)量乘以不同目的值數(shù)量值數(shù)量這比要估計這比要估計P(a1,a2am|cj)P(a1,a2am|cj)項所需的量小得項所需的量小得多多|() |jjcP cD|(|)|iijijjAaCcP acCc目的概念目的概念PlayTennisPlayTennis的訓(xùn)練樣例的訓(xùn)練樣例 DayOutlookTemperatureHumidityWindPlayTennisD1SunnyHotHighWeakNoD2SunnyHotHighStrongNoD3OvercastHotHighWeakYesD4RainMildHighWeakYesD5RainCoolNor

8、malWeakYesD6RainCoolNormalStrongNoD7OvercastCoolNormalStrongYesD8SunnyMildHighWeakNoD9SunnyCoolNormalWeakYesD10RainMildNormalWeakYesD11SunnyMildNormalStrongYesD12OvercastMildHighStrongYesD13OvercastHotNormalWeakYesD14RainMildHighStrongNo如今假設(shè)有一個樣例如今假設(shè)有一個樣例x xx = Sunny,Hot,High,Weakx = Sunny,Hot,High,

9、Weak表表1 1 類別為類別為cjcj及在及在cjcj條件下條件下AiAi取取aiai的樣例的樣例數(shù)數(shù)OutlookTemperatureHumidityWindPlayTennisSunnyOvercastRainHotMildCoolHighNormalWeakStrong2432433663Yes93022214123No5表2 先驗概率P(cj) 和條件概率P(ai|cj)OutlookTemperatureHumidityWindPlayTennisSunnyOvercastRainHotMildCoolHighNormalWeakStrong2/94/93/92/94/93/93

10、/96/96/93/9Yes9/143/502/52/52/51/54/51/52/53/5No5/14OutlookTemperatureHumidityWindPlayTennisSunnyOvercastRainHotMildCoolHighNormalWeakStrong2432433663Yes93022214123No5如今假設(shè)有一個樣例如今假設(shè)有一個樣例x xx = Sunny,Hot,High,Weakx = Sunny,Hot,High,Weak等于等于yes的概率的概率 P(Yes|x)= p(Yes)*p(Sunny|Yes)* p(Hot|Yes)* p(High|Ye

11、s)* p(Weak|Yes)*=9/14*2/9*2/9*3/9*6/9=0.007039等于等于No的概率的概率 P(No|x) = p(No)*p(Sunny| No)* p(Hot| No)* p(High| No)* p(Weak| No)*=5/14*3/5*2/5*4/5*2/5=0.027418 在大多數(shù)情況下，察看到的比例在大多數(shù)情況下，察看到的比例P(ai|cj)P(ai|cj)是對其真實概率的一個良好估計，但當是對其真實概率的一個良好估計，但當|Ai=aiC=cj|Ai=aiC=cj|很小時估計較差。特別是當很小時估計較差。特別是當|Ai=aiC=cj|Ai=aiC=cj

12、|等于等于0 0時，時，P(ai|cj)P(ai|cj)也等于也等于0 0，假設(shè)未來的待估樣例中，包含第假設(shè)未來的待估樣例中，包含第i i個屬性的取個屬性的取值值aiai時，此概率項會在分類器中占統(tǒng)治位置。時，此概率項會在分類器中占統(tǒng)治位置。 普通采用普通采用m-m-估計來處理這個問題。估計來處理這個問題。m-m-估計定義如下：估計定義如下：i jijnm pnm|,|ijiikjjjnAaCcnCc pi是將要確定的概率是將要確定的概率P(ai|cj)的先驗概率，而的先驗概率，而m是等是等效樣本大小的常量，它確定了對于察看到的數(shù)據(jù)如何衡效樣本大小的常量，它確定了對于察看到的數(shù)據(jù)如何衡量量pi

13、的作用。在短少其他信息是選擇的作用。在短少其他信息是選擇p的一種典型方法的一種典型方法是假定是假定pi =1/|Ai|。也就是將。也就是將nj個實踐察看擴展，加上個實踐察看擴展，加上m個按個按pi分布的虛擬樣本。分布的虛擬樣本。在本次實現(xiàn)中我們采用的不是在本次實現(xiàn)中我們采用的不是m-m-估計，而是下面一種簡單的估計，而是下面一種簡單的0 0個數(shù)個數(shù)比較法。即下面的幾條規(guī)那么。在公式比較法。即下面的幾條規(guī)那么。在公式3 3中，對每一個類別中，對每一個類別j j，統(tǒng)計統(tǒng)計P(ai|cj)=0P(ai|cj)=0的個數(shù)，記為的個數(shù)，記為zjzj。然后按以下。然后按以下3 3條規(guī)那么得到條規(guī)那么得到CNBCNB。1.1.假設(shè)對恣意的假設(shè)對恣意的j j，zjzj都為都為0 0，那么直接按公式，那么直接按公式3 3得到得到CNBCNB3.3.假設(shè)對恣意的假設(shè)對恣意的j j，zjzj不為不為0 0且不相等，那么取且不相等，那么取zjzj最小者對應(yīng)的類別最小者對應(yīng)的類別作為作為CNBCNB。假設(shè)。假設(shè)zjzj最小者不獨一，那么對這些最小值對應(yīng)的最小者不獨一，那么對這些最小值對應(yīng)的j j采用第采用第二條規(guī)那么進展判別。二條規(guī)那么進展判別。2.2.假設(shè)對