樸素貝葉斯文本分類(lèi)器

基于樸素貝葉斯分類(lèi)器文本分類(lèi)物電.12計(jì)研

基于樸素貝葉斯分類(lèi)器文本分類(lèi)

1.貝葉斯定理在分類(lèi)中的應(yīng)用2.樸素貝葉斯分類(lèi)器3.樸素貝葉斯文本分類(lèi)算法3.1.多項(xiàng)式模型3.2伯努力模型1.貝葉斯定理在分類(lèi)中的應(yīng)用

分類(lèi)(classification):常常需要把一個(gè)事物分到某個(gè)類(lèi)別。一個(gè)事物具有很多屬性，把它的眾多屬性看做一個(gè)向量，即X=(x1,x2,x3,…,xn)，用x這個(gè)向量來(lái)代表這個(gè)事物。類(lèi)別也是有很多種，用集合Y={y1,y2,…ym}表示。如果x屬于y1類(lèi)別，就可以給x打上y1標(biāo)簽，意思是說(shuō)x屬于y1類(lèi)別。這就是所謂的分類(lèi)(Classification)。1.貝葉斯定理在分類(lèi)中的應(yīng)用x的集合記為X，稱(chēng)為屬性集。一般X和Y的關(guān)系是不確定的，你只能在某種程度上說(shuō)x有多大可能性屬于類(lèi)y1，比如說(shuō)x有80%的可能性屬于類(lèi)y1，這時(shí)可以把X和Y看做是隨機(jī)變量，P(Y|X)稱(chēng)為Y的后驗(yàn)概率（posteriorprobability），與之相對(duì)的，P(Y)稱(chēng)為Y的先驗(yàn)概率（priorprobability）。1.貝葉斯定理在分類(lèi)中的應(yīng)用在訓(xùn)練階段，我們要根據(jù)從訓(xùn)練數(shù)據(jù)中收集的信息，對(duì)X和Y的每一種組合學(xué)習(xí)后驗(yàn)概率P(Y|X)。分類(lèi)時(shí)，來(lái)了一個(gè)實(shí)例x，在剛才訓(xùn)練得到的一堆后驗(yàn)概率中找出所有的P(Y|x)，其中最大的那個(gè)y，即為x所屬分類(lèi)。1.貝葉斯定理在分類(lèi)中的應(yīng)用在訓(xùn)練階段，我們要根據(jù)從訓(xùn)練數(shù)據(jù)中收集的信息，對(duì)X和Y的每一種組合學(xué)習(xí)后驗(yàn)概率P(Y|X)。分類(lèi)時(shí)，來(lái)了一個(gè)實(shí)例x，在剛才訓(xùn)練得到的一堆后驗(yàn)概率中找出所有的P(Y|X=x)，其中最大的那個(gè)y，即為x所屬分類(lèi)。根據(jù)貝葉斯公式，后驗(yàn)概率為:實(shí)際中只考慮最值問(wèn)題即可1.貝葉斯定理在分類(lèi)中的應(yīng)用考慮一個(gè)醫(yī)療診斷問(wèn)題，有兩種可能的假設(shè)：（1）病人有癌癥。（2）病人無(wú)癌癥。樣本數(shù)據(jù)來(lái)自某化驗(yàn)測(cè)試，它也有兩種可能的結(jié)果：陽(yáng)性和陰性。假設(shè)我們已經(jīng)有先驗(yàn)知識(shí)：在所有人口中只有0.008的人患病。此外，化驗(yàn)測(cè)試對(duì)有病的患者有98%的可能返回陽(yáng)性結(jié)果，對(duì)無(wú)病患者有97%的可能返回陰性結(jié)果。1.貝葉斯定理在分類(lèi)中的應(yīng)用上面的數(shù)據(jù)可以用以下概率式子表示：P(cancer)=0.008,P(無(wú)cancer)=0.992P(陽(yáng)性|cancer)=0.98,P(陰性|cancer)=0.02P(陽(yáng)性|無(wú)cancer)=0.03，P(陰性|無(wú)cancer)=0.97假設(shè)現(xiàn)在有一個(gè)新病人，化驗(yàn)測(cè)試返回陽(yáng)性，是否將病人斷定為有癌癥呢？在這里，Y={cancer，無(wú)cancer}，共兩個(gè)類(lèi)別，這個(gè)新病人是一個(gè)樣本，他有一個(gè)屬性陽(yáng)性，可以令x=(陽(yáng)性)。1.貝葉斯定理在分類(lèi)中的應(yīng)用我們可以來(lái)計(jì)算各個(gè)類(lèi)別的后驗(yàn)概率：P(cancer|陽(yáng)性)=P(陽(yáng)性|cancer)p(cancer)=0.98*0.008=0.0078P(無(wú)cancer|陽(yáng)性)=P(陽(yáng)性|無(wú)cancer)*p(無(wú)cancer)=0.03*0.992=0.0298因此，應(yīng)該判斷為無(wú)癌癥。歸一處理：P(癌癥)=0.0078/（0.0078+0.0298）=0.207P（無(wú)癌癥）=0.7932.樸素貝葉斯分類(lèi)器

條件獨(dú)立性：

樸素貝葉斯分類(lèi)器基于一個(gè)簡(jiǎn)單的假設(shè)：在給定目標(biāo)屬性之間是相互獨(dú)立的。舉例：｛Machine,learning}:最可能的目標(biāo)值2.樸素貝葉斯分類(lèi)器

P(xi|Y=y)怎么計(jì)算呢？

它一般根據(jù)類(lèi)別y下包含屬性xi的實(shí)例的比例來(lái)估計(jì)。以文本分類(lèi)為例，xi表示一個(gè)單詞，P(xi|Y=y)=包含該類(lèi)別下包含單詞的xi的文章總數(shù)/該類(lèi)別下的文章總數(shù)。2.樸素貝葉斯分類(lèi)器當(dāng)訓(xùn)練樣本不能覆蓋那么多的屬性值時(shí)，都會(huì)出現(xiàn)上述的窘境。簡(jiǎn)單的使用樣本比例來(lái)估計(jì)類(lèi)條件概率的方法太脆弱了，尤其是當(dāng)訓(xùn)練樣本少而屬性數(shù)目又很大時(shí)。解決方法是使用m估計(jì)(m-estimate)方法來(lái)估計(jì)條件概率：2.樸素貝葉斯分類(lèi)器n是類(lèi)yj中的樣本總數(shù)，nc是類(lèi)yj中取值xi的樣本數(shù)，m是稱(chēng)為等價(jià)樣本大小的參數(shù)，而p是用戶(hù)指定的參數(shù)。如果沒(méi)有訓(xùn)練集（即n=0），則P(xi|yj)=pm=|V|時(shí)，就是多項(xiàng)式模型m=2時(shí)，就是伯努利模型3.樸素貝葉斯文本分類(lèi)算法文本分類(lèi)問(wèn)題

在文本分類(lèi)中，假設(shè)我們有一個(gè)文檔d∈X，X是文檔向量空間(documentspace)，和一個(gè)固定的類(lèi)集合C={c1,c2,…,cj}，類(lèi)別又稱(chēng)為標(biāo)簽。顯然，文檔向量空間是一個(gè)高維度空間。我們把一堆打了標(biāo)簽的文檔集合<d,c>作為訓(xùn)練樣本，<d,c>∈X×C。例如：<d,c>={BeijingjoinstheWorldTradeOrganization,China}對(duì)于這個(gè)只有一句話(huà)的文檔，我們把它歸類(lèi)到China，即打上china標(biāo)簽。

我們期望用某種訓(xùn)練算法，訓(xùn)練出一個(gè)函數(shù)γ，能夠?qū)⑽臋n映射到某一個(gè)類(lèi)別：γ:X→C

目的：3.樸素貝葉斯文本分類(lèi)算法在多項(xiàng)式模型中，設(shè)某文檔d=(t1,t2,…,tk)，tk是該文檔中出現(xiàn)過(guò)的單詞，允許重復(fù)，則先驗(yàn)概率P(c)=類(lèi)c下單詞總數(shù)/整個(gè)訓(xùn)練樣本的單詞總數(shù)類(lèi)條件概率P(tk|c)=(類(lèi)c下單詞tk在各個(gè)文檔中出現(xiàn)過(guò)的次數(shù)之和+1)/(類(lèi)c下單詞總數(shù)+|V|)V是訓(xùn)練樣本的單詞表（即抽取單詞，單詞出現(xiàn)多次，只算一個(gè)），|V|則表示訓(xùn)練樣本包含多少種單詞。在這里，m=|V|,p=1/|V|。3.1多項(xiàng)式模型3.樸素貝葉斯文本分類(lèi)算法doc

doc類(lèi)別Inc=china1ChineseBeijingChineseyes2ChineseChineseShanghaiyes3ChineseMacaoyes4TokyoJapanChineseno3.1多項(xiàng)式模型例子：給定一個(gè)新樣本ChineseChineseChineseTokyoJapan，對(duì)其進(jìn)行分類(lèi)。3.樸素貝葉斯文本分類(lèi)算法該文本用屬性向量表示為d=(Chinese,Chinese,Chinese,Tokyo,Japan)，類(lèi)別集合為Y={yes,no}。類(lèi)yes下總共有8個(gè)單詞，類(lèi)no下總共有3個(gè)單詞，訓(xùn)練樣本單詞總數(shù)為11，因此P(yes)=8/11,P(no)=3/11。類(lèi)條件概率計(jì)算如下：P(Chinese|yes)=(5+1)/(8+6)=6/14=3/7P(Japan|yes)=P(Tokyo|yes)=(0+1)/(8+6)=1/14P(Chinese|no)=(1+1)/(3+6)=2/9P(Japan|no)=P(Tokyo|no)=(1+1)/(3+6)=2/93.1多項(xiàng)式模型分析：3.樸素貝葉斯文本分類(lèi)算法有了以上類(lèi)條件概率，開(kāi)始計(jì)算后驗(yàn)概率，P(yes|d)=(3/7)3×1/14×1/14×8/11=108/184877≈0.00058417P(no|d)=(2/9)3×2/9×2/9×3/11=32/216513≈0.00014780因此，這個(gè)文檔屬于類(lèi)別china。3.1多項(xiàng)式模型分析：3.樸素貝葉斯文本分類(lèi)算法P(c)=類(lèi)c下文件總數(shù)/整個(gè)訓(xùn)練樣本的文件總數(shù)P(tk|c)=(類(lèi)c下包含單詞tk的文件數(shù)+1)/(類(lèi)c下單詞總數(shù)+2)在這里，m=2,p=1/2。在這里，后驗(yàn)概率的求法也不同3.2伯努利模型3.樸素貝葉斯文本分類(lèi)算法還是使用前面例子中的數(shù)據(jù)，不過(guò)模型換成了使用伯努利模型。類(lèi)yes下總共有3個(gè)文件，類(lèi)no下有1個(gè)文件，訓(xùn)練樣本文件總數(shù)為11，因此P(yes)=3/4,P(Chinese|yes)=(3+1)/(3+2)=4/5P(Japan|yes)=P(Tokyo|yes)=(0+1)/(3+2)=1/5P(Beijing|yes)=P(Macao|yes)=P(Shanghai|yes)=(1+1)/(3+2)=2/5P(Chinese|no)=(1+1)/(1+2)=2/3P(Japan|no)=P(Tokyo|no)=(1+1)/(1+2)=2/3P(Beijing|no)=P(Macao|no)=P(Shanghai|no)=(0+1)/(1+2)=1/33.2伯努利模型3.樸素貝葉斯文本分類(lèi)算法分析：給定一個(gè)新樣本ChineseChineseChineseTokyoJapan，對(duì)其進(jìn)行分類(lèi)。P(yes|d)=P(yes)×P(Chinese|yes)×P(Japan|yes)×P(Tokyo|yes)×(1-P(Beijing|yes))×(1-P(Shanghai|yes))×(1-P(Macao|yes))=3/4×4/5×1/5×1/5×(1-2/5)×(1-2/5)×(1-2/5)=81/15625≈0.005P(no|d)=1/4×2/3×2/3×2/3×(1-1/3)×(1-1/3)×(1-1/3)=16/729≈0.022因此，這個(gè)文檔不屬