樸素貝葉斯多項式模型

樸素貝葉斯分類--多項式模型1.多項式模型簡介樸素貝葉斯分類器是一種有監(jiān)督學(xué)習(xí)，針對文本分類常見有兩種模型，多項式模型（詞頻型）和伯努利模型（文檔型）。多項式模型以單詞為粒度，伯努利模型以文件為粒度。對于一個文檔A,多項式模型中，只有在A中出現(xiàn)過的單詞，才會參與后驗概率計算。2.多項式模型基本原理及實例2.1基本原理已知類別c={“c2,c3,…,CJ與文檔集合D={D“2,…設(shè)某一文檔￡的詞向量為￡={片1,d.2,…片1}（可重復(fù)）設(shè)訓(xùn)練文檔中出現(xiàn)的單詞（單詞出現(xiàn)多次,只算一次）即語料庫為V對于待分類文檔A={X1,碼廠肌}'則有：1）計算文檔類別的先驗概率PC=DjWc'Dj'丄i（￡p（c.）則可以認(rèn)為是類別q在整體上占多大比例（有多大可能性）。某單詞d門在類別C,下的條件概率Jlj1P(%(q—%+1p(%(q可以看作是單詞%在證明￡屬于類q上提供了多大的證據(jù)。對于待分類文檔A被判為類C』勺概率假設(shè)文檔A中的詞即％碼，…化相互獨立，則有PC.nAPapAC.i—iiPA~_PA—pqpAi,a2,-a.c.P~APCPACPAC-PACi1i2imiPA對于同一文檔PA—定，因此只需計算分子的值。多項式模型基于以上三步，最終以第三步中計算出的后驗概率最大者為文檔A所屬類別。2.2實例給定一組分好類的文本訓(xùn)練數(shù)據(jù)，如下：docIDdoc類別(yesno)1ChineseBeijingChineseyes2ChineseChineseShanghaiyes3ChineseMacaoyes4TokyoJapanChineseno給定一個新樣本A,對其進(jìn)行分類。該文本詞向量表示為A={Chinese,Chinese,Chinese,Tokyo,Japan}，類另U集合為C二{yes,no}.解題步驟：類yes下總共有8個單詞,類no下總共有3個單詞,訓(xùn)練樣本單詞總數(shù)為V=11,因此P(yes)=8/11,P(no)=3/11。類條件概率計算如下：P(Chinese|yes)=(5+1)/(8+6)=6/14=3/7P(Japan|yes)=P(Tokyo|yes)=(0+1)/(8+6)=1/14P(Chinese|no)=(1+1)/(3+6)=2/9P(Japan|no)=P(Tokyo|no)=(1+1)/(3+6)=2/9分母中的8,是指yes類別下單詞(可重復(fù)記)的長度，也即訓(xùn)練樣本的單詞總數(shù),6是指訓(xùn)練樣本有Chinese,Beijing,Shanghai,Macao,Tokyo,Japan共6個單詞,3是指no類下共有3個單詞。有了以上類條件概率,開始計算后驗概率：P(yes|A)=(3/7)3x(1/14)x(1/14)x(8/11)=216/739508=0.00029209P(no|A)=(2/9)