《機(jī)器學(xué)習(xí)-Python實(shí)戰(zhàn)（微課版）》課件 第四章 樸素貝葉斯

第四章樸素貝葉斯貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎(chǔ)，故統(tǒng)稱為貝葉斯分類。而樸素樸素貝葉斯分類是貝葉斯分類中最簡(jiǎn)單，也是常見的一種分類方法。通過本節(jié)學(xué)習(xí)可以：學(xué)習(xí)貝葉斯分類器概念。掌握高斯樸素貝葉斯及多項(xiàng)式樸素貝葉斯。學(xué)習(xí)目標(biāo)樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法貝葉斯要解決的問題：使正向概率：假設(shè)袋子里有N個(gè)白球，M個(gè)黑球，隨機(jī)摸一個(gè)，摸出黑球的概率有多大逆向概率:如果事先不知道袋子里黑白球的比例，隨機(jī)摸出幾個(gè)球，根據(jù)這些球的顏色，可以推測(cè)袋子里面的黑白球比例。貝葉斯分類器的分類原理用p1(x,y)表示數(shù)據(jù)點(diǎn)(x,y)屬于類別1（圖中用圓點(diǎn)表示的類別）的概率，用p2(x,y)表示數(shù)據(jù)點(diǎn)(x,y)屬于類別2（圖中三角形表示的類別）的概率，那么對(duì)于一個(gè)新數(shù)據(jù)點(diǎn)(x,y)，可以用下面的規(guī)則來判斷它的類別：如果p1(x,y)>p2(x,y)，那么類別為1如果p2(x,y)>p1(x,y)，那么類別為2貝葉斯理論有一個(gè)裝了7塊石頭的罐子，其中3塊是白色的，4塊是黑色的。如果從罐子中隨機(jī)取出一塊石頭，那么是白色石頭的可能性是多少？由于取石頭有7種可能，其中3種為白色，所以取出白色石頭的概率為3/7。那么取到黑色石頭的概率是4/7。我們使用P(white)來表示取到白色石頭的概率，其概率值可以通過白色石頭數(shù)目除以總的石頭數(shù)目來得到。條件概率貝葉斯分類：貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎(chǔ)，故統(tǒng)稱為貝葉斯分類。先驗(yàn)概率：根據(jù)以往經(jīng)驗(yàn)和分析得到的概率。我們用??(??)來代表在沒有訓(xùn)練數(shù)據(jù)前假設(shè)??擁有的初始概率。后驗(yàn)概率：根據(jù)已經(jīng)發(fā)生的事件來分析得到的概率。以??(??|??)代表假設(shè)??成立的情下觀察到??數(shù)據(jù)的概率，因?yàn)樗从沉嗽诳吹接?xùn)練數(shù)據(jù)??后??成立的置信度。聯(lián)合概率：聯(lián)合概率是指在多元的概率分布中多個(gè)隨機(jī)變量分別滿足各自條件的概率。??與??的聯(lián)合概率表示為????,??、??(????)或??(??∩??)。假設(shè)??和??都服從正態(tài)分布，那么??(??<5,??<0)就是一個(gè)聯(lián)合概率，表示??<5,??<0兩個(gè)條件同時(shí)成立的概率。表示兩個(gè)事件共同發(fā)生的概率。貝葉斯方法背景知識(shí)貝葉斯公式條件概率的貝葉斯估計(jì)：式中

。當(dāng)

時(shí)，是極大似然估計(jì)；當(dāng)

時(shí)，稱為拉普拉斯平滑。先驗(yàn)概率的貝葉斯估計(jì)：貝葉斯估計(jì)樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法樸素貝葉斯法是典型的生成學(xué)習(xí)方法。生成方法由訓(xùn)練數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布??(??,??)，然后求得后驗(yàn)概率分布??(??|??)。具體來說，利用訓(xùn)練數(shù)據(jù)學(xué)習(xí)??(??|??)和??(??)的估計(jì)，得到聯(lián)合概率分布：??(??,??)＝??(??|??)??(??)貝葉斯公式：貝葉斯定理樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法男生總是穿長(zhǎng)褲，女生則一半穿長(zhǎng)褲一半穿裙子，男生占比60%，女生占比40%：正向概率：隨機(jī)選取一個(gè)學(xué)生，穿長(zhǎng)褲的概率和穿裙子的概率是多大？逆向概率：迎面走來一個(gè)穿長(zhǎng)褲的學(xué)生，無法確定該學(xué)生的性別，請(qǐng)問該學(xué)生是女生的概率有多大?假設(shè)學(xué)校里面人的總數(shù)是U。穿長(zhǎng)褲的男生：U*P(Boy)*P(Pants|Boy)，P(Boy)是男生的概率=60%。P(Pants|Boy)是條件概率，即在Boy的條件下，穿長(zhǎng)褲的概率是多大，這里是100%穿長(zhǎng)褲的女生：U*P(Girl)*P(Pants|Girl)。求解：穿長(zhǎng)褲的總數(shù)：U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)？與總?cè)藬?shù)有關(guān)嗎？貝葉斯案例如果一對(duì)男女朋友，男生想女生求婚，男生的四個(gè)特點(diǎn)分別是不帥，性格不好，身高矮，不上進(jìn)，請(qǐng)你判斷一下女生是嫁還是不嫁？貝葉斯案例數(shù)學(xué)問題就是比較p(嫁|(不帥、性格不好、身高矮、不上進(jìn)))與p(不嫁|(不帥、性格不好、身高矮、不上進(jìn)))。解決方法求p(嫁|(不帥、性格不好、身高矮、不上進(jìn)),這是我們不知道的，但是通過樸素貝葉斯公式可以轉(zhuǎn)化為好求的三個(gè)量，p(不帥、性格不好、身高矮、不上進(jìn)|嫁)、p（不帥、性格不好、身高矮、不上進(jìn))、p(嫁)。其中p(不帥、性格不好、身高矮、不上進(jìn)|嫁)=p(不帥|嫁)*p(性格不好|嫁)*p(身高矮|嫁)*p(不上進(jìn)|嫁)。樸素貝葉斯案例公式整理如下：p(嫁)=6/12（總樣本數(shù)）=1/2樸素貝葉斯案例p(不帥|嫁)=3/6=1/2在嫁的條件下，看不帥的數(shù)據(jù)。樸素貝葉斯案例帥性格好身高上進(jìn)是否嫁不帥好高上進(jìn)嫁不帥好中上進(jìn)嫁不帥不好高上進(jìn)嫁=(1/2*1/6*1/6*1/6*1/2)/(1/3*1/3*7/12*1/3)樸素貝葉斯案例用同樣方法來求p(不嫁|不帥，性格不好，身高矮，不上進(jìn))。p(不嫁|不帥、性格不好、身高矮、不上進(jìn))=((1/6*1/2*1*1/2)*1/2)/(1/3*1/3*7/12*1/3)(1/6*1/2*1*1/2)>(1/2*1/6*1/6*1/6*1/2)于是有p(不嫁|不帥、性格不好、身高矮、不上進(jìn))>p(嫁|不帥、性格不好、身高矮、不上進(jìn))。樸素貝葉斯案例樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法優(yōu)點(diǎn):在數(shù)據(jù)較少的情況下仍然有效，可以處理多類別問題。缺點(diǎn):對(duì)于輸入數(shù)據(jù)的準(zhǔn)備方式較為敏感。適用數(shù)據(jù)類型:標(biāo)稱型數(shù)據(jù)。貝葉斯原理特點(diǎn)

樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法樸素貝葉斯（NaiveBayes）模型,它是一種基于概率的學(xué)習(xí)方法，“樸素”指的是條件的獨(dú)立性。由訓(xùn)練數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布??(??,??)，然后求得后驗(yàn)概率分布??(??|??)。具體來說，利用訓(xùn)練數(shù)據(jù)學(xué)習(xí)??(??|??)和??(??)的估計(jì)，得到聯(lián)合概率分布：??(??,??)＝??(??)??(??|??)概率估計(jì)方法是極大似然估計(jì)或貝葉斯估計(jì)。樸素貝葉斯分類器樸素貝葉斯法的基本假設(shè)是條件獨(dú)立性。P(X=x|Y=ck)=Px(1),?,x(n)|yk=?jn=1Px(j)|Y=ckck代表類別，k代表類別個(gè)數(shù)。這是一個(gè)較強(qiáng)的假設(shè)。由于這一假設(shè)，模型包含的條件概率的數(shù)量大為減少，樸素貝葉斯法的學(xué)習(xí)與預(yù)測(cè)大為簡(jiǎn)化。因而樸素貝葉斯法高效，且易于實(shí)現(xiàn)。其缺點(diǎn)是分類的性能不一定很高。樸素貝葉斯原理樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法高斯樸素貝葉斯適用于連續(xù)變量，其假定各個(gè)特征

在各個(gè)類別y下是服從正態(tài)分布的，算法內(nèi)部使用正態(tài)分布的概率密度函數(shù)來計(jì)算概率。公式如下：其中

：在類別為y的樣本中，特征

的均值。

：在類別為y的樣本中，特征

的標(biāo)準(zhǔn)差。高斯樸素貝葉斯分類算法原理樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法多項(xiàng)式貝葉斯基于原始的貝葉斯理論，但假設(shè)概率分布是服從一個(gè)簡(jiǎn)單多項(xiàng)式分布。多項(xiàng)式分布來源于統(tǒng)計(jì)學(xué)中的多項(xiàng)式實(shí)驗(yàn)，這種實(shí)驗(yàn)可以具體解釋為：實(shí)驗(yàn)包括n次重復(fù)試驗(yàn)，每項(xiàng)試驗(yàn)都有不同的可能結(jié)果。在任何給定的試驗(yàn)中，特定結(jié)果發(fā)生的概率是不變的。多項(xiàng)式樸素貝葉斯算法原理測(cè)試編號(hào)X1:出現(xiàn)正面X2:出現(xiàn)反面001110210樸素貝葉斯貝葉斯分類器的分類原理貝葉斯定理貝葉斯定理的一個(gè)簡(jiǎn)單例子貝葉斯分類的原理與特點(diǎn)樸素貝葉斯分類高斯樸素貝葉斯分類算法高斯樸素貝葉斯分類算法的原理多項(xiàng)式樸素貝葉斯分類算法伯努利樸素貝葉斯分類算法伯努利樸素貝葉斯分類器主要用于文本分類。伯努利樸素貝葉斯,其