6第六章貝葉斯信念網(wǎng)絡(luò)課件

Bayes

Classifier貝葉斯分類2023/11/261一、何謂貝葉斯分類？2023/11/262

數(shù)據(jù)挖掘中以貝葉斯定理為基礎(chǔ)，用于分類的技術(shù)有樸素貝葉斯分類和貝葉斯信念網(wǎng)絡(luò)兩種。

樸素貝葉斯分類假定一個屬性值對給定類的影響?yīng)毩⒂谄渌麑傩缘闹担丛趯傩蚤g不存在依賴關(guān)系，也因此稱為“樸素的”。

貝葉斯信念網(wǎng)絡(luò)也可以用于分類，它是圖形模型。它優(yōu)于樸素貝葉斯，它能夠處理屬性子集間有依賴關(guān)系的分類。

它采用監(jiān)督式的學(xué)習(xí)方式。二、基本知識2023/11/2631、事件概率

聯(lián)合概率(joint

probability)表示A事件和B事件同時發(fā)生的概率，P(A∩B)。

邊際概率(marginal

probability)在A和B的樣本空間中，只看A或B的概率，稱之邊際概率。

條件概率(conditionalprobability)在發(fā)生A的條件下，發(fā)生B的概率，稱為P(B|A)。2、乘法法則(Multiplicative

rule)3、獨立事件設(shè)事件Ａ和事件Ｂ滿足以下條件：52023/11/26則稱Ａ與Ｂ為『獨立事件』。三、貝葉斯定理表示先驗概率(Prior

probability)。表示后驗概率(Posteriori

probability)，

先驗概率是由以往的數(shù)據(jù)分析得到的。根據(jù)樣本數(shù)據(jù)得到更多的信息后，對其重新修正，即是后驗概率。62023/11/26

例：旅客搭乘飛機(jī)必須經(jīng)電子儀器檢查是否身上攜帶金屬物品。

如果攜帶金屬，儀器會發(fā)出聲音的概率是97%，但身上無金屬物品儀器會發(fā)出聲音的概率是5%。已知一般乘客身上帶有金屬物品的概率是30%，若某旅客經(jīng)過儀器檢查時發(fā)出聲音，請問他身上有金屬物品的概率是多少？解：設(shè)C1=“有金屬物”，X=“儀器會發(fā)聲”，則72023/11/2692023/11/26102023/11/26112023/11/26五、樸素貝氏分類的實例

辦信用卡意愿：13項目性別年齡學(xué)生身分收入辦卡1男>45否高會2女31~45否高會3女20~30是低會4男<20是低不會5女20~30是中不會6女20~30否中會7女31~45否高會8男31~45是中不會9男31~45否中會10女<20是低會

2023/11/26類屬性解：首先根據(jù)訓(xùn)練樣本計算各屬性相對于不同分類結(jié)果的條件概率：

P(辦卡)=7/10

P(女性|辦卡)=5/7

P(年齡=31~45|辦卡)=3/7

P(學(xué)生=否|辦卡)=5/7

P(收入=中|辦卡)=2/7P(不辦卡)=3/10P(女性|不辦卡)=1/3P(年齡=31~45|不辦卡)=1/3P(學(xué)生=否|不辦卡)=0/3P(收入=中|不辦卡)=2/3判斷：X=(女性，年齡介于31~45之間，不具學(xué)生身份，收入中等)會不會辦理信用卡。142023/11/26其次，再應(yīng)用樸素貝氏分類器進(jìn)行類別預(yù)測：

計算

P(辦卡)P(女性|辦卡)P(年齡31~45|辦卡)P(不是學(xué)生|辦卡)P(收入中|辦卡)=15/343≈0.044

P(不辦卡)P(女性|不辦卡)P(年齡31~45|不辦卡)P(不是學(xué)生|不辦卡)P(收入中等|不辦卡)=0

0.044>0152023/11/26貝葉斯分類的優(yōu)缺點：優(yōu)點：

計算速度最快的演算法；

規(guī)則清楚易懂；

獨立事件的假設(shè)，大多數(shù)問題上不至于發(fā)生太大偏誤；缺點：

僅適用于類別變量；

僅能應(yīng)用于分類問題；

假設(shè)變量間為獨立互不影響，因此使用時需要謹(jǐn)慎分析變量間的相關(guān)性。172023/11/26六、貝葉斯信念網(wǎng)絡(luò)

樸素貝葉斯分類假定類條件獨立，即給定樣本的類標(biāo)號，屬性的值相互條件獨立。

但在實踐中，變量之間的依賴可能存在。貝葉斯信念網(wǎng)絡(luò)說明聯(lián)合條件概率分布，它允許在變量的子集間定義類條件獨立性。它提供一種因果關(guān)系的圖形。182023/11/26

例如，得肺癌受其家族肺癌史的影響，也受是否吸煙的影響。2023/11/2619有向無環(huán)圖條件概率圖概率依賴雙親或直接前驅(qū)后繼非后繼獨立節(jié)點：隨機(jī)變量可以看到三個值就可以完全指定P(R,W)的聯(lián)合分布。如果P(R)=0.4，則P(~R)=0.6。類似地，，而這是一個因果圖，解釋草地變濕的主要原因是下雨。我們可以顛倒因果關(guān)系并且做出診斷。例如，已知草地是濕的，則下過雨的概率可以計

算如下：212023/11/26222023/11/26

現(xiàn)在，假設(shè)我們想把噴水器（Ｓ）作為草地變濕的另一個原因，如下圖所示。

節(jié)點Ｗ有兩個父節(jié)點Ｒ和Ｓ，因此它的概率是這兩個值上的條件概率。我們可以計算噴水器開著草地會濕的概率。這是一個因果（預(yù)測）推理：232023/11/26

給定草地是濕的，我們能夠計算噴水器開著的概率。這是一個診斷推理。252023/11/26

知道草是濕的增加了噴水器開著的可能?，F(xiàn)在讓我們假設(shè)下過雨，我們有：

注意，這個值比 小。這叫作解釋遠(yuǎn)離explaining

away;

給定已知下過雨，則噴水器導(dǎo)致濕草地的可能性降低了。已知草地是濕的，下雨和噴水器成為相互依賴的。262023/11/262、條件概率表先驗概率292023/11/26條件概率表302023/11/263、推理（1）當(dāng)“警報拉響＋降雨

→地震、入室盜竊、洪水”：

假設(shè)某時刻警報突然拉響了，且此時正在下雨，值班人員要判斷此時發(fā)生地震、盜竊和洪水的概率分別是多少，以便采取相應(yīng)的措施加以應(yīng)對。

首先，設(shè)置警報和降雨為已知節(jié)點，觀察值分別為拉響和降雨；并且指定地震、入室盜竊和洪水為目標(biāo)節(jié)點。然后計算各種情況發(fā)生的后驗概率。312023/11/26節(jié)點名稱降雨警報狀態(tài)取值降雨拉響已知變量的狀態(tài)觀察值狀態(tài)取值不發(fā)生發(fā)生概率值×10084.8015.20地震入室盜竊狀態(tài)取值不發(fā)生發(fā)生概率值×10012.0088.0狀態(tài)取值不發(fā)生發(fā)生概率值×10088.8011.2洪水322023/11/26（2）當(dāng)“警報拉響＋降雨＋地震監(jiān)測儀信號弱

→地震、入室盜竊、洪水”：

假設(shè)，同樣在下雨天，警報突然拉響，如果此時值班人員還注意到了地震監(jiān)測儀的狀態(tài)處于弱信號的范圍，那么到底地震、入室盜竊、洪水中哪個發(fā)生呢？

解決的辦法是設(shè)定：降雨節(jié)點處于降雨狀態(tài)，警報節(jié)點處于拉響狀態(tài)，地震監(jiān)測儀處于弱狀態(tài)；目標(biāo)節(jié)點仍舊是地震、入室盜竊和洪水。然后，計算后驗概率。332023/11/26節(jié)點名稱降雨警報地震監(jiān)測儀狀態(tài)取值降雨拉響弱已知變量的狀態(tài)觀察值狀態(tài)取值不發(fā)生發(fā)生概率值×100100.000.00地震洪水狀態(tài)取值不發(fā)生發(fā)生概率值×1008.3391.67狀態(tài)取值不發(fā)生發(fā)生概率值×10091.678.33入室盜竊342023/11/26貝葉斯分類的優(yōu)缺點：優(yōu)點：

在某些領(lǐng)域的