比較簡單的貝葉斯網(wǎng)絡(luò)總結(jié)

1、貝葉斯網(wǎng)絡(luò)是一系列變量的聯(lián)合概率分布的圖形表示一般包含兩個部分，一個就是貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖，這是一個有向無環(huán)圖(DAG),其中圖中的每個節(jié)點代表相應(yīng)的變量，節(jié)點之間的連接關(guān)系代表了貝 葉斯網(wǎng)絡(luò)的條件獨立語義。另一部分，就是節(jié)點和節(jié)點之間的 條件概率表(CPT)， 也就是一系列的概率值。如果一個貝葉斯網(wǎng)絡(luò)提供了足夠的條件概率值，足以計 算任何給定的聯(lián)合概率，我們就稱，它是可計算的，即可推理的。3.5.1貝 葉 斯 網(wǎng) 絡(luò) 基 礎(chǔ)首先從一個具體的實例(醫(yī)療診斷的例子)來說明貝葉斯網(wǎng)絡(luò)的構(gòu)造。假設(shè)：命題 S(moker): 該患者是一個吸煙者命題C ( o a l Min e r ):該患者是一個煤礦

2、礦井工人命題 L(ung Can c e r ):他患了肺癌命題 E(mphysema): 他患了肺氣腫命題S對命題L和命題E有因果影響，而 C對E也有因果影響。命題之間的關(guān)系可以描繪成如右圖所示的因果關(guān)系網(wǎng)因此，貝葉斯網(wǎng)有時也叫因果網(wǎng)，因為可以將連接結(jié)點的弧認為是表達了直圖 3-5貝 葉 斯 網(wǎng) 絡(luò) 的 實 例礦工吸煙者圖中表達了貝葉斯網(wǎng)的兩個要素：其一為貝葉斯網(wǎng)的結(jié)構(gòu)，也就是各節(jié)點的繼承 關(guān)系，其二就是 條件概率表CPT。若一個貝葉斯網(wǎng)可計算，則這兩個條件缺一 不可。貝葉斯網(wǎng)由一個有向無環(huán)圖（DAG ）及描述頂點之間的概率表組成。其中 每個頂點對應(yīng)一個隨機變量。這個圖表達了分布的一系列有條

3、件獨立屬性：在給 定了父親節(jié)點的狀態(tài)后，每個變量與它在圖中的非繼承節(jié)點在概率上是獨立的。 該圖抓住了概率分布的定性結(jié)構(gòu)，并被開發(fā)來做高效推理和決策。貝葉斯網(wǎng)絡(luò)能表示任意概率分布的同時，它們?yōu)檫@些能用簡單結(jié)構(gòu)表示的分 布 提 供 了 可 計 算 優(yōu) 勢。 ?假設(shè)對于頂點xi，其雙親節(jié)點集為Pai，每個變量xi的條件概率P(xi|Pai)。則頂點集合X = x 1 , x 2 ,，xn的聯(lián)合概率分布可如下計算：雙親結(jié)點。該結(jié)點得上一代結(jié)點。該等式暗示了早先給定的圖結(jié)構(gòu)有條件獨立語義。它說明貝葉斯網(wǎng)絡(luò)所表示的聯(lián)合分布作為一些單獨的局部交互作用模型的結(jié)果具有因式分解的表示形式。從貝葉斯網(wǎng)的實例圖中，我

4、們不僅看到一個表示因果關(guān)系的結(jié)點圖，還看到了貝葉斯網(wǎng)中的每個變量的 條件概率表(CPT)。因此一個完整的隨機變量集合的概 率的完整說明不僅包含這些變量的貝葉斯網(wǎng)，還包含網(wǎng)中變量的條件概率表。圖 例 中 的 聯(lián) 合 概 率 密 度：P(S,C,L,E) = P(E|S,C)* P ( L | S ) * P ( C ) * P ( S )推導過程：P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)(貝葉斯定理)=P ( E | S , C ) * P ( L | S ) * P ( C ) * P ( S )即：P ( E | S , C , L )= P (

5、E | S , C ) ,E 與 L 無關(guān)P ( L | S , C ) = P ( L | S )L 與 C 無關(guān)P ( C | S ) = P ( C )C與S 無關(guān)以上三條等式的正確性，可以從貝葉斯網(wǎng)的條件獨立屬性推出： 每個變量與它在圖中的非繼承節(jié)點在概率上相 比 原 始 的 數(shù) 學 公 式P(S,C,L,E)=:P( E| S,C,L)*P(L|S,C)* P(C| S) *P( S)推導過程:由貝葉斯定理，P( S,C,L,E)=P(E|S,C, L)* P( S,C, L)再由貝葉斯定理 P ( S,C , L)=P( L|S , C)* P (S , C)同樣，P ( S ,C

6、 )=P ( C| S)* P(S)以上幾個等式相乘即得原式。?顯然，簡化后的公式更加簡單明了，計算復雜度低很多。如果原貝葉斯網(wǎng)中 的條件獨立語義數(shù)量較多，這種減少更加明顯。貝葉斯網(wǎng)絡(luò)是一系列變量的聯(lián)合概率分布的圖形表示。這種表示法最早被用 來對專家的不確定知識編碼，今天它們在現(xiàn)代專家系統(tǒng)、診斷引擎和決策支持系 統(tǒng)中發(fā)揮了關(guān)鍵作用。貝葉斯網(wǎng)絡(luò)的一個被經(jīng)常提起的優(yōu)點是它們具有形式的概 率語義并且能作為存在于人類頭腦中的知識結(jié)構(gòu)的自然映像。這有助于知識在概 率分布方面的編碼和解釋，使基于概率的推理和最佳決策成為可能。3.5.2貝葉斯 網(wǎng)的 推 理模式在貝葉斯網(wǎng)中有三種重要的推理模式，因果推理(由上

7、向下推理)，診斷推理(自底向上推理)和辯解。35.2.1因果推理讓我們通過概述的實例來說明因果推理得過程。 給定患者是一個吸煙者(S), 計算他患肺氣腫(E)的概率P(E|S) 。 S稱作推理的證據(jù)，E叫詢問結(jié)點首先，我們尋找E的另一個父結(jié)點(C)，并進行概率擴展P(E|S)=P(E,C|S)+P(E,C|S);即,吸煙的人得肺氣腫的概率為吸煙得肺氣腫又是礦工的人的概率與吸煙得肺氣腫不是礦工的人的概率之和，也就是全概率公式。然 后 利 用 Bayes 定 理：P(E|S) = P(E|C,S)*P(C|S) + P(E | C, S) * P (C| S) ; ? 公式解釋：P ( E , C

8、 | S ) = P(E,C,S)/P(S) =P(E| C,S)* P(C,S)/P(S)(貝葉斯定理) =P(E|C ,S)* P(C |S)(反向利用貝葉斯 定理) 同理可以得出 P ( E , C | S )的推導過程。需要尋找該表達式的雙親結(jié)點的 條件概率，重新表達聯(lián)合概率(指P(E,C|S)，P ( E , C | S ) o在圖中，C和S并沒有雙親關(guān)系，符合條件獨立條件：P ( C|S )=P(C ),?P ( C |S )=P ( C ),由此可得：P(E|S) =P(E|S,C)*P(C)+P(E|C,S)*P(C)如果采用概述中的例題數(shù)據(jù)，則有 P ( E | S )=0.

9、9*0.3+0.3*(1-0.3)=0. 48從這個例子中，不難得出這種推理的主要操作：1) 按照給定證據(jù)的V和它的所有雙親的聯(lián)合概率，重新表達給定證據(jù)的詢 問 結(jié) 點 的 所 求 條 件 概 率。2) 回到以所有雙親為條件的概率，重新表達這個聯(lián)合概率。3) 直到所有的概率值可從CPT表中得到，推理完成。3.5.2.2診 斷 推 理同樣以概述中的例題為例，我們計算 "不得肺氣腫的不是礦工 "的概率 P(C|E),即在貝葉斯網(wǎng)中，從一個子結(jié)點計算父結(jié)點的 條件概率。也即從結(jié) 果推測一個起因，這類推理叫做診斷推理。使用 Bayes公式就可以把這種推理 轉(zhuǎn)換成因果推理。P ( C

10、 | E ) = P(E|C)*P(C)/P( E )，從因果推理可知P ( E | C )=P(E,S|C)+P(E,S|C)=P( E|S, C)* P(S)+ P( E| S, C)* P( S)=(1-0. 3)*0. 4 + ( 1 - 0. 1 0)* (1 -0. 4)=0. 8 2 ;由此得：P( C| E)=P( E| C)*P( C)/P(-E）（貝葉斯公式）0 . 82 *(1 -0.3)/P ( E )0 .5 74/P( E )同樣的P ( C1 E)二 P (EI C )*P (C ) /P ( E )=0.34 *0 .3/P ( E )0 .1 02/ P(1E

11、 )由于全概率公式：P（C1（E )+ P(C1E )二 1代入可得P(E) =0.676所以5P（C|E)=0.849這種推理方式主要利用Bayes規(guī)則轉(zhuǎn)換成因果推理。3.5.2.3辯 解如果我們的證據(jù)僅僅是E （不是肺氣腫），象上述那樣，我們可以計算C 患者不是煤礦工人的概率。但是如果也給定 S （患者不是吸煙者），那么C 也應(yīng)該變得不確定。這種情況下，我們說 S解釋E，使C變得不確定。這 類推理使用嵌入在一個診斷推理中的因果推理。作為思考題，讀者可以沿著這個思路計算上式。 在這個過程中，貝葉斯規(guī)則的使 用， 是辯解過程中一個重要的步驟。 ？3.5.3D分離在本節(jié)最開始的貝葉斯網(wǎng)圖中，有三

12、個這樣的結(jié)點：S, L, E。從直觀來說，L的知識（結(jié)果）會影響S的知識（起因），S會影響E的知識（另一個結(jié)果）。 因此，在計算推理時必須考慮的相關(guān)因素非常多，大大影響了算法的計算復雜度， 甚至可能影響算法的可實現(xiàn)性。但是如果給定原因S，L并不能告訴我們有關(guān)E的更多事情。即對于S，L和E是相對獨立的，那么在計算 S和L的關(guān)系時就 不用過多地考慮E，將會大大減少計算復雜度。這種情況下，我們稱S能D分離L和E。 D分離是一彳種尋找條件獨立的有效方法。如下圖，對于給定的結(jié)點集£,如果對貝葉斯網(wǎng)中的結(jié)點Vi和Vj之間的每 個無向路徑，在路徑上有某個結(jié)點V b，如果有屬性：？1 ）Vb在&am

13、p;中，且路徑上的兩條弧都以Vb為尾（即弧在Vb處開始（出發(fā)）2 ） Vb在&中，路徑上的一條弧以Vb為頭，一條以Vb為尾3） Vb和它的任何后繼都不在&中，路徑上的兩條弧都以Vb為頭（即弧在Vb處結(jié)束）貝U稱 Vi 和 V j 被 V b 結(jié)點阻塞。結(jié)論：如果Vi和Vj被證據(jù)集合&中的任意結(jié)點阻塞，則稱 Vi和Vj是被& 集合D分離，結(jié)點Vi和V j條件獨立于給定的證據(jù)集合£，即P ( V i | V j ,& )V j | Vi, 8 )表示為：無向路徑：DAG圖是有向圖，所以其中的路徑也應(yīng)該是有向路徑，這里所的無向路徑是不考慮 D A G

14、圖中的方向性時的路徑。條件獨立：如具有以上三個屬性之一，就說結(jié)點Vi和Vj條件獨立于給定的占八、阻塞：給定證據(jù)集合8,當上述條件中的任何一個滿足時，就說Vb阻塞相D分離：如果Vi和Vj之間所有的路徑被阻塞，就叫證據(jù)集合&可以D分注意：在論及路徑時，是不考慮方向的；在論及"頭"和"尾"時,則必須考慮弧的方向。"頭"的含義是箭頭方向(有向弧)的終止點,II尾"的含義是箭頭方向占八、£為單個結(jié)點集合?；氐阶铋_始的醫(yī)療診斷實例：為簡單起見，選擇證據(jù)集合對于給定的結(jié)點結(jié)點E阻塞了結(jié)點C和結(jié)點L之間的路徑，因此C和L 是條件獨的，有 I ( C ， L I S ) 成立。而對于給定結(jié)點E，S和L之間找不到阻塞結(jié)點。因此，S和L不是條件獨即使使用了 D分離，一般地講，在貝葉斯網(wǎng)中，概率推理仍是 NP難題。然而，有些簡化能在一個叫Polytree的重要網(wǎng)絡(luò)分類中使用。一個Polytree網(wǎng)是一個DAG，在該DAG的任意兩個結(jié)點間，順著弧的每一個方向只有一條路 徑。如圖就是