貝葉斯網(wǎng)絡(luò)建模技術(shù).pptx

1、貝葉斯網(wǎng)絡(luò)建模技術(shù),Anders L. Madsen HUGIN EXPERT A/S 2012.03,大綱,表格生成器 連續(xù)節(jié)點 中介變量 無定向關(guān)系 測量誤差 簡單貝葉斯模型 因果影響的獨立 父級分離 專家異議、結(jié)構(gòu)的不確定、功能的不確定 反轉(zhuǎn)弧和節(jié)點吸收 功能節(jié)點,2,貝葉斯網(wǎng)絡(luò)的定義,貝葉斯網(wǎng)格N=(G,P)由以下組成： 一組變量和一組在變量間的有向邊 變量與定向一起形成DAG 每個變量都有一組有限狀態(tài)集 附屬于每個變量的X與它們的 父級Y1,Yn，有一個條件概率 表格P(X|Y1,，Yn),3,表格生成器,如果CPT是低維數(shù)的，那么知識獲取可由專家評判執(zhí)行 域知識和經(jīng)驗 表格生成器是

2、一個與其父級相關(guān)點的數(shù)學(xué)描述CPT/UT的生成工具 它是一種指定CPTs和UTs緊湊描述描述的一種方法 統(tǒng)計分布，算子和邏輯運算符以及它們之間的關(guān)系 也是一種知識規(guī)范的有效工具，而不是值的引出工具,4,離散機(jī)會節(jié)點的子類型,在表達(dá)式中使用不同的算子有不同的返回類型和不同的參數(shù)類型要求 標(biāo)記的節(jié)點可用于等式比較并表示確定性關(guān)系 狀態(tài)：紅，藍(lán)，low 功能：如果-那么，分配 布爾運算節(jié)點可以代表真實值“錯誤”或者“正確”（在該命令下），也可作為邏輯運算符 狀態(tài)：錯誤，正確 功能：和，或者，否，=，！=，Noisy-OR,5,離散機(jī)會節(jié)點的子類型,已編好的節(jié)點數(shù)代表增加數(shù)字?jǐn)?shù)列（整數(shù)或?qū)崝?shù)）和可以用

3、于算術(shù)運算符，數(shù)學(xué)函數(shù)等 狀態(tài)：-，-2.2，-1.5，0，1，2，3， 功能：二項式，幾何，負(fù)二項式，泊松比，+，-，*，/， 間隔節(jié)點表示實線不相交，可用于已編好的節(jié)點。此外， 當(dāng)指定的連續(xù)量的時間間隔離散時，可以使用他們 狀態(tài)：-；-10，-10；-5，-5；-1 功能：，e，正態(tài)，二項式，幾何，負(fù)二項式，泊松，+，-，*，/，,6,在表格生成器備注,表達(dá)式取決于模型節(jié)點的配置 設(shè)X，A，B，C是3個布爾變量 設(shè)X為A，B，C的父集 當(dāng)A為真，X=BC，當(dāng)A為假，X=BC 當(dāng)父集包含用于間隔節(jié)點樣本值 手冊中描述語法的表達(dá)式 前綴表示法,7,表格生成器練習(xí),在預(yù)測擲n次骰子時，能夠擲出幾

4、次6的問題。不幸的是，我們不知道骰子是真的還是假的。如果是假的，那么平均每擲5次會出現(xiàn)一次6。 建立一個模型來估計擲n次骰子時能夠擲出幾次6的次數(shù)，其中n是一個從1到10的數(shù)字,8,連續(xù)的節(jié)點,設(shè)Y是一個連續(xù)隨機(jī)變量，有離散父級I和連續(xù)父級Z Y（和Z）我們假設(shè)高斯分布（正態(tài)分布）父級的條件值 其中 這個就是稱為CG分布,9,模型的限制,Y是線性條件高斯分布： 其中 注意： 平均值線性取決于連續(xù)的父級 方差不取決于連續(xù)的父級 線性函數(shù)和方差取決于離散的父級 這些限制確保精確推理成為可能 被稱為線性條件高斯貝葉斯網(wǎng)格,10,溫度,通過使用一個可選擇低、中、高溫度的簡單空調(diào)系統(tǒng)，在一個房間里溫度可

5、調(diào)節(jié)。假設(shè)實際溫度以1度的方差正態(tài)分布，意味著分別相當(dāng)于18，20和22度。在房間里面，使用不同質(zhì)量的溫度計（高或者低）測量溫度。低質(zhì)量的溫度計有0.5的方差，而質(zhì)量好的溫度計只有0.1的方差。假設(shè)在測量中加入了平均值為1，方差為0.1的噪聲。 在房間里建立對溫度的推理模型,11,通過人工智能和數(shù)學(xué)課堂,假設(shè)每學(xué)期，上一次數(shù)學(xué)而上兩次人工智能。參加學(xué)習(xí)班學(xué)生的人數(shù)取決于科目。平均每120名學(xué)生選用人工智能課（2=500），而每180名學(xué)生選擇數(shù)學(xué)課（2=1000）。假設(shè)平均25%通過人工智能考試（2=400），平均50%通過數(shù)學(xué)考試（2=500）。假設(shè)考試已經(jīng)完成。 預(yù)測通過考試的學(xué)生數(shù)是多少

6、？ 預(yù)測通過數(shù)學(xué)考試的學(xué)生數(shù)是多少？ 當(dāng)80個學(xué)生通過考試，預(yù)測參加數(shù)學(xué)考試的學(xué)生數(shù)是多少？,12,CDVT功能,CLG模型不允許連續(xù)節(jié)點的離散子級 HUGIN GUI實現(xiàn)了一個簡單的過程，支持從一個連續(xù)節(jié)點Y到離散節(jié)點D的鏈接 D必須是狀態(tài)從信息到信息的間隔節(jié)點 D可以沒有其它父級 證據(jù)只可以在指定方向傳播鏈接 在證據(jù)的傳播間，Y的邊緣分布被設(shè)定為D的表達(dá)。 這種功能應(yīng)該格外小心使用。,13,變量的目的,貝葉斯網(wǎng)格是一組變量集的知識表示。不同的變量有不同的用途。 假設(shè)：想要的是事后概率不易察覺的變量 例如：分類和診斷變量 信息：可觀察的變量是有效的，可以提供與假設(shè)變量相關(guān)的信息。 例如：傳感

7、器讀數(shù)，背景信息，測試結(jié)果 中介：事后概率不可觀察變量是不想要的，但其未到達(dá)目標(biāo)發(fā)揮重要重要作用。 正確的條件獨立和依賴性能。 高效地推理,14,中介變量,中介變量對于獲得正確的條件獨立和依賴屬性是非常重要的 例如：激素狀態(tài)：驗血（BT）和尿液測試（UT）是獨立的懷孕狀態(tài)（Pr） 沒有Ho變量的模型是錯誤的，因為Ho變量沒有決定性取決于Pr，并且BT和UT是獨立給予Ho的,15,中介變量,在這種撲克游戲中，每個玩家收到三張牌，并且允許改變牌兩輪，在第一輪（FC），你可能會放棄你手中的任何一張牌，從這副牌中取一張。在第二輪中（SC），你最多放棄兩張牌，并從這副牌中取兩張。兩輪結(jié)束后，我會有興趣對

8、對手手上的牌估計一下（OH）。,16,一個簡單的例子：約束,我在洗衣機(jī)里面洗了兩雙襪子。由于洗了很久，因此很難區(qū)分出這倆雙襪子。然而，有這兩雙襪子有兩種類型款式和兩種不同顏色，用款式和顏色來區(qū)分襪子，是將它們區(qū)分正確重要的方法。 款式和顏色之間是無定向關(guān)系。,17,一個簡單的例子：約束,我們有四個項目，S1，S4，其中Sp(Si)=t1，t2，這樣兩個項目必須成為類型t1，另外兩個成為t2 這種約束可以在帶有開或關(guān)的狀態(tài)的子變量C的 CPT編碼。 通過實例化C，約束強制執(zhí)行。,18,約束,設(shè)R（A，B，C） 在數(shù)值上為直接關(guān)系 R（a，b，c）0,1 引進(jìn)帶有yes和no兩種狀態(tài)的變量D 設(shè)P

9、（D=yes|A，B，C）=R（A，B，C） 設(shè)P（D=no|A，B，C）=1-R（A，B，C） 當(dāng)D=yes 得R (A，B，C)=1,19,測量誤差,往往，一個信息變量的真實值-I，它不能由于測量誤差獲得。 通過引入一個新的變量，測量誤差被建模。成為OI，代表I的觀測值。 測量誤差的大小用P(OI|I)代表 I變成調(diào)節(jié)變量，是不可觀測的。 我們需要明確地表示出模型中A的估計精度,20,測量誤差：實例,假設(shè)t1類型的襪子是以顏色c1和款式p1為特征，t2類型的襪子以顏色c2（c2c1）和款式p2（p2p1） 經(jīng)過幾次清洗之后： c1被誤認(rèn)為是c2有十分之三的概率 c2被誤認(rèn)為是c1有十分之二

10、的概率 p1被誤認(rèn)為是p2有百分之二的概率 p2一直被識別正確 模型如下： P(OC=c2|C=c1)=0.3 P(OC=c1|C=c2)=0.2 P(OP=p2|P=p1)=0.02 P(OP=p1|P=p2)=0,21,簡單貝葉斯模型,以下類型的分類任務(wù)與任務(wù)的一個非常適合的模型 假設(shè)對h1，hn有興趣 假設(shè)他們之間完全窮盡且互相排斥 結(jié)果指標(biāo)I1，Im去預(yù)測hi 結(jié)果是有條件獨立給出的假設(shè),22,簡單貝葉斯模型的表示,計算和代表一個有效的模型能在很多情況下能提供好的結(jié)果 h1，hn被表示出和假設(shè)變量H的狀態(tài)一樣 信息變量I1，Im是變量H的子級 基本假設(shè)是當(dāng)變量H已知時，I1，Im是兩兩

11、獨立 假設(shè) 在實際中不成立，結(jié)論可能被誤解。,23,簡單貝葉斯模型,更詳細(xì)的簡單貝葉斯模型 設(shè)可能的假設(shè)，收集到一個帶有優(yōu)先假設(shè)P(H)的假設(shè)變量H中 對于每個信息變量I，得到P(I|H)=L(H|I) 對于任意觀察設(shè)置 計算： 其次 ，其中 ，或者表示通過貝葉斯規(guī)則,24,男孩或女孩悖論,兩個孩子的家庭，至少有一個是男孩的被選中 有一個女孩的概率是多少？ 我們假設(shè)每個孩子的性別的決定是獨立性事件，孩子可能是男孩或者女孩，并且每個孩子有相同的機(jī)會成為男性或者女性。 Foshee周二男孩 我有兩個孩子，一個是周二出生的男孩，那么我的兩個孩子都是男孩的概率是多少？,25,依賴發(fā)現(xiàn),假設(shè)是完全窮盡和

12、互相排斥 結(jié)果不是條件獨立給定假設(shè),26,因果影響的獨立性,頭痛（Ha）可能由于發(fā)熱（Fe）、宿醉（Ho）、纖維組織炎（Fb）、腦腫瘤（Bt）以及其他原因（Ot）引起。各種原因都能夠引起頭痛，但是它們之間相互獨立。 如果頭痛級別為I，然后增加能獨立導(dǎo)致頭痛級別q的原因，看如何能到達(dá)級別I,27,因果影響的獨立性,增加額外原因，線性時間評估 因果關(guān)系的獨立性假設(shè),28,因果影響的獨立性,利用關(guān)于CPTs的內(nèi)部結(jié)構(gòu)的知識來減少表示和推理的復(fù)雜性 從Ci到E的貢獻(xiàn)被認(rèn)為是Cj貢獻(xiàn)的獨立 注意：必須有一個狀態(tài)命令且 （序變量）,29,Noisy-OR,假設(shè)感冒和咽喉痛的因果影響可以認(rèn)為是獨立的。另外，

13、假設(shè)有一個“背景”事件，可能導(dǎo)致喉嚨變痛 “背景”事件導(dǎo)致咽喉痛有0.05的可能性 感冒導(dǎo)致咽喉痛的概率有0.4且P(Cold)=0.1 心絞痛導(dǎo)致咽喉痛有0.7可能切P(Angina)=0.05 P(sore|cold,angina)是noisy-OR功能: 對于每種原因，我們只需要指定一個指定的號碼，成為抑制劑概率。舉例，我們的抑制劑概率為0.95，0.6和0.3 屬性參數(shù)的數(shù)目與父級數(shù)目線性增長,30,Noisy-OR交互模型,設(shè)X1, X2是影響變量Y和讓所有變量成為布爾的原因,31,因果關(guān)系影響的獨立性,必須滿足以下條件 X1，Xn，Y表明異常存在的程度（狀態(tài)的順序） 事件Xi引起Y

14、與pi的影響 在實踐中沒有顯著的共同作用 通過以上假設(shè)，ICI可以接近真實的CPT 距離測量歐幾里德，KL 具有其他功能而不是分離，例如：noisy-Max,32,父級分離,設(shè)X1，Xn是Y的原因列表 指定P(Y|X1，Xn)涉及到一個非常大的需求獲取任務(wù) 通過中間變量C，可能使分離父級 考慮到頭痛的原因或者約束情況,33,父級分離,設(shè)X1，Xn成為Y的原因的列表： 假設(shè)，（X1，X2）的配置可以分成c1，cm (X1，X2)，(x1，x 2)ci適用于所有的y： P(y|x1，x2，x3，xn)=P(y|x1，x2，x3，xn) 如果|C|X1|*|X2|，則PD（表示）是有效的,34,專家

15、意見,假設(shè)你擁有許多專家e1，em 所有的都認(rèn)為P(Y|X1，Xn) P(Y|X1，Xn，ei)，對于i=1，m 你在專家中的事先信念是P(E)，其中E有為每個專家的狀態(tài)。 節(jié)點代表專家被除去使用 1 pa（X） = P(X|pa(X) P V = P(X|paX)P(V),35,結(jié)構(gòu)的不確定性,考慮到變量Y與確定的父級X3和X4 A和B是否是父級是不確定的 這種情況可以模仿上面的地方所示 P(A/B|A,B,S)是確定性的 選擇變量P(S)關(guān)于A和B是否是父級輸入我們的信任,36,功能不確定性,考慮一種情況，父級已知，但是作用關(guān)系未知 E=AB 或者E=AB 創(chuàng)建帶有兩種狀態(tài)的節(jié)點M 設(shè)M成

16、為P(E|A，B)的模型節(jié)點 P(M)依賴性地指定我們的優(yōu)先信任,37,圓弧反轉(zhuǎn),如何在不改變底層概率分布下改變邊緣方向？ 統(tǒng)一性原則： P x pa X = 1 pa（X） 因此，如果變量X沒有興趣，沒有觀察到，且沒有子級，那么X可以從圖形中刪除。,38,節(jié)點吸收,我們怎么樣才能刪除一個節(jié)點，且在無需改變底層概率分布？ 通過圓弧反轉(zhuǎn)的排列 圓弧反轉(zhuǎn)和節(jié)點吸收可以作為一個推理算法,39,功能節(jié)點,注意在利用額外計算的更新結(jié)果中，如何使用hugin當(dāng)做計算器？ 一個功能節(jié)點代表一個取決于父級的實值函數(shù) 如果可能的話，信念函數(shù)更新后，功能節(jié)點的值被計算,40,功能節(jié)點例子,使用帶有自變量年齡，眼睛

17、-顏色，動物-主人，智商-身高的模型計算得分 總得分是個人得分的線性和計算得出 年齡的得分（0-20=5，20-40=7，40-60=9，60+=11），眼睛-顏色（藍(lán)色=10，棕色=20，綠色=30），房屋-主人（0，25依變量值是不變的 智商得分和身高使它們變量功能,41,功能節(jié)點,功能節(jié)點代表真實值功能依賴于它們的父級 功能節(jié)點僅僅作為子級的功能節(jié)點 函數(shù)值表達(dá)式可以使用父函數(shù)，布爾，編號和連續(xù)的節(jié)點值（間隔節(jié)點是不支持的） 當(dāng)連續(xù)節(jié)點在表達(dá)式中出現(xiàn)，節(jié)點的平均值在計算函數(shù)值時被使用 功能節(jié)點值在使用表達(dá)式時被定義 功能節(jié)點在推理過程中不直接參與。沒有證據(jù)顯示功能節(jié)點,42,功能節(jié)點練習(xí)：邏輯回歸,這個簡化的模型中使用三個危險因素（年齡，性別和血液中膽固醇水平）來預(yù)測10年內(nèi)心臟病死亡風(fēng)險： 0 =5.0（intercept） 1