貝葉斯網(wǎng)絡(luò)建模技術(shù).pptx

1、貝葉斯網(wǎng)絡(luò)建模技術(shù),Anders L. Madsen HUGIN EXPERT A/S 2012.03,大綱,表格生成器 連續(xù)節(jié)點(diǎn) 中介變量 無(wú)定向關(guān)系 測(cè)量誤差 簡(jiǎn)單貝葉斯模型 因果影響的獨(dú)立 父級(jí)分離 專(zhuān)家異議、結(jié)構(gòu)的不確定、功能的不確定 反轉(zhuǎn)弧和節(jié)點(diǎn)吸收 功能節(jié)點(diǎn),2,貝葉斯網(wǎng)絡(luò)的定義,貝葉斯網(wǎng)格N=(G,P)由以下組成： 一組變量和一組在變量間的有向邊 變量與定向一起形成DAG 每個(gè)變量都有一組有限狀態(tài)集 附屬于每個(gè)變量的X與它們的 父級(jí)Y1,Yn，有一個(gè)條件概率 表格P(X|Y1,，Yn),3,表格生成器,如果CPT是低維數(shù)的，那么知識(shí)獲取可由專(zhuān)家評(píng)判執(zhí)行 域知識(shí)和經(jīng)驗(yàn) 表格生成器是

2、一個(gè)與其父級(jí)相關(guān)點(diǎn)的數(shù)學(xué)描述CPT/UT的生成工具 它是一種指定CPTs和UTs緊湊描述描述的一種方法 統(tǒng)計(jì)分布，算子和邏輯運(yùn)算符以及它們之間的關(guān)系 也是一種知識(shí)規(guī)范的有效工具，而不是值的引出工具,4,離散機(jī)會(huì)節(jié)點(diǎn)的子類(lèi)型,在表達(dá)式中使用不同的算子有不同的返回類(lèi)型和不同的參數(shù)類(lèi)型要求 標(biāo)記的節(jié)點(diǎn)可用于等式比較并表示確定性關(guān)系 狀態(tài)：紅，藍(lán)，low 功能：如果-那么，分配 布爾運(yùn)算節(jié)點(diǎn)可以代表真實(shí)值“錯(cuò)誤”或者“正確”（在該命令下），也可作為邏輯運(yùn)算符 狀態(tài)：錯(cuò)誤，正確 功能：和，或者，否，=，！=，Noisy-OR,5,離散機(jī)會(huì)節(jié)點(diǎn)的子類(lèi)型,已編好的節(jié)點(diǎn)數(shù)代表增加數(shù)字?jǐn)?shù)列（整數(shù)或?qū)崝?shù)）和可以用

3、于算術(shù)運(yùn)算符，數(shù)學(xué)函數(shù)等 狀態(tài)：-，-2.2，-1.5，0，1，2，3， 功能：二項(xiàng)式，幾何，負(fù)二項(xiàng)式，泊松比，+，-，*，/， 間隔節(jié)點(diǎn)表示實(shí)線不相交，可用于已編好的節(jié)點(diǎn)。此外， 當(dāng)指定的連續(xù)量的時(shí)間間隔離散時(shí)，可以使用他們 狀態(tài)：-；-10，-10；-5，-5；-1 功能：，e，正態(tài)，二項(xiàng)式，幾何，負(fù)二項(xiàng)式，泊松，+，-，*，/，,6,在表格生成器備注,表達(dá)式取決于模型節(jié)點(diǎn)的配置 設(shè)X，A，B，C是3個(gè)布爾變量 設(shè)X為A，B，C的父集 當(dāng)A為真，X=BC，當(dāng)A為假，X=BC 當(dāng)父集包含用于間隔節(jié)點(diǎn)樣本值 手冊(cè)中描述語(yǔ)法的表達(dá)式 前綴表示法,7,表格生成器練習(xí),在預(yù)測(cè)擲n次骰子時(shí)，能夠擲出幾

4、次6的問(wèn)題。不幸的是，我們不知道骰子是真的還是假的。如果是假的，那么平均每擲5次會(huì)出現(xiàn)一次6。 建立一個(gè)模型來(lái)估計(jì)擲n次骰子時(shí)能夠擲出幾次6的次數(shù)，其中n是一個(gè)從1到10的數(shù)字,8,連續(xù)的節(jié)點(diǎn),設(shè)Y是一個(gè)連續(xù)隨機(jī)變量，有離散父級(jí)I和連續(xù)父級(jí)Z Y（和Z）我們假設(shè)高斯分布（正態(tài)分布）父級(jí)的條件值 其中 這個(gè)就是稱(chēng)為CG分布,9,模型的限制,Y是線性條件高斯分布： 其中 注意： 平均值線性取決于連續(xù)的父級(jí) 方差不取決于連續(xù)的父級(jí) 線性函數(shù)和方差取決于離散的父級(jí) 這些限制確保精確推理成為可能 被稱(chēng)為線性條件高斯貝葉斯網(wǎng)格,10,溫度,通過(guò)使用一個(gè)可選擇低、中、高溫度的簡(jiǎn)單空調(diào)系統(tǒng)，在一個(gè)房間里溫度可

5、調(diào)節(jié)。假設(shè)實(shí)際溫度以1度的方差正態(tài)分布，意味著分別相當(dāng)于18，20和22度。在房間里面，使用不同質(zhì)量的溫度計(jì)（高或者低）測(cè)量溫度。低質(zhì)量的溫度計(jì)有0.5的方差，而質(zhì)量好的溫度計(jì)只有0.1的方差。假設(shè)在測(cè)量中加入了平均值為1，方差為0.1的噪聲。 在房間里建立對(duì)溫度的推理模型,11,通過(guò)人工智能和數(shù)學(xué)課堂,假設(shè)每學(xué)期，上一次數(shù)學(xué)而上兩次人工智能。參加學(xué)習(xí)班學(xué)生的人數(shù)取決于科目。平均每120名學(xué)生選用人工智能課（2=500），而每180名學(xué)生選擇數(shù)學(xué)課（2=1000）。假設(shè)平均25%通過(guò)人工智能考試（2=400），平均50%通過(guò)數(shù)學(xué)考試（2=500）。假設(shè)考試已經(jīng)完成。 預(yù)測(cè)通過(guò)考試的學(xué)生數(shù)是多少

6、？ 預(yù)測(cè)通過(guò)數(shù)學(xué)考試的學(xué)生數(shù)是多少？ 當(dāng)80個(gè)學(xué)生通過(guò)考試，預(yù)測(cè)參加數(shù)學(xué)考試的學(xué)生數(shù)是多少？,12,CDVT功能,CLG模型不允許連續(xù)節(jié)點(diǎn)的離散子級(jí) HUGIN GUI實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的過(guò)程，支持從一個(gè)連續(xù)節(jié)點(diǎn)Y到離散節(jié)點(diǎn)D的鏈接 D必須是狀態(tài)從信息到信息的間隔節(jié)點(diǎn) D可以沒(méi)有其它父級(jí) 證據(jù)只可以在指定方向傳播鏈接 在證據(jù)的傳播間，Y的邊緣分布被設(shè)定為D的表達(dá)。 這種功能應(yīng)該格外小心使用。,13,變量的目的,貝葉斯網(wǎng)格是一組變量集的知識(shí)表示。不同的變量有不同的用途。 假設(shè)：想要的是事后概率不易察覺(jué)的變量 例如：分類(lèi)和診斷變量 信息：可觀察的變量是有效的，可以提供與假設(shè)變量相關(guān)的信息。 例如：傳感

7、器讀數(shù)，背景信息，測(cè)試結(jié)果 中介：事后概率不可觀察變量是不想要的，但其未到達(dá)目標(biāo)發(fā)揮重要重要作用。 正確的條件獨(dú)立和依賴性能。 高效地推理,14,中介變量,中介變量對(duì)于獲得正確的條件獨(dú)立和依賴屬性是非常重要的 例如：激素狀態(tài)：驗(yàn)血（BT）和尿液測(cè)試（UT）是獨(dú)立的懷孕狀態(tài)（Pr） 沒(méi)有Ho變量的模型是錯(cuò)誤的，因?yàn)镠o變量沒(méi)有決定性取決于Pr，并且BT和UT是獨(dú)立給予Ho的,15,中介變量,在這種撲克游戲中，每個(gè)玩家收到三張牌，并且允許改變牌兩輪，在第一輪（FC），你可能會(huì)放棄你手中的任何一張牌，從這副牌中取一張。在第二輪中（SC），你最多放棄兩張牌，并從這副牌中取兩張。兩輪結(jié)束后，我會(huì)有興趣對(duì)

8、對(duì)手手上的牌估計(jì)一下（OH）。,16,一個(gè)簡(jiǎn)單的例子：約束,我在洗衣機(jī)里面洗了兩雙襪子。由于洗了很久，因此很難區(qū)分出這倆雙襪子。然而，有這兩雙襪子有兩種類(lèi)型款式和兩種不同顏色，用款式和顏色來(lái)區(qū)分襪子，是將它們區(qū)分正確重要的方法。 款式和顏色之間是無(wú)定向關(guān)系。,17,一個(gè)簡(jiǎn)單的例子：約束,我們有四個(gè)項(xiàng)目，S1，S4，其中Sp(Si)=t1，t2，這樣兩個(gè)項(xiàng)目必須成為類(lèi)型t1，另外兩個(gè)成為t2 這種約束可以在帶有開(kāi)或關(guān)的狀態(tài)的子變量C的 CPT編碼。 通過(guò)實(shí)例化C，約束強(qiáng)制執(zhí)行。,18,約束,設(shè)R（A，B，C） 在數(shù)值上為直接關(guān)系 R（a，b，c）0,1 引進(jìn)帶有yes和no兩種狀態(tài)的變量D 設(shè)P

9、（D=yes|A，B，C）=R（A，B，C） 設(shè)P（D=no|A，B，C）=1-R（A，B，C） 當(dāng)D=yes 得R (A，B，C)=1,19,測(cè)量誤差,往往，一個(gè)信息變量的真實(shí)值-I，它不能由于測(cè)量誤差獲得。 通過(guò)引入一個(gè)新的變量，測(cè)量誤差被建模。成為OI，代表I的觀測(cè)值。 測(cè)量誤差的大小用P(OI|I)代表 I變成調(diào)節(jié)變量，是不可觀測(cè)的。 我們需要明確地表示出模型中A的估計(jì)精度,20,測(cè)量誤差：實(shí)例,假設(shè)t1類(lèi)型的襪子是以顏色c1和款式p1為特征，t2類(lèi)型的襪子以顏色c2（c2c1）和款式p2（p2p1） 經(jīng)過(guò)幾次清洗之后： c1被誤認(rèn)為是c2有十分之三的概率 c2被誤認(rèn)為是c1有十分之二

10、的概率 p1被誤認(rèn)為是p2有百分之二的概率 p2一直被識(shí)別正確 模型如下： P(OC=c2|C=c1)=0.3 P(OC=c1|C=c2)=0.2 P(OP=p2|P=p1)=0.02 P(OP=p1|P=p2)=0,21,簡(jiǎn)單貝葉斯模型,以下類(lèi)型的分類(lèi)任務(wù)與任務(wù)的一個(gè)非常適合的模型 假設(shè)對(duì)h1，hn有興趣 假設(shè)他們之間完全窮盡且互相排斥 結(jié)果指標(biāo)I1，Im去預(yù)測(cè)hi 結(jié)果是有條件獨(dú)立給出的假設(shè),22,簡(jiǎn)單貝葉斯模型的表示,計(jì)算和代表一個(gè)有效的模型能在很多情況下能提供好的結(jié)果 h1，hn被表示出和假設(shè)變量H的狀態(tài)一樣 信息變量I1，Im是變量H的子級(jí) 基本假設(shè)是當(dāng)變量H已知時(shí)，I1，Im是兩兩

11、獨(dú)立 假設(shè) 在實(shí)際中不成立，結(jié)論可能被誤解。,23,簡(jiǎn)單貝葉斯模型,更詳細(xì)的簡(jiǎn)單貝葉斯模型 設(shè)可能的假設(shè)，收集到一個(gè)帶有優(yōu)先假設(shè)P(H)的假設(shè)變量H中 對(duì)于每個(gè)信息變量I，得到P(I|H)=L(H|I) 對(duì)于任意觀察設(shè)置 計(jì)算： 其次 ，其中 ，或者表示通過(guò)貝葉斯規(guī)則,24,男孩或女孩悖論,兩個(gè)孩子的家庭，至少有一個(gè)是男孩的被選中 有一個(gè)女孩的概率是多少？ 我們假設(shè)每個(gè)孩子的性別的決定是獨(dú)立性事件，孩子可能是男孩或者女孩，并且每個(gè)孩子有相同的機(jī)會(huì)成為男性或者女性。 Foshee周二男孩 我有兩個(gè)孩子，一個(gè)是周二出生的男孩，那么我的兩個(gè)孩子都是男孩的概率是多少？,25,依賴發(fā)現(xiàn),假設(shè)是完全窮盡和

12、互相排斥 結(jié)果不是條件獨(dú)立給定假設(shè),26,因果影響的獨(dú)立性,頭痛（Ha）可能由于發(fā)熱（Fe）、宿醉（Ho）、纖維組織炎（Fb）、腦腫瘤（Bt）以及其他原因（Ot）引起。各種原因都能夠引起頭痛，但是它們之間相互獨(dú)立。 如果頭痛級(jí)別為I，然后增加能獨(dú)立導(dǎo)致頭痛級(jí)別q的原因，看如何能到達(dá)級(jí)別I,27,因果影響的獨(dú)立性,增加額外原因，線性時(shí)間評(píng)估 因果關(guān)系的獨(dú)立性假設(shè),28,因果影響的獨(dú)立性,利用關(guān)于CPTs的內(nèi)部結(jié)構(gòu)的知識(shí)來(lái)減少表示和推理的復(fù)雜性 從Ci到E的貢獻(xiàn)被認(rèn)為是Cj貢獻(xiàn)的獨(dú)立 注意：必須有一個(gè)狀態(tài)命令且 （序變量）,29,Noisy-OR,假設(shè)感冒和咽喉痛的因果影響可以認(rèn)為是獨(dú)立的。另外，

13、假設(shè)有一個(gè)“背景”事件，可能導(dǎo)致喉嚨變痛 “背景”事件導(dǎo)致咽喉痛有0.05的可能性 感冒導(dǎo)致咽喉痛的概率有0.4且P(Cold)=0.1 心絞痛導(dǎo)致咽喉痛有0.7可能切P(Angina)=0.05 P(sore|cold,angina)是noisy-OR功能: 對(duì)于每種原因，我們只需要指定一個(gè)指定的號(hào)碼，成為抑制劑概率。舉例，我們的抑制劑概率為0.95，0.6和0.3 屬性參數(shù)的數(shù)目與父級(jí)數(shù)目線性增長(zhǎng),30,Noisy-OR交互模型,設(shè)X1, X2是影響變量Y和讓所有變量成為布爾的原因,31,因果關(guān)系影響的獨(dú)立性,必須滿足以下條件 X1，Xn，Y表明異常存在的程度（狀態(tài)的順序） 事件Xi引起Y

14、與pi的影響 在實(shí)踐中沒(méi)有顯著的共同作用 通過(guò)以上假設(shè)，ICI可以接近真實(shí)的CPT 距離測(cè)量歐幾里德，KL 具有其他功能而不是分離，例如：noisy-Max,32,父級(jí)分離,設(shè)X1，Xn是Y的原因列表 指定P(Y|X1，Xn)涉及到一個(gè)非常大的需求獲取任務(wù) 通過(guò)中間變量C，可能使分離父級(jí) 考慮到頭痛的原因或者約束情況,33,父級(jí)分離,設(shè)X1，Xn成為Y的原因的列表： 假設(shè)，（X1，X2）的配置可以分成c1，cm (X1，X2)，(x1，x 2)ci適用于所有的y： P(y|x1，x2，x3，xn)=P(y|x1，x2，x3，xn) 如果|C|X1|*|X2|，則PD（表示）是有效的,34,專(zhuān)家

15、意見(jiàn),假設(shè)你擁有許多專(zhuān)家e1，em 所有的都認(rèn)為P(Y|X1，Xn) P(Y|X1，Xn，ei)，對(duì)于i=1，m 你在專(zhuān)家中的事先信念是P(E)，其中E有為每個(gè)專(zhuān)家的狀態(tài)。 節(jié)點(diǎn)代表專(zhuān)家被除去使用 1 pa（X） = P(X|pa(X) P V = P(X|paX)P(V),35,結(jié)構(gòu)的不確定性,考慮到變量Y與確定的父級(jí)X3和X4 A和B是否是父級(jí)是不確定的 這種情況可以模仿上面的地方所示 P(A/B|A,B,S)是確定性的 選擇變量P(S)關(guān)于A和B是否是父級(jí)輸入我們的信任,36,功能不確定性,考慮一種情況，父級(jí)已知，但是作用關(guān)系未知 E=AB 或者E=AB 創(chuàng)建帶有兩種狀態(tài)的節(jié)點(diǎn)M 設(shè)M成

16、為P(E|A，B)的模型節(jié)點(diǎn) P(M)依賴性地指定我們的優(yōu)先信任,37,圓弧反轉(zhuǎn),如何在不改變底層概率分布下改變邊緣方向？ 統(tǒng)一性原則： P x pa X = 1 pa（X） 因此，如果變量X沒(méi)有興趣，沒(méi)有觀察到，且沒(méi)有子級(jí)，那么X可以從圖形中刪除。,38,節(jié)點(diǎn)吸收,我們?cè)趺礃硬拍軇h除一個(gè)節(jié)點(diǎn)，且在無(wú)需改變底層概率分布？ 通過(guò)圓弧反轉(zhuǎn)的排列 圓弧反轉(zhuǎn)和節(jié)點(diǎn)吸收可以作為一個(gè)推理算法,39,功能節(jié)點(diǎn),注意在利用額外計(jì)算的更新結(jié)果中，如何使用hugin當(dāng)做計(jì)算器？ 一個(gè)功能節(jié)點(diǎn)代表一個(gè)取決于父級(jí)的實(shí)值函數(shù) 如果可能的話，信念函數(shù)更新后，功能節(jié)點(diǎn)的值被計(jì)算,40,功能節(jié)點(diǎn)例子,使用帶有自變量年齡，眼睛

17、-顏色，動(dòng)物-主人，智商-身高的模型計(jì)算得分 總得分是個(gè)人得分的線性和計(jì)算得出 年齡的得分（0-20=5，20-40=7，40-60=9，60+=11），眼睛-顏色（藍(lán)色=10，棕色=20，綠色=30），房屋-主人（0，25依變量值是不變的 智商得分和身高使它們變量功能,41,功能節(jié)點(diǎn),功能節(jié)點(diǎn)代表真實(shí)值功能依賴于它們的父級(jí) 功能節(jié)點(diǎn)僅僅作為子級(jí)的功能節(jié)點(diǎn) 函數(shù)值表達(dá)式可以使用父函數(shù)，布爾，編號(hào)和連續(xù)的節(jié)點(diǎn)值（間隔節(jié)點(diǎn)是不支持的） 當(dāng)連續(xù)節(jié)點(diǎn)在表達(dá)式中出現(xiàn)，節(jié)點(diǎn)的平均值在計(jì)算函數(shù)值時(shí)被使用 功能節(jié)點(diǎn)值在使用表達(dá)式時(shí)被定義 功能節(jié)點(diǎn)在推理過(guò)程中不直接參與。沒(méi)有證據(jù)顯示功能節(jié)點(diǎn),42,功能節(jié)點(diǎn)練習(xí)：邏輯回歸,這個(gè)簡(jiǎn)化的模型中使用三個(gè)危險(xiǎn)因素（年齡，性別和血液中膽固醇水平）來(lái)預(yù)測(cè)10年內(nèi)心臟病死亡風(fēng)險(xiǎn)： 0 =5.0（intercept） 1