機(jī)器學(xué)習(xí)課件-貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)章節(jié)介紹貝葉斯網(wǎng)絡(luò)(Bayesiannetwork)，又稱為信念網(wǎng)絡(luò)(Beliefnetwork)

，是一種通過(guò)有向無(wú)環(huán)圖(Directedacyclicgraph,DAG)表示一組隨機(jī)變量及其條件依賴概率的概率圖模型。概率圖中，節(jié)點(diǎn)表示隨機(jī)變量，有向邊表示隨機(jī)變量間的依賴關(guān)系，條件概率表示依賴關(guān)系的強(qiáng)度。沒(méi)有父節(jié)點(diǎn)的節(jié)點(diǎn)用先驗(yàn)概率表達(dá)信息。兩個(gè)節(jié)點(diǎn)若無(wú)連接則表示相互獨(dú)立的隨機(jī)變量。貝葉斯網(wǎng)絡(luò)中的節(jié)點(diǎn)可以表示任意問(wèn)題，豐富的概率表達(dá)能力使能較好地處理不確定性信息或問(wèn)題。貝葉斯網(wǎng)絡(luò)中所有節(jié)點(diǎn)都是可見(jiàn)的，并且節(jié)點(diǎn)間的因果關(guān)系可以非常直觀地觀察到。這些特性都使得貝葉斯網(wǎng)絡(luò)在眾多智能系統(tǒng)中有相當(dāng)重要的應(yīng)用本章首先介紹貝葉斯網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，重點(diǎn)講解貝葉斯的概率基礎(chǔ)和樸素貝葉斯分類模型，并結(jié)合實(shí)際案例說(shuō)明貝葉斯網(wǎng)絡(luò)的應(yīng)用章節(jié)結(jié)構(gòu)貝葉斯理論概述貝葉斯概率基礎(chǔ)概率論貝葉斯概率樸素貝葉斯分類模型貝葉斯網(wǎng)絡(luò)推理貝葉斯網(wǎng)絡(luò)的應(yīng)用中文分詞機(jī)器翻譯故障診斷疾病診斷貝葉斯理論概述

貝葉斯概率基礎(chǔ)概率論古典概率幾何概率條件概率加法定理減法定理獨(dú)立事件聯(lián)合概率分布條件概率分布貝葉斯概率先驗(yàn)概率后驗(yàn)概率全概率公式貝葉斯公式樸素貝葉斯分類模型樸素貝葉斯分類模型是一種簡(jiǎn)單的構(gòu)造分類器的方法。樸素貝葉斯分類模型是將問(wèn)題分為特征向量和決策向量?jī)深?，并假設(shè)問(wèn)題的特征向量都是相互獨(dú)立地作用于決策向量的，即問(wèn)題的特征之間都是互不相關(guān)的。盡管有這樣過(guò)于簡(jiǎn)單的假設(shè)，但樸素貝葉斯分類模型能指數(shù)級(jí)降低貝葉斯網(wǎng)絡(luò)構(gòu)建的復(fù)雜性，同時(shí)還能較好地處理訓(xùn)練樣本的噪聲和無(wú)關(guān)屬性，所以樸素貝葉斯分類模型仍然在很多現(xiàn)實(shí)問(wèn)題中有著高效的應(yīng)用，例如入侵檢測(cè)和文本分類等領(lǐng)域。目前許多研究學(xué)者也在致力于改善特征變量間的獨(dú)立性的限制使得樸素貝葉斯分類模型可以應(yīng)用到更多問(wèn)題上樸素貝葉斯分類模型

樸素貝葉斯分類模型

樸素貝葉斯分類模型樸素貝葉斯分類模型應(yīng)用流程的三個(gè)階段樸素貝葉斯分類模型樸素貝葉斯分類器還可以進(jìn)行提升(Boosting)，提升方法的主要思想是學(xué)習(xí)多個(gè)分類器組成一個(gè)分類器序列，序列中后面的分類器對(duì)前面的分類器導(dǎo)致的錯(cuò)誤分類的數(shù)據(jù)給予更高的重視，即調(diào)整前一個(gè)分類器分類錯(cuò)誤的訓(xùn)練集的權(quán)值，并對(duì)訓(xùn)練集重新計(jì)算權(quán)值以調(diào)整下一個(gè)分類器，以此類推，最終得到提升后的強(qiáng)分類器樸素貝葉斯分類模型結(jié)構(gòu)簡(jiǎn)單，只有兩層結(jié)構(gòu)。由于特征向量間的相互獨(dú)立，算法簡(jiǎn)單易于實(shí)現(xiàn)。同時(shí)算法有穩(wěn)定的分類效率，對(duì)于不同特點(diǎn)的數(shù)據(jù)集其分類性能差別不大。樸素貝葉斯分類在小規(guī)模的數(shù)據(jù)集上表現(xiàn)優(yōu)秀，并且分類過(guò)程時(shí)空開(kāi)銷小。算法也適合增量式訓(xùn)練，在數(shù)據(jù)量較大時(shí)，可以人為劃分后分批增量訓(xùn)練樸素貝葉斯分類模型以下是應(yīng)用sklearn庫(kù)中樸素貝葉斯（高斯）分類模型進(jìn)行分析的示例代碼。數(shù)據(jù)源是通過(guò)sklearn中的聚類生成器（make_blobs）生成的50000個(gè)隨機(jī)樣本，每個(gè)樣本的特征數(shù)為2個(gè)，共有三個(gè)類簇，樣本集的標(biāo)準(zhǔn)差是1.0，隨機(jī)數(shù)種子為42centers=[(-5,-5),(0,0),(5,5)]X,y=make_blobs(n_samples=50000,n_features=2,cluster_std=1.0,centers=centers,shuffle=False,random_state=42)y[:n_samples//2]=0y[n_samples//2:]=1sample_weight=np.random.RandomState(42).rand(y.shape[0])X_train,X_test,y_train,y_test,sw_train,sw_test=train_test_split(X,y,sample_weight,test_size=0.9,random_state=42)clf=GaussianNB()clf.fit(X_train,y_train)prob_pos_clf=clf.predict_proba(X_test)[:,1]target_pred=clf.predict(X_test)score=accuracy_score(y_test,target_pred,normalize=True)print("accuracyscore:",score)樸素貝葉斯分類模型

通過(guò)GuassianNB算法fit之后，對(duì)測(cè)試集X_test進(jìn)行預(yù)測(cè)，結(jié)果存在prob_pos_clf中輸出分類結(jié)果：accuracyscore:0.8335樸素貝葉斯分類模型

樸素貝葉斯分類模型

貝葉斯網(wǎng)絡(luò)推理不確定性推理是機(jī)器學(xué)習(xí)的重要研究?jī)?nèi)容之一。用概率論方法進(jìn)行不確定推理的一般流程是首先將問(wèn)題抽象為一組隨機(jī)變量與其聯(lián)合概率分布表，然后根據(jù)概率論公式進(jìn)行推理計(jì)算，但這個(gè)流程復(fù)雜度高議程警鈴問(wèn)題

議程警鈴問(wèn)題BCADE概率

BCADE概率yesyesyesyesyes1.2E-4

noyesyesyesyes3.6E-3yesyesyesyesno5.1E-5

noyesyesyesno1.6E-3yesyesyesnoyes1.3E-5

noyesyesnoyes4.0E-4yesyesyesnono5.7E-6

noyesyesnono1.7E-4yesyesnoyesyes5.0E-7

noyesnoyesyes7.0E-6yesyesnoyesno4.9E-7

noyesnoyesno6.9E-4yesyesnonoyes9.5E-8

noyesnonoyes1.3E-4yesyesnonono9.4E-6

noyesnonono1.3E-2yesnoyesyesyes5.8E-3

nonoyesyesyes6.1E-4yesnoyesyesno2.5E-3

nonoyesyesno2.6E-4yesnoyesnoyes6.5E-4

nonoyesnoyes6.8E-5yesnoyesnono2.8E-4

nonoyesnono2.9E-5yesnonoyesyes2.9E-7

nononoyesyes4.8E-4yesnonoyesno2.9E-5

nononoyesno4.8E-2yesnononoyes5.6E-6

nonononoyes9.2E-3yesnononono5.5E-4

nonononono9.1E-1議程警鈴問(wèn)題

BDyesyes0.000115yesno0.000075noyes0.00015nono0.99966議程警鈴問(wèn)題

議程警鈴問(wèn)題

議程警鈴問(wèn)題

議程警鈴問(wèn)題ABCyesyesyes0.95noyesyes0.05yesyesno0.94noyesno0.06yesnoyes0.29nonoyes0.71yesnono0.001nonono0.999議程警鈴問(wèn)題如何定量地描述圖中節(jié)點(diǎn)間的依賴關(guān)系呢？根據(jù)聯(lián)合概率分布表和基本公式，可以計(jì)算出每個(gè)節(jié)點(diǎn)的條件概率表。有向無(wú)環(huán)圖和條件概率表就構(gòu)成了一個(gè)貝葉斯網(wǎng)絡(luò)Bp(B)yes0.01no0.99Cp(C)yes0.02no0.98DAp(D|A)

EAp(E|A)yesyes0.9

yesyes0.7noyes0.1

noyes0.3yesno0.05

yesno0.01nono0.95

nono0.99議程貝葉斯網(wǎng)絡(luò)的表示

議程貝葉斯網(wǎng)絡(luò)的構(gòu)建

議程貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)是對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析獲取貝葉斯網(wǎng)絡(luò)的過(guò)程。學(xué)習(xí)包括了參數(shù)學(xué)習(xí)和結(jié)構(gòu)學(xué)習(xí)兩部分。參數(shù)學(xué)習(xí)是在網(wǎng)絡(luò)結(jié)構(gòu)已知的情況下確定參數(shù)即條件概率表中的值。結(jié)構(gòu)學(xué)習(xí)則既需要確定網(wǎng)絡(luò)結(jié)構(gòu)G以定性反映變量間的依賴關(guān)系，又需要確定網(wǎng)絡(luò)參數(shù)以定量得到條件概率表中的值在對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行參數(shù)學(xué)習(xí)時(shí)，我們已經(jīng)知道了網(wǎng)絡(luò)結(jié)構(gòu)G和G中所有節(jié)點(diǎn)或部分節(jié)點(diǎn)的狀態(tài)值，這些狀態(tài)值就是需要進(jìn)行學(xué)習(xí)的數(shù)據(jù)集議程貝葉斯網(wǎng)絡(luò)推理貝葉斯網(wǎng)絡(luò)的推理是指在已知網(wǎng)絡(luò)結(jié)構(gòu)G和參數(shù)Θ下，給定某些證據(jù)或變量的值通過(guò)概率論的方法求目標(biāo)變量值的過(guò)程。貝葉斯網(wǎng)絡(luò)的推理主要包括兩種，一種為自頂向下的推理，一種為自底向上的推理推理主要運(yùn)用的方法有精確推理和近似推理兩種，分別有一些算法來(lái)解決實(shí)際問(wèn)題。不同情況下有不同因素影響推理，貝葉斯網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和推理任務(wù)是兩大主要復(fù)雜度來(lái)源。網(wǎng)絡(luò)的大小、變量的類型和分布情況、推理任務(wù)的類型和相關(guān)證據(jù)的特征都會(huì)影響推理過(guò)程和結(jié)果，實(shí)際應(yīng)用中也應(yīng)靈活選擇推理方法議程精確推理精確推理最簡(jiǎn)單的方法即計(jì)算全局的聯(lián)合概率，但直接對(duì)聯(lián)合概率進(jìn)行計(jì)算的效率很低，常常采用變量消元法分別聯(lián)合概率的求解達(dá)到簡(jiǎn)化計(jì)算的目的。變量消元法利用鏈?zhǔn)匠朔e法則和條件獨(dú)立性對(duì)聯(lián)合概率計(jì)算表達(dá)式進(jìn)行變換，改變基本運(yùn)算的次序改變消元的次序，最終達(dá)到減少計(jì)算量的目的。該方法的基本思想可以通過(guò)一個(gè)簡(jiǎn)單例子描述，假設(shè)有如下所示的簡(jiǎn)單貝葉斯網(wǎng)絡(luò)ABCD議程精確推理

議程近似推理在貝葉斯網(wǎng)絡(luò)節(jié)點(diǎn)很多或依賴關(guān)系很復(fù)雜時(shí)，精確推理的復(fù)雜度很高，通常需要降低推理的復(fù)雜度，在問(wèn)題的因果關(guān)系在網(wǎng)絡(luò)中可獨(dú)立于某一塊存在時(shí)，可以將這一部分結(jié)構(gòu)提取出來(lái)用精確推理的方法推理。在不能利用局部獨(dú)立時(shí)，就需要降低計(jì)算的精度，即采用近似推理的方法。隨機(jī)抽樣算法是最常用的近似推理方法。該方法又被認(rèn)為蒙特卡洛算法或隨機(jī)仿真。算法的基本思想上根據(jù)某種概率分布進(jìn)行隨機(jī)抽樣以得到一組隨機(jī)樣本，再根據(jù)這一組隨機(jī)樣本近似地估計(jì)需要計(jì)算的值貝葉斯網(wǎng)絡(luò)的應(yīng)用貝葉斯網(wǎng)絡(luò)經(jīng)過(guò)長(zhǎng)期的發(fā)展，現(xiàn)已被應(yīng)用到人工智能的眾多領(lǐng)域。包括模式識(shí)別、數(shù)據(jù)挖掘、自然語(yǔ)言處理、輔助智能決策等等。其中針對(duì)很多領(lǐng)域核心問(wèn)題的分類問(wèn)題，大量卓有成效的算法都是基于貝葉斯理論設(shè)計(jì)在醫(yī)療領(lǐng)域，貝葉斯網(wǎng)絡(luò)用于醫(yī)療診斷在工業(yè)領(lǐng)域，貝葉斯網(wǎng)絡(luò)用于對(duì)工業(yè)制品的故障檢測(cè)和性能分析在軍事上也被應(yīng)用于身份識(shí)別等各種戰(zhàn)場(chǎng)推理在生物農(nóng)業(yè)領(lǐng)域，貝葉斯網(wǎng)絡(luò)在基因連鎖分析、農(nóng)作物推斷、獸醫(yī)診斷、環(huán)境分析等等問(wèn)題上都有大量的應(yīng)用在金融領(lǐng)域可用于構(gòu)建風(fēng)控模型在企業(yè)管理上可用于決策支持在自然語(yǔ)言處理方面可用于文本分類、中文分詞、機(jī)器翻譯議程中文分詞

議程中文分詞

議程機(jī)器翻譯

議程故障診斷故障診斷是為了找到某種設(shè)備出現(xiàn)故障時(shí)故障的所在部件，在工業(yè)領(lǐng)域，自動(dòng)的故障診斷裝置能節(jié)省一線工作人員大量的預(yù)判斷時(shí)間?；谝?guī)則的系統(tǒng)可以被用于故障診斷，但是起不能處理不確定性問(wèn)題，在實(shí)際環(huán)境中難以靈活應(yīng)用。貝葉斯網(wǎng)能較好地描述可能的故障來(lái)源，在處理故障診斷的不確定問(wèn)題上有優(yōu)秀的表現(xiàn)。多年來(lái)研究人員開(kāi)發(fā)出了多種基于貝葉斯網(wǎng)絡(luò)的故障診斷系統(tǒng)，包括對(duì)汽車啟動(dòng)故障的診斷、波音飛機(jī)的故障診斷、核電廠軟硬件的故障診斷等等議程故障診斷Heckerman等人在1995提出了一種汽車發(fā)動(dòng)機(jī)診斷系統(tǒng)，該系統(tǒng)用于診斷汽車無(wú)法正常啟動(dòng)的原因，可見(jiàn)原因有多種，所以可以利用前文提到的診斷推理的方法，找到后驗(yàn)概率最大的故障原因其網(wǎng)絡(luò)結(jié)構(gòu)如下電池使用時(shí)間長(zhǎng)發(fā)動(dòng)機(jī)報(bào)廢皮帶斷開(kāi)電池報(bào)廢未充電電池沒(méi)電無(wú)潤(rùn)滑油無(wú)燃油燃油指示失靈啟動(dòng)器失靈燃油指示燈潤(rùn)滑油指示燈引擎無(wú)法啟動(dòng)照明大燈議程疾病診斷疾病診斷是從一系列歷史經(jīng)驗(yàn)和臨床檢驗(yàn)結(jié)果中對(duì)病人患有疾病種類和患病程度的判斷。機(jī)器學(xué)習(xí)在疾病診斷領(lǐng)域有較多的應(yīng)用，在上世紀(jì)70年代就有基于規(guī)則設(shè)計(jì)的產(chǎn)生式專家系統(tǒng)用于對(duì)疾病進(jìn)行診斷，但是該類型系統(tǒng)不能處理不確定性使其診斷正確率遠(yuǎn)低于臨床醫(yī)生。后來(lái)研究人員基于貝葉斯網(wǎng)絡(luò)設(shè)計(jì)了新的疾病診斷系統(tǒng)以處理不確定性問(wèn)題，新系統(tǒng)的診斷準(zhǔn)確程度已可與專業(yè)臨床醫(yī)生相當(dāng)。下面是一個(gè)對(duì)胃部疾病建模的簡(jiǎn)單貝葉斯網(wǎng)絡(luò)的部分，網(wǎng)絡(luò)結(jié)構(gòu)與條件概率不一定符合真實(shí)情況，這里關(guān)鍵是對(duì)貝葉斯網(wǎng)絡(luò)的應(yīng)用予以闡釋。假設(shè)我們已經(jīng)根據(jù)歷史診斷經(jīng)驗(yàn)得到了如下圖所示貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)議程疾病診斷鍛煉飲食胃痛腹脹惡心胃炎傷寒細(xì)菌感染暈動(dòng)癥神經(jīng)疾病議程疾病診斷其對(duì)應(yīng)的部分條件概率表為：對(duì)“鍛煉”與“飲食”節(jié)點(diǎn)：對(duì)“胃痛”節(jié)點(diǎn)：鍛煉=“是”0.5

鍛煉=“否”0.5飲食=“健康”0.4

飲食=“亞健康”0.6

胃痛=“是”胃痛=“否”鍛煉=“是”，飲食=“健康”0.20.8鍛煉=“是”，飲食=“亞健康”0.450.55鍛煉=“否”，飲食=“健康”0.550.45鍛煉=“否”，飲食=“亞健康”0