目前主要存在兩類貝葉斯網(wǎng)絡(luò)學(xué)習(xí)方法

1、1貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)目標(biāo)是：給定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)S和訓(xùn)練樣本集D,利用先驗(yàn)知識(shí)，確定貝葉斯網(wǎng)絡(luò)模型 各結(jié)點(diǎn)處的條件概率密度，記為：p(S/D，s)。常見的數(shù)學(xué)習(xí)方法有最大似然估計(jì)算法、貝葉斯估計(jì)算法、不完備數(shù)據(jù)下參數(shù)學(xué)習(xí)等。 即用MLE公式和BE公式、EM來求參數(shù)。最大似然估計(jì)方法中，參數(shù)是通過計(jì)算給定父結(jié)點(diǎn)集的值時(shí)，結(jié)點(diǎn)不同取值的出現(xiàn)頻率， 并以之作為該結(jié)點(diǎn)的條件概率參數(shù);最大似然估計(jì)的基本原理就是試圖尋找使得似然函 數(shù)最大的參數(shù)。貝葉斯估計(jì)方法假定一個(gè)固定的未知參數(shù)，考慮給定拓?fù)浣Y(jié)構(gòu)S下，參數(shù)的所有 可能取值，利用先驗(yàn)知識(shí)，尋求給定拓?fù)浣Y(jié)構(gòu)S和訓(xùn)練樣本集D時(shí)具有最大后驗(yàn)概率 的參數(shù)取值。由貝葉

2、斯規(guī)則，可以得出：Ip(O|n$) = (p(Z|O,S)p(O|S)/(p(O|5),其中p(0|5)為拓?fù)浣Y(jié)構(gòu) $ F參數(shù)。 刊先驗(yàn)概率，p(D|g)勺具體參數(shù)取值無關(guān)”叫不完備數(shù)據(jù)下參數(shù)學(xué)習(xí)：數(shù)據(jù)不完備時(shí)參數(shù)學(xué)習(xí)的困難在于參數(shù)之間不是相互獨(dú)立的， MLE方法的似然函數(shù)和貝葉斯估計(jì)方法的后驗(yàn)概率都無法分解成關(guān)于每個(gè)參數(shù)獨(dú)立計(jì) 算的因式。EM算法的實(shí)質(zhì)是設(shè)法把不完備數(shù)據(jù)轉(zhuǎn)化為完備數(shù)據(jù)。在不完全數(shù)據(jù)集上學(xué)習(xí)貝葉斯網(wǎng)絡(luò)，F(xiàn)hedma提出了 structural EM算法，該算法結(jié)合了 EM 算法和結(jié)構(gòu)搜索的方法，EM算法用于優(yōu)化網(wǎng)絡(luò)參數(shù)，結(jié)構(gòu)搜索用于模型選擇。2貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)目前主要存在兩類

3、貝葉斯網(wǎng)絡(luò)學(xué)習(xí)方法：基于搜索和評(píng)分的方法(Search and Score based Method)和基于獨(dú)立性測(cè)試的方法(Conditional Independence Testing based Method).2.1基于搜索和評(píng)分的方法主要由兩部分組成(評(píng)分函數(shù)和搜索算法)。2.1.1常用的評(píng)分函數(shù)有貝葉斯評(píng)分函數(shù)和基于信息論的評(píng)分函數(shù)。(1) 貝葉斯評(píng)分函數(shù)(MAP測(cè)度)5)=p(s 氣滑也通常，分母p(D)是連續(xù)的，與拓?fù)浣Y(jié)構(gòu)s無關(guān)，因此主要工作就是最大化分子p(D/S)p(S)。因此，其核心思想是給定訓(xùn)練數(shù)據(jù)集D,尋求具有最大后驗(yàn)概率(Maximum A Posteriori，

4、簡(jiǎn) 稱MAP)的拓?fù)浣Y(jié)構(gòu)。因此兩邊取對(duì)數(shù)，我們通常有如下函數(shù)：Log (p(S/D) = log (p (D/S) +log (p(S)K2評(píng)分函數(shù)BICBD評(píng)分(Bayesian Dirichlet Score)函數(shù)(其是K2函數(shù)的泛化)BDe評(píng)分函數(shù)(依據(jù)附加的似然等價(jià)假設(shè)，提出一個(gè)特例)(2)基于信息論的評(píng)分函數(shù)應(yīng)用的信息論原理主要是最小描述長(zhǎng)度(MDL)原理?；贛DL的評(píng)分函數(shù)具有兩個(gè)部 分，訓(xùn)練數(shù)據(jù)集的似然函數(shù)值Ldata和網(wǎng)絡(luò)模型的復(fù)雜度Lnet，MDL測(cè)度可以表示為S頃g略2.1.2搜索算法爬山法、貪心策略、模擬退火、最優(yōu)最先(best 一 first)搜索等方法。MCMC (

5、Monte Carlo Markov chain)模型查找過程學(xué)習(xí)貝葉斯網(wǎng)絡(luò)應(yīng)用隨機(jī)局部搜索算法學(xué)習(xí)貝葉斯網(wǎng)絡(luò)應(yīng)用遺傳算法或演化算法學(xué)習(xí)貝葉斯網(wǎng)絡(luò)K2算法是基于爬山搜索算法(hill climbing)和貝葉斯評(píng)分函數(shù)。使用貪婪搜索算法查找次 優(yōu)貝葉斯網(wǎng)絡(luò)K3算法：使用基于信息論中的最小描述長(zhǎng)度原理(MinimumDescriPtinnLength MDL)的 評(píng)分函數(shù)代替K2算法中貝葉斯評(píng)分函數(shù)。2.2基于獨(dú)立性測(cè)試的方法2002年，Cheng將信息論與統(tǒng)計(jì)測(cè)試相結(jié)合，使用相互信息代替了條件獨(dú)立測(cè)試，經(jīng) 過 Drafting、Thickening、Thinning 三個(gè)步驟，通過計(jì)算相互信息量(Mutual Information)來確 定結(jié)點(diǎn)間的條件獨(dú)立性，從而構(gòu)造多連接有向圖模型。2.3不完備數(shù)據(jù)下結(jié)構(gòu)學(xué)習(xí)數(shù)據(jù)不完備時(shí)，學(xué)習(xí)BNs絡(luò)結(jié)構(gòu)的困難在于:(l)評(píng)分函數(shù)無法分解，無法進(jìn)行局部搜索。(2)充分統(tǒng)計(jì)因子不存在，無法直接進(jìn)行結(jié)構(gòu)打分。不完備數(shù)據(jù)下的結(jié)構(gòu)學(xué)習(xí)方法主要有 MCMC方法、EM方法、梯度方法等。目前，貝葉斯網(wǎng)絡(luò)的研究主要集中在以下幾個(gè)方向。 一個(gè)研究方向是基于不完整數(shù)據(jù)集構(gòu)造貝葉斯網(wǎng)絡(luò)，以充分利用不完整數(shù)據(jù)樣本中所包 含的信息；另一個(gè)研究方向是降低貝葉斯網(wǎng)