機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第4章 貝葉斯

第四章貝葉斯貝葉斯系列算法是基于貝葉斯定理和概率統(tǒng)計(jì)原理的一類算法。它們通過對(duì)特征之間的條件概率進(jìn)行建模，從而進(jìn)行分類、回歸、聚類等任務(wù)。貝葉斯模型作為一種重要的機(jī)器學(xué)習(xí)模型已在數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語言理解、經(jīng)濟(jì)統(tǒng)計(jì)與預(yù)測等領(lǐng)域得到廣泛應(yīng)用。貝葉斯系列算法在處理小樣本問題、噪聲數(shù)據(jù)以及不確定性建模方面具有優(yōu)勢，并且能夠有效利用先驗(yàn)知識(shí)進(jìn)行模型推理與預(yù)測。14.1貝葉斯方法概述貝葉斯方法提供了一種基于主觀概率的數(shù)理統(tǒng)計(jì)分析方法，使用概率分布表示和理解樣本數(shù)據(jù)，根據(jù)樣本的先驗(yàn)概率分布和訓(xùn)練樣本的標(biāo)記數(shù)據(jù)計(jì)算出相應(yīng)的后驗(yàn)概率分布，以貝葉斯風(fēng)險(xiǎn)為優(yōu)化目標(biāo)實(shí)現(xiàn)對(duì)樣本數(shù)據(jù)的分類或回歸。24.1.1貝葉斯公式

34.1.1貝葉斯公式假設(shè)模型參數(shù)的各取值狀態(tài)互不相容，則可根據(jù)全概率公式得到概率P(X)。

因此可求得44.1.1貝葉斯公式

即后驗(yàn)概率=先驗(yàn)概率×樣本信息。54.1.2貝葉斯決策理論貝葉斯決策具體步驟：1）定義決策空間：確定可供選擇的決策及其可能的結(jié)果。2）確定先驗(yàn)概率：對(duì)每個(gè)可能的結(jié)果（即條件）估計(jì)先驗(yàn)概率。先驗(yàn)概率可以基于經(jīng)驗(yàn)或?qū)＜抑R(shí)進(jìn)行估計(jì)。3）觀測到證據(jù)：收集到與決策相關(guān)的證據(jù)或觀測數(shù)據(jù)。4）計(jì)算后驗(yàn)概率：根據(jù)貝葉斯定理，將先驗(yàn)概率和觀測到的證據(jù)相結(jié)合，計(jì)算各個(gè)條件下的后驗(yàn)概率。5）選擇最優(yōu)決策：根據(jù)后驗(yàn)概率，選擇具有最大后驗(yàn)概率的決策，作為最優(yōu)的決策。64.1.3極大似然估計(jì)極大似然估計(jì)具體步驟：1）確定概率分布模型：假設(shè)觀測數(shù)據(jù)符合某個(gè)特定的概率分布模型，如正態(tài)分布、伯努利分布等。2）建立似然函數(shù)：將觀測數(shù)據(jù)看作是參數(shù)的函數(shù)，構(gòu)建似然函數(shù)。似然函數(shù)表示給定參數(shù)值下觀測數(shù)據(jù)出現(xiàn)的概率。3）最大化似然函數(shù)：找到使似然函數(shù)取得最大值的參數(shù)值，即尋找最大似然估計(jì)。通常使用優(yōu)化算法，如梯度下降法或牛頓法，求解似然函數(shù)的最大值點(diǎn)。4）得出估計(jì)值：最大似然估計(jì)得到的參數(shù)值即為所要求的估計(jì)值。74.1.3極大似然估計(jì)

84.2樸素貝葉斯算法

樸素貝葉斯算法的核心思想是根據(jù)給定的特征向量，通過計(jì)算后驗(yàn)概率來確定該樣本屬于不同類別的概率，然后選擇具有最大后驗(yàn)概率的類別作為分類結(jié)果。94.2樸素貝葉斯算法

條件概率分布為

104.2樸素貝葉斯算法

樸素貝葉斯法對(duì)條件概率分布作了條件獨(dú)立性的假設(shè)

114.2樸素貝葉斯算法后驗(yàn)概率計(jì)算根據(jù)貝葉斯定理可表示為

124.2.1高斯樸素貝葉斯

高斯樸素貝葉斯算法是一種基于貝葉斯定理和特征獨(dú)立性假設(shè)的分類算法，適用于處理連續(xù)特征的分類問題。

134.2.1高斯樸素貝葉斯

對(duì)于一個(gè)新的測試樣本，算法先計(jì)算該樣本在每個(gè)類別下的后驗(yàn)概率。使用高斯分布的概率密度函數(shù)，算法計(jì)算每個(gè)特征值在給定類別下的對(duì)數(shù)似然。然后，將先驗(yàn)概率和對(duì)數(shù)似然相加得到后驗(yàn)概率。最后，選擇具有最大后驗(yàn)概率的類別作為預(yù)測結(jié)果。14

高斯樸素貝葉斯算法的優(yōu)勢在于它對(duì)于大規(guī)模數(shù)據(jù)集具有較高的訓(xùn)練和預(yù)測效率，并且對(duì)于缺失數(shù)據(jù)的處理比較魯棒。然而，它的一個(gè)主要限制是它假設(shè)特征之間是獨(dú)立的，這在某些實(shí)際問題中可能不符合實(shí)際情況，因此其結(jié)果可能受到特征相關(guān)性的影響。4.2.2多項(xiàng)式樸素貝葉斯

多項(xiàng)式樸素貝葉斯假設(shè)每個(gè)特征的出現(xiàn)次數(shù)是由多項(xiàng)分布生成的，即特征的計(jì)數(shù)符合多項(xiàng)分布。根據(jù)先驗(yàn)概率和條件概率計(jì)算每個(gè)類別的后驗(yàn)概率，并選擇具有最大后驗(yàn)概率的類別作為預(yù)測結(jié)果。

對(duì)于每個(gè)測試樣本，算法會(huì)計(jì)算特征的計(jì)數(shù)，并使用條件概率計(jì)算后驗(yàn)概率。154.2.3伯努利樸素貝葉斯

伯努利樸素貝葉斯算法的主要思想是將文檔表示為二進(jìn)制特征向量，其中每個(gè)特征表示單詞或特定的文本屬性是否出現(xiàn)。因此每個(gè)特征的取值是布爾型的，即true和false，或者1和0。它基于一個(gè)關(guān)鍵假設(shè)，即每個(gè)特征在給定類別下是條件獨(dú)立的。

在訓(xùn)練過程中，遍歷類別和特征，并根據(jù)特征是否存在來根據(jù)貝葉斯公式計(jì)算后驗(yàn)概率。最后選擇具有最大后驗(yàn)概率的類別作為預(yù)測結(jié)果。164.3半樸素貝葉斯算法

半樸素貝葉斯算法的核心思想是，適當(dāng)考慮一部分屬性間的相互依賴信息。假設(shè)給定某個(gè)類別的條件下，特征之間的相關(guān)性可被一些選定的特征表示。

相比于傳統(tǒng)的樸素貝葉斯算法，半樸素貝葉斯算法考慮了特征之間的相關(guān)性，可以更準(zhǔn)確地捕捉數(shù)據(jù)中的復(fù)雜關(guān)系。并且該算法允許根據(jù)具體問題選擇不同的核心特征和配對(duì)特征組合，可以適應(yīng)不同類型的數(shù)據(jù)集和任務(wù)需求174.3半樸素貝葉斯算法獨(dú)依賴估計(jì)（One-DependentEstimator，ODE）是半樸素貝葉斯分類器最常用的一種策略。獨(dú)依賴是假設(shè)每個(gè)屬性在類別之外最多依賴一個(gè)其他屬性，即：

184.3半樸素貝葉斯算法

相比于傳統(tǒng)的樸素貝葉斯算法，半樸素貝葉斯算法考慮了特征之間的相關(guān)性。這使得模型可以更準(zhǔn)確地捕捉數(shù)據(jù)中的復(fù)雜關(guān)系。半樸素貝葉斯算法允許根據(jù)具體問題選擇不同的核心特征和配對(duì)特征組合。這種靈活性使得算法可以適應(yīng)不同類型的數(shù)據(jù)集和任務(wù)需求。此外，半樸素貝葉斯算法在處理高維數(shù)據(jù)時(shí)表現(xiàn)出較好的性能，因?yàn)樗梢酝ㄟ^選擇核心特征和相關(guān)特征來減少特征空間的維度。

但是，在半樸素貝葉斯算法中，仍然假設(shè)給定類別下的特征是相互獨(dú)立的。然而，在實(shí)際問題中，特征之間通常存在一定的依賴關(guān)系。為了解決這個(gè)問題，可以引入更復(fù)雜的模型，如貝葉斯網(wǎng)絡(luò)、樹模型等，以捕捉特征之間的依賴性。194.4貝葉斯網(wǎng)絡(luò)算法貝葉斯網(wǎng)絡(luò)（BayesianNetworks）也被稱為信念網(wǎng)絡(luò)（BelifNetworks）或者因果網(wǎng)絡(luò)（CausalNetworks），是描述數(shù)據(jù)變量之間依賴關(guān)系的一種圖形模式，是一種用來進(jìn)行推理的模型。貝葉斯網(wǎng)絡(luò)為人們提供了一種方便的框架結(jié)構(gòu)來表示因果關(guān)系。204.4.1貝葉斯網(wǎng)結(jié)構(gòu)

在貝葉斯網(wǎng)結(jié)構(gòu)中，一條弧由一個(gè)屬性A指向另外一個(gè)屬性B說明屬性A的取值可以對(duì)屬性B的取值產(chǎn)生影響，由于是有向無環(huán)圖，A、B間不會(huì)出現(xiàn)有向回路。在貝葉斯網(wǎng)當(dāng)中，直接的原因結(jié)點(diǎn)（弧尾）A叫做其結(jié)果結(jié)點(diǎn)（弧頭）B的雙親結(jié)點(diǎn)（parents），B叫做A的孩子結(jié)點(diǎn)（children）。如果從一個(gè)結(jié)點(diǎn)X有一條有向通路指向Y，則稱結(jié)點(diǎn)X為結(jié)點(diǎn)Y的祖先（ancestor），同時(shí)稱結(jié)點(diǎn)Y為結(jié)點(diǎn)X的后代（descendent）。214.4.1貝葉斯網(wǎng)結(jié)構(gòu)高油高糖飲食（X1）糖尿?。╔2）高血脂（X3）心臟?。╔4）

左圖中共有四個(gè)結(jié)點(diǎn)和四條弧。高油高糖飲食X1是一個(gè)原因結(jié)點(diǎn)，它會(huì)導(dǎo)致糖尿病X2和高血脂X3。而我們知道糖尿病X2和高血脂X3都可能最終導(dǎo)致心臟病X4。224.4.1貝葉斯網(wǎng)結(jié)構(gòu)

234.4.2貝葉斯網(wǎng)學(xué)習(xí)算法

貝葉斯網(wǎng)學(xué)習(xí)的首要任務(wù)就是根據(jù)訓(xùn)練數(shù)據(jù)集來找出結(jié)構(gòu)最“恰當(dāng)”的貝葉斯網(wǎng)。“評(píng)分搜索”是求解這一問題的常用辦法。具體來說，我們先定義一個(gè)評(píng)分函數(shù)，以此來評(píng)估貝葉斯網(wǎng)與訓(xùn)練數(shù)據(jù)的契合程度，然后基于這個(gè)評(píng)分函數(shù)來尋找結(jié)構(gòu)最優(yōu)的貝葉斯網(wǎng)。244.4.2貝葉斯網(wǎng)學(xué)習(xí)算法

254.4.2貝葉斯網(wǎng)學(xué)習(xí)算法

264.4.3貝葉斯網(wǎng)推斷

在現(xiàn)實(shí)應(yīng)用中，貝葉斯網(wǎng)的近似推斷常使用吉布斯采樣來完成，這是一種隨機(jī)采樣方法。

274.4.3貝葉斯網(wǎng)推斷

由于馬爾可夫鏈通常需很長時(shí)間才能趨于平穩(wěn)分布，因此吉布斯采樣算法的收斂速度較慢。此外，若貝葉斯網(wǎng)中存在極端概率“0”或“1”，則不能保證馬爾可夫鏈存在平穩(wěn)分布，此時(shí)吉布斯采樣會(huì)給出錯(cuò)誤的估計(jì)結(jié)果。284.5EM算法

294.5EM算法 EM算法的每次迭代由兩步組成：E步，求期望（expectation）；M步，求極大（maximization），所以這一算法稱為期望極大算法（expectationmaximizationalgorithm），簡稱EM算法。 EM算法使用兩個(gè)步驟交替計(jì)算：第一步是期望(E)步，利用當(dāng)前估計(jì)的參數(shù)值來計(jì)算對(duì)數(shù)似然的期望值；第二步是最大化(M)步，尋找能使E步產(chǎn)生的似然期望最大化的參數(shù)值。然后，新得到的參數(shù)值重新被用于E步，直到收斂到局部最優(yōu)解。304.5EM算法例

三硬幣模型

314.5EM算法

計(jì)算出每次試驗(yàn)選擇B和C的概率，然后根據(jù)試驗(yàn)數(shù)據(jù)進(jìn)行加權(quán)求和。M步：更新模型參數(shù)的新估計(jì)值。根據(jù)函數(shù)求導(dǎo)來確定參數(shù)值：

對(duì)上式求導(dǎo)并令其值為0可得第一次迭代后的參數(shù)值，然后重復(fù)進(jìn)行第二輪、第三輪，直至模型收斂。324.6本章小結(jié)本章主要介紹了貝