條件概率密度函數(shù)的最大似然估計

1、 任課教師：任課教師： 劉瓊劉瓊自動化學院自動化學院模式識別模式識別條件概率密度函數(shù)的最大似然估計條件概率密度函數(shù)的最大似然估計Maximum Likelihood Estimation of Class-conditional Probability Density Function教材：模式識別（第三版）教材：模式識別（第三版） 張學工編著張學工編著 清華大學出版社清華大學出版社 講授提綱講授提綱 問題提出問題提出 最大似然估計最大似然估計 基于最大似然估計的模式分類實例基于最大似然估計的模式分類實例 2 講授提綱講授提綱 問題提出問題提出貝葉貝葉斯決策論斯決策論貝葉斯公式貝葉斯公式 最大

2、似然估計最大似然估計 基于最大似然估計的模式分類實例基于最大似然估計的模式分類實例 3 問題提出（問題提出（1/4）480條鮭魚，20條多寶魚 問題提出（問題提出（2/4）5第一種情況：第一種情況：不知曉這條魚的任何信息不知曉這條魚的任何信息，判決依據(jù)判決依據(jù)P(i)P(i)的大小；結論：的大小；結論：第二種情況：第二種情況： 給你這條魚的寬度值給你這條魚的寬度值 x x，判決依據(jù)，判決依據(jù)P (i| x)P (i| x)；貝葉斯決策論貝葉斯決策論鮭魚鮭魚 問題提出（問題提出（3/4） 貝葉斯公式貝葉斯公式 用非正式的英語表述用非正式的英語表述6( |)()(| )( )iiip xppxp

3、x后驗概率后驗概率類條件概率密度類條件概率密度先驗概率先驗概率根據(jù)領域知識或大量樣本中計算根據(jù)領域知識或大量樣本中計算各類樣本所占的比例得到各類樣本所占的比例得到總體密度總體密度所有樣本關于特征所有樣本關于特征x x的概率密度的概率密度 問題提出（問題提出（4/4）7函數(shù)形式函數(shù)形式估計目標估計目標估計方法估計方法已知已知 函數(shù)中的未知參數(shù)函數(shù)中的未知參數(shù)參數(shù)估計參數(shù)估計（ 最大似然估計最大似然估計、貝葉斯估計、貝葉斯估計 ） 未知未知函數(shù)形式函數(shù)形式非參數(shù)估計非參數(shù)估計（k kn n近鄰估計、近鄰估計、ParzenParzen窗法窗法 ） 講授提綱講授提綱 問題提出問題提出 最大似然估計最大

4、似然估計假設條件假設條件主要思想主要思想求解方法及解的分析求解方法及解的分析正態(tài)分布參數(shù)的最大似然估計正態(tài)分布參數(shù)的最大似然估計 基于最大似然估計的模式分類實例基于最大似然估計的模式分類實例 8 最大似然估計的假設條件最大似然估計的假設條件假設條件：假設條件： 類條件概率密度類條件概率密度 p(x |p(x | i i ) ) 的函數(shù)形式的函數(shù)形式是是已知已知的的，但是其中的某些參數(shù)，但是其中的某些參數(shù)是未知的是未知的 待估計參數(shù)待估計參數(shù) 是確定性的未知量是確定性的未知量 按類別將樣本劃分按類別將樣本劃分 c c 類，第類，第 i i 樣本都是從類條件概率密度樣本都是從類條件概率密度 p(x

5、 |p(x | i i ) ) 的的總體中獨立地抽取出來的總體中獨立地抽取出來的 第第 i i 類的樣本不包含有關類的樣本不包含有關 j j ( (ijij) )的信息。不同類別的函數(shù)在參數(shù)上相的信息。不同類別的函數(shù)在參數(shù)上相互獨立，每一類樣本可以獨立進行處理互獨立，每一類樣本可以獨立進行處理9函數(shù)形式已知函數(shù)形式已知參數(shù)確定但未知參數(shù)確定但未知樣本獨立同分布樣本獨立同分布類類互不干擾類類互不干擾 設設 i i類樣本集有類樣本集有 N N 個樣本個樣本 它們是獨立地按照概率密度它們是獨立地按照概率密度 p(x | p(x | i i ， ) ) 抽取出來的（獨立同分布樣本）抽取出來的（獨立同分

6、布樣本） 似然函數(shù)可以表示為：似然函數(shù)可以表示為： 含義：含義：從總體中抽取從總體中抽取 x x1 1,x xN N 這樣這樣 N N 個樣本的個樣本的聯(lián)合聯(lián)合概率（可能性）概率（可能性）101,.,NX xx111()(x ,.,x| )(x | ). (x|)(x | )NNNkklpppp 最大似然估計的主要思想最大似然估計的主要思想 最大似然估計的主要思想最大似然估計的主要思想：如果在一次觀察中一個事件出現(xiàn)了，則如果在一次觀察中一個事件出現(xiàn)了，則我們可以認為這一事件出現(xiàn)的可能性很大?，F(xiàn)在，我們可以認為這一事件出現(xiàn)的可能性很大?，F(xiàn)在，樣本集樣本集（x x1 1,x,xN N ）在在一次觀

7、察（從概率總體中抽取一組樣本）中居然出現(xiàn)了，則我們認為一次觀察（從概率總體中抽取一組樣本）中居然出現(xiàn)了，則我們認為似似然函數(shù)然函數(shù) l() l() 應該達到最大值應該達到最大值 為了便于分析，可以取為了便于分析，可以取似然函數(shù)似然函數(shù)的對數(shù)，即的對數(shù)，即 對數(shù)函數(shù)是單調(diào)增函數(shù)，對數(shù)函數(shù)是單調(diào)增函數(shù)，H H() () 與與 l l() () 的最大的最大值值點相同點相同11( )ln ( )Hl 求最大似然估計量的方法求最大似然估計量的方法 如果如果H H() () 滿足連續(xù)可微滿足連續(xù)可微的的數(shù)學性質(zhì)，可以直接應用高等數(shù)學的知識來求數(shù)學性質(zhì)，可以直接應用高等數(shù)學的知識來求最最大大值值點點，即求

8、梯度（偏導數(shù)），即求梯度（偏導數(shù)）, ,并并令其等于零，解線性或者非線性方程組令其等于零，解線性或者非線性方程組得到估計量得到估計量 假設：假設： 有有s s個參數(shù)個參數(shù) 梯度算子梯度算子12T1,.,S 1.S 求解過程：求解過程： 131()(x| )Nkklp 11()ln ()ln (x |)()ln (x |)()0NkkNkkHlpHpH 從中求解出從中求解出 的最大似然估計量的最大似然估計量 最大似然估計結果的分析最大似然估計結果的分析 可能存在多個解可能存在多個解解決解決方法：使得似然函數(shù)最大的解才是最大似然估計量方法：使得似然函數(shù)最大的解才是最大似然估計量14 有可能求不出正

9、確的解（比如均勻分布有可能求不出正確的解（比如均勻分布）1512211,(| )0, otherwisep x 21( )ln()HN 12110HN 22110HN 21 12min()max()XX 例：正態(tài)分布函數(shù)的最大似然估計例：正態(tài)分布函數(shù)的最大似然估計 單變量正態(tài)分布的概率密度函數(shù)單變量正態(tài)分布的概率密度函數(shù) 要求的未知參數(shù)（均值與方差）要求的未知參數(shù)（均值與方差） 已知已知 ，利用最大似然估計法，針對上述樣本集，利用最大似然估計法，針對上述樣本集，求出均值與方差的估計值求出均值與方差的估計值16 2121(| )exp2xp x T2 T12, , 12,.,NXxxx T2 T

10、12, , 17 212221122()11222( )ln (| )ln(2) ln(2)kkxkxHp x 1221222()()122ln (|)kkxkxp x 1221222()1()11100kkNxkNNxkk 1()ln (|)0NkkHp x 對數(shù)似然函數(shù)對數(shù)似然函數(shù)求偏導數(shù)求偏導數(shù) 1821112121()NkNkNkNkxx 解釋：解釋： 正態(tài)分布總體正態(tài)分布總體均值均值的最大似然估計量是樣本屬性值的算術平均（無偏）的最大似然估計量是樣本屬性值的算術平均（無偏） 正態(tài)分布總體正態(tài)分布總體方差方差的最大似然估計量是樣本方差的算術平均（漸進無偏）的最大似然估計量是樣本方差的算

11、術平均（漸進無偏） 推廣到多元正態(tài)分布推廣到多元正態(tài)分布221211(x)NkNk （無偏）（無偏） 講授提綱講授提綱 問題提出問題提出 最大似然估計最大似然估計 基于最大似然估計的模式分類實例基于最大似然估計的模式分類實例 19 基于最大似然估計的模式分類實例基于最大似然估計的模式分類實例 20已知條件：已知條件： 80條鮭魚，條鮭魚，20條多寶魚條多寶魚 對于寬度特征，兩類魚均服從正態(tài)分布對于寬度特征，兩類魚均服從正態(tài)分布 箱中這條魚的寬度為箱中這條魚的寬度為10cm問題：問題：對箱中的魚進行貝葉斯分類決策對箱中的魚進行貝葉斯分類決策 Step1：數(shù)據(jù)準備：數(shù)據(jù)準備 數(shù)據(jù)獲取：對數(shù)據(jù)獲?。?/p>

12、對8080條鮭魚和條鮭魚和2020條多寶魚分別測得他們的寬度值條多寶魚分別測得他們的寬度值 數(shù)據(jù)預處理：剔除野值數(shù)據(jù)（如發(fā)育不正常的個例）數(shù)據(jù)預處理：剔除野值數(shù)據(jù)（如發(fā)育不正常的個例） 特征形成：特征形成：每一每一條魚條魚有有兩兩個數(shù)據(jù)：個數(shù)據(jù)：類別標識類別標識寬度寬度（特征）（特征）21+1 6.2+1 5.7-1 8.9-1 9.5. Step2 ：類條件概率密度函數(shù)估計：類條件概率密度函數(shù)估計22 兩類兩類樣本分別滿足各自的正態(tài)分布，利用最大似然估計方法分別求出樣本分別滿足各自的正態(tài)分布，利用最大似然估計方法分別求出鮭鮭魚和多寶魚關于寬度特征的均值和方差的最大似然估計量為魚和多寶魚關于寬

13、度特征的均值和方差的最大似然估計量為 鮭魚關于寬度特征的均值和方差的最大似然估計結果：鮭魚關于寬度特征的均值和方差的最大似然估計結果： 多寶魚關于寬度特征的均值和方差的最大似然估計結果：多寶魚關于寬度特征的均值和方差的最大似然估計結果：21112121()NkNkNkNkxx 250.05290.05 Step3：后驗概率計算：后驗概率計算2305101500.050.10.150.20.250.30.350.40.45 p(x|w1)p(x|w2)05101500.20.40.60.81 p(w1|x)p(w2|x)21( |)()( |)()(| )=( )( |)()iiiiiiiip

14、xpp xppxp xp xp關于寬度特征的類條件概率密度曲線關于寬度特征的類條件概率密度曲線關于寬度特征的后驗概率曲線關于寬度特征的后驗概率曲線 Step4：分類決策：分類決策 當黑箱中魚的寬度為當黑箱中魚的寬度為10cm10cm時時2405101500.20.40.60.81 p(w1|x)p(w2|x)決策結果：該魚為多寶魚決策結果：該魚為多寶魚 小結小結 概率密度函數(shù)估計的目的與基本概念概率密度函數(shù)估計的目的與基本概念 目的：用于最小錯誤率貝葉斯決策分類目的：用于最小錯誤率貝葉斯決策分類 概念：概念： 某類關于特征某類關于特征x的概率分布，依據(jù)分布函數(shù)形式是否已知，可將估計方法分的概率分布，依據(jù)分布函數(shù)形式是否已知，可將估計方法分為兩類為兩類 最大似然函數(shù)參數(shù)估