參數(shù)估計統(tǒng)計決策法

1、模模式識別式識別Pattern Classification第四章第四章: 參數(shù)估計統(tǒng)計決策法參數(shù)估計統(tǒng)計決策法Applied Pattern Recognition CSE6163參數(shù)估計參數(shù)估計原理對于絕大多數(shù)的識別問題，類概率密度函數(shù)已知的條件并不成立，而通常只知類概率密度的函數(shù)形式，其參數(shù)未知。參數(shù)估計法即是利用學習樣本來估計類概率密度參數(shù)的方法。Applied Pattern Recognition CSE6164參數(shù)估計參數(shù)估計參數(shù)估計法最大似然估計法Bayes估計法 兩種方法原理不同，但結果是一致的！Applied Pattern Recognition CSE6165參數(shù)估計參

2、數(shù)估計原理 最大似然估計法：將待估參數(shù)視為確定的未知量進行估計 Bayes估計法：將待估參數(shù)視為隨機變量進行估計Applied Pattern Recognition CSE6166最大似然估計法（ML）已知條件 擁有一批已知類別的學習樣本 ，并知第j類的類概率密度 的函數(shù)形式，參數(shù)未知。問題 由學習樣本 估計最佳參數(shù)。,21)(njXXXX)/(jXp)( jXApplied Pattern Recognition CSE6167最大似然估計法解決方案Applied Pattern Recognition CSE6168最大似然估計法解決方案Applied Pattern Recogniti

3、on CSE6169最大似然估計法設有6個學習樣本如下圖所示，樣本分布滿足正態(tài)分布，且方差已知，現(xiàn)需估計最佳的均值可以看出， 取A和B對似然函數(shù) 的影響61)/(kkXp由于由于取取B是似然函數(shù)更大，參數(shù)是似然函數(shù)更大，參數(shù)B優(yōu)于優(yōu)于AP ( x / ) x AB=B=AApplied Pattern Recognition CSE61610最大似然估計法P ( x / )Applied Pattern Recognition CSE61611最大似然估計法設有6個學習樣本如下圖所示，樣本分布滿足正態(tài)分布，且均值已知，現(xiàn)需估計最佳的方差可以看出， 的變化對似然函數(shù) 的影響P ( x / ) x

4、 1 12 261)/(kkXp參數(shù)參數(shù)1 優(yōu)于優(yōu)于 2Applied Pattern Recognition CSE61612最大似然估計法如何尋求最優(yōu)參數(shù)？Applied Pattern Recognition CSE61613解決方案用求極值的方法求最佳值 為計算方便，對似然函數(shù)求自然對數(shù): 最大似然估計法nkknkkXpXp11)/(ln)/(lnApplied Pattern Recognition CSE61614最大似然估計法解決方案定義梯度算子為：r21Applied Pattern Recognition CSE61615最大似然估計法解決方案則令：0 )/(ln1nkkXp

5、Applied Pattern Recognition CSE61616最大似然估計法解決方案即： 可得到r個關于參數(shù)的方程組，求解方程組，即可求得最佳估計值。0)/(ln121nkkrXpApplied Pattern Recognition CSE61617最大似然估計法例一：設樣本滿足一維正態(tài)分布，現(xiàn)已知n個學習樣本，試用最大似然估計法估計其均值和方差。解：對于一維正態(tài)分布待估參數(shù)為其中22)(21exp21)/(xxpj,21221 ,Applied Pattern Recognition CSE61618最大似然估計法可記為:則似然函數(shù)為：2212)(21exp21)/(xxpnkk

6、nkkxxp11221)(212ln21)/(lnApplied Pattern Recognition CSE61619最大似然估計法令:即:0)/(ln1nkkxp0)/(ln0)/(ln1211nkknkkxpxpApplied Pattern Recognition CSE61620最大似然估計法得:解得:02)(210)(12221212kkxxnkkxn1112122)(1nkkxnApplied Pattern Recognition CSE61621最大似然估計法例二：設樣本滿足d維正態(tài)分布，其中協(xié)方差矩陣已知，且已知n個學習樣本，試用最大似然估計法估計均值向量。 Applie

7、d Pattern Recognition CSE61622最大似然估計法解：樣本滿足正態(tài)分布，則似然函數(shù))()(21exp)2(1)/(1212XXXpTdinkkTknkkXXdXp111)()(21ln212ln2)/(lnApplied Pattern Recognition CSE61623最大似然估計法協(xié)方差矩陣已知，僅有一個待參數(shù)均值向量，即=令得：0)/(ln1nkkXp0)(11nkkXApplied Pattern Recognition CSE61624最大似然估計法即：可得=的最佳估計值為：即最佳均值向量是n個學習樣本的重心（算數(shù)平均）。0)(1nkkXnkkXn11最

8、佳估計值最佳估計值Applied Pattern Recognition CSE61625最大似然估計法例三:設 為多維正態(tài)分布，現(xiàn)已知n個學習樣本，試用最大似然估計法估計 和 。 解:與前述方法相同，即： ),()/(NXpj)()(21exp)2(1)/(1212XXXpTdApplied Pattern Recognition CSE61626最大似然估計法似然函數(shù)令:nkkTknkkXXdXp111)()(21ln212ln2)/(ln0)/(ln1nkkXpApplied Pattern Recognition CSE61627最大似然估計法得:nkkXn11nkTkkXXn1)(1

9、Applied Pattern Recognition CSE61628最大似然估計法基于最大似然估計法的分類器設計確定樣本類概率密度函數(shù)形式確定待估參數(shù)根據(jù)學習樣本，用最大似然估計法估計概率密度函數(shù)的參數(shù)估計樣本先驗概率用Bayes方法設計分類器)/(Xp)(jpApplied Pattern Recognition CSE61629Bayes估計原理： 將待估參數(shù)視為具有某種先驗分布的隨機變量，通過學習樣本的觀察，將先驗分布轉(zhuǎn)換為后驗概率，并以此來修正參數(shù)的估計值。Applied Pattern Recognition CSE61630Bayes估計實現(xiàn)過程將待估參數(shù) 視為隨機變量，并由先

10、驗只是得到粗略分布 )(pP()Applied Pattern Recognition CSE61631Bayes估計 為已知函數(shù)形式的類概率密度， 待估，且知n個學習樣本，記為 ，j為類別。由Bayes公式有： 其中 為的后驗概率，表示在觀察了n個學習樣本 后對 的修正分布。)/(Xp,21)(njXXXX)()()/()/()()()(jjjXppXpXp)/()( jXp)( jX)(pApplied Pattern Recognition CSE61632Bayes估計 則表示在參數(shù)為 的條件下，n個樣本 出現(xiàn)的概率。 為待估隨機參數(shù)的先驗概率分布。 與 無關，可用系數(shù) 代替即：)/(

11、)(jXp)( jX)(pdpXpXpjj)()/()()()()()/()/()()(pXPXpjjApplied Pattern Recognition CSE61633Bayes估計顯然，由于n個學習樣本是獨立抽取的，則可得：nkkjXPXp1)()/()/()()/()/(1)(pXPXpnkkj觀察了觀察了n個樣本后個樣本后的修正分布的修正分布Applied Pattern Recognition CSE61634Bayes估計合理的估計方法是：在修正的 分布 中，使得 取值最大的 值 即是的最佳估計值。)/()( jXp)/()( jXpApplied Pattern Recogn

12、ition CSE61635Bayes估計P(/X(j)0P()nApplied Pattern Recognition CSE61636Bayes估計例：已知類概率密度為一維正態(tài)分布，其中方差 已知，均值 參數(shù)待估。試用Bayes估計法估計均值 2Applied Pattern Recognition CSE61637Bayes估計解：對一維正態(tài)分布22)(21exp21)/()/(xxpxpP(x/)xApplied Pattern Recognition CSE61638Bayes估計首先，將待估參數(shù) 視為隨機變量，并具有一定的初始分布。假設其具有正態(tài)分布 ：),()(21exp21)(

13、20020200NpApplied Pattern Recognition CSE61639Bayes估計P()0Applied Pattern Recognition CSE61640Bayes估計觀察了n個學習樣本后，的后驗概率(修正分布) 為：22120200221)()(21exp21 )(21exp21)(21exp21 )()/()/(nnnnkknkkjxpxPXpApplied Pattern Recognition CSE61641Bayes估計可見：修正后的分布仍為正態(tài)分布！其均值為n，方差為n2其中：0220222020nmnnnnnkknXnm11Applied Pattern Recognition CSE61642Bayes估計即： n表示在觀察了一組樣本后，對的最好的推斷，而n2 則反映了這個推斷的不確定性!2202202022021220201nnXnnnnnkknApplied Pattern Recognition CSE61643Bayes估計P(/X(j)0P()nApplied Pattern Recognition CSE61644Bayes估計待估的最佳均值=？答案： = nApplied Pattern Recognition CSE61645Bayes估計考慮樣本數(shù)對估計值的影響當 時, ,