模式識別和機器學習

1、2.3.5 Sequential estimation 1.序列估計的引入2.序列估計在參數(shù)估計中的應用（高斯分布） 高斯分布對均值的最大似然估計如下 現(xiàn)在作如下變形：3.用R-M算法產(chǎn)生普遍化的序列學習算法 考慮變量z，兩個變量，聯(lián)合概率分布為P(z,)，在條件下的z的條件分布的期望是關(guān)于的函數(shù)，如下： （2.127） 像這樣定義的函數(shù)叫回歸函數(shù)？ 我們的目標是找出 ，對于給出的數(shù)據(jù)有兩種情況： a 數(shù)據(jù)量足夠大，直接構(gòu)建回歸函數(shù)求出 b 數(shù)據(jù)分次給出，序列估計的方法求出現(xiàn)在考慮序列估計的方法,前提條件是滿足下面的公式 （2.128） 基于上面的描述，提出了針對 的序列估計，公式如下 系數(shù)

2、滿足以下三個條件 *Na通過引入R-M算法，求解最大似然解 首先引入下面的等式 交換積分和求導順序，并且使得 N 從2.134發(fā)現(xiàn)，求解 等價于求解回歸函數(shù)的根值，利用R-M公式 ML實例：對高斯分布的均值用序列估計的方法變量Z表示如下： 將2.136代入2.135 得到，并且假設(shè) ，得到2.126的單變量形式NaN22.3.6 Bayesian inference for the Gaussian 一般來說對最大似然函數(shù)的參數(shù)估計都是點估計，現(xiàn)在考慮用貝葉斯的方法，引入的原因？ 下面分三種情況考慮 a：均值未知，方差已知 b：均值已知，方差未知 c：均值、方差皆未知a:考慮單變量的情況，設(shè)

3、，并且假設(shè)方差已知，基于基于N個樣本觀測值來估計所以有關(guān) 的似然函數(shù)如下 ),(2Nx 選取 的先驗分布 為 所以后驗概率為 經(jīng)過證明得出 其中： 對上面兩個式子進行分析 其中， 當N=0的時候， 當N= ， 其中 現(xiàn)在考慮一個D維的高斯變量X，且協(xié)方差已知，均值未知?，F(xiàn)在有N個觀測值，利用前一節(jié)講到的序列估計的方法求在N個觀測值的基礎(chǔ)上估計均值。公式如下：,0MLN0NMLNuNnnMLxN11b：均值已知，方差未知 現(xiàn)在假設(shè)隨機變量x的方差未知，均值已知，并且為了后面的計算及討論方便令其中 為精度。 利用似然函數(shù)的定義可得 的似然函數(shù)如下：與之相對應的先驗分布為gamma分布為：gamma

4、分布的均值和方差如下： 21現(xiàn)在考慮一個先驗分布為 ，將此分布與似然函數(shù)2.145式相乘，得到后驗分布如下：將上式表達成參數(shù)為 的gamma分布如下：NaNbc.方差和均值皆未知 為了找到這種情況下的先驗分布，先對兩個參數(shù)的共同的似然函數(shù)求出并變形：所以我們希望找出一個與似然函數(shù)類似的有關(guān)連個參數(shù)的先驗分布 ，表示如下：2.153式子可以寫成貝葉斯的形式，通過觀察一個服從高斯分布，一個服從gamma分布。所以將先驗分布表示如下：其中參數(shù) 上式的分布為標準伽馬分布或者高斯伽馬分布。2.154和2.152結(jié)合可以得到后驗概率 現(xiàn)在考慮D維隨機變量x的多元高斯分布其分布為 ，那么均值 的先驗分布也為

5、高斯分布。 假定均值已知，協(xié)方差矩陣未知，那么協(xié)方差矩陣的先驗分布為維希特分布，形式如下： 其中 為自由度，B為常量由下式定義： c021a2b2cd當精確度和均值都不知道的時候，那么關(guān)于兩者的先驗分布為上式表示為標準維希特分布或者高斯維希特分布2.3.7 Students t-distributiont-分布引入解決高斯分布的的敏感性問題?假設(shè)隨機變量x服從高斯分布 ，精度的先驗分布為 t分布的引入式通過對下式求積分得出 ，也就是求x的邊緣分布，如下：通過變量替換 上式形式變化為t分布 參數(shù) 是t分布的精度， 是自由度 t分布的特征：魯棒性 從式子2.158看出，t分布是無數(shù)多個均值相同方差不同的高斯分布的積分，也是混合高斯分布的一種，所以t分布比高斯分布有更長的間隔，對于存在異常點的數(shù)據(jù)來說，沒有高斯分布敏感，這就是t分布的魯棒性。如下圖多元t分布分析將2.