prml lecture06b kernel methods模式識別與機(jī)器學(xué)習(xí)

PatternRecognition&Machine信息與通 網(wǎng)絡(luò)搜索教主講信息與通 網(wǎng)絡(luò)搜索教中郵電大核方法內(nèi)容提對偶表正則化最小二過程(Gaussianforfor模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程的基本思與使用固定基函數(shù)的線性回歸相比，其區(qū)別在于我們通過引入定義在函數(shù)上的概率分布而使用無限多基在實際問題上,我們只考慮在訓(xùn)練和測試數(shù)據(jù)上的函 kx,

模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 回顧線性考慮由M對權(quán)值向量w使 pwNw|0,其中參數(shù)模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 回顧線性一個聯(lián)合分布:y

1 1其中 wTx

y , 若矩Φ的元素定義為:Φnkkxn則向量y也 分布，其參數(shù)

y y N其中K為Gram

kxn,xm

T 1模式識別與機(jī)器學(xué)-PatternRecognition&Machine 1

C.G. 過 ?過程為y(x)在數(shù)據(jù)點x1,…xN的任意子集上的取值的合分布合分布也 分關(guān)鍵點聯(lián)合分布使用二階統(tǒng)計量(均值和協(xié)方差)通常均值為0，我們只需考慮協(xié)方差矩陣核函數(shù)

與其去選擇一組基函數(shù)，我們直接選擇一個核函模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 直接定義核直接定義核‘Gaussian’

exponential模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 核方法內(nèi)容提對偶表正則化最小二過程(Gaussianforfor模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程回假設(shè)噪聲服 分布,則令布為

；則聯(lián)合注意tn在給定yn模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程過程回歸 由定義，我們得如果數(shù)據(jù)點是相似的，則具有強(qiáng)相關(guān)對y進(jìn)行積分，可得邊緣分布其模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 過程回廣泛用于GPR的核其中0,1,2,3為4個超參模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 分別使用兩組超參分別使用兩組超參0,1,2,3模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 分別使用兩組超參分別使用兩組超參0,1,2,3模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 分別使用兩組超參分別使用兩組超參0,1,2,3模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. ?示例 過程回歸?模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 基 對新數(shù)據(jù)點xN+1，要計算過程的聯(lián)合分基于數(shù)據(jù) ,的聯(lián)合分然后再推導(dǎo)出條件由于 分布，只需計算均值和方模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 基 對新數(shù)據(jù)點xN+1，要計算過程的聯(lián)合分基于數(shù)據(jù) ,的聯(lián)合分然然后再推導(dǎo)出條件其中,模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 示例:基于GPR模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. ?示例:基于GPR?模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 模式識別與機(jī)器學(xué)習(xí)模式識別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine C.G. 參數(shù)估計的基本方法主 lnp(t|?)一般是non-convex解決策略–引入一個先驗分解決策略–引入一個先驗分布p(?)，然后化對數(shù)后驗lnp(t|?)ln模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 自動的相關(guān)特征檢 不相關(guān)的特征對應(yīng)于小的權(quán)值，可把這些維度模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 示例:自動的相關(guān)特征檢不同的權(quán)模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 小的權(quán)值對應(yīng)于不相關(guān)的維度，小的權(quán)值對應(yīng)于不相關(guān)的維度，可以定并丟模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 核方法內(nèi)容提對偶表正則化最小二Fisher過程(Gaussianforfor模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. 目標(biāo)

for分建模新輸入數(shù)據(jù)的對應(yīng)輸出的后驗問題把輸入數(shù)據(jù)映射到一個區(qū)間使 過程和非線性激活函模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. for分兩個類別對應(yīng)于目標(biāo)輸出為0和 需要計算條件分 積分不能解析地處理，需要使用近似或數(shù)值計算模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. for分給定數(shù)據(jù)集X的對應(yīng)輸出似然函數(shù)其 先驗分布p(aN)是一個零均 過先驗分布p(aN+1)也是一個零均 過模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. ce 預(yù)測性分布的模式識別與機(jī)器學(xué)-PatternRecognition&Machine

C.G. cep(aN+1|tN)的后驗概率 模式識別與機(jī)器學(xué)習(xí)-PatternRecognition&Machine 模式?示例GPfor?模式識別與機(jī)器學(xué)-PatternRecognition&Mach