課程資源-基于實例學(xué)習(xí)

概儲起來，從這些實例中泛化的工作被推必個新實例與以前的實例的關(guān)系，并據(jù)此把 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 概述假定實例可以表示成歐氏空間中的局 回歸基于案例的推理工作延必須分類新的實例時間上地估計目標(biāo)函數(shù)，而是針對每個待分類新 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 簡基于實例的學(xué)習(xí)方法的學(xué)習(xí)過程只是簡單地已知實例從器中取出，用來分類新的查詢實例函數(shù)近許多技術(shù)不建立目標(biāo)函數(shù)在整個實例空間上的近，只建立局部近，并將其用于與新實例鄰近的實例復(fù)雜的局部近描述 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 簡介當(dāng)從器中檢索相似的訓(xùn)練樣例時，一般考慮實 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 簡介局部回歸法，這是一種建立目標(biāo)函數(shù)的局部近的學(xué)習(xí)方法，被看作k-近鄰算法的一般 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 k-近鄰算 <a1(x),...,nd(x,x) r

ar(xj 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 k-近鄰算法考慮離散目標(biāo)函數(shù)f:表8- 將每個訓(xùn)練樣例<x,f(x)>加入到列表給定一個要分類的查詢實例示

f?(xq)argmax(v,f(xik k0a(a,b)0a 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 k-近鄰算法 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 k-近鄰算法近樣例的平均值，而不是計算其中k普遍的值，為近f:RnR，計算式如kf(xif?(xq) k 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 距 最近鄰算 f

)argmaxw(v,f(x

w k k

d(x,x

i d(xq,xi)2為0的情況，令這種情況下的f(xq)等于f(xi)，如果k也可以用類似的方式對實值目標(biāo)函數(shù)進(jìn)行距離，kwif(xikf(xq) k 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 距 最近鄰算法 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 對k-近鄰算法的說 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 對k-近鄰算法的說明維度的解決方法：對屬性，相當(dāng)于按比例縮這個真實錯誤率可以使用交叉驗證來估可以多次重復(fù)這個處理過程，使 因子的估計更加準(zhǔn) 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 對k-近鄰算法的說明 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 術(shù)語解來自統(tǒng)計模式識別領(lǐng)域的回歸：近一個實數(shù)值的目標(biāo)函數(shù)殘差：f(xf 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 局 回x=xq 近目標(biāo)函數(shù) 區(qū)域內(nèi)為目標(biāo)函數(shù)f建立明確的近 成對f的局部近繞xq的鄰域內(nèi)近目標(biāo)函數(shù) 的近：每個訓(xùn)練樣例的貢獻(xiàn)由它與查詢點間的距 得回歸：表示近實數(shù)值函數(shù)的問 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 局 回歸 建立一 f?計算f?(xq

刪除

f?的描述 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 局 線性回使用如下形式的線性函數(shù)來近xq鄰域的目標(biāo) 的是目標(biāo)函數(shù)的全局近，即E1(f(x)2wj(f(x)f?(x))aj

機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 局 線性回歸E(x)

(f(x)

每個訓(xùn)練樣例，權(quán)值為關(guān)于相距xq距離的某個E(x)1(f(x)f?(x))2K(d(x,

綜合1和E(x)

(f(x)f?(x))2K(d(x,

機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 局 線性回歸對應(yīng)準(zhǔn)則3wi K(d(xq,x))(f(x)f?(x))aj 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 局 回歸的說數(shù)或二次函數(shù)來局部近目標(biāo)函數(shù)，更 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 徑向基函徑向基函數(shù)是另一種實現(xiàn)函數(shù)近的方法，它與距離kk 1d2(xu,uK(d(x,x))e2u2003.12.u18 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 等講者 徑向基函數(shù)Hartmanetal.1990，式子8.8的函數(shù)形式能夠以任意小的誤差近任何函數(shù)，只要以上核的數(shù)量足 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 徑向基函數(shù)為每一個訓(xùn)練樣例<xf(xi)>分配一個核函數(shù)，中心點設(shè)為xi，所有函數(shù)的寬度可被賦予同樣RBF網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)函數(shù)的全局<xi,f(xi)>都只在xi的鄰域內(nèi)影響f?(xi)對于任意m個訓(xùn)練樣例集合，合并m個核函數(shù)的權(quán)值f?(xi)f(xi) 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 徑向基函數(shù)?把訓(xùn)練實例擬合到混合 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 徑向基函數(shù)近RBF網(wǎng)絡(luò)可以被看作目標(biāo)函數(shù)的多個局部近RBF網(wǎng)絡(luò)的一個優(yōu)點是，與反向算法訓(xùn)練 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 基于案例的推 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 基于案例的推理 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 基于案例的推理條方 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 基于案例的推理為了合并案例中檢索到的部分，可能需要從頭 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 基于案例的推理 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 基于案例的推理CADET系統(tǒng)區(qū)別于k-近鄰方法的一般特 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 對消極學(xué)習(xí)和積極學(xué)習(xí)的評 計算時間的差 對新查詢的分類的差異（歸納偏置的差異消極方法在決定如何從訓(xùn)練數(shù)據(jù)D中泛化時考慮查詢實例 觀點：消極學(xué)習(xí)可以通過很多局部近的組合表示目標(biāo)函數(shù)，積極學(xué)習(xí)必須在訓(xùn)練時提交單個的全局近 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 使用多個局部近的積極方法，可以產(chǎn)生與消極方法的局部近同樣的效果嗎？徑向基函數(shù)RBF學(xué)習(xí)方法創(chuàng)建的局部近不能達(dá)到像消極 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 小對每個查詢實例形成一個不同的目標(biāo)函數(shù)局部近分類新實例的效難以選擇用來檢索相關(guān)實例的合適的距離度無關(guān)特征對距離度量的負(fù)作 機器學(xué)習(xí)-基于實例的學(xué)習(xí)作者 譯者 小結(jié)局部回歸法是k-近鄰方法的推廣，為每個查詢實例建立一個明確的目標(biāo)函數(shù)的局部近，近方法可2003.12.8機器-學(xué)Mitchell者陶值補充讀Cover&Hart1967提出了早期的理論結(jié)Duda&Hart1973提供了一個很好的概Bishop1995討論了k-近鄰算法以及它與概率密度估計的關(guān)Atkesonetal.1997對局部