中科院統(tǒng)計(jì)學(xué)課程

中科院統(tǒng)計(jì)學(xué)課程1非參數(shù)回歸參數(shù)回歸（線性回歸）時(shí)，假設(shè)r(x)

為線性的。當(dāng)r(x)

不是x的線性函數(shù)時(shí)，基于最小二乘的回歸效果不佳非參數(shù)回歸：不對(duì)r(x)的形式做任何假定局部加權(quán)方法：用點(diǎn)x附近的Yi的加權(quán)平均表示r(x)回憶：knn回歸函數(shù)：Knn：用訓(xùn)練樣本中最鄰近x0的k個(gè)樣本的均值估計(jì)條件期望其中

為x0的鄰域，由訓(xùn)練樣本中最鄰近x0的k個(gè)點(diǎn)xi

定義回憶：knn例：核回歸：Nadaraya-Watson鄰域中點(diǎn)的權(quán)重不是等權(quán)重，而是每個(gè)樣本的權(quán)重隨其到目標(biāo)點(diǎn)的距離平滑衰減其中參數(shù)h稱為帶寬(bandwidth)，核函數(shù)有時(shí)可寫為：K可為任意平滑的函數(shù)，滿足常用核函數(shù)Epanechnikov核：使風(fēng)險(xiǎn)最小的核函數(shù)高斯核：三次方核：核回歸：Nadaraya-Watson回憶一下回歸方程的定義：分別對(duì)用核密度估計(jì)，得到核回歸：Nadaraya-Watson證明：核回歸：Nadaraya-Watson證明（續(xù)）核回歸：Nadaraya-Watson這可以被看作是對(duì)y取一個(gè)加權(quán)平均，對(duì)x附近的值給予更高的權(quán)重：其中核回歸：Nadaraya-Watson將核回歸估計(jì)寫成如下形式：其中，核回歸：Nadaraya-Watson類似核密度估計(jì)中求期望的展開，得到同理，其中核回歸：Nadaraya-Watson最后，得到估計(jì)的風(fēng)險(xiǎn)為最佳帶寬以的速率減少，在這種選擇下風(fēng)險(xiǎn)以的速率減少，這是最佳收斂速率（同核密度估計(jì)）核回歸：Nadaraya-Watson實(shí)際應(yīng)用中，利用交叉驗(yàn)證對(duì)求最佳帶寬h。交叉驗(yàn)證對(duì)風(fēng)險(xiǎn)的估計(jì)為實(shí)際上不必每次留下一個(gè)計(jì)算單獨(dú)估計(jì)，可以寫成以下形式例：不同帶寬下Nadaraya-Watson回歸的結(jié)果核回歸：Nadaraya-Watson模型類型：非參數(shù)損失：平方誤差參數(shù)選擇：留一交叉驗(yàn)證局部線性回歸問題：加權(quán)核回歸在訓(xùn)練數(shù)據(jù)中靠近邊界的點(diǎn)的估計(jì)很差核在邊界區(qū)域不對(duì)稱，局部加權(quán)平均在邊界區(qū)域上出現(xiàn)嚴(yán)重偏差

局部線性回歸局部線性回歸：在每一個(gè)將要被預(yù)測的點(diǎn)x處解一個(gè)單獨(dú)的加權(quán)最小二乘問題，找到使下述表達(dá)式最小的局部線性回歸邊界上的N-W核：核在邊界不對(duì)稱

偏差大邊界上的局部線性回歸：將偏差降至一階藍(lán)色曲線：真實(shí)情況綠色曲線：估計(jì)值黃色區(qū)域：x0的局部區(qū)域如果選定核函數(shù)，這無需計(jì)算映射可以計(jì)算點(diǎn)積假設(shè)f在RKHS中，則局部多項(xiàng)式回歸：用d次多項(xiàng)式回歸代替線性回歸實(shí)際應(yīng)用中，利用交叉驗(yàn)證對(duì)求最佳帶寬h。嶺回歸只需計(jì)算數(shù)據(jù)點(diǎn)的內(nèi)積核回歸：Nadaraya-Watson另一種對(duì)偶表示推導(dǎo)方式另一種對(duì)偶表示推導(dǎo)方式KernelTrick如嶺回歸方法核嶺回歸鄰域中點(diǎn)的權(quán)重不是等權(quán)重，而是每個(gè)樣本的權(quán)重隨其到目標(biāo)點(diǎn)的距離平滑衰減Cauchy-Schwarz不等式Epanechnikov核：其中為x0的鄰域，由訓(xùn)練樣本中最鄰近x0的k個(gè)點(diǎn)xi定義黃色區(qū)域：x0的局部區(qū)域核回歸：局部線性回歸則估計(jì)為：其中W(x)是一個(gè)的對(duì)角矩陣且第i個(gè)對(duì)角元素是估計(jì)在yi上是線性的，因?yàn)闄?quán)重項(xiàng)wi(x)不涉及yi

，可被認(rèn)為是等價(jià)核局部線性回歸局部線性回歸通過自動(dòng)修改核，將偏差降至一階由于,偏差

為局部線性回歸邊界上的局部等價(jià)核（綠色點(diǎn)）內(nèi)部區(qū)域的局部等價(jià)核（綠色點(diǎn)）局部多項(xiàng)式回歸局部多項(xiàng)式回歸：用d次多項(xiàng)式回歸代替線性回歸可以考慮任意階的多項(xiàng)式，但有一個(gè)偏差和方差的折中通常認(rèn)為：超過線性的話，會(huì)增大方差，但對(duì)偏差的減少不大，因?yàn)榫植烤€性回歸能處理大多數(shù)的邊界偏差，可變寬度核可變寬度核：如使每一個(gè)訓(xùn)練點(diǎn)的帶寬與它的第k個(gè)近鄰的距離成反比在實(shí)際應(yīng)用中很好用，雖然尚未有理論支持怎樣選擇參數(shù)不會(huì)改變收斂速度，但在有限樣本時(shí)表現(xiàn)更好注意：上述這些擴(kuò)展（包括局部線性/局部多項(xiàng)式）都可應(yīng)用到核密度估計(jì)中核方法為什么要用核方法？得到更豐富的模型，但仍然采用同樣的方法如嶺回歸方法

核嶺回歸內(nèi)容Kerneltrick再生Hilbert空間線性模型線性模型：方便、應(yīng)用廣泛有很強(qiáng)的理論保證但還是有局限性可以通過擴(kuò)展特征空間增強(qiáng)線性模型的表示能力如特征空間為R6而不是R2特該特征空間的線性預(yù)測器為嶺回歸對(duì)給定的最小化正則化的殘差則最優(yōu)解為需O(p3)運(yùn)算對(duì)偶表示一種對(duì)偶表示為：其中需O(n3)運(yùn)算對(duì)偶嶺回歸為了預(yù)測一個(gè)新的點(diǎn)其中此時(shí)只需計(jì)算Gram矩陣G嶺回歸只需計(jì)算數(shù)據(jù)點(diǎn)的內(nèi)積特征空間中的線性回歸基本思想：將數(shù)據(jù)映射到高維空間（特征空間）然后在高維空間中用線性方法嵌入式特征映射：核函數(shù)則核函數(shù)為其中為將數(shù)據(jù)映射到高維空間的映射有許多可能的核函數(shù)最簡單的為核特征空間中的嶺回歸為了預(yù)測一個(gè)新的點(diǎn)其中計(jì)算Gram矩陣G利用核函數(shù)計(jì)算內(nèi)積另一種對(duì)偶表示推導(dǎo)方式線性嶺回歸最小化：等價(jià)于滿足約束則拉格朗日函數(shù)為Wolfe對(duì)偶問題轉(zhuǎn)化為其對(duì)偶問題：對(duì)L求偏導(dǎo)并置為0，得到Wolfe對(duì)偶問題將和代入拉格朗日函數(shù)原目標(biāo)函數(shù)轉(zhuǎn)化為總之，這些被稱為核技巧(kerneltrick),尋找一個(gè)映射：和一個(gè)學(xué)習(xí)方法，使得核回歸：Nadaraya-WatsonKerneltrick不會(huì)改變收斂速度，但在有限樣本時(shí)表現(xiàn)更好邊界上的局部線性回歸：亦稱為原方法的核化(kernelizingtheoriginalmethod).問題：加權(quán)核回歸在訓(xùn)練數(shù)據(jù)中靠近邊界的點(diǎn)的估計(jì)很差K可為任意平滑的函數(shù)，滿足鄰域中點(diǎn)的權(quán)重不是等權(quán)重，而是每個(gè)樣本的權(quán)重隨其到目標(biāo)點(diǎn)的距離平滑衰減局部線性回歸通過自動(dòng)修改核，將偏差降至一階核回歸：Nadaraya-Watson問題：加權(quán)核回歸在訓(xùn)練數(shù)據(jù)中靠近邊界的點(diǎn)的估計(jì)很差通常認(rèn)為：超過線性的話，會(huì)增大方差，但對(duì)偏差的減少不大，因?yàn)榫植烤€性回歸能處理大多數(shù)的邊界偏差，偏差為將和代入拉格朗日函數(shù)最優(yōu)解寫成矩陣形式為：得到解：相應(yīng)的回歸方程為：點(diǎn)積核化嶺回歸將點(diǎn)積換成核函數(shù)Kerneltrick就實(shí)現(xiàn)了對(duì)線性嶺回歸的核化，在空間統(tǒng)計(jì)學(xué)中稱為Kriging算法。核方法通過將輸入空間映射到高維空間（特征空間），然后在高維空間中用線性方法高維：維數(shù)災(zāi)難通過核技巧，避免維數(shù)災(zāi)難KernelTrick將問題變?yōu)槠鋵?duì)偶問題：只需計(jì)算點(diǎn)積，與特征的維數(shù)無關(guān)，如在線性嶺回歸中，最大化下列目標(biāo)函數(shù)在高維空間中的點(diǎn)積可寫成核(kernel)的形式，如果選定核函數(shù)，這無需計(jì)算映射可以計(jì)算點(diǎn)積KernelTrick總之，這些被稱為核技巧(kerneltrick),尋找一個(gè)映射：

和一個(gè)學(xué)習(xí)方法，使得F的維數(shù)比X高,因此模型更豐富算法只需要計(jì)算點(diǎn)積存在一個(gè)核函數(shù)，使得在算法中任何出現(xiàn)項(xiàng)的地方，用代替亦稱為原方法的核化(kernelizingtheoriginalmethod).點(diǎn)積核實(shí)際應(yīng)用中，利用交叉驗(yàn)證對(duì)求最佳帶寬h。問題：加權(quán)核回歸在訓(xùn)練數(shù)據(jù)中靠近邊界的點(diǎn)的估計(jì)很差假設(shè)f在RKHS中，則核回歸：Nadaraya-Watson核回歸：Nadaraya-Watson核回歸：Nadaraya-Watson假設(shè)f在RKHS中，則核回歸：Nadaraya-WatsonCauchy-Schwarz不等式將核回歸估計(jì)寫成如下形式：如果選定核函數(shù)，這無需計(jì)算映射可以計(jì)算點(diǎn)積就實(shí)現(xiàn)了對(duì)線性嶺回歸的核化，在空間統(tǒng)計(jì)學(xué)中稱為Kriging算法。核回歸：Nadaraya-Watson交叉驗(yàn)證對(duì)風(fēng)險(xiǎn)的估計(jì)為不同帶寬下Nadaraya-Watson回歸的結(jié)果Mercer’sTheorem核回歸：Nadaraya-Watson總之，這些被稱為核技巧(kerneltrick),尋找一個(gè)映射：和一個(gè)學(xué)習(xí)方法，使得Cauchy-Schwarz不等式核回歸：Nadaraya-Watson再生Hilbert空間將和代入拉格朗日函數(shù)假設(shè)f在RKHS中，則假設(shè)f在RKHS中，則K可為任意平滑的函數(shù)，滿足其中為x0的鄰域，由訓(xùn)練樣本中最鄰近x0的k個(gè)點(diǎn)xi定義轉(zhuǎn)化為求解下述“簡單”問題其中W(x)是一個(gè)的對(duì)角矩陣且第i個(gè)對(duì)角元素是什么樣的函數(shù)可以作為核函數(shù)？F的維數(shù)比X高,因此模型更豐富什么樣的函數(shù)可以作為核函數(shù)？Mercer’s定理給出了連續(xù)對(duì)稱函數(shù)k可作為核函數(shù)的充要條件：半正定半正定核：對(duì)稱：且對(duì)任意訓(xùn)練樣本點(diǎn)和任意滿足K被稱為Gram矩陣或核矩陣。矩陣形式：半正定核的性質(zhì)對(duì)稱Cauchy-Schwarz不等式Mercer’sTheorem當(dāng)且僅當(dāng)一個(gè)函數(shù)K滿足半正定形式時(shí)，函數(shù)K可以寫成其中

為特征映射：該核定義了一個(gè)函數(shù)集合，其中每個(gè)元素可以寫成因此某些核對(duì)應(yīng)無限個(gè)預(yù)測變量的變換Mercer核RKHS：再生Hilbert空間

—ReproducingKernelHilbertSpaces為了證明上述定理，構(gòu)造一個(gè)特殊的特征空間定義函數(shù)空間再生性質(zhì)映射到一個(gè)函數(shù)空間有限、半正定Mercer’sTheorem粗略地說，如果K