非參數(shù)統(tǒng)計(jì)-一元非參數(shù)回歸課件

第九章一元非參數(shù)回歸第九章一元非參數(shù)回歸一元非線性回歸模型:給定一組觀測(cè)值(xi,yi)，i=1,2,…,n概述可以采用多項(xiàng)式回歸.一元非線性回歸模型:概述可以采用多項(xiàng)式回歸.概述概述9.1核回歸光滑模型局部加權(quán)最小二乘估計(jì):如果取核函數(shù)9.1核回歸光滑模型局部加權(quán)最小二乘估計(jì)9.1核回歸光滑模型利用核密度估計(jì)的基本思想，估計(jì)yi的權(quán)重。加權(quán)平均核hn小,yi的權(quán)重小,反之,則越大。9.1核回歸光滑模型利用核密度估計(jì)的基本9.1核回歸曲線Nadaraya-Watson核估計(jì)為：Gasser-Muller核估計(jì)為：9.1核回歸曲線Nadaraya-Watson核估計(jì)為：9.1核回歸曲線Nadaraya-Watson核估計(jì)為：以鮭魚和鱸魚為例，繪制核回歸曲線如下。M1<-function(x,h){sum(y[1:260]*exp(-0.5*((xx[1:260]-x)/h)^2))/sum(exp(-0.5*((xx[1:260]-x)/h)^2))}x<-seq(min(xx),max(y),length=50),z=rep(0,50)for(iin1:50){z[i]<-M1(x[i],0.2)}plot(xx,y)lines(x,z)9.1核回歸曲線Nadaraya-Watson核估計(jì)為：核回歸估計(jì)范例

h=0.2h=0.8核回歸估計(jì)范例h=0.2h=0.89.2局部線性回歸主要避免邊界估計(jì)不精確.在x的鄰域用線性函數(shù)取代yi的平均.特別,如果K(.)是[-1,1]上的均勻分布,則9.2局部線性回歸主要避免邊界估計(jì)不精確.9.2局部多項(xiàng)式回歸在局部線性函數(shù)回歸的基礎(chǔ)上確定β的矩陣表達(dá)式:9.2局部多項(xiàng)式回歸在局部線性函數(shù)回歸的基礎(chǔ)上確定β的矩陣9.3Lowess穩(wěn)健回歸異常點(diǎn)可能導(dǎo)致線性回歸模型最小二乘估計(jì)發(fā)生偏差,改進(jìn)局部線性擬合方法來(lái)降低異常點(diǎn)對(duì)估計(jì)的影響.

基本思想:首先局部線性回歸擬合,其次對(duì)權(quán)數(shù)進(jìn)行平滑.算法步驟:9.3Lowess穩(wěn)健回歸異常點(diǎn)可能導(dǎo)致9.4k-近鄰回歸與k-近鄰核密度估計(jì)類似，基本思想是用距離x最近的k個(gè)樣本點(diǎn)處yi的值來(lái)估計(jì)當(dāng)前點(diǎn)的取值,并確定權(quán)值.一.k-近鄰估計(jì)特點(diǎn)：比核密度回歸簡(jiǎn)單。9.4k-近鄰回歸與k-近鄰核密度估計(jì)類9.4k-近鄰回歸

knearhg<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

knearhg<-sum(A[find.k,2])/kreturn(knearhg)}9.4k-近鄰回歸knearhg<-function9.4k-近鄰回歸k=3k=109.4k-近鄰回歸k=3k=109.4k-近鄰回歸二.k-近鄰核估計(jì)9.4k-近鄰回歸二.k-近鄰核估計(jì)9.4k-近鄰回歸knearm<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

R<-max((abs(x-A[find.k,1])))knearm<-sum(A[,2][1:260]*exp(-0.5*((A[,1][1:260]-x)/R)^2))/sum(exp(-0.5*((A[,1][1:260]-x)/R)^2))return(knearm)}9.4k-近鄰回歸knearm<-function(A,9.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=159.4k-近鄰回歸k=159.5正交序列回歸前面講的三種情況回歸是局部的思想.預(yù)測(cè)只能是局部的,全局估計(jì)法效果比較好的是正交多項(xiàng)式回歸.正交基的概念:9.5正交序列回歸前面講的三種情況回歸是9.5正交序列回歸回歸模型近似為:進(jìn)行最小二乘估計(jì):9.5正交序列回歸回歸模型近似為:進(jìn)行最小二乘估計(jì):9.5正交序列回歸區(qū)間[-1,1]上的Legendre多項(xiàng)式正交基:9.5正交序列回歸區(qū)間[-1,1]上的Legendre多9.5正交序列回歸例9.7對(duì)摩托車數(shù)據(jù)采用Legendre多項(xiàng)式正交基建立回歸模型,效果圖如下.注意:對(duì)解釋變量施行變換:9.5正交序列回歸例9.7對(duì)摩托車數(shù)據(jù)采用Leg9.5正交序列回歸9.5正交序列回歸第九章一元非參數(shù)回歸第九章一元非參數(shù)回歸一元非線性回歸模型:給定一組觀測(cè)值(xi,yi)，i=1,2,…,n概述可以采用多項(xiàng)式回歸.一元非線性回歸模型:概述可以采用多項(xiàng)式回歸.概述概述9.1核回歸光滑模型局部加權(quán)最小二乘估計(jì):如果取核函數(shù)9.1核回歸光滑模型局部加權(quán)最小二乘估計(jì)9.1核回歸光滑模型利用核密度估計(jì)的基本思想，估計(jì)yi的權(quán)重。加權(quán)平均核hn小,yi的權(quán)重小,反之,則越大。9.1核回歸光滑模型利用核密度估計(jì)的基本9.1核回歸曲線Nadaraya-Watson核估計(jì)為：Gasser-Muller核估計(jì)為：9.1核回歸曲線Nadaraya-Watson核估計(jì)為：9.1核回歸曲線Nadaraya-Watson核估計(jì)為：以鮭魚和鱸魚為例，繪制核回歸曲線如下。M1<-function(x,h){sum(y[1:260]*exp(-0.5*((xx[1:260]-x)/h)^2))/sum(exp(-0.5*((xx[1:260]-x)/h)^2))}x<-seq(min(xx),max(y),length=50),z=rep(0,50)for(iin1:50){z[i]<-M1(x[i],0.2)}plot(xx,y)lines(x,z)9.1核回歸曲線Nadaraya-Watson核估計(jì)為：核回歸估計(jì)范例

h=0.2h=0.8核回歸估計(jì)范例h=0.2h=0.89.2局部線性回歸主要避免邊界估計(jì)不精確.在x的鄰域用線性函數(shù)取代yi的平均.特別,如果K(.)是[-1,1]上的均勻分布,則9.2局部線性回歸主要避免邊界估計(jì)不精確.9.2局部多項(xiàng)式回歸在局部線性函數(shù)回歸的基礎(chǔ)上確定β的矩陣表達(dá)式:9.2局部多項(xiàng)式回歸在局部線性函數(shù)回歸的基礎(chǔ)上確定β的矩陣9.3Lowess穩(wěn)健回歸異常點(diǎn)可能導(dǎo)致線性回歸模型最小二乘估計(jì)發(fā)生偏差,改進(jìn)局部線性擬合方法來(lái)降低異常點(diǎn)對(duì)估計(jì)的影響.

基本思想:首先局部線性回歸擬合,其次對(duì)權(quán)數(shù)進(jìn)行平滑.算法步驟:9.3Lowess穩(wěn)健回歸異常點(diǎn)可能導(dǎo)致9.4k-近鄰回歸與k-近鄰核密度估計(jì)類似，基本思想是用距離x最近的k個(gè)樣本點(diǎn)處yi的值來(lái)估計(jì)當(dāng)前點(diǎn)的取值,并確定權(quán)值.一.k-近鄰估計(jì)特點(diǎn)：比核密度回歸簡(jiǎn)單。9.4k-近鄰回歸與k-近鄰核密度估計(jì)類9.4k-近鄰回歸

knearhg<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

knearhg<-sum(A[find.k,2])/kreturn(knearhg)}9.4k-近鄰回歸knearhg<-function9.4k-近鄰回歸k=3k=109.4k-近鄰回歸k=3k=109.4k-近鄰回歸二.k-近鄰核估計(jì)9.4k-近鄰回歸二.k-近鄰核估計(jì)9.4k-近鄰回歸knearm<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

R<-max((abs(x-A[find.k,1])))knearm<-sum(A[,2][1:260]*exp(-0.5*((A[,1][1:260]-x)/R)^2))/sum(exp(-0.5*((A[,1][1:260]-x)/R)^2))return(knearm)}9.4k-近鄰回歸knearm<-function(A,9.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=159.4k-近鄰回歸k=159.5正交序列回歸前面講的三種情況回歸是局部的思想.預(yù)測(cè)只能是局部的,全局估計(jì)法效果比較好的是正交多項(xiàng)式回歸.正交基的概念:9.5正交序列回歸前面講的三種情況回歸是9.5正交序列回歸回歸模型近似為:進(jìn)行最小二乘估計(jì):9.5正交序列回