第11章-非參數(shù)回歸(非參數(shù)統(tǒng)計(jì)-西南財(cái)大)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上第十二章 非參數(shù)回歸及其相關(guān)問(wèn)題第一節(jié) 參數(shù)回歸問(wèn)題的回顧在線性回歸模型中，我們總是假定總體回歸函數(shù)是線性的，即多元線性回歸模型一般形式為： 總體回歸函數(shù)（PRF）但是，經(jīng)驗(yàn)和理論都證明，當(dāng)不是線性函數(shù)時(shí)，基于最小二乘的回歸效果不好，非參數(shù)回歸就是在對(duì)的形式不作任何假定的前提下研究估計(jì)。例 設(shè)二維隨機(jī)變量，其密度函數(shù)為，求.解：從例可知，僅與有關(guān)，條件期望表明Y與X在條件期望的意義下相關(guān)。由樣本均值估計(jì)總體均值的思想出發(fā)，假設(shè)樣本，中有相當(dāng)恰好等于，不妨記為，自然可取相應(yīng)的的樣本，用他們的平均數(shù)去估計(jì)?？墒窃趯?shí)際問(wèn)題中，一般不會(huì)有很多的值恰好等于。這個(gè)估計(jì)式，仿佛是一

2、個(gè)加權(quán)平均數(shù)，對(duì)于所有的，如果等于，則賦予的權(quán)，如果不等于，則賦予零權(quán)。由此可啟發(fā)我們?cè)谒悸飞袭a(chǎn)生了一個(gè)飛躍。即對(duì)于任一個(gè)，用的加權(quán)和去估計(jì)，即，其中，估計(jì)。問(wèn)題是如何賦權(quán)，一種合乎邏輯的方法是，等于或靠非常近的那些，相應(yīng)的權(quán)大一些，反之小權(quán)或零權(quán)。兩種模式：設(shè)上的隨機(jī)變量，為的次觀測(cè)值。實(shí)際應(yīng)用中 ，為非隨機(jī)的，依條件獨(dú)立，在理論上非參數(shù)回歸中既可以是非隨機(jī)的，也可以是隨機(jī)的。而參數(shù)回歸分析中，我們總是假定為非隨機(jī)的。根據(jù)的不同非參數(shù)回歸有兩種模式。1、為隨機(jī)時(shí)的非參數(shù)回歸模型設(shè)，為的隨機(jī)樣本。存在沒(méi)個(gè)未知的實(shí)值函數(shù)，使得 一般記為這里，如果，則2、為非隨機(jī)時(shí)的非參數(shù)回歸模型由于在實(shí)際中，研

3、究者或試驗(yàn)者一般可以控制X或預(yù)先指定X，這時(shí)X可能不再是隨機(jī)變量，例如年齡與收入之間的關(guān)系中年齡為固定時(shí)，收入的分布是已知的，不存在X為隨機(jī)變量時(shí)，估計(jì)的問(wèn)題。設(shè)，為的隨機(jī)樣本設(shè)的隨機(jī)變量，為的次獨(dú)立觀測(cè)值，則，。第二節(jié) 一元非參數(shù)回歸核估計(jì)方法一、核估計(jì)(一) Nadaraya-Watson估計(jì)核權(quán)函數(shù)是最重要的一種權(quán)函數(shù)。為了說(shuō)明核函數(shù)估計(jì)，我們回憶二維密度估計(jì) (1)而 (2)在這個(gè)密度函數(shù)估計(jì)中，核函數(shù)必須相等，光滑參數(shù)可以不等，光滑參數(shù)不等時(shí)，有 將（2）代入（1）的分子，得 令，則 又由有對(duì)稱性，則，得1式的分子為分子分母可以看出對(duì)的 估計(jì)，是密度函數(shù)估計(jì)的一種自然推廣，一般也稱為

4、權(quán)函數(shù)估計(jì)其中可以看出權(quán)函數(shù)完全由確定，其取值與X的分布有關(guān)，稱為N-W估計(jì)。可以推得：所以，核估計(jì)等價(jià)于局部加權(quán)最小二乘法。二、窗寬的選擇令根據(jù)非參數(shù)估計(jì) 當(dāng)，的分子和分母中除了當(dāng)?shù)捻?xiàng)不為零，其它均為零，故這說(shuō)明當(dāng)窗寬趨于0時(shí)，點(diǎn)的估計(jì)值趨于該點(diǎn)的觀測(cè)值。當(dāng)，的分子和分母中每一項(xiàng) ，則。說(shuō)明當(dāng)窗寬趨于無(wú)窮時(shí)，則每一點(diǎn)的估計(jì)值均為Y的觀測(cè)值的平均值?？梢?jiàn)窗寬的控制是核估計(jì)精度的重要參數(shù)。太小估計(jì)線欠平滑，太大過(guò)于平滑。1、 理論窗寬的最佳選擇記，當(dāng)解釋變量為隨機(jī)的情形時(shí)，的漸近偏差和漸近方差為：估計(jì)方法 漸近偏差漸近方差N-W方法其中為解釋變量的密度函數(shù)，。 估計(jì)的均方誤差回歸函數(shù)m(x)估計(jì)

5、的漸近方差隨著窗寬見(jiàn)效而增大，漸近偏差隨著減小而減小。所以非參數(shù)估計(jì)就是在估計(jì)的盤查和方差中尋求平衡，使均方誤差達(dá)到最小。 理論的最佳窗寬。2、 樣本窗寬的交錯(cuò)鑒定哪一個(gè)窗寬是比較恰當(dāng)?shù)?，必須通過(guò)樣本的資料考察，但是我們的樣本僅僅有一個(gè)。在某個(gè)局部觀測(cè)點(diǎn)，首先，在樣本中剔除該觀測(cè)值點(diǎn)，用剩余的n-1個(gè)點(diǎn)在處進(jìn)行核估計(jì)：最后比較平方擬合誤差，使最小的窗寬，則是最佳的。3、 窗寬的經(jīng)驗(yàn)選擇方法當(dāng)K(.)為【1，1】上對(duì)稱、單峰的概率密度時(shí)，是集中在x附近的加權(quán)平均，由于x為對(duì)稱的，以為寬度，當(dāng)太大時(shí)，參加的平均點(diǎn)多，會(huì)提高精度，但可能偏差會(huì)增大。反之小則相反。所以應(yīng)該根據(jù)散點(diǎn)圖來(lái)選擇窗寬。三、核函

6、數(shù)的選擇因?yàn)楣烙?jì)方法 漸近偏差漸近方差N-W方法所以漸近均方誤差為：其中和是與核函數(shù)無(wú)關(guān)的量，對(duì)MSE求h的導(dǎo)數(shù)，則最佳的窗寬為：將代入MSE，得最優(yōu)的核函數(shù)是使達(dá)到最小的核函數(shù)。四、核估計(jì)的性質(zhì)（略）作為估計(jì)量，非參數(shù)回歸函數(shù)核估計(jì)有一些優(yōu)良性質(zhì)。第三節(jié) 一元非參數(shù)回歸模型的局部估計(jì)一、 局部多項(xiàng)式回歸局部多項(xiàng)式估計(jì)（Loess）是另一種非參數(shù)回歸的曲線擬合方法。它在每一自變量值處擬合一個(gè)局部多項(xiàng)式，可以是零階、一階、二階，零階時(shí)與核估計(jì)相同。為了研究某經(jīng)濟(jì)變量的變化規(guī)律，一個(gè)常用的方法就是找出影響的相關(guān)經(jīng)濟(jì)變量，回歸表達(dá)式未知，為被解釋變量，為解釋變量。，其中為隨機(jī)誤差項(xiàng)。假設(shè)有樣本，在處

7、相應(yīng)階導(dǎo)數(shù)存在（可取），我們要估計(jì)。如果假定在處p階導(dǎo)數(shù)存在，則將在的某領(lǐng)域按泰勒級(jí)數(shù)展開(kāi)記，原模型為 上式為一個(gè)多項(xiàng)式回歸模型，且對(duì)的估計(jì)依賴于其局部的點(diǎn)。從模型我們可以看出，是在處的觀測(cè)值；是在處的斜率。根據(jù)加權(quán)最小二乘法可以估計(jì)核權(quán)局部回歸。注：因?yàn)闃颖净貧w函數(shù)為 兩邊同乘以X的轉(zhuǎn)置，得 即 得參數(shù)（向量）的最小二乘估計(jì)為： 局部多項(xiàng)式擬合從理論和實(shí)踐上都很吸引人。第一，傳統(tǒng)回歸分析方法將經(jīng)濟(jì)變量局部上的變異掩蓋了，因此無(wú)法反映經(jīng)濟(jì)現(xiàn)象的結(jié)構(gòu)變化。而局部回歸的結(jié)果能夠動(dòng)態(tài)地反映經(jīng)濟(jì)現(xiàn)象的結(jié)構(gòu)變化。第二，局部回歸分析的方法假定變量間的關(guān)系未知，所以更加符合實(shí)際情況。窗寬參數(shù)h在局部回歸中起

8、到了相當(dāng)重要的作用。太大的窗寬將使與距離較遠(yuǎn)的觀測(cè)點(diǎn)也參與局部回歸分析，也就造成局部回歸的偏差大；太小的窗寬將使與較近的點(diǎn)沒(méi)能參加局部回歸分析，造成估計(jì)的隨機(jī)偏差大。因而尋求一個(gè)合適的窗寬是局部回歸分析的最重要的任務(wù)之一。窗寬選擇的常用方法之一是交叉核實(shí)。最小的窗寬。其中是剔除該觀測(cè)點(diǎn)，估計(jì)的估計(jì)值。核函數(shù)為一個(gè)對(duì)稱的概率密度函數(shù)，核權(quán)函數(shù)在局部回歸中起到光滑的作用，使所得的曲線更能反映變量之間的實(shí)際經(jīng)濟(jì)關(guān)系。在進(jìn)行局部回歸分析之前，對(duì)于不同的觀測(cè)點(diǎn)X將賦予不同的權(quán)數(shù)，即不同的觀測(cè)點(diǎn)在處局部回歸時(shí)的重要程度不同，靠得近的點(diǎn)賦大權(quán)，相反賦小權(quán)。 SAS/INSIGHT缺省使用一階（線性）局部多項(xiàng)

9、式。改變Loess的系數(shù)alpha可以改變曲線的光滑度。alpha增大時(shí)曲線變光滑，而且使用一階或二階多項(xiàng)式時(shí)曲線不會(huì)同時(shí)變水平。固定窗寬的局部多項(xiàng)式是另一種局部多項(xiàng)式擬合方法。它有一個(gè)光滑系數(shù)c第四節(jié) k近鄰估計(jì)一、k近鄰均勻核權(quán)估計(jì)例 一個(gè)特殊的非參數(shù)回歸k近鄰估計(jì)在RP上引入一個(gè)距離函數(shù)，即任取u和v，表示兩點(diǎn)的距離。這個(gè)距離可以是歐氏距離或馬氏距離。對(duì)指定的X，到X的距離的大小按升序排列，得稱為X的第k個(gè)近鄰。然后指定n個(gè)常數(shù)滿足：，則稱為的近鄰估計(jì)。為光滑參數(shù)。一種最常見(jiàn)的近鄰權(quán)是：給定一個(gè)K，位次在K和K以前的，權(quán)數(shù)為1/K，K+1以后的權(quán)數(shù)為零。稱為均勻核權(quán)估計(jì)。 定義 令 （定

10、義一種距離）（可以認(rèn)為R(x)為x的第k個(gè)近鄰離x的距離。）（可以認(rèn)為某個(gè)Xi距x的距離除以R(x)）定義 為K近鄰估計(jì)的核權(quán)函數(shù)。 K近鄰權(quán)常常以的核函數(shù)為：二、k近鄰估計(jì) 回歸函數(shù)的K近鄰估計(jì)為漸近偏漸近方差隨機(jī)設(shè)計(jì)三、非參數(shù)回歸模型的穩(wěn)健估計(jì)（lowess）Lowess（Locally Weighted Scatter Plot Smoothing）稱為局部多項(xiàng)式加權(quán)散點(diǎn)圖平滑。眾所周知，異常點(diǎn)將造成線性回歸模型最小二乘估計(jì)失去應(yīng)用的價(jià)值。因而有必要改進(jìn)局部新型擬合方法以降低異常點(diǎn)對(duì)估計(jì)結(jié)果的影響。穩(wěn)健估計(jì)方法的基本思想是先用局部線性估計(jì)進(jìn)行擬合，然后定義穩(wěn)健的權(quán)數(shù)并進(jìn)行平滑。1) 對(duì)模型進(jìn)行局部線性或多項(xiàng)式回歸估計(jì)，得到的估計(jì)，使得達(dá)到最小。其中是k近鄰權(quán)，最佳窗寬由交錯(cuò)鑒定法確定。2) 計(jì)算殘差。其中是在x鄰域