




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
語言與核密度估計非參數(shù)統(tǒng)計詳解演示文稿第一頁,共二十四頁。優(yōu)選語言與核密度估計非參數(shù)統(tǒng)計第二頁,共二十四頁。
核密度估計的原理其實是很簡單的。在我們對某一事物的概率分布的情況下。如果某一個數(shù)在觀察中出現(xiàn)了,我們可以認(rèn)為這個數(shù)的概率密度很大,和這個數(shù)比較近的數(shù)的概率密度也會比較大,而那些離這個數(shù)遠(yuǎn)的數(shù)的概率密度會比較小?;谶@種想法,針對觀察中的第一個數(shù),我們都可以f(x-xi)去擬合我們想象中的那個遠(yuǎn)小近大概率密度。當(dāng)然其實也可以用其他對稱的函數(shù)。針對每一個觀察中出現(xiàn)的數(shù)擬合出多個概率密度分布函數(shù)之后,取平均。如果某些數(shù)是比較重要,某些數(shù)反之,則可以取加權(quán)平均。第三頁,共二十四頁。
但是核密度的估計并不是,也不能夠找到真正的分布函數(shù)。我們可以舉一個極端的例子:在R中輸入:plot(density(rep(0,
1000)))
可以看到它得到了正態(tài)分布的曲線,但實際上呢?從數(shù)據(jù)上判斷,它更有可能是一個退化的單點分布。第四頁,共二十四頁。但是這并不意味著核密度估計是不可取的,至少他可以解決許多模擬中存在的異方差問題。比如說我們要估計一下下面的一組數(shù)據(jù):set.seed(10)
dat<c(rgamma(300,shape=2,scale=2),rgamma(100,shape=10,scale=2))
第五頁,共二十四頁。第六頁,共二十四頁??梢钥闯鏊怯?00個服從gamma(2,2)與100個gamma(10,2)的隨機數(shù)構(gòu)成的,他用參數(shù)統(tǒng)計的辦法是沒有辦法得到一個好的估計的。那么我們嘗試使用核密度估計:plot(density(dat),ylim=c(0,0.2))
第七頁,共二十四頁。將利用正態(tài)核密度與標(biāo)準(zhǔn)密度函數(shù)作對比dfn<-function(x,a,alpha1,alpha2,theta){
a*dgamma(x,shape=alpha1,scale=theta)+(1-a)*dgamma(x,shape=alpha2,scale=theta)}
pfn<-function(x,a,alpha1,alpha2,theta){
a*pgamma(x,shape=alpha1,scale=theta)+(1-a)*pgamma(x,shape=alpha2,scale=theta)}
curve(dfn(x,0.75,2,10,2),add=T,col="red")
第八頁,共二十四頁。得到下圖:(紅色的曲線為真實密度曲線)第九頁,共二十四頁??梢钥闯龊嗣芏扰c真實密度相比,得到大致的估計是不成問題的。至少趨勢是得到了的。如果換用gamma分布的核效果無疑會更好,但是遺憾的是r中并沒有提供那么多的核供我們挑選(其實我們知道核的選擇遠(yuǎn)沒有窗寬的選擇來得重要),所以也無需介懷。R中提供的核:kernel=c("gaussian","epanechnikov","rectangular",
"triangular","biweight","cosine","optcosine")。第十頁,共二十四頁。我們先來看看窗寬的選擇對核密度估計的影響:dfn1<-function(x){
0.5*dnorm(x,3,1)+0.5*dnorm(x,-3,1)}
par(mfrow=c(2,2))
curve(dfn1(x),from=-6,to=6)
data<-c(rnorm(200,3,1),rnorm(200,-3,1))
plot(density(data,bw=8))
plot(density(data,bw=0.8))
plot(density(data,bw=0.08))
第十一頁,共二十四頁。得到下圖,我們可以清楚的看到帶寬為0.8恰好合適,其余的不是擬合不足便是過擬合。第十二頁,共二十四頁。第十三頁,共二十四頁。窗寬究竟該如何選擇呢?我們這里不加證明的給出最佳窗寬選擇公式:
第十四頁,共二十四頁。(這個基于積分均方誤差最小的角度得到的)這里介紹兩個可操作的窗寬估計辦法:(這兩種方法都比較容易導(dǎo)致過分光滑)1、
Silverman大拇指法則這里使用R(phi’’)/sigma^5估計R(f’’),phi代表標(biāo)準(zhǔn)正態(tài)密度函數(shù),得到h的表達式:h=(4/(3n))^(*1/5)*sigma2、
極大光滑原則h=3*(R(K)/(35n))^(1/5)*sigma當(dāng)然也有比較麻煩的窗寬估計辦法,比如缺一交叉驗證,插入法等,可以參閱《computationalstatistics》一書第十五頁,共二十四頁。我們用上面的兩種辦法得到的窗寬是多少,他的核密度估計效果好嗎?我們還是以上面的混合正態(tài)數(shù)據(jù)為例來看看效果。使用大拇指法則,將數(shù)據(jù)n=400,sigma=3.030658,帶入公式,h=0.9685291使用極大光滑原則,假設(shè)K為正態(tài)核,R(K)=1/(sqrt(2*pi)),h=1.121023可以看出他們都比我們認(rèn)為的h=0.8要大一些,作圖如下:第十六頁,共二十四頁。plot(density(data,bw=0.9685))
plot(density(data,bw=1.1210))
第十七頁,共二十四頁。由我們給出的以Gauss核為例做核密度估計用Gauss核做核密度估計的R程序如下(還是使用我們的混合正態(tài)密度的例子):第十八頁,共二十四頁。ker.density=function(x,h){
x=sort(x)
n=length(x);s=0;t=0;y=0
for(i
in
2:n)
s[i]=0
for(i
in
1:n){
for(j
in
1:n)
s[i]=s[i]+exp(-((x[i]-x[j])^2)/(2*h*h))
t[i]=s[i]
}
for(i
in
1:n)
y[i]=t[i]/(n*h*sqrt(2*pi))
z=complex(re=x,im=y)
hist(x,freq=FALSE)
lines(z)
}
ker.density(data,0.8)
第十九頁,共二十四頁。作圖如下:第二十頁,共二十四頁。最后說一個R的內(nèi)置函數(shù)density()。其實我覺得如果不是為了簡要介紹核密度估計的一些常識我們完全可以只學(xué)會這個函數(shù)先看看函數(shù)的基本用法:density(x,...)##DefaultS3method:第二十一頁,共二十四頁。density(x,bw="nrd0",adjust=1,
kernel=c("gaussian","epanechnikov","rectangular",
"triangular","biweight",
"cosine","optcosine"),
weights=NULL,window=kernel,width,
give.Rkern=FALSE,
n=512,from,to,cut=3,na.rm=FALSE,...)
第二十二頁,共二十四頁。對重要參數(shù)做出較為詳細(xì)的說明:X:我們要進行核密度估計的數(shù)據(jù)Bw:窗寬,這里可以由我們自己制定,也可以使用默認(rèn)的辦法nrd0:BandwidthselectorsforGaussiankernels。我們還可以使用bw.SJ(x,nb=1000,lower=0.1*hmax,upper=hmax,
method=c("ste","dpi"),tol=0.1*lower),這里的method=”dpi”就是前面提到過的插入
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- DB36T-多層平養(yǎng)商品肉雞飼養(yǎng)管理規(guī)程編制說明
- DB36T-道路運輸液體危險貨物罐式車輛常壓罐體定期檢驗規(guī)則編制說明
- 成功備戰(zhàn)2024年農(nóng)作物種子繁育員考試的策略試題及答案
- 農(nóng)業(yè)植保員資格考試復(fù)習(xí)中的試題及答案要點
- 學(xué)習(xí)計劃制定2024年體育經(jīng)紀(jì)人試題及答案
- 游泳救生員考試成功之路試題及答案
- 2024年貴州省考公務(wù)員考試結(jié)構(gòu)化面試AB卷試題試卷答案解析
- 2024年農(nóng)業(yè)植保員考試中的職場倫理與職業(yè)道德規(guī)范探討試題及答案
- 智慧風(fēng)力發(fā)電項目可行性研究報告
- 種子生產(chǎn)與管理試題及答案
- 上消化道內(nèi)鏡操作課件
- 海洋環(huán)境監(jiān)測概述課件
- 汽車文化中的家庭與生活
- 輪狀病毒活疫苗
- 《大學(xué)語文》-《夢狼》
- 第十章-幼兒的個性-第一、二節(jié)
- JGT266-2011 泡沫混凝土標(biāo)準(zhǔn)規(guī)范
- 平安壽險退保 申請書
- 推進中國教育數(shù)字化的戰(zhàn)略與政策
- 生育服務(wù)證辦理承諾書
- 地下室頂板預(yù)留洞口施工方案標(biāo)準(zhǔn)版
評論
0/150
提交評論