非參數(shù)估計(jì)_KN近鄰

1、2022-6-211非參數(shù)估計(jì)非參數(shù)估計(jì)-Kn近鄰估計(jì)近鄰估計(jì)報(bào)告人：馬振磊報(bào)告人：馬振磊2022-6-212統(tǒng)計(jì)決策法Bayes決策法參數(shù)估計(jì)法非參數(shù)估計(jì)法非參數(shù)估計(jì)法線性判別函數(shù)概率方法概率方法幾何方法聚類分析非線性判別函數(shù)非參數(shù)估計(jì)2022-6-213 最大似然估計(jì)和貝葉斯估計(jì)都屬于參數(shù)化估計(jì)。 要求待估計(jì)的類概率密度函數(shù)形式已知。 在實(shí)際應(yīng)用中，類概率密度函數(shù)形式已知的條件并不一定成立，特別是多峰的概率分布，用普通函數(shù)難以擬合，這就需要用非參數(shù)估計(jì)技術(shù)。非參數(shù)估計(jì)2022-6-214 原理 不需獲取類類概率密度的函數(shù)形式，而是直接利用學(xué)習(xí)樣本估計(jì)特征空間任意點(diǎn)的類概率密度的值。 即直接

2、由學(xué)習(xí)樣本來設(shè)計(jì)分類器。非參數(shù)估計(jì)2022-6-215概率密度估計(jì)概率密度估計(jì) 概率密度估計(jì)問題：概率密度估計(jì)問題：給定的樣本集：給定的樣本集：估計(jì)概率分布：估計(jì)概率分布：12,lX x xx p x2022-6-216概率密度估計(jì)概率密度估計(jì) 非參數(shù)概率密度估計(jì)的核心思路： RPpdx x一個(gè)向量一個(gè)向量x落在區(qū)域落在區(qū)域R中的概率中的概率P為：為：因此，可以通過統(tǒng)計(jì)概率因此，可以通過統(tǒng)計(jì)概率P來估計(jì)概率密度函數(shù)來估計(jì)概率密度函數(shù)p(x)2022-6-217概率密度估計(jì)概率密度估計(jì) 假設(shè)假設(shè)N個(gè)樣本的集合個(gè)樣本的集合是根據(jù)概率密度是根據(jù)概率密度函數(shù)為函數(shù)為p(x)的分布獨(dú)立抽取得到的。的分布

3、獨(dú)立抽取得到的。那么，有那么，有k個(gè)樣本落在區(qū)域個(gè)樣本落在區(qū)域R中的概率服從二項(xiàng)式中的概率服從二項(xiàng)式定理：定理：1N kkkNPPPkk 的期望值為的期望值為： E kNPkPN對(duì)對(duì)P的估計(jì)：的估計(jì)：當(dāng)當(dāng) 時(shí)，時(shí)， 估計(jì)是非估計(jì)是非常精確的常精確的N 2022-6-218概率密度估計(jì)概率密度估計(jì) 假設(shè)假設(shè)p(x)是連續(xù)的，且是連續(xù)的，且R足夠小使得足夠小使得p(x)在在R內(nèi)幾乎沒內(nèi)幾乎沒有變化。有變化。 令令R是包含樣本點(diǎn)是包含樣本點(diǎn)x的一個(gè)區(qū)域，其體積為的一個(gè)區(qū)域，其體積為V，設(shè)有，設(shè)有N個(gè)訓(xùn)練樣本，其中有個(gè)訓(xùn)練樣本，其中有k落在區(qū)域落在區(qū)域R中，則可對(duì)概率密度中，則可對(duì)概率密度作出一個(gè)估計(jì)

4、：作出一個(gè)估計(jì)： RPpdpVxxx /k NpVxkPN對(duì)對(duì)p(x) 在小區(qū)域內(nèi)的平均值的估計(jì)在小區(qū)域內(nèi)的平均值的估計(jì)2022-6-219非參數(shù)估計(jì) 思路 用已知類別的學(xué)習(xí)樣本在特征空間X處出現(xiàn)的頻度 來近似 即： 其中：v為包含X點(diǎn)的區(qū)域 , k為n個(gè)樣本中落入體積v的樣本數(shù)。)/(jXPvnkxp/)(2022-6-2110非參數(shù)估計(jì)故： 表示單位體積內(nèi)落入x點(diǎn)鄰域的樣本在總樣本中的比例，可以用此來近似樣本在X點(diǎn)處的類概率密值。vnkxp/)(2022-6-2111非參數(shù)估計(jì) 問題一 若v固定，則當(dāng)n增大時(shí)， 只能表示平均概率，而不是點(diǎn)概率密度 因此，為保證 為點(diǎn)概率密度，必須有)( x

5、p)( xp0 ,vn時(shí))()(xpxpnn2022-6-2112非參數(shù)估計(jì) 問題二 若樣本數(shù)n固定， 則當(dāng) 時(shí)，則會(huì)出現(xiàn)x鄰域內(nèi)不包含任何樣本，得出 的錯(cuò)誤估計(jì)。0v0)(xp2022-6-2113 解決方案 考慮讓v和k都隨n的變化進(jìn)行調(diào)整，即： nnnvnkxPvnkxP/)(/)(非參數(shù)估計(jì)2022-6-2114 如果要求如果要求 npx能夠收斂到能夠收斂到p(x)，那么必須滿足：，那么必須滿足：lim0nnVlimnnk lim/0nnkn選擇選擇Vn選擇選擇kn非參數(shù)估計(jì)2022-6-2115非參數(shù)估計(jì) 基本方法 非參數(shù)估計(jì)法Parzen窗口法Kn近鄰法2022-6-2116 基本

6、方法 Parzen窗口法：主動(dòng)選擇vn與n的關(guān)系，kn被動(dòng)確定，指n個(gè)樣本中落入?yún)^(qū)域v的樣本數(shù) kn近鄰法：主動(dòng)選擇kn與n的關(guān)系， vn被動(dòng)確定，指包含kn個(gè)樣本的x鄰域非參數(shù)估計(jì)2022-6-2117窗口寬度的影響窗口寬度的影響2022-6-2118Kn近鄰法近鄰法 Parzen窗口法的估計(jì)效果取決于樣本總數(shù)n及 當(dāng)n較小時(shí)，對(duì) 較為敏感，即 ：1h1h 較大容易產(chǎn)生平均誤差， 估計(jì)較平坦，反映 不出總體分布的變化。 較小容易產(chǎn)生噪聲誤差，大部分體積將是空的（即不包含樣本），從而使 估計(jì)不穩(wěn)定。1h1h)(xpn)(xpn2022-6-2119Kn近鄰法近鄰法 其原因是由于 只與總樣本數(shù)有

7、關(guān)，即進(jìn)行概率密度 估計(jì)時(shí)，任何x點(diǎn)處的 都是相同的 一種合理的選擇是對(duì)樣本出現(xiàn)密度大的x處， 可較小，而對(duì)樣本密度較小的x處， 則相對(duì)大一些，這就是近鄰法。 nvnvnv)(xpnnhvn12022-6-2120Kn近鄰法近鄰法2022-6-2121Kn近鄰法近鄰法 基本原理 主動(dòng)選擇 與n的關(guān)系， 被動(dòng)確定，即使得體積 為樣本密度的函數(shù)，而不是樣本總數(shù)的函數(shù)。 可選擇 ，該條件可滿足： a. b. c.nvnvnknnknnklim0/limnknn0)(limxPnkvnnnn2022-6-2122Kn近鄰法近鄰法 近鄰法，有效地解決了Parzen窗口法存在的問題，對(duì)平均誤差和噪聲性誤差

8、均有較好的改善 選擇 后， 如何計(jì)算 ？ nvnknnKnnnnvnvnkxP1/)(2022-6-2123Kn近鄰法近鄰法 為與x點(diǎn)相鄰的 個(gè)近鄰樣本中，與x距離最遠(yuǎn)的樣本所構(gòu)成的區(qū)域，即nvdnnhv nk2022-6-2124Kn近鄰法近鄰法 用Kn近鄰法設(shè)計(jì)分類器的過程： 獲取n個(gè)學(xué)習(xí)樣本 令 找到待識(shí)樣本X處的Kn個(gè)近鄰 計(jì)算Kn 個(gè)鄰近到X的距離，找到最遠(yuǎn)距離的樣本 計(jì)算鄰域的直徑 ，計(jì)算鄰域的體積 nkndnnhv nhnXXX,.,212022-6-2125Kn近鄰法近鄰法 則 對(duì)每一類樣本重復(fù)上述過程，得各類的類概率密度 將樣本X歸類到 最大的類別中去dnnnnnhnvnvn

9、kXP11/)()(Xpn)()(jnPXp2022-6-2126K KN N近鄰法作后驗(yàn)概率的估計(jì)近鄰法作后驗(yàn)概率的估計(jì)由KN近鄰估計(jì)知N個(gè)已知類別樣本落入VN內(nèi)為KN個(gè)樣本的概率密度估計(jì)為： N個(gè)樣本落入VN內(nèi)有KN個(gè)，KN個(gè)樣本內(nèi)有Ki個(gè)樣本屬于i類則聯(lián)合概率密度： VNkxPNNN)()()|(),(iiNiiNPxPvNkxPKn近鄰法近鄰法2022-6-2127根據(jù)Bayes公式可求出后驗(yàn)概率：MjjNiNNiiiiiiNxPxPPxPPxPxP11),(),()()|()()|()|(VNkxPxPNNMjjNN1),()(VNkxPNiiN),(kkxPNiiN)|(后驗(yàn)概率的估計(jì)： 類別為i的后驗(yàn)概率就是落在 內(nèi)屬于i的樣本ki與 內(nèi)總樣本數(shù) 的比值。Kn近鄰法近鄰法VNVNkN2022-6-2128K K近鄰分類準(zhǔn)則近鄰分類準(zhǔn)則：對(duì)于待分樣本x，找出它的k個(gè)近鄰，檢查