最小平方誤差準(zhǔn)則函數(shù)

1、最小平方誤差準(zhǔn)則函數(shù)（MSE, Minimum Squared-Error） 準(zhǔn)備知識(shí)v模式識(shí)別：是指利用計(jì)算機(jī)自動(dòng)地或有少量人為干預(yù)的方法把待識(shí)別模式加以分類(lèi)，即劃分到模式類(lèi)中去。v統(tǒng)計(jì)模式識(shí)別方法：又稱(chēng)決策論方法，采用特征向量表示模式。以樣本在特征空間中的具體數(shù)值為基礎(chǔ)。v線性判別函數(shù)是在特征提取完成之后，在特征空間對(duì)模式進(jìn)行分類(lèi)的方法之一。它既是統(tǒng)計(jì)模式識(shí)別中的一個(gè)重要的基本方法，也是研究統(tǒng)計(jì)模式識(shí)別方法的基礎(chǔ)。如何得到線性判別函數(shù)？ 對(duì)一個(gè)判別函數(shù)來(lái)說(shuō)，應(yīng)該被確定的有兩個(gè)內(nèi)容：其一為方程的形式，其二為方程所帶的系數(shù)。對(duì)于線性判別函數(shù)來(lái)說(shuō)，方程的形式為線性的，方程的維數(shù)為特征向量的維數(shù)，

2、方程組的數(shù)量決定于待判別對(duì)象的類(lèi)數(shù)。 i = 1,2,.,C 這里 Y稱(chēng)為增廣特征向量（n +1維），A稱(chēng)為廣義權(quán)向量，如此則有： 0n2211i.giniiiwxwxwxwxTiniiiiTnwwwwAxxxY).,(,., 121021 YAxgTii最小平方誤差準(zhǔn)則函數(shù)背景v 既然方程組的數(shù)量、維數(shù)和形式已定，則判別函數(shù)的設(shè)計(jì)就是確定函數(shù)的各系數(shù)，也就是線性方程的各權(quán)值。v 感知準(zhǔn)則函數(shù)、梯度下降法、固定增量算法、最小平方誤差準(zhǔn)則函數(shù)等都是求取線性方程的各權(quán)值的方法。v 但是無(wú)論感知準(zhǔn)則函數(shù)和梯度下降法，還是固定增量算法，都只適用于線性可分情況。但實(shí)際中往往無(wú)法確定樣本集是否線性可分。因

3、此希望找到一種方法能夠?qū)煞N情況都適用。既對(duì)線性可分問(wèn)題可以找到將全部樣本正確分類(lèi)的解權(quán)向量，又對(duì)線性不可分問(wèn)題能夠找到一個(gè)使誤差平方和極小的解權(quán)向量。滿(mǎn)足這樣要求的準(zhǔn)則函數(shù)就是最小平方誤差準(zhǔn)則函數(shù)。平方誤差準(zhǔn)則函數(shù)及其偽逆解v對(duì)于一個(gè)具有n個(gè)學(xué)習(xí)樣本的兩類(lèi)問(wèn)題，希望找到一個(gè)權(quán)向量A，使得 ， i = 1,2,.,n得到滿(mǎn)足，將上述不等式改成等式的形式 v v其中bi是任意給定的正常數(shù)，將上式寫(xiě)為聯(lián)立方程組的形式即為：0iTYA0iiTbYABYA 其系數(shù)矩陣Y及常向量B為其中 是d維規(guī)范化增廣樣本向量，Y為 矩陣，n為樣本個(gè)數(shù)，d為特征數(shù)。ndnnddTnTTyyyyyyyyyYYY.212

4、22211121121nbbbB.21TidiiiyyyY,.,21dn 假如Y是非奇異矩陣，則我們可以得到解 但在大多數(shù)情況下樣本數(shù)n總是大于維數(shù)d，方程個(gè)數(shù)多于未知數(shù)，這是一個(gè)矛盾方程組，通常沒(méi)有精確解存在。但我們可以定義一個(gè)誤差向量 并定義平方誤差準(zhǔn)則函數(shù)然后找一個(gè)使 極小化的A作為問(wèn)題的解，這就是矛盾方程組的最小二乘近似解，也稱(chēng)為偽逆解偽逆解或MSE解解， 稱(chēng)為MSE準(zhǔn)則函數(shù)。準(zhǔn)則函數(shù)。BYA1BYAe2122niiiTbYABYAeAJ AJ AJ用解析法求偽逆解 準(zhǔn)則函數(shù)對(duì)A求導(dǎo)得:令 取極小，得這里。我們將解 的問(wèn)題轉(zhuǎn)化為 的問(wèn)題。這里 是一個(gè) 方陣，一般是非奇異的，故可以有唯一

5、解此處 稱(chēng)為Y的偽逆，A為MSE解。BYAYYbYAAJTiniiiT221 0AJBYYAYTTBYA YYTdd BYBYYYATT1BYYAYTTTTYYYY1MSE解具有的優(yōu)越特性 由MSE的解可知，解A依賴(lài)于向量B的值，可以證明，若 ，選取 ，反之 在線性可分情況下，MSE解與Fisher線性判別函數(shù)等價(jià)。若選取全部 當(dāng) ，MSE解與貝葉斯決策解之間的均方誤差達(dá)到極小，即MSE解得到的判別函數(shù)以最小均方誤差逼近貝葉斯判別函數(shù)。因此MSE解通常具有比較優(yōu)越的性能（這里的n為總的樣本數(shù)，n1是屬于w1類(lèi)的樣本數(shù)，n2是屬于w2類(lèi)的樣本數(shù)）。1wYi1nnbi2nnbinibi,.,2,1

6、1nv例：設(shè)有兩類(lèi)的二維點(diǎn)：試求偽逆解及判決邊界。 解：增廣規(guī)范化樣本為,0 ,2,2, 1:1TTw TTw3 , 2,1 , 3:2TTTTyyyy3, 2, 1,1, 3, 1,0 , 2 , 1,2 , 1 , 14321,321131021211Y1411611188684YYT取 得到解決策邊界方程為 即 如果選擇其他的B，自然會(huì)得到不同的判決邊界。2151522352234131911YYT31031061216121127431213451TTYYYYTB1 , 1 , 1 , 1TBYA32,34,311?2121241131,1xxxxAyATTT0yAT112421xxM

7、SE準(zhǔn)則函數(shù)的梯度下降算法 前面得到的MSE解 需要求偽逆 ，而 帶來(lái)的問(wèn)題有兩個(gè)：其一是要求 非奇異；其二是求 時(shí)計(jì)算量大，同時(shí)還可能引入較大的計(jì)算誤差。因此實(shí)際上往往不用這樣的解析法求MSE解。而是采用如梯度下降法梯度下降法等最優(yōu)化技術(shù)來(lái)求解。 如果我們采用梯度下降法，由前面的計(jì)算可知 的梯度是BYAYTTYYYY1YYTY AJ BYAYAJT2代價(jià)函數(shù) 是一個(gè)以未知權(quán)值（參數(shù)）向量 為自變量的連續(xù)可微函數(shù)，作為一種度量，我們希望找到一個(gè)最優(yōu)解 滿(mǎn)足條件即選擇適當(dāng)?shù)臋?quán)值向量 最小化代價(jià)函數(shù) ，這是一個(gè)無(wú)約束的最優(yōu)化問(wèn)題。梯度下降法是以迭代下降思想為基礎(chǔ)的無(wú)約束最優(yōu)化方法。他以一個(gè)初始值

8、開(kāi)始，產(chǎn)生一系列權(quán)值向量 ， 使得代價(jià)函數(shù) 在算法的每次迭代中要有下降，即 式中 是權(quán)值向量的舊值， 是他的更新值。在梯度下降法中，對(duì)權(quán)值向量 的連續(xù)調(diào)整是在梯度下降的方向進(jìn)行的，也就是與 的方向相反，為了表示方便，定義 因此，梯度下降法一般表示為式中， 是一個(gè)正常數(shù)，稱(chēng)為步長(zhǎng)或?qū)W習(xí)率參數(shù)， 是代價(jià)函數(shù)在 的梯度向量值。 0 1 2 nn1 n1n wg ngnn1 ng n則梯度下降算法可寫(xiě)成 任意 可以證明，如果選擇 為任意正常數(shù)則用此迭代公式得到的權(quán)向量序列收斂于使的權(quán)向量A，也就是MSE解。無(wú)論 奇異與否，該算法總能產(chǎn)生一個(gè)有用的權(quán)向量，而且計(jì)算量比解析法要少很多。 BAYYkAkAATTk1,1 ?kk1 02BYAYAJT1YYTWidrow-Hoff算法 為了進(jìn)一步減小計(jì)算量和存儲(chǔ)量，我們可以把樣本看成一個(gè)無(wú)限重復(fù)出現(xiàn)的序列而逐個(gè)加以考慮，這樣梯度下降算法可修改為 任意 其中 為使 的樣本。由于 是任意給定的正常數(shù)，要使 一般不可能，因而修正過(guò)程永遠(yuǎn)不會(huì)終止