紅外與近紅外光譜常用數(shù)據(jù)處理算法

1、一、數(shù)據(jù)預(yù)處理（ 1） 中心化變換（ 2） 歸一化處理（ 3） 正規(guī)化處理（ 4） 標(biāo)準(zhǔn)正態(tài)變量校正（標(biāo)準(zhǔn)化處理） （ Standard Normal Variate,SNV）（ 5） 數(shù)字平滑與濾波（ Smooth）（6） 導(dǎo)數(shù)處理（ Derivative ）（ 7） 多元散射校正（ Multiplicative Scatter Correction,MSC ）（ 8） 正交信號(hào)校正（ OSC）二、特征的提取與壓縮（ 1） 主成分分析（ PCA）（ 2） 馬氏距離三、模式識(shí)別（定性分類）（ 1） 基于 fisher 意義下的線性判別分析（ LDA ）（2） K-最鄰近法（KNN ）（ 3）

2、模型分類方法（ SIMCA ）（ 4） 支持向量機(jī)（ SVM ）（ 5） 自適應(yīng) boosting 方法（ Adaboost）四、回歸分析（定量分析）（ 1） 主成分回歸（ PCR）（ 2） 偏最小二乘法回歸（ PLS）3） 支持向量機(jī)回歸（ SVR）一、數(shù)據(jù)預(yù)處理（1） 中心化變換中心化變換的目的是在于改變數(shù)據(jù)相對(duì)于坐標(biāo)軸的位置。一般都是希望數(shù)據(jù)集的均值與坐標(biāo)軸的原點(diǎn)重合。若 Xik表示第i個(gè)樣本的第k個(gè)測(cè)量數(shù)據(jù)，很明顯這個(gè)數(shù)據(jù)處在數(shù)據(jù)矩陣中 的第i行第k列。中心化變換就是從數(shù)據(jù)矩陣中的每一個(gè)元素中減去該元素所在元素所在列 的均值的運(yùn)算：Xu二冷，其中Xk是n個(gè)樣本的均值。（2）歸一化處理歸

3、一化處理的目的是是數(shù)據(jù)集中各數(shù)據(jù)向量具有相同的長(zhǎng)度，一般為單位長(zhǎng)度。其公式為:2#歸一化處理能有效去除由于測(cè)量值大小不同所導(dǎo)致的數(shù)據(jù)集的方差，但是也可能會(huì)丟失重要的方差。（3）正規(guī)化處理正規(guī)化處理是數(shù)據(jù)點(diǎn)布滿數(shù)據(jù)空間，常用的正規(guī)化處理為區(qū)間正規(guī)化處理。其處理方法是以原始數(shù)據(jù)集中的各元素減去所在列的最小值，再除以該列的極差。x'ik魚空max( x) min( xk)該方法可以將量綱不同， 范圍不同的各種變量表達(dá)為值均在01范圍內(nèi)的數(shù)據(jù)。但這種方法對(duì)界外值很敏感，若存在界外值，則處理后的所有數(shù)據(jù)近乎相等。（4）標(biāo)準(zhǔn)化處理（SNV ）也稱標(biāo)準(zhǔn)正態(tài)變量校正該處理能去除由單位不同所引起的不引人

4、注意的權(quán)重，但這種方法對(duì)界外點(diǎn)不像區(qū)間正規(guī)化那樣的敏感。標(biāo)準(zhǔn)化處理也稱方差歸一化。它是將原始數(shù)據(jù)集各個(gè)元素減去該元素所在列的 元素的均值再除以該列元素的標(biāo)準(zhǔn)差。XikXik -XkSkn7 (Xiki £2-Xk)#（5）數(shù)字平滑與濾波數(shù)字平滑與濾波的目的在于消除隨機(jī)誤差與儀器的噪聲，它是一種最簡(jiǎn)單的濾波方法。 平滑的實(shí)質(zhì)是略去數(shù)據(jù)中較小的偏離，而保留具有較大偏離的部分。設(shè)濾波值為y*k，原始信號(hào)值為yk，兩者間的關(guān)系如下:my*k2m 1'yk jj =-m式中，k為原始數(shù)據(jù)點(diǎn)的序號(hào)，2m+1表示窗口（濾波帶寬）的大小，m為調(diào)節(jié)濾波帶寬的參數(shù)。隨著窗口的移動(dòng)，即得到經(jīng)過(guò)濾波

5、后的 7一系列信號(hào)值。濾波使數(shù)據(jù)的噪聲減小，但 在實(shí)際應(yīng)用過(guò)程中應(yīng)慎重選擇濾波帶寬，否則會(huì)扭曲數(shù)據(jù)結(jié)構(gòu)。對(duì)分析信號(hào)的濾筱即以采用多種方據(jù)*在這里主要介紹多項(xiàng)式平滑，在移動(dòng)慚口均值濾波中.所有原始數(shù)據(jù)均玲以相同的權(quán)乘*這樣前濾波往往使 數(shù)據(jù)扭的。若蛤數(shù)據(jù)以不岡的權(quán)電，則可訣得更有效的散據(jù)平滑° Savitzky-do- 1町謔波就是這樣 種方法，它是-沖基于城小二乘廡理.能夠保翔分析信號(hào)中的 有用倍息.消階斷機(jī)碟聲的農(nóng)救的數(shù)據(jù)平滑方法.它是利用高次多項(xiàng)試來(lái)進(jìn)冇數(shù)據(jù) 的平滑*其實(shí)質(zhì)是一種去卷積運(yùn)算石讖有并刖+】各爭(zhēng)問距(即各相鄰變嵐間的孵離相等)就詢點(diǎn)曲<< = ->&

6、#171;. m + 1.亠*仰+ 2、* G,.in-1. 7n> -在這些實(shí)驗(yàn)點(diǎn)處的測(cè)星值可對(duì)應(yīng)寫 作：M (i= zn + 1, m +2* * 0» .J?,1 * my,這里，2j?i + 1 稱為 濾渡窗口的寬度，或?yàn)V波帶寬E濾波使用的原始數(shù)據(jù)的數(shù)目.通常，從童測(cè)點(diǎn) 組成數(shù)據(jù)集中取一子集作為甜FK而不是用梟亍數(shù)據(jù)點(diǎn)。現(xiàn)考慮采用上一 1次多頊?zhǔn)竭M(jìn)行擬合.即*禹二砂十剖#+© W +衛(wèi)£ I瀘一Y如-”鳳 2j?t+ I 丨 X 金 A *豐 1 H- ®( 2jh + |) x i于是就有了 亍連樣的方程*鉤戰(zhàn)克尤線性方程組，要求解其中址

7、個(gè)擬合參數(shù) (j-0, 1, 2. i-l)i選取的濾披器寬度推應(yīng)大于卓至少等于屛當(dāng)n = k時(shí)、 可用線性代數(shù)的方法求解其躊數(shù)、而當(dāng)則必須采用最小二乘法求解。因 此就有y-1TTJf 沁上 Ly»+ ；1一曲+ 1卄_科|)占町_1_ 11 II* F«Mgi申* ftM.1m*(, m >*_1.»Isr4A，A的最小二來(lái)解為F的模型預(yù)測(cè)或?yàn)V波直為Y = X ' AX - (XT * X) XT -y = B * V(10 1)這里” H儀與X矩陣有關(guān)這樣只要蠟出濾波帶寬(2切+打 和多項(xiàng)式的次慕 "冷 就惟一地確定TH距陣。0縞陣是一

8、個(gè)(2m+l)(2m+>階矩陣、其元 素稱作濁波系數(shù)，UO-1)即為濾波公式，它體現(xiàn)了謔波值與原始數(shù)據(jù)F矩陣之 間的線性關(guān)系*包冷了(凸皿一1)個(gè)表達(dá)式，用于計(jì)算濾波窗口內(nèi)各點(diǎn)的濾波值.確定濾披帶寬”和爭(zhēng)項(xiàng)式的最高歡稀(£1，由上述所述即得村應(yīng)謔波公式" ill u = 5和k-=3得5點(diǎn)2次濾液樓型，涉及的$個(gè)濾波公式如下二病茁十 1 J：'刈一 5” +3y4A 善一王y 2 + 12y 7 + 1+ 2y 2叮夕】r圭C 5y筈+ 6，+12旳+ 1心+9,丿一 3旳十Sj十31扎）其中$知 和.論為當(dāng)前邂口兩端的懣波值譏 為窗口中血點(diǎn)的濾波值.同理.可

9、氐得到其它謔皺模型的濾波參數(shù)*對(duì)于儘測(cè)敎據(jù)點(diǎn)數(shù)大于濾波帶寬科的謹(jǐn)測(cè)數(shù)榕集，則先求出中心點(diǎn)和兩端的濾 詵公式*然后將窗口向前移動(dòng)，按中心點(diǎn)濾渡公戎求每個(gè)窗口中心點(diǎn)的濾波（fi，對(duì) 于處于匝始數(shù)粥集兩罐的亦個(gè)數(shù)據(jù)、剿利用兩端的點(diǎn)濾波公式計(jì)算相應(yīng)前魄 波值.敕值濾波的關(guān)理參數(shù)是濾漩帶寬.為了進(jìn)行適當(dāng)?shù)臑V狀，須趨術(shù)下列準(zhǔn)則. 泄波帶童耽決予譜帶.或諸峰的最人半寵度.太冷的帶寬車能滿足平滑要求” 太大則會(huì)扭曲原始數(shù)據(jù)的結(jié)構(gòu). 淞渡對(duì)峰髙的扭曲較堆面鞅更溝嚴(yán)寶*因此在進(jìn)行厲峰高為基準(zhǔn)的定量分 析時(shí).應(yīng)采用較小的濾波帶寬"濾波帶宛時(shí)譜帶扭曲的愴響町用例對(duì)濾波帶寬來(lái)描述.即式中.內(nèi)為滅波帶邀*昴 為

10、i晉峰的最大半嶂寬若測(cè)宦峰面積*見冇在相對(duì)濾披帶寬大于1時(shí)才存在明尿誤養(yǎng)*當(dāng)測(cè)定峰離 時(shí)r相對(duì)濾波帶寬應(yīng)小T 0. 5.（6）導(dǎo)數(shù)處理冀求得多壩式腮波公式的擬合參數(shù)矢秋后*就可利用慚口的2 + 1個(gè)數(shù)據(jù)對(duì) 誕門中心點(diǎn)（r = 0）求信號(hào)的/階導(dǎo)數(shù)*対平梢爹項(xiàng)式求冷冇弩產(chǎn)二勺十加訂十3旳吝“一牛 ,7如僅在窗口的中心點(diǎn)處評(píng)估導(dǎo)數(shù)*則求p階導(dǎo)數(shù)= pa （p= i ,2 v左一J即在固口屮心求齡測(cè)數(shù)據(jù)y的p關(guān)導(dǎo)數(shù)等于A羽陣的第p + 1個(gè)元戡認(rèn)乘以 P的階乘耳信號(hào)求導(dǎo)是非常有用的一種信號(hào)處理方法.它可以稍除信號(hào)的背景.確定譜峰 的位腎.以及改善港峰的分辨率（如里霄峰的分辨幾（7）多元散射校正（ms

11、c）由于樣品的不均勻性 （粒度分布）常導(dǎo)致所測(cè)的樣品光譜具有很大的差異性， 不同批號(hào)的 同一樣品所測(cè)的光譜從表面看， 也可能有很大的差異。在許多情況下，散射引起的光譜變化 可能要大于樣品成分引起光譜的變化。 散射的程度與光的波長(zhǎng)、顆粒度和樣品的折射指數(shù)等有關(guān)，因此在整個(gè)光譜范圍內(nèi)，散射的強(qiáng)度是不同的，通常表現(xiàn)為基線的平移、旋轉(zhuǎn)、二次 和高次曲線。MSC是由Geladi等人提出的，目的是校正每個(gè)光譜的散射并獲得較理想的光譜。MSC法假定與波長(zhǎng)有關(guān)的散射對(duì)光譜的貢獻(xiàn)和成分的貢獻(xiàn)是不同的，理論上，通過(guò)光譜上許多點(diǎn)的數(shù)據(jù)分析，可以把這兩部分分開。MSC方法認(rèn)為每一條光譜都應(yīng)該與“理想”光譜成線性關(guān)系，

12、而真正的“理想”光譜無(wú)法得到，可以用校正集的平均光譜來(lái)近似。因此每個(gè)樣品的任 意波長(zhǎng)點(diǎn)下反射吸光度值與其平均光譜的相應(yīng)吸光度的光譜是近似線性關(guān)系，直線的截距和斜率可由光譜集線性回歸獲得，并用以校正每條光譜，截距（即附加效應(yīng)）大小反映樣品 獨(dú)特反射作用，而斜率大小則反映樣品的均勻性。平均光譜：耳二MSC kiE：上述魚式屮* A足校正集的比譜則&為第1個(gè)樣品的）ti乳氣和勺址第1個(gè)朮譜4與平均光譜2的線性回歸的斜率與截距，都是列向量通過(guò)調(diào)整肺和 a ii'j不同*便得/i減少光譜?;：»的同時(shí)，盡戢保留原右的q化學(xué)成分有x的倍息. 通過(guò)校正,隨機(jī)變異得到饋大可能的扣除。

13、在光譜與濃度線性關(guān)系良好和化學(xué) 性質(zhì)相似的情況F, MSC校正的效果a好°二、特征的提取與壓縮（1）主成分分析（PCA）又稱抽象因子分析，主成分分析是把原來(lái)多個(gè)變量劃為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng) 計(jì)分析方法，從數(shù)學(xué)角度來(lái)看，這是一種降維處理技術(shù)。思想：利用降維的思想，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)。 在研究多變量問題 時(shí)，變量太多會(huì)增大計(jì)算量和增加分析問題的復(fù)雜性， 人們自然希望在進(jìn)行定量 分析的過(guò)程中涉及的變量較少，而得到的信息量又較多。主成分分析是解決這一 問題的理想工具。（主要分析眾多變量之間的相關(guān)性）一*數(shù)摒結(jié)構(gòu)適合用主成分分析的毅據(jù)具有如下結(jié)妁;指標(biāo)編號(hào)XI X2X3X4Xm

14、1?%3X x.X «f = J = L2y = 1 円2 ，悍i主成分分析最戈的問題是受量綱的影響，閡 此，窩際應(yīng)用中，需要對(duì)數(shù)據(jù)赴行標(biāo)準(zhǔn)化。一般使 用協(xié)方差鉅陣刀或.相關(guān)系數(shù)矩陣R進(jìn)行分析。蠱實(shí)際斫屯中由于主成分的卸的赴為了吟 維,減少變量的個(gè)救，故一般垃取少量的i成 分r不翅逹5或6個(gè)丿，只要它們能包舍原變董 信息量的80%上即可。三、主成分分柝的具體實(shí)現(xiàn)設(shè)和關(guān)距陣ARpXp）求靜征方程| R- A I | = 0. 其解為特征很X舒解由小到大進(jìn)行排序:Z >X ->/l >01£P1J （c,心）賣際上是對(duì)應(yīng)于、的特梃向量。若廊 變唾服從正態(tài)分布，

15、則各主成分之間相互獨(dú)立；2J全部p個(gè)主成分所反映的口例樣本的怎住息，等于 P個(gè)原變量的總宿息°信息量的多少.用變量的方差 來(lái)度務(wù)73）各皇成分的作用丸小是：乙4丿第i個(gè)主戒分的負(fù)故率是 扎 （- X I 00%£科5丿前口個(gè)主成分的累計(jì)貢秋率是：肝Z召qX 100%PJ-t盛應(yīng)用對(duì)，一般取累計(jì)貢獻(xiàn)車為80%以上比較好°四、MATLAB較件實(shí)現(xiàn)pc, score, variance, t2J=princoinp(X)輸入教據(jù)矩陣:xp8#.兀1心亠2B-V2Fr卜X bga一L戶一般地，要求n > po模型：要求m < p o輸出變量： pc主分董召的窠

16、數(shù)（CjI，用卩），也叫閡子管:救；注 意：pcTpc-單心陣 HO比是主分量T的得分隹；得分距陣與數(shù)據(jù)龜眸 X的階數(shù)是一敵的； variance是hcte對(duì)應(yīng)刊的方差旬量，即相關(guān)余就 矩陣R的特征值；家易計(jì)算方蓋所占的百分比percent-v - 100-variance/sum（variance）:t2恚示檢膾的t厶庇計(jì)董（主要用于方譽(yù)分析丿關(guān)于主成分的實(shí)際意義要結(jié)合具體問 題 和有關(guān)專業(yè)知識(shí)才能黑含出含理的解釋口雖然 利用主成分本身可對(duì)所研究的問題在一定程 度上作分析，但主成分分析本身往往并不是 靈終目的，更重要的是利用主成分綜合原始 變疑的信息，達(dá)到降維的目的t然后對(duì)數(shù)據(jù) 作進(jìn)一步的分

17、析*咬口回歸分柄 聚類分折" 判別分析等。1.1主成分分析計(jì)算步驟 計(jì)算相關(guān)系數(shù)矩陣在（3.5.3）式中,>111221a225丁 p1rp2R 二rpp(1)rij(i，j=1，2,，p）為原變量的xi與xj之間的相關(guān)系10#數(shù)，其計(jì)算公式為rijn(XkiXi)(Xkj XJk =1I-nn為)2' (Xkj -Xj)2k d(2)因?yàn)镽是實(shí)對(duì)稱矩陣（即rij=rji），所以只需計(jì)算上三角元素或下三角元素即可。# 計(jì)算特征值與特征向量首先解特征方程卩J-R=0,通常用雅可比法（Jacobi）求出特征值i（i =1,2/ ,p），并使其按大小順序排列，即一 -，- p

18、-0 ；然后分別求p出對(duì)應(yīng)于特征值入的特征向量©(i =1,2,p)。這里要求囘=1,即遲e,2 =1,其 j 二中q表示向量©的第j個(gè)分量。 計(jì)算主成分貢獻(xiàn)率及累計(jì)貢獻(xiàn)率主成分乙的貢獻(xiàn)率為p(i ",2,p)v 'kk 4累計(jì)貢獻(xiàn)率為i(i =1,2/ , p)V 'k k £p般取累計(jì)貢獻(xiàn)率達(dá)V 'k k A85 95%的特征值 dd，韋所對(duì)應(yīng)的第一、第,，第m (mW p)個(gè)主成分 計(jì)算主成分載荷其計(jì)算公式為lj = p(Z,Xj) =Veij(i, j =1,2，p)(3)得到各主成分的載荷以后，還可以按照(3.5.2)式

19、進(jìn)一步計(jì)算，得到各主成 分的得分Zl2Z22aZn2Z1 mZ2mznm(4)1.2 matlab中主成分分析的函數(shù) ：1. pri ncomp功能：主成分分析格式：PC=pri ncomp(X)PC,SCORE,late nt,tsquare=pri ncomp(X)說(shuō)明：PC,SCORE,latent,tsquare=princomp(X)對(duì)數(shù)據(jù)矩陣X進(jìn)行主成分分析，給出各主成 分(PC)、所謂的Z-得分(SCORE)、X的方差矩陣的特征值(latent)和每個(gè)數(shù)據(jù)點(diǎn)的 Hotelling T2 統(tǒng)計(jì)量(tsquare)。2. pcacov功能：運(yùn)用協(xié)方差矩陣進(jìn)行主成分分析格式：PC=pc

20、acov(X)PC,late nt,explai ned=pcacov(X)說(shuō)明：PC,latent,explained=pcacov(X)通過(guò)協(xié)方差矩陣X進(jìn)行主成分分析，返回主成分(PC)、協(xié)方差矩陣X的特征值(latent)和每個(gè)特征向量表征在觀測(cè)量總方差中所占的百分?jǐn)?shù)(explained)。3. pcares功能：主成分分析的殘差格式：residuals=pcares(X,ndim)說(shuō)明：pcares(X,ndim)返回保留X的ndim個(gè)主成分所獲的殘差。注意，ndim 是一個(gè)標(biāo)量，必須小于X的列數(shù)。而且，X是數(shù)據(jù)矩陣，而不是協(xié)方差矩陣。4. barttest功能：主成分的巴特力特檢驗(yàn)格

21、式：ndim=barttest(X,alpha)n dim,prob,chisquare=barttest(X,alpha)說(shuō)明：巴特力特檢驗(yàn)是一種等方差性檢驗(yàn)。ndim=barttest(X,alpha)是在顯著性水平alpha下，給出滿足數(shù)據(jù)矩陣X的非隨機(jī)變量的n維模型，ndim即模型 維數(shù)，它由一系列假設(shè)檢驗(yàn)所確定，ndim=1表明數(shù)據(jù)X對(duì)應(yīng)于每個(gè)主成分的方 差是相同的；ndim=2表明數(shù)據(jù)X對(duì)應(yīng)于第二成分及其余成分的方差是相同的。(2) 馬氏距離主成分分析(PCA)的目的就是將數(shù)據(jù)降維，以消除眾多信息共存中相互重疊的信息部 分.PCA方法得到光譜的主成分和得分，得分為壓縮后的光譜數(shù)據(jù)使

22、用得分?jǐn)?shù)據(jù)代替原 始光譜數(shù)據(jù)計(jì)算馬氏距離，不僅能反映全譜數(shù)據(jù)信息，而且也能壓縮參加計(jì)算馬氏距離的變 量數(shù)，并能保證肼矩陣不存在共線問題具體方法如下：計(jì)算得分：九十二 X® x( 1 )式中X為光i普矩陣汕為載荷矩陣“為樣品數(shù)為 變量數(shù)J為主成分?jǐn)?shù).計(jì)算校正集樣品到平均光譜的馬氏矩陣：T-TY ( 2 )式中M為標(biāo)準(zhǔn)光譜集因子分折中猖分陣(Score)的 協(xié)方差陣* £為樣本匚的得分向雖匸為"個(gè)樣品的 平均光譜*檢驗(yàn)這必灌品蟲勵(lì)片樣品存在的閩值范Ds D = e aD( 3 )式中%分別是D的平均值和標(biāo)準(zhǔn)差沁為調(diào)整閾 值范的的權(quán)重系數(shù).如果當(dāng)C W Dt，則認(rèn)為樣品

23、i與樣品平均光譜 在主成分空間中相似，0-0值越小，相似度越高； 反之亦然*設(shè)且不同的閾值范圍參數(shù)化從而調(diào)節(jié)相 似度的離低，當(dāng)總值越大,相倔度越高;反之,相似度 越低，成為異常樣品的可能性就越大針對(duì)上不同 的倉(cāng)值所選取的閾值范圍，分別便用PLS建摸回歸 預(yù)測(cè)，來(lái)進(jìn)行閾值范圍的選耽在MATLAB中有函數(shù)mahal可以調(diào)用求解馬氏距離。13三、模式識(shí)別(定性分類)(1) 基于fisher意義下的線性判別分析(LDA )在20世紀(jì)30年代提出帕種料別方法，KP Fisher分析這種方法的中 心思想是設(shè)法找出一最佳投影方向，將和維空間中的點(diǎn)投影到低維空間*如一維 空間中*使不同類的點(diǎn)盡可能分離開來(lái).然

24、后在低維空間中再分類，以兩類樣本的分類為例.對(duì)兩類樣本的空間，可以垮樣*的數(shù)據(jù)記為工電*i = ljmj 耳=* 2,.Gj卡 =12*1 盤丄+皺 十*亠淞* = JV其中藍(lán)表示類*血喪示類童中兩樣程數(shù).而多維空間向一緋空間的投影可寫為FN鴿嚴(yán)=g = 1,2 ；盤=池占i-1戌中*衛(wèi)=(3 + 5、十、%.)'就是要尋找舵投彫方向乜令和b(Z)分 別為凰Z的組內(nèi)和組間的離差G "«認(rèn)小=2 s(“一無(wú)屛K * i .4 G拭屛j S恤逐_勧a >可以證明再可以從下式求得triiii1 叫呵 芝“丿_ 一、 c: ?j (工r 十加厶j fl 2 (與i無(wú)關(guān)

25、，對(duì)所求的僅起放大或編小減祚用*求得帝后*則可計(jì)算兩組樣木在投影空間上的均值及莊直線上的分界也Z箏T十箏2對(duì)于任意緒定的樣本*算岀它們的劌別函數(shù).即投形點(diǎn)PIZ(jt)工J耳無(wú)當(dāng)ZU) W 時(shí).IE樣本歸為第一類母體，反之則為第二類母體,、相關(guān)知識(shí)ii已知N個(gè)d維樣本數(shù)據(jù)集合其中，Ni個(gè)屬于.1類，N2個(gè)屬于2類。Fisher線性判別的基本原理是：把 d維空間的樣 本投影到一條直線上，形成一維空間。找到某個(gè)最好的、最易于分類的投影方向，使在這個(gè)方向的直線上，樣本的投影能分開得最好。這就是Fisher法所要解決的基本問題。對(duì) xn的分量作線性組合yn = wT Xn, n =1,2,N（ F2.

26、1）從幾何意義上看，若 w =1，則每個(gè)yn就是相對(duì)應(yīng)的xn到方向?yàn)閣的直線上的投影。w的方向不同，將使樣本投影后的可分離程度不同，從而直接影響識(shí)別效果。尋找最好投影方向w ， Fisher準(zhǔn)則函數(shù)為,w T SbwJf w譏（F2.2）w Sw w式中，Sb為樣本類間離散度矩陣，Sw為樣本總類內(nèi)離散度矩陣。使 Jf w取極大值時(shí)的w即為d維空間到一維空間的最好投影方向：w -ST1 m1 -m2式中，mi,i =1,2為在d維空間的兩類樣本的均值向量。利用先驗(yàn)知識(shí)選定分界閾值點(diǎn)yo，例如選擇yji）_r1+r20 2N1i1N2r2N1 N2yf ）=帛1十帛20 2In P 1 /P 匕2

27、 N2 _2（F2.3）（F2.4）（F2.5）（F2.6）式中，m,i i,2為投影到一維空間的兩類樣本的均值，P（d ）,i =1,2為兩類樣本的先驗(yàn)概率。對(duì)于任意未知類別的樣本X，計(jì)算它的投影點(diǎn) y :HT,、y = w X（ F2.7）決策規(guī)則為y y。，x -1y y0，x 匕MATLAB中有函數(shù) fisheriris 、classify可以調(diào)用（2）K-最鄰近法（KNN）MATLAB里面的函數(shù)knnclassify可以調(diào)用12K最鄰近搓在化學(xué)匕應(yīng)用極為廣泛，它是直接以模式識(shí)別的基本假設(shè)即同類 樣本在模式空間相互靠近為依據(jù)的分類方法。這種算法極為直觀.即使所研究的體 系線性不可分，這

28、種方法仍可應(yīng)用.KNN法對(duì)每_個(gè)持判別的未知樣本，逐一計(jì)算與各訓(xùn)練樣本之問貳距離，找 岀其中最近的K個(gè)進(jìn)行判決。如K=l,很自然未知樣本的婦屬勺這一個(gè)屋近鄰樣 本相同如K>1*則未知樣本與這K個(gè)最近鄰樣本不一定屬于一類。這時(shí)要釆用 “表決”的方法*對(duì)這K個(gè)近鄰的情況按少數(shù)服從多數(shù)進(jìn)行表決。一亍近鄰郴當(dāng)予 像.鎧希慮Kf鄰近與未蚪樣本的距鳶有所判別.所行加權(quán).距翦 最近的近鄰的類屬.應(yīng)F以較蟲的權(quán)。土守或* 土寺I- s5式中叫為近鄰的類屬取值。對(duì)兩類分類.F屬于第一類時(shí)取屬于第 二類時(shí)取“一廣U為未知樣本與第個(gè)近鄰的跑離* K為尿近鄰數(shù) 當(dāng)£>0 時(shí)*則未知樣本歸人為類1

29、$否則歸于類霊這種方法因采用獲爭(zhēng)數(shù)“票押的方迭確定未知樣本的山屬*所以K般采用 奇數(shù)。K值不同時(shí)，未知樣本的分類結(jié)果可能不同。KNN法結(jié)杲的確確性與K值的關(guān)系較大.雖燃現(xiàn)在K值的選擇尚無(wú)規(guī)律可 鵡但實(shí)際中K值的選擇一般可采用類直心法.即將訓(xùn)練桑中每類的酣心求出. 比較未知樣本與類霓心的距離，并眼據(jù)最小距離來(lái)判別術(shù)知徉本的類別歸屬，此時(shí) 因判別未知樣本時(shí)僅需計(jì)算它與類重心的閒離，所以計(jì)葺量可以大大減少.KNN &尢需翌求對(duì)不同類的代發(fā)點(diǎn)線件可分，只荽用毎個(gè)未知點(diǎn)的近鄰類來(lái) 判別就印以q KNN法也不需要作訓(xùn)練過(guò)程，KNN法的磯點(diǎn)是它沒有對(duì)訓(xùn)練點(diǎn)作 信息壓縮，因此蒔判別一個(gè)新的未知點(diǎn)那需要

30、把它和所有已知代喪點(diǎn)的即離全部箕 一邇，因此計(jì)算上作暈大、對(duì)已知代表點(diǎn)太多的Ifi況不甚侖適。但正是因?yàn)闆]有作 信息壓齬,而用全體已知點(diǎn)的原始信息作判據(jù)*故有時(shí)可得利極好的曲報(bào)準(zhǔn)姍率. 其效果一般優(yōu)于或等于其它摸式識(shí)別方肚"13(3)模型分類方法(Soft independent modelling of class analogy , SIMCA )S1MCA1 5tJ|(soft independent modeling of class analogy)法圧模型分炎方法*即對(duì)每一類構(gòu)造-個(gè)主成分模型*在此基礎(chǔ)上進(jìn)行樣本的分類“1976年由瑞典學(xué)fiS.Wold岀,S1MCA方法

31、的特點(diǎn)是按樣本類別分別處理樣本的數(shù)據(jù) 假定斑一類樣本的分布有其特有的規(guī)律性，我們可以用一亍統(tǒng)一的線性方程近f以 地描述其分布.則町按SIMCA/Tffi處理口假定有科個(gè)樣本點(diǎn)分布在折維空間屮、已知有類.還包拆未分類的樣本。川為樣本數(shù)：擁為變痕數(shù)如波怏數(shù)人q為炎數(shù)：-為類內(nèi)部的樣本數(shù), 對(duì)類中其上成分冋歸模型為：(3-4)式屮 門一主戚分?jǐn)?shù)；/?一主成分參屋，對(duì)應(yīng)肝變量幾 一得分變量.對(duì)應(yīng)于樣本數(shù)R； 嗎一齊樣本的諸變匱張開的模式空間的實(shí)際維數(shù)； 囂一擬合謀羌。步驟匕L對(duì)X進(jìn)行標(biāo)準(zhǔn)化取2.交互驗(yàn)i正法確定主成分?jǐn)?shù)心將訓(xùn)練果門的菜 類進(jìn)行分組，分細(xì)應(yīng)毛慮到樣本的代Sft，即將劃分 的任何一組樣本從

32、訓(xùn)練集中除去后，應(yīng)不會(huì)影響到腹訓(xùn)練集的代表性。 首先將該類的第一組樣本從訓(xùn)練集中除去.以釉余樣本做訓(xùn)練集，建立 主成分模型*迸行擬合欄 便用中建立的模型去擬合彼除去的樣本,令八12-皿-】或”-1 (取 其屮較小的人制角于每個(gè)燈值.計(jì)算這些樣本的光謂與其擬合的比詵間的殘差, 求出對(duì)應(yīng)于的殘差平方和吒。將這些樣本重新放回到訓(xùn)練集中。再?gòu)挠?xùn)練集中除去該類的另外一組樣本*重復(fù)步驟（引，直到該類中的 每一組樣本恰好彼除右I次為止。 將上述計(jì)篦得到的齊組的殘差半方利相川I,得到錢差半方和Q °根據(jù)F式進(jìn)行廠檢能.從而確定fiffc ft.G-5) 以同樣方式確疋齊炎的最佳主成分?jǐn)?shù)。即建立起各婁

33、的擬合模型。井計(jì)算訓(xùn)練集的殘差標(biāo)準(zhǔn)差,U-6)15#3.未知樣本的分類在為訓(xùn)練集的每一類"建立了模型后復(fù)得到一套參量如廠0利便用 校驗(yàn)集樣本進(jìn)行石察，用§類的£成分模型對(duì)未知樣本做冋歸擬合：G7)璋二立氏烏+略C>=1其中F為回歸得到該樣本的得分向量.這時(shí)可考察它是否落在第彳類的口分 范圍內(nèi)口同時(shí).由各變屋八冊(cè)個(gè)）的占和自由度 5-&J 計(jì)算我羞標(biāo)準(zhǔn)苣：13-8)#判別樣本"尼否屬第g類”使用F檢驗(yàn):尸也/仏臉）7（對(duì)0-9)#將計(jì)算得到的F值和佗餐比較.如果則樣本屬J冷類：否則，樣 本將歸于其它類，再用訓(xùn)練集屮另一類的模型去做上述的眞交擬

34、合過(guò)程.直到確 定類屬為止。如果樣本不屬于訓(xùn)練集屮的任何一類，則將其歸類于訓(xùn)練集外的一 新類。刃MCA法屬于類模型方法.即対毎類構(gòu)造-個(gè)主成分姑冋門模型*并怎此亙 礎(chǔ)上逬行樣本的分類。例如有如下的數(shù)據(jù)矩陣：&12 I rikN1YliB H 十孫片2Ml切I! 9-i*ytv3Hl*«id>489a.'mnl!iB«i-ry總iB>!»4 H-I- >*'B(|«'A>IBB$>-Ui>*rtXmk未分類年事V-WiifY 7賽1類Q% i ”訓(xùn)馀隼其屮N為樣本數(shù).M為變#, HP維數(shù)，

35、Q為姜數(shù)對(duì)于某一類樣本*主成分回歸棋型為A升ai + A 図&» +5式中，a為變AN的均值I A為主成分?jǐn)?shù)M 8和占是為使偏弄E達(dá)到極小的 #«<對(duì)于多類樣本，則主成分回歸模型為：曲-滬4- 土盤+即n L 1其中g(shù)表示類.SICMA方法的計(jì)算歩驟如下.第1步數(shù)據(jù)標(biāo)淮化.第3步：主成分?jǐn)?shù)A的確定.第3歩：主成分模型中p和8等參數(shù)的確定.這兩個(gè)參數(shù)可以由矩陣丹乞® 對(duì)角化求蕩.密陣均第帀類訓(xùn)練集屮每一個(gè)變雖減去平均值后所形成的散據(jù) 陣，武瀘可由Z值減去公武中0和0和來(lái)積項(xiàng)得到，則方差可曲下朮求得'如 M=£ £ (W )

36、土 / (f Av 1) (M A*)16一旦毎-類中匕述劈數(shù)求出之后，即可運(yùn)用主放幷回歸模式先預(yù)測(cè)未知鋅本。 第4步龍耒知樣本預(yù)測(cè) 用主成甘回歸橈式去擬合未韌樣本”擬合方法與一般 多元回片根同，此時(shí)爲(wèi)二劉>&嚴(yán)為因變就.<«-1. 2,* A）為自變蜀各匸坯嚴(yán)=2用'+即tt r 1武中* 口為回歸系數(shù).樣*的眾合程度可由下式表示*M矽=另億/-凡）判別樣本PJR否©類*可用F顯著性檢驗(yàn)，其公式為：F =陽(yáng)/5廠入一 1J “娜豬何褂F值的計(jì)算值與臨界值自由度分別為（M-AJ和<n.-Av-n <M- A,）相比較，若FVF臨界，則

37、樣本衛(wèi)歸人g類】否則務(wù)擬合于其它類，此時(shí)F 檢臉性公式為；F=S /弟*第3步；兩類間料個(gè)廃 用類$中的所有樣本去擬令類Q主成分模型剛可以 得到類間的相似度測(cè)量.類和類間的方掘?yàn)楦角笫?（緲mi將計(jì)算得到的方魁與第m母中計(jì)請(qǐng)徘到的方蓋相比較.到兩類何相個(gè)度 的測(cè)量.第6歩t變昌巔巒性的測(cè)Bt變猷在判別中的曲嚶性可由殘余方差與脇始數(shù)據(jù) 的方差相岀較面得.若原始數(shù)據(jù)經(jīng)過(guò)標(biāo)準(zhǔn)化處理.則所有變Jt i的方基祖同：毗=丈左。爐加“ 1為亦一】 m1<?-刃=£必打E叫專.11q親-丈茲即尸臣仇-人-"# * 點(diǎn)* 呼由此町得t 口 = 1 一學(xué)V-U值做大*即我余方丼與原姙

38、數(shù)據(jù)方璧的比值愈小*該變最裡主成分機(jī)型中 的作用就越大第T步*樣本相光性測(cè)倉(cāng) 與變趙相同類.即將樣本的殘余方差計(jì)算式f第4 步中）與集+撚的幣個(gè)方差什篇式（第3堆中）相比較（F檢釜）其殘余方差越小該樣4與此類的相關(guān)性越大°17(4)支持向量機(jī)(SVM )一、相關(guān)知識(shí)已知數(shù)據(jù)Xi, yi , X2,y2 , x ,y X；其中，X - " Xi,i =1,2,，！二：表示 個(gè)n維樣本集，Y - 'y, i = 1,2,-1標(biāo)記兩類樣本。對(duì)于一個(gè)新的數(shù)據(jù) X，判別X屬于哪一類，即判斷 x ,y中的是1。支撐向量機(jī)可表示為如下的二次規(guī)劃問題：1 I tIZX agyyK(

39、片，xj)-z %2 i 4 j 4i 4而相應(yīng)的判別函數(shù)式為其中:minas.t.' yi ",i 40 遼冷乞 C, i =1,2,r £f (x) =sgn(w* 沖(x )+ b*) = sgn 送 口2i yiK(Xi, x) b(F6.1)(F6.2)£w*=2；Xi )=H 時(shí)yi*(Xi ),i 4：ij：0b - -1mgx 苗 a；yjK (片,x+ min y事,：j 0c廠0 C不同的核函數(shù)表現(xiàn)為不同的支撐向量機(jī)算法，常用的內(nèi)積函數(shù)有以下幾類:(1)d階非齊次多項(xiàng)式核函數(shù)和 d階齊次多項(xiàng)式核函數(shù)ddK x , Xi = x Xi1

40、與 K x, Xj i i x Xi高斯徑向基核函數(shù)rK (x, x ) = expS型核函數(shù)K x , Xi = tanh ； x x亠 c指數(shù)型徑向基核函數(shù)rK x , Xi =exp -線性核函數(shù)K x , xi 二 x x線性核函數(shù)是核函數(shù)的一個(gè)特例。(F6.3)(F6.4)(F6.5)(F6.6)(F6.7)19(5)自適應(yīng) boosting 方法(Adaboost)四、回歸分析（定量分析）多變駅校正（多元梳亞）方法是同時(shí)若慮去個(gè)測(cè)量系統(tǒng)（稱為響就向翳或矩陣 F與多個(gè)組分含最麻為鍛度向冒或矩陣X）之間的對(duì)應(yīng)關(guān)杲.= 通過(guò)一定的數(shù)學(xué)方法建立校正模型，并確定模型參數(shù)。多元校正井不是單變屋

41、校正 的簡(jiǎn)弟惟廣*它可比解決很多單變量校疋中披認(rèn)為不可能實(shí)規(guī)的問甌.多變竄校正 多種多樣、如多元線世1可歸、丙子分析、主成分回歸祛和隔最小二乘法等*化學(xué)計(jì) 量學(xué)生聲就是解次務(wù)變量校正問題即硏究多組分不經(jīng)分離或掩蔽進(jìn)行同時(shí)測(cè)定的 問SU計(jì)算機(jī)科學(xué)與扛術(shù)的發(fā)展便人們能住瞬間獲得大量的富含信且的多誰(shuí)化學(xué) 漬:數(shù)據(jù)*也使復(fù)雜的數(shù)學(xué)慫理過(guò)移辱以噸利進(jìn)行.使大批不論是否對(duì)數(shù)學(xué)知識(shí)稱通 的技術(shù)人員那能怫應(yīng)用化罕計(jì)斎學(xué)的方法去懈決更雜問翱*進(jìn)而促進(jìn)化學(xué)校正理 論的進(jìn)一步發(fā)展.（1） 主成分回歸（PCR）主成井回歸是在因子分析的基礎(chǔ)上進(jìn)行的最小二乘回歸分析.以實(shí)現(xiàn)多縝合軽 合休系同時(shí)測(cè)定時(shí)的零元校正*它可以很好

42、地解決線性回歸所遇到的變竜線性相 關(guān).矩陣桶態(tài)或變亙過(guò)多所帶來(lái)的相關(guān)問題*設(shè)有此學(xué)量測(cè)榛刑；' “ x p X"X 阪目 m-x *#、g首先對(duì)&陣進(jìn)行主成付分析：T-XPT陣的堆數(shù)可肛與囂陣相同，如果使用粘個(gè)T陣秦加回歸”這樣得到的結(jié)卑 與多元線性回歸沒冇多大的區(qū)別，而主成分回歸一般貝有荊面更個(gè)主成分參與回 歸，因?yàn)榍懊娴睦鋫€(gè)主戰(zhàn)分包含矩陣的絕大訊分有用的倍息，而后面的主成 分則往往與噪聲和干擾因素有關(guān)，這樣雅與主成分回歸的是少數(shù)主成分組成的扼 薛，在維數(shù)上要遠(yuǎn)遠(yuǎn)小于X陣.將降維后的陣與F陣進(jìn)行參元線性回歸F = TB + EB-CTD 】尸丫對(duì)于未知樣品有；Km-

43、TuriB=X.nPB由此町見*主威弁回歸通過(guò)對(duì)參與回歸的主成分的合理餘選*充分利用了數(shù)據(jù) 倩息*有效地去掉噪聲而捉離模型的抗干擾能力*主成分間相交正交的性質(zhì)，解抉 了名元線性冋曠1中的共線性問題=主成分回歸的算法r 輸入校正集審陣X與相應(yīng)的圏磁.矩陣響應(yīng)矩陣）門 對(duì)F陣址存主成分分析得到因產(chǎn)數(shù)廠 以及抽象因于F和y- nT 根據(jù)下式于I算系敬陣：G=tl r>-iTlA 輸人未知樣品的測(cè)軍數(shù)據(jù)，并悵堀下武計(jì)箕轉(zhuǎn)換矩P4 TurnTun-yunv 根據(jù)轉(zhuǎn)換卻陣什算未知樣品中各組分的瑕度Xg（2） 偏最小二乘法回歸（PLS）偏嚴(yán)小二乘啟主成甘回歸的發(fā)展主成分回歸只對(duì)化學(xué)測(cè)就矩陣丫進(jìn)行主成 分分析密濃蠱鉅陣X未加任何姓理亠事實(shí)上X矩陣也包含某種信息.很明顯 在進(jìn)行回歸分析時(shí)能同時(shí)考慮F陣和*陣的作用，將能進(jìn)一步提高方迭的可靠性, 說(shuō)壩小二乘止足埜于這樣的思想，它同時(shí)對(duì)蠱袒陣和丫矩陣進(jìn)荷主成分分析*井 貞主因子進(jìn)行回歸.悵戢小二