最常見的近紅外光譜的預(yù)處理技術(shù)的綜述樣本

最常用近紅外光譜預(yù)解決技術(shù)綜述smundRinnan，F(xiàn)ransvandenBerg，S?renBallingEngelsen摘要：預(yù)解決在近紅外(NIR)光譜數(shù)據(jù)解決化學(xué)計(jì)量學(xué)建模中已經(jīng)成為不可分割一某些。預(yù)解決目是消除光譜中物理現(xiàn)象在為了提高后續(xù)多元回歸、分類模型或摸索性分析。最廣泛使用預(yù)解決技術(shù)可以分為兩類：散射校正辦法和光譜間隔辦法。綜述和比較了算法基本理論和當(dāng)前預(yù)解決辦法以及定性和定量后果應(yīng)用程序。其目是提供更好NIR最后模型建立，在此咱們通過對(duì)光譜預(yù)解決基本知識(shí)進(jìn)行梳理。核心詞：乘法散射校正；近紅外光譜法；原則化；諾里斯威廉姆斯推導(dǎo)；預(yù)解決；Savitzky-Golay平滑；散射校正；光譜導(dǎo)數(shù);原則正態(tài)變量；綜述引言當(dāng)前為止，沒有可以優(yōu)化數(shù)據(jù)來進(jìn)行代替，但是通過恰當(dāng)數(shù)據(jù)收集和解決將會(huì)起到優(yōu)化效果，對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)解決是最重要一步(例如最優(yōu)化之前疊層建模)，慣用辦法有主成分分析(PCA)和偏最小二乘法(PLS)。在大量文獻(xiàn)中，多變量光譜應(yīng)用食品、飼料和醫(yī)藥分析，比較不同預(yù)解決成果研究模型預(yù)測(cè)成果是不可分割構(gòu)成某些。近紅外反射/透射率(NIR/NIT)光譜光譜技術(shù)，到當(dāng)前為止最多被使用和最大多樣性在預(yù)解決技術(shù)，重要是由于入非線性光散射光譜可以引起明顯影響。由于類似規(guī)模波長電磁輻射和粒子大小近紅外光譜在生物樣品，近紅外光譜技術(shù)是一種不被廣泛使用是由于存在散射效應(yīng)(涉及基線轉(zhuǎn)變和非線性)，這將會(huì)影響樣品光譜成果記錄。然而，通過應(yīng)用適當(dāng)預(yù)解決，可以很大限度上消除這些影響。在應(yīng)用研究中，比較了幾乎完全不同定標(biāo)模型(定量描述符和相應(yīng)關(guān)系)。幾乎沒有浮現(xiàn)評(píng)估差別和相似性報(bào)道。代替技術(shù)即修正含義(例如，譜描述符數(shù)據(jù))在研究中很少被討論。本文旨在討論建立了預(yù)解決辦法對(duì)近紅外光譜和模型之間關(guān)系，更詳細(xì)地說，這些技術(shù)都是相應(yīng)獨(dú)立響應(yīng)變量，因此咱們只討論辦法，不需要一種響應(yīng)值。咱們同步關(guān)注預(yù)解決工藝?yán)碚摲矫婧蛯?shí)際效果，這種辦法合用于近紅外光譜/NIT光譜。對(duì)固體樣品，干擾系統(tǒng)差別重要是由于光散射不同和有效途徑長度不同。這些不受歡迎變化經(jīng)常構(gòu)成了樣本集總變異重要某些，可以觀測(cè)到得轉(zhuǎn)變基線(乘法效應(yīng))和其她現(xiàn)象稱為非線性。普通來說，近紅外光譜反射率測(cè)量一種示例將測(cè)量普及性反映和鏡面反射輻射(鏡面反射)。鏡面反射普通由儀表設(shè)計(jì)和幾何采樣最小化，由于它們不含任何化學(xué)信息。這個(gè)diffusively反射光，這反映在廣泛方向，是信息重要來源在近紅外光譜。然而，diffusively反射光將包括信息化學(xué)成分不但示例(吸取)并且構(gòu)造(散射)。重要形式光散射(不涉及能量轉(zhuǎn)移與樣品)瑞利和洛倫茲米氏。兩者都是過程中電磁輻射是分散(例如，通過小粒子，泡沫，表面粗糙度，水滴，晶體缺陷，microorganelles、細(xì)胞、纖維和密度波動(dòng))。當(dāng)粒子尺寸不不大于波長，由于普通狀況下，NIR光譜，是重要洛侖茲米氏散射。相比之下，瑞利散射，是各向異性，洛倫茲米氏散射依賴形狀散射粒子和不強(qiáng)烈波長依賴性。對(duì)生物樣品，散射特性是過于復(fù)雜，因此軟或自適應(yīng)補(bǔ)償，光譜預(yù)解決技術(shù)，正如咱們近紅外光譜在本文中進(jìn)行討論，規(guī)定刪除散射從純粹、抱負(fù)吸取光譜。顯然，預(yù)解決不能糾正鏡面反射率(直接散射)，自譜不包括任何精細(xì)構(gòu)造。光譜重要由鏡面反射率應(yīng)當(dāng)總是被移除之前為離群值多元數(shù)據(jù)分析，由于她們?nèi)詫⑹蔷滞馊耍踔猎陬A(yù)解決。圖1顯示了一組13好蔗糖和樣品不同粒徑加一壞蔗糖例子展示如何(極端)鏡面反射率體現(xiàn)比正常光譜。圖1還演示了總體布局大多數(shù)數(shù)據(jù)在本文中。上部圖，一種條形圖顯示了主成分得分值第一主成分(PC)后樣本集數(shù)據(jù)意味著定心[1]。下面某些顯示預(yù)解決效果數(shù)據(jù)集(或者，在這種狀況下，任何預(yù)解決)。有關(guān)系數(shù)r平方值之間酒吧和一種選定參照變量包括(在本例中，已知平均粒徑13蔗糖樣本)。蔗糖數(shù)據(jù)集，這種關(guān)系應(yīng)當(dāng)是低，例如，當(dāng)假設(shè)散射是一種阻礙粒子始發(fā);盡量小信息粒度應(yīng)當(dāng)保持在對(duì)的預(yù)解決。圖SEQ圖表\*ARABIC1近紅外光譜13蔗糖和樣品不同粒徑(最小粒子在底部，最大頂部;粒子尺寸范疇在20-540lm。黑色光譜顯示了一種鏡面反射率蔗糖樣本。酒吧是分?jǐn)?shù)值第一主成分13個(gè)蔗糖樣品主成分分析模型在完整光譜。一種示例數(shù)據(jù)預(yù)解決蔗糖中可以看到圖2，其中也包括一種其實(shí)一種示例數(shù)據(jù)預(yù)解決蔗糖中可以看到圖2，其中也包括一種其實(shí)從當(dāng)前起，在這篇文章中，咱們將演示效果不同預(yù)解決技術(shù)在小果膠數(shù)據(jù)集只包括7個(gè)樣品有不同限度酯化(%德;范疇在0-93%)[2]。這些樣品測(cè)定近紅外光譜反射率模式在光譜范疇1100-2500海里(收集每2海里區(qū)間;圖3)。咱們提供相應(yīng)第一因素PCA樣本得分后作為一種條形圖意味著定心，連同集中吸光度值在波長2244納米。咱們選取這個(gè)峰值，由于它在理論上應(yīng)當(dāng)描述%DE完美。對(duì)于本文，咱們假設(shè)信息在光譜相聯(lián)系果膠粒子大小和形狀應(yīng)當(dāng)被預(yù)解決技術(shù)，條形圖應(yīng)當(dāng)顯示一種線性行為與%德。為了闡明預(yù)解決影響在量化，咱們使用數(shù)據(jù)取自克里斯騰森etal。[3]。她們研究了一組32杏仁蛋白軟糖混合物，基于不同食譜，九個(gè)不同數(shù)據(jù)都在互聯(lián)網(wǎng)上可用(www。模型生活kudk)。所有杏仁蛋白軟糖樣品測(cè)定了六種不同近紅外光譜儀器和化學(xué)參照分析了水分和糖含量。在構(gòu)建一種定量回歸模型，重要是要打掃預(yù)測(cè)數(shù)據(jù)從非系統(tǒng)性散射變化，由于她們可以產(chǎn)生重大影響預(yù)測(cè)模型性能和模型復(fù)雜性或吝嗇。在本文中，咱們使用請(qǐng)預(yù)測(cè)這種定量響應(yīng)信息[4]。預(yù)解決辦法圖2上圖：數(shù)據(jù)被一種二階蔗糖乘法散射校正;底：相應(yīng)原則差每個(gè)波長，虛線是原始/未加工數(shù)據(jù)(見圖1)，固體是預(yù)解決數(shù)據(jù)。最廣泛使用預(yù)解決技術(shù)在近紅外光譜法(在兩個(gè)反射和透射模式)可以分為兩類：scattercorrection辦法和光譜衍生品。第一群散射校正預(yù)解決辦法涉及乘法散射校正(MSC)，逆MSC，擴(kuò)展MSC(EMSC)，擴(kuò)展逆MSC，de趨勢(shì)，原則正態(tài)變量(SNV)和原則化。圖3生/未加工光譜，7果膠樣本。藍(lán)線是一種示例有0%限度果膠酯化(DE)，紅色線是一種樣本93%德。打開條批示主成分分析(PCA)評(píng)分值在第一種PC為完整光譜，意味著定心，關(guān)閉了酒吧后光譜值在波長2244納米。光譜推導(dǎo)集團(tuán)是為代表兩種技術(shù)在本文中：諾里斯威廉姆斯(NW)衍生品和Savitzky-Golay(SG)多項(xiàng)式導(dǎo)數(shù)過濾器。這兩種辦法都使用一種平滑光譜導(dǎo)數(shù)計(jì)算之前，以減少有害影響，老式信噪比有限差分衍生品會(huì)。預(yù)解決環(huán)節(jié)目的可以三種：提高后續(xù)摸索性分析提高后續(xù)疊層校正模型(力數(shù)據(jù)服從蘭伯特啤酒法律);或者，提高后續(xù)分類模型。朗伯比爾定律(方程(1))是經(jīng)驗(yàn)對(duì)近紅外光譜/NIT和顯示成線性關(guān)系，吸取光譜和濃度(s)成分(s)：(1)其中作為吸光度，依賴波長摩爾吸光系數(shù)，代表光通過容器有效途徑長度，是成分濃度。朗伯比爾定律嚴(yán)格有效只有純透射系統(tǒng)沒有散射。在反射率測(cè)量，方程(1)是重新定義在類比透射率測(cè)量為：其中，是反射率。選取適當(dāng)預(yù)解決應(yīng)當(dāng)總是被以為是相對(duì)于持續(xù)建模階段。例如，如果數(shù)據(jù)集興趣不遵守法律，額外因素蘭伯特啤酒或組件在請(qǐng)回歸普通可以彌補(bǔ)這一抱負(fù)行為光譜預(yù)測(cè)[5]。缺陷涉及額外因素是提高模型復(fù)雜性，反過來，最有也許減少對(duì)將來預(yù)測(cè)模型魯棒性。所有預(yù)解決技術(shù)目的減少變化減少數(shù)據(jù)以增強(qiáng)特性謀求在光譜，經(jīng)常一種線性(簡樸)關(guān)系現(xiàn)象(例如，一種成分)興趣。通過使用一種適當(dāng)預(yù)解決技術(shù)，這可以實(shí)現(xiàn)，但總是有危險(xiǎn)應(yīng)用了錯(cuò)誤類型或應(yīng)用太嚴(yán)重預(yù)解決，將移除有價(jià)值信息。對(duì)的選取預(yù)解決是很難評(píng)估模型驗(yàn)證之前，但是，普通來說，執(zhí)行幾種預(yù)解決環(huán)節(jié)是不可取，作為最低規(guī)定，預(yù)解決應(yīng)保持或減少復(fù)雜性有效模型。圖4樣品光譜(藍(lán)色點(diǎn))密謀反抗一種選定參照光譜。標(biāo)量修正條款發(fā)現(xiàn)隨著攔截和邊坡黑色線條，就是發(fā)現(xiàn)從最小二乘回歸適合通過所有點(diǎn)。散射校正依照散射校正辦法，咱們考慮三個(gè)預(yù)解決概念：研究生，SNV和原則化。這些技術(shù)是為了減少(物理)可變性樣本之間由于散射。所有三個(gè)也調(diào)節(jié)基線樣本之間變化。3.1MSC乘法散射(或者，在普通狀況下，信號(hào))校正(MSC)也許是最廣泛使用預(yù)解決技術(shù)對(duì)近紅外光譜(緊隨其后SNV和派生)。MSC其基本形式是由Martens初次引入等人1983年[6]，并進(jìn)一步闡述了通過Geladi等人1985年[7]。MSC背后概念是，工件或缺陷(如，不良散射效應(yīng))將被刪除數(shù)據(jù)矩陣之前，數(shù)據(jù)建模。MSC包括兩個(gè)環(huán)節(jié)：預(yù)計(jì)校正系數(shù)(加法和乘法貢獻(xiàn)。(2)校正記錄光譜(3)其中：代表近紅外光譜儀器對(duì)一種原樣品進(jìn)行光譜測(cè)量，代表參照光譜用于預(yù)解決整個(gè)數(shù)據(jù)集，是減少一某些，代表了修正后光譜，其中和都是標(biāo)量參數(shù)，這在每個(gè)樣品中具備不同代表含義，這個(gè)在圖4中進(jìn)行闡明，對(duì)每個(gè)標(biāo)量參數(shù)進(jìn)行理解釋。在大多數(shù)應(yīng)用中，平均頻譜校準(zhǔn)設(shè)立用作參照光譜。然而，一種通用參照光譜也可以應(yīng)用。在最初論文Martensetal。[6]，這是建議只使用那些某些光譜軸，不涉及有關(guān)信息(基線)。而這使得好光譜意義上說，很難擬定這些地區(qū)在實(shí)踐中，特別是在近紅外光譜測(cè)量，信號(hào)從不同化學(xué)成分是強(qiáng)烈重疊和有關(guān)，很少或主線沒有真正基線是發(fā)現(xiàn)。這是為什么，在大多數(shù)狀況下，整個(gè)頻譜用于查找標(biāo)量校正參數(shù)在MSC。圖5演示了應(yīng)用程序原則MSC對(duì)果膠數(shù)據(jù)。光譜特性果膠粉是守恒，而背景偏移和斜坡基本上是刪除(與圖3)。線性關(guān)系光譜和%德是不錯(cuò)，但它并不完美。圖5數(shù)據(jù)預(yù)解決乘法散射校正用一階校正對(duì)平均頻譜?；拘问組SC已經(jīng)擴(kuò)展成更復(fù)雜擴(kuò)展(8-12)普通被稱為EMSC。這個(gè)擴(kuò)展涉及二階多項(xiàng)式擬合參照光譜，擬合一種基線波長軸，和運(yùn)用先驗(yàn)知識(shí)從光譜興趣或光譜干擾物。在本文中，所有這些代替品被稱為MSC為簡樸起見，由于她們可以總結(jié)為一種單一方程：（4）其中，代表依賴波長軸修正向量，包括先驗(yàn)知識(shí)涉及了想要/不必要光譜信息（例如一種已知光譜干擾物種）。方程(4)可以容易地?cái)U(kuò)大到涉及任何其她任何具備恰當(dāng)意義修正。代表了一組標(biāo)量(校正系數(shù))給出了方程(5)。（5）其中：偏差校正是依照修正改正對(duì)我是對(duì)校正訂單波長軸依賴，是糾正第i已知信息嗎相比喻程(2)，它可以觀測(cè)到方程(4)只是一種高階擴(kuò)張之一想法。在本文中將不再做進(jìn)一步討論，由于，在諸多實(shí)際狀況，參照光譜對(duì)想要和不必要成分并沒有現(xiàn)成可用。參照校正是最慣用辦法只有一種一階多項(xiàng)式。雖然沒有數(shù)學(xué)限制擴(kuò)大到高階增長，有普通沒有光譜參數(shù)這樣做(除了也許如果重要瑞利散射是出當(dāng)前短波長區(qū)域。圖6顯示了成果一種二階多項(xiàng)式校正果膠數(shù)據(jù)。修正條款用于二階多項(xiàng)式參照校正只是發(fā)現(xiàn)了擬合二階(二次)多項(xiàng)式點(diǎn)在圖4。只有邊際改進(jìn)獲得了比一階修正在圖5。波長軸依賴是最常涉及作為一種二階多項(xiàng)式擬合波長軸光譜。當(dāng)沒有參照校正涉及在內(nèi)，這個(gè)簡樸波長配件也名義光譜de趨勢(shì)[13]，它可以被視為一種基線校正。重要是要注意，涉及波長依賴性在完整校正方程(4)而不是讓它作為一種單獨(dú)環(huán)節(jié)會(huì)導(dǎo)致一種較小矯正效果。這是由于一種矩陣求逆操作同步執(zhí)行所有校正參數(shù)在MSC，不同修正會(huì)互相影響最小二乘法擬合準(zhǔn)則。當(dāng)一種波長依賴是獨(dú)立決定只有波長軸(而不是參照光譜)影響校正，這將導(dǎo)致一種趨平加工譜。這個(gè)效果可以看出通過比較無花果。7和8。正如前面提到，更加復(fù)雜修正(例如，高階多項(xiàng)式或其她轉(zhuǎn)換波長依賴性)可以很容易地納入MSC。Thennadil和馬丁[12]建議使用對(duì)數(shù)值波長，由于這是更多聲音來判斷光譜。然而，區(qū)別使用對(duì)數(shù)變換波長與使用一種一階多項(xiàng)式校正是最小，使這兩個(gè)辦法相似所有實(shí)用目。彼得森指出，etal。[9]，這是一種相稱簡樸過程，應(yīng)用逆版本MSC，稱為逆信號(hào)校正(ISC)[14]。預(yù)計(jì)校正參數(shù)，b系數(shù)，發(fā)現(xiàn)以類似方式來定期MSC：（6）請(qǐng)注意，xorg和xref已經(jīng)互換了地方比喻程(4)。一種運(yùn)用(擴(kuò)展)ISC(EISC)是簡樸修正方程：（7）圖6乘法散射校正光譜使用二階參照校正對(duì)平均頻譜。在ISC和EISC，無論是預(yù)計(jì)校正系數(shù)和校正自身中執(zhí)行可以被描述為一種邁進(jìn)方式，使它能以便涉及附加條款和/或參照信號(hào)[9]。前面提到矩陣求逆操作所需參數(shù)預(yù)計(jì)在MSC可以很容易地成為數(shù)字壞脾氣如果它涉及高階多項(xiàng)式參照改正。這是一種論點(diǎn)支持ISC。然而，假設(shè)，ISC最小二乘法擬合，誤差在記錄光譜(糾正)不大于誤差為參照光譜。在大多數(shù)實(shí)際應(yīng)用，參照是平均譜計(jì)算樣本數(shù)據(jù)集從n(例如，校準(zhǔn)設(shè)立)。預(yù)期噪音水平數(shù)量級(jí)這個(gè)引用是不大于個(gè)人光譜(忽視了偏見由于散射差別集)。這是一種反對(duì)ISC，由于一種小錯(cuò)誤在光譜預(yù)解決將會(huì)影響到更大限度比最初MSC。圖8乘法散射校正(MSC)與一種一階多項(xiàng)式參照校正對(duì)平均頻譜，另一方面是一種單獨(dú)MSC與二階多項(xiàng)式波長校正(去趨勢(shì))。重要挑戰(zhàn)是定義一種適當(dāng)MSC參照光譜。正如前面提到過，這是最經(jīng)常設(shè)立為普通校準(zhǔn)光譜。加拉格爾等人[15]提供了一種天然變化來MSC通過包括一種加權(quán)方案在預(yù)解決環(huán)節(jié)。提出了兩個(gè)選?。?）使用一種預(yù)定義權(quán)向量波長軸向2）迭代搜索最優(yōu)權(quán)重向量迭代解決方案是通過給低體重發(fā)現(xiàn)變量或波長與高殘留差別原始數(shù)據(jù)和修正解決方案。權(quán)重計(jì)算將繼續(xù)，直到區(qū)別兩個(gè)后續(xù)迭代修正光譜不大于假定數(shù)據(jù)中噪聲水平。不幸是，這個(gè)相稱簡樸直接辦法并不總是適合近紅外光譜數(shù)據(jù)，自蔓延在更高波長范疇普通表白更分散，應(yīng)當(dāng)改正而不是權(quán)重小。圖9顯示了權(quán)重。用于最后修正給強(qiáng)調(diào)到shortwavelength地區(qū)，而長波長區(qū)域并不有助于校正在所有。另一種建議尋找參照校正在MSC都暗示了Windigetal?！^糊涂MSC[16]。這種辦法發(fā)現(xiàn)平均頻譜從msc修正數(shù)據(jù)集。接下來，MSC是多次重復(fù)更新參照光譜平均數(shù)據(jù)集糾正在每次迭代中環(huán)節(jié)。圖10顯示了成果糊涂MSC應(yīng)用到果膠數(shù)據(jù)集——在這種狀況下體現(xiàn)非常類似于呆頭呆腦MSC單純MSC。在呆頭呆腦MSC，可以遵循增長模型記錄信息，然后停止在收斂(兩個(gè)迭代環(huán)節(jié)普通是足夠)。疊加在圖10變化參照光譜從原始光譜平均值。3.2原則正態(tài)變量（SNV）SNV預(yù)解決也許是第二個(gè)最散射校正應(yīng)用辦法NIR/NIT數(shù)據(jù)[13]。在本文中，規(guī)范化(也稱為對(duì)象明智原則化)光譜將檢查在同一種小節(jié)由于明顯相似性兩個(gè)原則。SNV基本格式和正?；拚c老式MSC：圖9加權(quán)乘法散射校正，基于迭代重量決心。綠線顯示了最后權(quán)向量(任意規(guī)模貢獻(xiàn))。（8）對(duì)于SNV，a0是平均值樣品光譜需要修正同步，為原則化，a0設(shè)立等于零。對(duì)于SNV，a1是原則偏差樣品光譜。圖11演示了SNV校正果膠數(shù)據(jù)集。對(duì)于正?；?，不同向量規(guī)范可以用于比例因子a1，最常用是總金額絕對(duì)值元素向量(都市街區(qū)或出租車規(guī)范)或平方根之和平方元素(歐幾里得規(guī)范)。其她選項(xiàng)，有時(shí)也用正最大吸光度變量和正?；蛑鴨我贿x定波長。這兩個(gè)最后選項(xiàng)應(yīng)當(dāng)小心使用，由于她們可以有不良影響后續(xù)分析在例嘈雜數(shù)據(jù)。圖12顯示了效果。歐幾里得正?；?，迄今為止最慣用正常化，果膠數(shù)據(jù)集。這個(gè)信號(hào)校正背后概念SNV和原則化是相似MSC除了常用參照信號(hào)不是必須。相反，每個(gè)觀測(cè)自己解決，孤立于剩余設(shè)立。缺少需要一種共同參照也許是一種實(shí)際優(yōu)勢(shì)。由于SNV和歸一化不涉及一種最小二乘方擬合在她們參數(shù)預(yù)計(jì)，她們可以敏感嘈雜條目譜。相反，使用平均值和原則偏差作為校正參數(shù)，有人也許會(huì)考慮使用更健壯等價(jià)物這些記錄時(shí)刻。郭etal。[17]建議使用中檔或意味著內(nèi)部四分位范疇和原則偏差內(nèi)部四分位數(shù)預(yù)計(jì)為a0，a1，分別命名為“辦法”健壯正常變量”。這將是特別適當(dāng)狀況下光譜很模糊(如。在超快在線近紅外光譜應(yīng)用程序，在強(qiáng)勁辦法將會(huì)更受散射噪聲(例如，波長選取性反射顆粒液體流)]。魯棒預(yù)計(jì)影響她們演示郭etal。[17]對(duì)于模仿和實(shí)際數(shù)據(jù)。正如已經(jīng)討論了Dhanoaetal。[18]，有一種明顯相似性SNV和MSC。這種關(guān)系可以通過如下簡樸近似提出：（9）其中：普通原則偏差光譜，大意味著在所有光譜，都發(fā)現(xiàn)了從原始/未修正光譜(參見圖13)。圖10呆頭呆腦乘法散射校正與一種一階參照校正。綠線顯示了最后，差別開始參照光譜(任意規(guī)模貢獻(xiàn))。圖11原則正態(tài)變量修正光譜圖1SEQ圖表\*ARABIC2歐幾里得規(guī)范歸一化光譜圖1SEQ圖表\*ARABIC3原則正態(tài)變量之間關(guān)系和乘法散射校正。藍(lán)色和紅色線條代表趨勢(shì)線預(yù)計(jì)在圖4。作為方程(9)表白，MSCandSNV相似到簡樸旋轉(zhuǎn)和抵消校正。對(duì)于本文中使用果膠數(shù)據(jù)，有關(guān)SNV預(yù)解決數(shù)據(jù)(圖11)和基本MSC修正數(shù)據(jù)(圖5)是0.9995后意味著中心。換句話說，MSC和SNV是相似對(duì)于大多數(shù)實(shí)際應(yīng)用。導(dǎo)數(shù)光譜衍生品有能力清除兩個(gè)添加劑和乘法效應(yīng)在光譜和已經(jīng)被用于分析光譜學(xué)了幾十年。這個(gè)概念表白在無花果。14對(duì)于一種簡樸高斯峰添加了基線和基線加上乘法效應(yīng)。第一種衍生品只刪除基線;二階導(dǎo)數(shù)刪除兩個(gè)基線和線性趨勢(shì)。在本文中，咱們將討論兩種不同辦法：SG和西北。兩個(gè)派生技術(shù)使用平滑為了不減少信噪比修正光譜太多。最基本辦法，推導(dǎo)是有限差別：一階導(dǎo)數(shù)是預(yù)計(jì)為區(qū)別兩個(gè)后續(xù)光譜測(cè)量分;二階導(dǎo)數(shù)是然后預(yù)計(jì)通過計(jì)算持續(xù)兩個(gè)點(diǎn)之間區(qū)別一階導(dǎo)數(shù)光譜：（10）（11）4.1諾里斯威廉姆斯推導(dǎo)西北推導(dǎo)是一種基本辦法，以避免噪音通脹開發(fā)在有限差別。這種技術(shù)是在1983年提出諾里斯[19]和闡述了通過諾里斯和威廉姆斯在1984年[20]作為一種辦法來計(jì)算導(dǎo)數(shù)近紅外/NIT光譜。西北派生包括兩個(gè)環(huán)節(jié)(見圖15)：平滑光譜，平均在一種給定點(diǎn)數(shù)量是執(zhí)行：（12）其中，中點(diǎn)數(shù)平滑窗口環(huán)繞電流測(cè)量點(diǎn)對(duì)于一階求導(dǎo)，以區(qū)別兩個(gè)平滑值與一種給定她們之間缺口大小(不不大于零);對(duì)二階求導(dǎo)，采用兩倍平滑值點(diǎn)我和平滑值在一種間隙距離兩邊：圖1SEQ圖表\*ARABIC4派生影響在添加劑(綠色)和添加劑加上乘法(紅色)影響。藍(lán)色光譜是光譜沒有任何補(bǔ)償，黑色虛線是零線。（13）可以看到從方程(13)，實(shí)際推導(dǎo)模仿一種有限差分(方程(10)和(11))。通過應(yīng)用一種平滑之前計(jì)算，通過引入一種缺口大小問題，減少信噪比減少。在文學(xué)、NW推導(dǎo)往往是緊隨其后正?；拚庾V。諾里斯和威廉姆斯[20]提出了規(guī)范化光譜強(qiáng)度相稱于在一種選定波長，但更復(fù)雜歸一化辦法可以使用。使用一種缺口很難捍衛(wèi)在近紅外光譜。這個(gè)概念經(jīng)常使用一種缺口，如果有一種(固定)頻率分量在數(shù)據(jù)，大小地方缺口將相應(yīng)于兩峰之間距離值信號(hào)。然而，在光譜學(xué)，有普通沒有這樣背景頻率貢獻(xiàn)。西北衍生作品由于高度co變異和平滑近紅外光譜和不一定由于光譜推理(見圖16)。一種有趣注旨在西北存在推導(dǎo)幾種設(shè)立(組合差距和平滑窗口)，給相似預(yù)計(jì)導(dǎo)數(shù)。再會(huì)。數(shù)，三分差距有五個(gè)平滑等于一種四點(diǎn)平滑與一種缺口大小三個(gè);類似地，一種threepoint平滑有缺口七是同樣sixpoint平滑與一種缺口大小三個(gè)。這可以推廣到m點(diǎn)平滑與一種缺口大小k等于一種k1點(diǎn)平滑和一種缺口大小m。4.2Savitzky-Golay推導(dǎo)Savtizky和戈利(SG)[21]推廣一種辦法推導(dǎo)數(shù)值一種向量，涉及一種平滑一步。為了找到導(dǎo)數(shù)在中心點(diǎn)我，一種多項(xiàng)式擬合在一種對(duì)稱窗口原始數(shù)據(jù)(參見圖17)。當(dāng)參數(shù)對(duì)于這個(gè)多項(xiàng)式計(jì)算，任何順序?qū)?shù)這個(gè)函數(shù)可以很容易地發(fā)現(xiàn)分析，這個(gè)值隨后被用作導(dǎo)數(shù)估算出這個(gè)中心點(diǎn)(參閱圖。18)。這個(gè)操作是應(yīng)用于所有分光譜順序。點(diǎn)數(shù)目用來計(jì)算多項(xiàng)式(窗口大小)和限度擬合多項(xiàng)式都決定要做，。最高衍生物，可以擬定取決于學(xué)位多項(xiàng)式擬合過程中使用(即一種三階多項(xiàng)式可用于預(yù)計(jì)三階導(dǎo)數(shù))。圖1SEQ圖表\*ARABIC5預(yù)計(jì)一階導(dǎo)數(shù)，諾里斯威廉姆斯。支持率窗口用于平滑，和一種缺口大小3應(yīng)用于派生。咱們注意到有一種內(nèi)在冗余層次構(gòu)造SG推導(dǎo)。對(duì)于每個(gè)派生，隨后兩多項(xiàng)式適合將給相似預(yù)計(jì)系數(shù)。第一導(dǎo)數(shù)，一種一級(jí)多項(xiàng)式和二級(jí)多項(xiàng)式將給出同樣答案(如將第三和第四度)。對(duì)二階導(dǎo)數(shù)，第二和第三級(jí)別多項(xiàng)式將給出同樣答案(如將第四和第五度)，等。當(dāng)這個(gè)辦法是一方面引入了Savitzky和戈利[21]，它依然是計(jì)算繁瑣計(jì)算參數(shù)估算導(dǎo)數(shù)。出于這個(gè)因素，作者報(bào)道一組表列值幾種不同類型衍生品和多項(xiàng)式組合。然而，錯(cuò)誤在她們第一篇文章簡介了，Steinieretal。[22]刊登一種修正和擴(kuò)展版本原始表。這些餐桌是日后甚至進(jìn)一步擴(kuò)大，發(fā)狂[23]。然而，隨著當(dāng)代計(jì)算機(jī)，不再有任何真正需要為這些表。原始形式NW，SG推導(dǎo)使用對(duì)稱窗口平滑，規(guī)定數(shù)據(jù)點(diǎn)數(shù)量在每一邊中心點(diǎn)是相似。因而，忽視某些點(diǎn)技術(shù)在每一端在預(yù)解決。為NW推導(dǎo)，點(diǎn)數(shù)目失去了數(shù)等于分用于平滑加上差距大小減去一種。對(duì)于SG推導(dǎo)，點(diǎn)數(shù)目失去了數(shù)等于分用于平滑減一。因而吸取更多點(diǎn)NW推導(dǎo)比SG推導(dǎo)。如果譜向量是長(即超過500點(diǎn))，這個(gè)問題不重要，但是，對(duì)于較短光譜(例如，二極管陣列儀器)，這個(gè)損失波長也許是重要。每天p和舍伍德在1980年[24]和[25]天呀在1990年提出一種解決方案，涉及使用一種基于非對(duì)稱多項(xiàng)式擬合終端窗口。在實(shí)踐中，這意味著米第一種得分譜預(yù)計(jì)從2m+1第一分光譜，和一種類似預(yù)計(jì)去年米點(diǎn)。然而，這樣解決方案將簡介，顯然工件精度衍生品隨距離中心點(diǎn)(m+1)。此外，預(yù)計(jì)端點(diǎn)并不擁有內(nèi)在冗余提到：沒有兩個(gè)后續(xù)SG多項(xiàng)式秩序配件將給相似預(yù)計(jì)。此外，預(yù)計(jì)潛孔導(dǎo)數(shù)相等所有端點(diǎn)如果譜是平滑潛孔秩序多項(xiàng)式。NW推導(dǎo)類似于有限差別，但引入了平滑和缺口大小為counteractions在預(yù)計(jì)衍生物光譜保持信號(hào)-噪音比例。這兩個(gè)環(huán)節(jié)在NW派生或多或少是獨(dú)立。然而，SG推導(dǎo)使用更多常用過濾技術(shù)來估算導(dǎo)數(shù)光譜，而不是使用有限差分辦法，適合一種多項(xiàng)式通過一系列點(diǎn)來維持一種可接受信噪比。普通來說，NW，SG派生不給相似預(yù)計(jì)。唯一一雙設(shè)立，讓相似成果是三個(gè)平滑分兩，SG使用一階多項(xiàng)式配合，在西北氣隙大小等于1。然而，更復(fù)雜(和現(xiàn)實(shí))設(shè)立為SG和/或NW自動(dòng)導(dǎo)致(稍微)不同推導(dǎo)成果。圖1SEQ圖表\*ARABIC6諾里斯威廉姆斯二階導(dǎo)數(shù)使用9點(diǎn)平滑和一種缺口大小3。間隔和聯(lián)合版本提到預(yù)解決技術(shù)迄今為止，只有預(yù)計(jì)衍生品是由一種移動(dòng)窗操作，只有一種本地某些(窗口)光譜用于任何時(shí)間預(yù)計(jì)校正。然而，所有其她辦法同樣可以在一種窗口明智方式執(zhí)行。伊薩克松和科瓦爾斯基[26]建議這詳盡分析，并將其命名為分段MSC(PMSC)。Andersson[27]預(yù)解決辦法相比代替兩個(gè)版本PMSC：移動(dòng)窗或本地預(yù)解決(劃提成幾某些波長軸和執(zhí)行預(yù)解決在每一種某些分別)。這個(gè)移動(dòng)窗版本預(yù)解決技術(shù)獲得了某些利益，從近紅外光譜社區(qū)，也許是由于對(duì)的選取窗口大小是至關(guān)重要，它是遠(yuǎn)離瑣碎要對(duì)的做到這點(diǎn)。過小窗口會(huì)導(dǎo)致引進(jìn)大型工件在糾正光譜和減少信噪比。然而，更大窗口大小，較小完整和移動(dòng)窗之間區(qū)別預(yù)處圖1SEQ圖表\*ARABIC7預(yù)計(jì)，Savitzky-Golay一階導(dǎo)數(shù)。支持率窗戶，一種二階多項(xiàng)式是用來平滑理(見圖19)。本地窗口預(yù)解決是有用，特別是在記錄狀況下測(cè)量光譜從視覺范疇或短波近紅外光譜中期紅外范疇。在這個(gè)寬光譜區(qū)，幾種不同散射問題并存，和光譜應(yīng)當(dāng)相應(yīng)分割，執(zhí)行單獨(dú)散射糾正在不同某些。然而，由于這不是本質(zhì)上不同于在區(qū)域劃分光譜預(yù)解決辦法，應(yīng)用獨(dú)立，咱們不討論它進(jìn)一步。使用預(yù)解決辦法組合是豐富文學(xué)，原則上，任何序列預(yù)解決是也許。然而，如下簡樸規(guī)則可以作為最初指引方針。散射校正(除了原則化)應(yīng)當(dāng)被執(zhí)行之前，分化。這些技術(shù)都是設(shè)計(jì)用于修正原始光譜，從未被以為是修正一種分化或基線糾正譜?？梢允褂靡?guī)范化兩端校正，盡管它是容易評(píng)估正?；绊懭绻侨魏纹渌僮髦皥?zhí)行。SNV之間基本差別與隨后消除趨勢(shì)和MSC與參照和基線校正是，在MSC，同步應(yīng)用兩個(gè)修正，而不是持續(xù)。因而，普通會(huì)給一種較小MSC基線校正比SNV加德趨勢(shì)。另一方面是SNV執(zhí)行de趨勢(shì)并不推薦Barnesetal。[13]，基于以上因素，不推薦進(jìn)行消除趨勢(shì)第一。一種定量例子圖1SEQ圖表\*ARABIC8Savitzky-Golay預(yù)計(jì)二階導(dǎo)數(shù)使用9分和一種二階多項(xiàng)式平滑。當(dāng)前咱們將應(yīng)用所有預(yù)解決辦法討論到一種定量分光任務(wù)涉及32杏仁蛋白軟糖樣品測(cè)量六非常不同光譜分析儀作為預(yù)測(cè)變量兩種不同響應(yīng)變量：水分和糖含量。這些數(shù)據(jù)來自一項(xiàng)由克里斯騰森etal。[3]。圖20顯示了一種，光譜集。對(duì)于一種總結(jié)數(shù)據(jù)，見表1。在這里，咱們展示了pls回歸模型，建立所有六個(gè)近紅外光譜儀器，和響應(yīng)分別(所謂PLS1模型[5])。杏仁糖近紅外光譜數(shù)據(jù)集是不同預(yù)解決技術(shù)解決本文中描述。除了設(shè)立用于理論某些，某些更極端參數(shù)設(shè)立進(jìn)行估算，以顯示分段MSC使用合理選取重要性。沒有樣本被當(dāng)作是例外，由于所有樣本體現(xiàn)不錯(cuò)在最初摸索性分析。引導(dǎo)錯(cuò)誤預(yù)計(jì)[28]被用作驗(yàn)證辦法。共有1000引導(dǎo)圖紙進(jìn)行每種組合數(shù)據(jù)集、引用和預(yù)解決。同一套圖紙是用于所有數(shù)據(jù)集，除了儀器1，只有十五32樣品進(jìn)行了測(cè)量。0.632引導(dǎo)預(yù)計(jì)預(yù)測(cè)誤差進(jìn)行了計(jì)算見方程(14)，按照Wehrensetal。[28]（14）其中預(yù)測(cè)誤差預(yù)計(jì)并且和普通校準(zhǔn)(樣本每一種引導(dǎo)得出選取)和預(yù)測(cè)(不是每一種樣本選取引導(dǎo)畫)錯(cuò)誤在所有引導(dǎo)圖紙。最優(yōu)數(shù)量因素，f，是決定基于0.632引導(dǎo)預(yù)計(jì)，選取第一種最低或地方RMSEf曲線作為函數(shù)因素變得平緩(RMSEf曲線斜率是常數(shù))。

圖1SEQ圖表\*ARABIC9移動(dòng)窗口原則正態(tài)變量使用129nm移動(dòng)窗口(65測(cè)量分)。通過應(yīng)用所有預(yù)解決技術(shù)相似樣本集記錄六個(gè)不同工具和/或光學(xué)測(cè)量幾何圖形(分散，干涉儀，反射、透射和光纖探針)使用兩個(gè)不同響應(yīng)(水分和糖)，某些普通性性能差別是顯示(見Tables2和3)。作為一種非常一方面觀測(cè)，它是安慰，幾乎所有預(yù)解決模型是簡樸或更簡約(例如，使用更少請(qǐng)因素)比全球模型、獨(dú)立光譜儀建立和獨(dú)立響應(yīng)變量。第二個(gè)普通觀測(cè)，過濾器儀器1在反射模式不是競(jìng)爭(zhēng)在測(cè)量杏仁糖樣品(RMSEmoisture=0.75、4潛變量(lv)和RMSEsugar=2.30，3lv;但咱們需要記住，只有1532樣品測(cè)量)和預(yù)解決沒有協(xié)助，讓它回落到其他樂器水平。過濾器工具并不是真正兼容光譜派生技術(shù)，但其她預(yù)解決技術(shù)也未能達(dá)到預(yù)期性能。第三個(gè)普通評(píng)論可以在全息信息內(nèi)容近紅外光譜，在這種信息(泛音)會(huì)重復(fù)浮現(xiàn)多次。小光譜范疇850-1050海里(覆蓋著儀器6)，它包括第二泛音o-h和nh伸展和第三泛音從完全競(jìng)爭(zhēng)延伸與更精密儀器覆蓋完整或老式近紅外光譜區(qū)域。此外，很有趣一點(diǎn)是，創(chuàng)立模型從光譜從傳播基本儀器6普通是最簡樸，甚至在預(yù)解決。顯然，從密度波動(dòng)散射測(cè)量樣品傳播方式不太苛求比反射散射測(cè)量反射模式。當(dāng)談到預(yù)解決，這是令人驚訝，與所有其她樂器，歐幾里得規(guī)范工作得非常好，提供了最佳成果對(duì)儀表6(RMSEmoisture=0.38，3lv，RMSEsugar=1.39，5lv)。因素也許是，這小NIR區(qū)域包括所有氫鍵覆蓋從示例和一種規(guī)范化辦法從而相應(yīng)于整合所有質(zhì)子信號(hào)并設(shè)立質(zhì)子密度樣本之間平等。除了原則化辦法，這似乎是一種較好預(yù)解決，衍生品方略對(duì)于這種類型數(shù)據(jù)，由于她們可以始終簡化模型，特別明顯對(duì)于糖預(yù)測(cè)。圖表SEQ圖表\*ARABIC2032杏仁蛋白軟糖樣品測(cè)量儀器2，在間隔1100-2500海里。對(duì)于剩余全地區(qū)近紅外光譜儀器2-5，咱們發(fā)現(xiàn)某些有趣和強(qiáng)大差別取決于響應(yīng)變量，大概是由于含水率是一種低辨別率光譜任務(wù)而糖含量是一種高辨別率問題。對(duì)于水分模型、色散儀器2和3幾乎總是比模型基于傅里葉變換工具4和5。最佳整體模型為工具PSNVwindow-width發(fā)現(xiàn)2129預(yù)解決(RMSE=0.30、4lv)和最佳傅里葉變換模型是發(fā)現(xiàn)對(duì)儀表5用光纖運(yùn)用MSC和secondorder參照校正(RMSE=0.37，5lv)。當(dāng)添加一種光纖探針儀器2(=儀器3)，模型復(fù)雜性增長(平均3lv)。這個(gè)大差別可以分派到更復(fù)雜光學(xué)幾何后期系統(tǒng)。此外，性能沒有預(yù)解決是相似(RMSE=0.42)，但預(yù)解決性能儀器3是劣質(zhì)(RMSE=0.37，10個(gè)lv使用SNV和MSC)最佳模型儀器2。對(duì)于糖模型，狀況幾乎是逆轉(zhuǎn)。在這里，干涉儀基本儀器4顯示始終最佳模型，但更復(fù)雜，大概是由于更好光譜辨別率儀器。最佳整體模型對(duì)儀表與MSC1st發(fā)現(xiàn)4訂單ref，二階波浪預(yù)解決(RMSE=0.92，9lv)，遠(yuǎn)比最佳色散成果(RMSE=1.30、4lv對(duì)儀表2)但也復(fù)雜得多。再一次，對(duì)于糖模型，添加一種光纖探針儀器2(=儀器3)使得模型劣質(zhì)和復(fù)雜得多(平均兩個(gè)lv和增長最佳兩個(gè)模型之間RMSE從1.22到1.81對(duì)于儀器儀表23)。這個(gè)移動(dòng)窗版本SNV和MSC顯示不同成果。普通來說，移動(dòng)窗版本給成果類似于或比最佳剩余預(yù)解決辦法。然而，頂多10%RMSE是比最佳正常預(yù)解決技術(shù)，但窗口選取也許很容易成為一種核心參數(shù)。相比之下，某些次優(yōu)移動(dòng)窗辦法都包括在最后三行表2和3。差別有限差分辦法，推導(dǎo)和更復(fù)雜辦法是不明顯預(yù)計(jì)第一導(dǎo)數(shù)某些測(cè)量(儀器2、3和6)。這很適合這些系統(tǒng)平穩(wěn)行為，表白額外平滑是沒有必要。這個(gè)干涉儀(儀器4和5)有一種更好光譜辨別率，給上升到一種更高限度精細(xì)構(gòu)造，導(dǎo)致低信噪比在預(yù)計(jì)一階導(dǎo)數(shù)有限差分法。這最后導(dǎo)致劣質(zhì)模型。成果，使用有限差分第二衍生品普通是，她們都不如更復(fù)雜辦法。這表白在信噪比7.總結(jié)顯然，咱們定量例子并不能給出權(quán)威回答，例如哪些預(yù)解決使用在何種給定狀況下。然而，它的確使用原則化在短波近紅外透射光譜是明智和運(yùn)用MSC(一階參照校正)或原則SNV對(duì)于大多數(shù)其她某些狀況。雖然很難找到最佳預(yù)解決，這確是可以使用錯(cuò)誤預(yù)解決。這重要是由于不對(duì)的參數(shù)設(shè)立窗口大小和/或平滑函數(shù)預(yù)計(jì)衍生品和移動(dòng)窗技術(shù)。最后，咱們強(qiáng)調(diào)任何預(yù)解決只是對(duì)模型進(jìn)行一定量改進(jìn)，全局建模大概25%在咱們研究中。25%降價(jià)，而也許是重要工業(yè)應(yīng)用[29]，這是幾乎沒有什么使區(qū)別在許多多元可行性研究蓬勃發(fā)展，在科學(xué)文獻(xiàn)中，咱們可以推薦選取預(yù)解決，以實(shí)現(xiàn)最佳，最具備闡明模型。參照文獻(xiàn)[1]S.Wold，K.Esbensen，P.Geladi，Chemom.Intell.Lab.Syst.2(1987)37.[2]S.B.Engelsen，E.Mikkelsen，L.Munck，Progr.ColloidPolym.Sci.108(1998)166.[3]J.Christensen，L.N?rgaard，H.Heimdal，J.G.Pedersen，S.B.Engelsen，J.NearInfraredSpectrosc.12()63.[4]S.Wold，H.Martens，H.Wold，Lect.NotesMath.973(1983)286.[5]H.Martens，T.N?s，MultivariateCalibration，Wiley，NewYork，USA，1989.[6]H.Martens，S.A.Jensen，P.Geladi，Multivariatelinearitytransformationsfornearinfraredreflectancespectroscopy，in：O.H.J.Christie(Editor)，Proc.NordicSymp.AppliedStatistics，StokklandForlag，Stavanger，Norway，1983，pp.205–234.[7]P.Geladi，D.MacDougal，H.Martens，Appl.Spectrosc.39(1985)491.[8]H.Martens，E.Stark，J.Pharm.Biomed.Anal.9(1991)625.[9]D.K.Pedersen，H.Martens，J.P.Nielsen，S.B.Engelsen，Appl.Spectrosc.56()1206–1214.[10]H.Martens，J.P.Nielsen，S.B.Engelsen，Anal.Chem.75()394.[11]M.Decker，P.V