組合生成算法與多元線性回歸相結(jié)合用于近紅外光譜波長的優(yōu)選

1、第32卷2004年8月分析化學(xué)(FENXI HUAXU E) 研究報告Chinese Journal of Analytical Chemistry第8期1116 1119儀器裝置與實驗技術(shù)組合生成算法與多元線性回歸相結(jié)合用于近紅外光譜波長的優(yōu)選蘆永軍3張軍樸仁官陳星旦（中國科學(xué)院長春光學(xué)精密機械與物理研究所，應(yīng)用光學(xué)國家重點實驗室，長春130033）摘要分立波長型近紅外光譜分析儀是光譜分析儀器中較為普及的一種快速成份定量分析儀，如濾光片型、發(fā)光二極管型等。該類分析儀器研發(fā)的一個主要問題是如何針對于待測物質(zhì)主要成份進行近紅外光譜解析,找到最優(yōu)定標(biāo)波長組合用于建立穩(wěn)健的定標(biāo)模型。常用的波長選擇方

2、法為相關(guān)光譜結(jié)合逐步多元線性回歸方法，該方法依據(jù)各參與定標(biāo)波長所對應(yīng)的t檢驗值進行最優(yōu)定標(biāo)波長的判別，但在實際應(yīng)用中定標(biāo)模型的定標(biāo)精度和預(yù)測精度相差較大，具有很大的不準(zhǔn)確性。為了實現(xiàn)定標(biāo)波長的優(yōu)選引入了組合數(shù)學(xué)中的組合 生成算法，可以在較短的時間內(nèi)完成最優(yōu)波長組合的選取，結(jié)果是令人滿意的。關(guān)鍵詞近紅外光譜，組合生成算法，多元線性回歸1引 言定標(biāo)模型的優(yōu)化,即最優(yōu)定標(biāo)波長組合的選取，一直是濾光片型和二極管型等采用分立分光元件進 行光譜掃描的近紅外分析儀器研制中的關(guān)鍵問題。儀器定標(biāo)模型的穩(wěn)健與否直接影響到分析結(jié)果的精度。常用的定標(biāo)波長優(yōu)選方法為相關(guān)光譜結(jié)合逐步多元線性回歸方法，該方法以相關(guān)光譜所給

3、出的最優(yōu)起始定標(biāo)波長為起點，逐步增加波長并結(jié)合t或者F檢驗來選取定標(biāo)波長的最佳組合。但實驗證明t 或者F檢驗所篩選掉的波長有時對于模型預(yù)測能力的提高是有益的，選定的定標(biāo)波長也可能對定標(biāo)模型產(chǎn)生干擾，這充分證明了該統(tǒng)計檢驗方法在實際應(yīng)用中的不可靠性。而且每一次定標(biāo)波長的選取為了穩(wěn)妥起見還需對獨立的預(yù)測樣品集進行預(yù)測分析，以確認經(jīng)過篩選波長得到的定標(biāo)模型預(yù)測能力是否有所提高，如果定標(biāo)模型的預(yù)測能力未改善，必需重新進行定標(biāo)波長的選取。所以傳統(tǒng)方法中以t或 者F檢驗篩選定標(biāo)波長來確定定標(biāo)模型的方法是繁瑣且不完全可靠的，需要得到改進和提高。本研究通過將組合數(shù)學(xué)中的組合生成算法引入到近紅外光譜分析技術(shù)1中

4、來，該算法的引入使得定標(biāo)波長優(yōu)選的工作可以通過計算機編程更加簡單、快捷地完成。由于采用了以選取各個定標(biāo)波長組合進行多元線性回歸所給出的預(yù)測標(biāo)準(zhǔn)差最小的波長組合所對應(yīng)定標(biāo)模型為最終模型為判據(jù)，得到的最優(yōu)定標(biāo)模型的實際預(yù)測能力很強，結(jié)果很可靠。2基本原理為了實現(xiàn)定標(biāo)模型的優(yōu)化，需要一種自動生成各個波長組合用于多元線性回歸計算的算法。組合生成算法2是依據(jù)實際特定組合的生成規(guī)律經(jīng)過數(shù)學(xué)推演而得出的，通過該算法可以得出所有可能的自然數(shù)組合。這些自然數(shù)組合對于運用計算機編程實現(xiàn)所有定標(biāo)波長組合的多元線性回歸計算成為可 能。在計算機編程時通過將由組合生成算法得到的自然數(shù)組合作為待測成分原始吸光度矩陣數(shù)據(jù)的行

5、 或列索引，然后運用循環(huán)語句逐次完成各自然數(shù)組合索引（對應(yīng)的波長列或行序號）所抽取的新吸光度的多元線性回歸運算。本文中所采用的近紅外光譜數(shù)據(jù)是從國產(chǎn)NIR22010型近紅外分析儀上通過漫反射方式采集得到的，該分析儀采用9個濾光片進行分光，吸光度矩陣是9 X X形式,如表1 ,其中X是2003208218 收稿;2004 203230 接受本文系中國科學(xué)院長春光機與物理研究所青年創(chuàng)新基金和國家十五攻關(guān)課題（NO.2001BA512B04 ）資助項目第8期蘆永軍等：組合生成算法與多元線性回歸相結(jié)合用于近紅外光譜波長的優(yōu)選1117樣品數(shù)量，矩陣的行表示樣品在不同波長點所給出的吸光度，列表示在特定波長

6、下各個玉米樣品的吸光度。表1各個樣品在不同波長處的吸光度矩陣Table 1 The absorbance matrix of different sanpies at different wavelengths樣品Sample波長 Wavelength1820 nm1940 nm2100 nm2180 nm樣品 1 Sample 10. 381250. 441100. 6585140. 78551樣品 2 Sample 20. 453310. 531180. 721840. 91563樣品 3 Sample 30. 313350. 645280. 878531. 28281 運用組合生成算法可

7、以準(zhǔn)確無誤地生成從1到n個自然數(shù)集的任意組合,經(jīng)生成的自然數(shù)組合矩陣作為索引矩陣與面向矩陣分析的計算機語言（如MA TLAB等）相結(jié)合分別對近紅外光譜吸光度矩陣的刊案引)NieuhJi越 I heindex cf 1l« ibwrbwiK nurim)輸定標(biāo)施陣再見忻固井忡折也捷仰 JSff歸井折ErbuKr mMirix mJ nrferannr aiBlriA企川掘色蛋戌茸法生蟲鳥牛自IS數(shù)盍 如 ft!咅 The wmtinitiomi mwi*! Munbcrfi otiliiiMd 射 ciwnhiiiiiiDiv- nuking. tlfwilhraiift出定寡景救并與

8、Wiil頤臨運卑 Mlwaioi prediciliM uuJviti uain< 也UDlfcM CUibttlloatfidprtdiciion sb訛底申ma壕斗生腋的爲(wèi)有自轅載*引81書 AJLcdnibLniAiCrfiS DfiuflUrtl shum.beitffifi'自報蠱堀合神M機畠肌一牛怡卓算的足標(biāo)恥陣Th* ngw gbvDThfinp! mivlirii. ftrnned. by EXlrKEinlhe COFrcspcodidg bolwrins in ceijind 遍尉湎m matrix邯 oCfuiursl iMuntMlT轉(zhuǎn)母因肝對的檢nisi

9、tasiiTTw RM5E:Fi-ilUf #沁嗆 is translined Id lhe viriant P圖1組合生成算法進行定標(biāo)波長優(yōu)選的流程圖Fig. 1 The flow diagram of calibration by using all the wavelength combinations produced by the combina2 tion2making algorithm列（波長組合）進行對應(yīng)抽取，抽取的矩陣列組合即為該波長組合所構(gòu)成的新的定標(biāo)吸光度矩陣。將該矩陣與樣品的化學(xué)分析值矩陣進行多元線性回歸（ML R）分析即可得出該波長組合定標(biāo)模型的定標(biāo)系數(shù)將定標(biāo)系數(shù)與

10、預(yù)測吸光度數(shù)據(jù)矩陣進行運算求出預(yù)測標(biāo)準(zhǔn)差（可以通過將回歸分析算法嵌套在從組合1到總組合數(shù)N的循環(huán)過程中實現(xiàn)），將所有波長組合所確定的定標(biāo)模型的預(yù)測標(biāo)準(zhǔn)差存于一個變量 組中，求得變量組中預(yù)測標(biāo)準(zhǔn)差最小的那個波長組合即為所要求的最佳波長組合。圖1中給出了整個組合生成算法進行定標(biāo)波長優(yōu)選的流程圖?；诮M合生成算法所提供的編程方便，最優(yōu)波長組合判定的依據(jù)是以各個定標(biāo)模型所得到的定標(biāo)方程針對已定的具有代表性的預(yù)測集計算所得到的最小的預(yù)測 標(biāo)準(zhǔn)差為基準(zhǔn)，由最優(yōu)波長組合的光譜吸光度數(shù)據(jù)與樣品的化學(xué)分析數(shù)據(jù)進行多元線性回歸所得到的 定標(biāo)模型是最穩(wěn)健的。值得注意的是，由于多元線性回歸算法對奇異樣品較為敏感，定標(biāo)

11、或預(yù)測樣品集中奇異樣品的存在往往對定標(biāo)模型的建立產(chǎn)生很大的影響?？梢栽诙?biāo)和預(yù)測過程中進行聚類分析和交互驗證（cross2validation），將奇異樣品以允許的比例（一般為5 %左右）剔除，消除因奇異樣品在最優(yōu)定標(biāo)模型選取過程中的影響。3實驗與結(jié)果3.1實驗儀器與材料N IR22010型濾光片型近紅外分析儀 （自制）；奔騰川PC機。由成都國家糧食研究所提供的具有已 知蛋白質(zhì)、水分、脂肪含量值的玉米粉樣品178個，玉米粉蛋白質(zhì)的化學(xué)值通過標(biāo)準(zhǔn)的凱氏定氮法得到3.2實驗方法與結(jié)果實驗發(fā)現(xiàn)，通過常規(guī)定標(biāo)方法得到的定標(biāo)模型的預(yù)測能力并不是最好的。從表2中的實驗結(jié)果可以看出，采用常規(guī)逐步多元向前或向

12、后回歸結(jié)合F檢驗所給出的結(jié)果，無論從定標(biāo)波長的數(shù)量，還是定標(biāo)模型所給出的預(yù)測標(biāo)準(zhǔn)差都不完全一致，預(yù)測標(biāo)準(zhǔn)差要高于經(jīng)過組合生成算法所得出的預(yù)測標(biāo)準(zhǔn)差1 118分析化學(xué)第32卷值。由于組合生成算法將所有波長組合的定標(biāo)模型都進行了預(yù)測分析比較，常規(guī)方法所得到的模型必然包括在內(nèi)，組合優(yōu)選方法可以完全替代常規(guī)方法。采用組合生成算法結(jié)合多元線性回歸定標(biāo)預(yù)測運算,以尋求預(yù)測標(biāo)準(zhǔn)差最小作為尋找最佳定標(biāo)模型的判據(jù)，從辨證的角度講就是以實踐作為衡量標(biāo)準(zhǔn)從方法學(xué)的角度把統(tǒng)計的問題準(zhǔn)確化。通過組合生成算法可以使以預(yù)測標(biāo)準(zhǔn)差最小為判據(jù)的想法通過計算機實現(xiàn)，在幾秒鐘的時間內(nèi)就可以完成最優(yōu)定標(biāo)波長的選取和定標(biāo)模型的建立，給

13、出最優(yōu)定標(biāo)組合中各個定標(biāo)波長對應(yīng)的定標(biāo)系數(shù)。由于始終是以預(yù)測作為定標(biāo)模型檢驗的標(biāo)準(zhǔn)，經(jīng)過計算得出的定標(biāo)模型無疑是最好的。表2常規(guī)定標(biāo)方法與組合生成方法的定標(biāo)波長優(yōu)選結(jié)果Table 2 The result of the optimum wavelength combination using conventional method and combination 2making method成分Ingredients水分Water蛋白質(zhì)Protein脂肪Fat最優(yōu)波長數(shù)Number of optimum wavelength預(yù)測標(biāo)準(zhǔn)差Root mean square error of pred

14、iction最優(yōu)波長數(shù)Number of optimum wavelength預(yù)測標(biāo)準(zhǔn)差Root mean square error of prediction最優(yōu)波長數(shù)Number of optimum wavelength預(yù)測標(biāo)準(zhǔn)差Root mean square error of prediction常規(guī)方法Conventional40. 312840. 353280. 1812組合生成方法Combination2making50. 214870. 232370. 1700通過組合優(yōu)選定標(biāo)方法可以將定標(biāo)波長數(shù)量不同的定標(biāo)模型統(tǒng)計量（定標(biāo)標(biāo)準(zhǔn)差和預(yù)測標(biāo)準(zhǔn)差）給波厲雜 Numver of w

15、avelenglhs圖2隨著定標(biāo)波長的增加定標(biāo)模型的預(yù)測和定標(biāo)標(biāo) 準(zhǔn)差的變化趨勢Fig. 2 The trend for the variation of standard error of cali2 bration (SEC) and standard error of prediction (SEP) with the increasing number of wavelengths for calibration (定標(biāo)(calibration);()預(yù)測(prediction)。出，圖2中給出了當(dāng)定標(biāo)模型中定標(biāo)波長增加時，SEC和SEP的變化趨勢。從圖2可以看出,隨著定 標(biāo)波長的增加

16、，定標(biāo)模型的預(yù)測標(biāo)準(zhǔn)差開始減小，模型的實際預(yù)測能力逐步增強，但當(dāng)參與定標(biāo)的波長數(shù)增加到一定數(shù)量時，如圖中第5個波長處，預(yù)測標(biāo) 準(zhǔn)差達到最小，之后開始增加，盡管定標(biāo)標(biāo)準(zhǔn)差一直 在減少。由此可知，在儀器所選波長中存在最佳組 合問題。從理論上講，波長數(shù)量的選擇應(yīng)滿足突出 待測成分的最大相關(guān)信息且排除非測量因素對該信 息的干擾原則。當(dāng)定標(biāo)波長的選取數(shù)量足以涵蓋所 測樣品化學(xué)成分的光譜信息時，定標(biāo)波長的增加往往會導(dǎo)致多元共線問題出現(xiàn)，導(dǎo)致模型過擬合現(xiàn)象 ，。所以組合生成算法在近紅外光譜分析技術(shù)中的在定標(biāo)波長逐漸增加時定標(biāo)標(biāo)準(zhǔn)差會持續(xù)減小而預(yù) 測標(biāo)準(zhǔn)差則達到最小值后又開始增加 。研究表明， 定標(biāo)波長的選擇

17、原則是在保證足夠的預(yù)測精度的前 提下越少越好。定標(biāo)波長越少的模型穩(wěn)定性越強 ， 對于化學(xué)和物理表征奇異的樣品的抗干擾能力也越強引入,恰恰可以快速準(zhǔn)確地完成最小預(yù)測標(biāo)準(zhǔn)差所對應(yīng)定標(biāo)模型選取，找到最優(yōu)定標(biāo)波長組合。該算法的引入是定標(biāo)模型最優(yōu)化方法的較大改進，經(jīng)過選定的定標(biāo)模型可以真實地反映未來預(yù)測的實際情況較為客觀和可靠。通過將組合生成定標(biāo)方法與常規(guī)方法進行比較可以發(fā)現(xiàn)，該方法可以完全替代傳統(tǒng)定標(biāo)波長優(yōu)選方法,而且效率更高，更可靠。在定標(biāo)和預(yù)測樣品集的選擇充分代表樣品集的前提下，選取得到了最優(yōu)定標(biāo)模型，達到了滿意的預(yù)測精度。References1 Phil Williams , Karl Norr

18、is. Near2lnf rared Technology in the Agricultural and Food Indust ries. Published by the Ameri 2第8期蘆永軍等：組合生成算法與多元線性回歸相結(jié)合用于近紅外光譜波長的優(yōu)選1119can Association of Cereal Chemists , Inc. St. Paul Minnesota ,USA2 Lu Kaicheng （盧開澄）.The Combnatorics （組合數(shù)學(xué)）.Beijing （北京）：Qinghua Press（清華大學(xué)出版社）.Secondedition （第二版）

19、,1998 : 21 22Choose Optimal Wavelengths for Calibrationby Combiningthe Comb in ati on 2maki ng Algorithm with MultivariateLin earRegressi on3Lu Yongjun , Zhang J un , Piao Renguan , Chen Xingdan（State Key L aboratory of Applied Optics , Changchun Institute of Optics , Fine Mechanics and Physics,Chin

20、ese Academy of Sciences Changchun 130022 ）Abstract Fixed2filter spectrometer, diode arrays spectrometer and so on are very com mon spectrometers which don't operate in the consistently scan mode. The key to this kind of spectrometer is how to find a optimal wavele ngth comb in ati on rapidly and

21、 accurately for gett ing a fine calibrati on. The conven tio nal methods to choose the optimal wavelengths for calibration are forward stepwise multiple linear regression in comb in ati on with correlatio n chart , which is based o n the t test result of all the calibrati on wavele ngths. However, t

22、he wavelengths chosen by conventional method are sometimes not so powerful , as a result it contains un certa inty and is un depe ndable. In this paper the comb in ati on 2mak ing algorithm in comb in atorics is in troduced in n ear i nfrared spectroscopy, the work of fi nding out the optimum wavele ngth comb in ati on is realized efficiently and successfully, the final result of prediction of the optimum calibration model