土壤有機質(zhì)nir光譜分析的偏最小二乘模型

土壤有機質(zhì)nir光譜分析的偏最小二乘模型

1pls因子數(shù)結(jié)合光譜預處理方法的選擇土壤是農(nóng)業(yè)生態(tài)環(huán)境的重要組成部分。土壤有機質(zhì)含量是衡量土壤肥力的重要指標。常規(guī)的土壤有機質(zhì)的測定通常在實驗室進行,需要化學反應,操作繁瑣。建立土壤有機質(zhì)的無試劑、直接快速的測定方法在現(xiàn)代農(nóng)業(yè)中具有重要意義。隨著光譜技術(shù)和化學計量學的快速發(fā)展,近紅外(NIR)光譜以其簡便、快速、非破壞性和易于在線分析等特點已廣泛應用于農(nóng)業(yè)、食品、環(huán)境、生物醫(yī)學等領域。近年來,國內(nèi)外已有土壤NIR光譜分析的應用研究。但土壤是具有多組分的復雜體系,它的光譜包含有很多噪音和其他未知成分的吸收干擾,因此,優(yōu)選適當?shù)墓庾V預處理方法,利用有效的化學計量學方法降低噪音干擾,提高土壤NIR光譜分析的精度是進一步需要解決的重要課題。偏最小二乘法(PLS)是融合主成分分析和多元線性回歸的一種應用廣泛的光譜建模方法[1,2,3,4,5,6,7,8,2,7,8],其中PLS因子數(shù)對應了代表樣品信息的光譜綜合變量的個數(shù),合理選擇PLS因子數(shù)對于充分利用光譜信息和消除噪聲非常重要。另一方面,光譜預處理的目的也是為了充分利用光譜信息和消除噪聲,因此,PLS因子數(shù)結(jié)合光譜預處理模式來聯(lián)合篩選將是更有效的。光譜預處理方法有很多種,Savitzky-Golay(SG)平滑是一種可以有效消除基線漂移、傾斜等噪聲的應用廣泛的光譜預處理方法[9,10,11,12,10,11,12]。它包含多種不同的平滑模式,其參數(shù)包括導數(shù)階數(shù)、多項式次數(shù)和平滑點數(shù),其中平滑點數(shù)是一個重要參數(shù),平滑點數(shù)過少容易產(chǎn)生新的計算誤差,從而造成模型精度下降,平滑點數(shù)過多則會使得包含樣品信息的光譜數(shù)據(jù)磨光丟失,同樣也會造成模型精度下降。因此,合理選擇平滑點數(shù)是非常重要的。但是,只有根據(jù)PLS模型的預測效果,結(jié)合PLS因子數(shù)的優(yōu)選,才能選擇合適的平滑點數(shù)。另一方面,由于土壤的NIR光譜是采用漫反射方式收集的,由于樣品的不均勻性,土壤NIR漫反射光譜中包含有散射造成的噪聲。多元散射校正(MSC)是將光譜中的散射信號與化學吸收信息進行分離的一種預處理方法,它可以消除在漫反射過程中由于樣品顆粒不均勻而造成的同批樣品近紅外光譜的差異。SG平滑和MSC都是有潛力的光譜預處理方法,然而,單獨(或聯(lián)合)采用MSC和SG平滑預處理方法,其預處理效果各不相同,而且,在SG平滑中,還需要從眾多的平滑模式中篩選出適當?shù)哪Ｊ?。對于土壤有機質(zhì)的NIR光譜分析,單獨采用還是聯(lián)合采用上述兩種光譜預處理更有效,必須通過大量的計算機對比實驗,根據(jù)模型預測效果來判斷。由于MSC與多種SG平滑模式的組合優(yōu)選的工作量很大,這方面的深入研究還不多,但這是改善NIR光譜分析預測能力的一個重要措施,特別是對于土壤這樣的復雜體系。根據(jù)上述目標,為了建立土壤有機質(zhì)NIR光譜分析的優(yōu)化模型,深入討論光譜預處理模式對NIR分析能力的影響,本文分別對下列5種情形進行詳細的對比討論:(1)未做任何預處理;(2)單獨做MSC預處理;(3)單獨做SG平滑預處理;(4)先做MSC后做SG平滑預處理;(5)先做SG平滑后做MSC預處理。在SG平滑預處理過程中,考慮到一些實際系統(tǒng)可能需要更多的平滑點數(shù)和多項式次數(shù),本文對SG平滑的平滑點數(shù)和多項式次數(shù)都做了擴充,并計算出相應的平滑系數(shù)組合,使得平滑模式由原來的117種擴充到483種,是適用范圍更寬的SG平滑預處理群。結(jié)合PLS方法,構(gòu)建了根據(jù)模型預測效果進行SG平滑模式與PLS因子數(shù)聯(lián)合優(yōu)選的計算機算法平臺,使光譜預處理方法的選擇更加全面,并能夠有效地改善NIR分析的預測能力。2實驗部分2.1光譜實驗方法收集91個廣東農(nóng)田土壤樣品,在常規(guī)實驗室里采用重鉻酸鉀氧化法測定樣品中的有機質(zhì)含量,作為光譜分析的參考化學值。全體樣品化學值范圍0.676%～2.830%,均值、標準偏差分別為1.622%、0.520%。光譜實驗儀器為丹麥FOSS公司的XDSRapidContentTM光柵型近紅外光譜分析儀,探測器為Si(400-1100)nm和PbS(1100～2500)nm。采用漫反射圓池附件測量光譜,每個樣品測量3次,計算平均光譜作為該樣品的測量光譜。光譜掃描譜區(qū)為(400～2500)nm,相鄰波長點間隔為0.5nm。實驗溫度為25±1℃,濕度為46±1%RH。2.2測定波長和預測集的確定為了建立客觀的、具有代表性的分析模型,基于樣品的吸光度和參考化學值,把全部樣品劃分為2個相似的集合,分別作為定標集和預測集。根據(jù)比爾定律,我們考慮樣品的吸光度與有機質(zhì)含量的每一個單波長線性模型,根據(jù)預測效果選出最優(yōu)單波長模型,進一步計算每個樣品的最優(yōu)單波長預測偏差(optimalsinglewavelengthpredictionbias,OSWPB),它是結(jié)合吸光度和有機質(zhì)含量的一個綜合指標,用來評價定標集和預測集樣品的相似性。本文把全部91個土壤樣品劃分為定標集(64個)和預測集(27個)。具體過程如下:考慮土壤樣品吸光度與有機質(zhì)含量化學值的單波長線性模型其中,A(v)為土壤樣品在波長v的吸光度,k(v)為在波長v的有機質(zhì)單位濃度吸光系數(shù),C為土壤樣品的有機質(zhì)含量化學值,ε為其它未知干擾。在每一個波長vi(i=1,2,..,K,K是全譜段波長點個數(shù)),利用樣品的吸光度Aj(vti)和參考化學值Cj(j=1,2,...,M,M是樣品個數(shù))做回歸計算k(vi),然后利用k(vi)和Aj(vi)計算樣品j的有機質(zhì)含量預測值Cj(vi)計算波長vi上的均方根偏差:根據(jù)RMSE最小篩選出最優(yōu)單波長模型以及對應的波長vOptinmal,計算每個樣品的OSWPB:本文根據(jù)OSWPB劃分定標集和預測集,采用計算機算法程序,使定標集樣品和預測集樣品的OSWPB的均值和標準偏差都充分接近,相對誤差小于1%,這樣的劃分使得定標集和預測集具有相似性,從而具有建模代表性。2.3光譜預處理方法土壤樣品的光譜是采用漫反射方式測量得到的,由于樣品的不均勻性,待測組分含量較低而引起的光譜變化可能被散射效應所覆蓋,為了克服這方面的噪音干擾,本文利用MSC方法對光譜進行預處理。具體過程如下:計算需要校正光譜的平均光譜,利用平均光譜數(shù)據(jù)計算回歸系數(shù),利用回歸系數(shù)計算MSC校正后的光譜,其中Aj(j=1,2,...,M)為每一個樣品的原測量光譜,為所有樣品的平均光譜,mj和bj是回歸系數(shù),為每個樣品經(jīng)過MSC后的校正光譜。2.4基于常系數(shù)k的平滑模式計算SG平滑的參數(shù)包括導數(shù)階數(shù)d(原譜平滑看成0階求導)、多項式次數(shù)p和平滑點數(shù)2m+1。SG平滑把光譜區(qū)間的2m+1個連續(xù)點作為一個窗口,用多項式(自變量為點的編號i,i=0,±1,±2,…,±m(xù))對窗口內(nèi)的光譜數(shù)據(jù)做最小二乘擬合,得到相應的多項式系數(shù),然后采用得到的多項式系數(shù)計算出該窗口中心波長點(i-=0)的平滑值和各階導數(shù)值。使窗口在全譜范圍內(nèi)移動,計算原光譜的SG平滑光譜和SG導數(shù)光譜。根據(jù)上述方法,窗口中心點的平滑值和各階導數(shù)值可以表示為窗口內(nèi)各點實測數(shù)據(jù)的線性組合,線性組合的系數(shù)(即平滑系數(shù))由導數(shù)階數(shù)、多項式次數(shù)和平滑點數(shù)(即窗口內(nèi)的點數(shù))唯一確定。在原文中,導數(shù)階數(shù)d=0,1,2,3,4,5,多項式次數(shù)p=2,3,4,5,平滑點數(shù)為5到25之間奇數(shù),不同的參數(shù)組合對應不同的平滑模式(對應不同的平滑系數(shù)組合),總共有117種平滑模式(即117組平滑系數(shù))。對于一些實際系統(tǒng),如果光譜波長間隔較小,平滑點數(shù)也不多,平滑窗口會很小,所包含的信息量不夠,在這種情況下,較難得到好的平滑效果,因此,SG平滑點數(shù)的擴充是很有必要的。本文將平滑點數(shù)擴充為5到81之間的奇數(shù),多項式次數(shù)擴充為p=2,3,4,5,6,共有483種平滑模式(包含原有的117種),計算相應的平滑系數(shù),是適用范圍更寬的SG平滑預處理群,可以根據(jù)研究對象從中選擇適當?shù)钠交Ｊ?。下面?階導數(shù)、5次多項式、21點平滑的平滑模式為例,介紹平滑系數(shù)的計算過程。實際上,這里需要利用5次多項式、21點平滑來計算3階導數(shù)光譜。首先,窗口內(nèi)的21個連續(xù)波長的編號為i=0,±1,±2,…,±10,對應的光譜數(shù)據(jù)為Aj,5次多項式可定義為:利用光譜數(shù)據(jù)Ai來擬合多項式系數(shù)b5k,k=0,1,2,…,5。然后計算窗口中心點(i=0)的3階導數(shù)光譜值,因此,下面只需要確定b53。根據(jù)最小二乘原則,化簡得到,上式是b5k(k=0,1,2,...,5)的常系數(shù)線性方程組,方程組所有的右端項都是光譜數(shù)據(jù)Ai的線性組合,可以唯一確定b53(也是光譜數(shù)據(jù)Ai的線性組合),對應得到窗口中心點(i=0)的3階導數(shù)光譜值a53,求解上述常系數(shù)線性方程組,可以計算出21個平滑系數(shù)ki,結(jié)果如下:8.802,-7.365,-10.684,-7.037,-0.737,5.282,9.265,10.438,8.817,5.006,0,-5.006,-8.817,-10.438,-9.265,-5.282,0.737,7.037,10.684,7.365,-8.802(×10-3)。其他的每一種SG平滑模式的平滑系數(shù)組合都可以按照上述方法類似地計算出來。2.5預測集的數(shù)量模型評價指標主要包括預測均方根偏差(RMSEP)和預測相關(guān)系數(shù)(RP)其中,Cjp、Cjp分別為預測集中第j個樣品的預測值和化學值,Cmp、Cmp分別為預測集樣品的預測值均值和化學值均值,Mp為預測集的樣品總個數(shù)。本文以RMSEP為指標進行參數(shù)優(yōu)化和模型優(yōu)選。3最優(yōu)模型pls建模91個農(nóng)田土壤樣品的近紅外光譜如圖1所示。光譜掃描的全譜波段為(400～2500)nm,本文基于這個波段建立定標預測模型,并進行光譜預處理模式的優(yōu)選。按照2.2節(jié)的方法,建立每個波長點的吸光度和化學值的單波長模型,由RMSE最小找到最優(yōu)波長vOptimal為1072nm,根據(jù)1072nm對應的最優(yōu)單波長模型計算每個樣品的OSWPB,從而將91個樣品劃分為定標集(64個)和預測集(27個)。定標集和預測集的化學值、OSWPB的均值和標準偏差如表1所示,定標集和預測集的OSWPB均值和標準偏差非常接近,化學值均值和標準偏差也比較接近,2個集合在這個意義上具有相似性。利用PLS回歸方法,結(jié)合土壤的光譜數(shù)據(jù)和有機質(zhì)的參考化學值,建立土壤有機質(zhì)NIR光譜分析的定標預測模型,深入討論光譜預處理模式對NIR分析能力的影響。本文對于單獨(或聯(lián)合)采用MSC、SG平滑預處理以及不做光譜預處理,分為下列5種情形具體討論:(1)未做任何預處理;(2)單獨做MSC預處理;(3)單獨做SG平滑預處理;(4)先做MSC后做SG平滑預處理:(5)先做SG平滑后做MSC預處理。在SG平滑預處理中,本文把SG平滑模式擴充為483種,每一種平滑模式所對應的平滑系數(shù)組合都可以按照2.4節(jié)的方法計算。每一種平滑系數(shù)組合都可以計算出來,但具體計算過程仍然是不盡相同的,沒有統(tǒng)一的解析表達式,要把所有平滑模式所對應的平滑系數(shù)組合都計算出來,進一步把每一類平滑光譜分別建立PLS模型,再進行模型優(yōu)選,總體運算量很大,為此,本文構(gòu)建了包括所有SG平滑模式的平滑系數(shù)組合的計算過程以及SG平滑模式與PLS因子數(shù)聯(lián)合優(yōu)選的化學計量學算法平臺,構(gòu)建相應的數(shù)據(jù)庫。在此平臺上,對于擴充的平滑點數(shù)和多項式次數(shù),可以快速計算出每一種SG平滑模式所對應的平滑系數(shù),并自動分別用于建立PLS模型,然后可以進行SG平滑模式的大范圍優(yōu)選。在后3種光譜預處理情形中,需要對SG平滑模式進行大范圍篩選,利用所構(gòu)建的算法平臺,計算出所有483種SG平滑模式相應的平滑系數(shù)組合,并結(jié)合PLS方法,把全部483種SG平滑模式和不同PLS因子數(shù)(設置為1～30)分別組合,共建立14490個PLS模型,根據(jù)模型預測效果同時優(yōu)選SG平滑模式和PLS因子數(shù)。對上述5種不同的光譜預處理情形分別建立PLS模型,根據(jù)模型預測效果聯(lián)合優(yōu)選SG平滑模式和PLS因子數(shù),分別得到這5種情形所對應的最優(yōu)PLS模型,其RMSEP值、RP值、PLS因子數(shù)和SG平滑參數(shù)(不同導數(shù)平滑、不同多項式次數(shù)、SG平滑點數(shù))如表2所示。由表2可見,最優(yōu)的預處理方法是先做SG平滑后做MSC的預處理,其中最優(yōu)的SG平滑模式是從全部483種模式中篩選,平滑參數(shù)為:3階導數(shù)、5次多項式、21點平滑,預處理后的光譜用于建立PLS模型,對應PLS因子數(shù)為5,RMSEP為0.246(%),RP為0.883。這里的最優(yōu)平滑模式的21個平滑系數(shù)已經(jīng)在2.4節(jié)中作為例子給出,先做該模式的SG平滑后做MSC處理所得到的91個土壤樣品的NIR光譜如圖2所示,上述最優(yōu)模型的預測效果是基于這些處理后的光譜數(shù)據(jù)獲得的。為了分析平滑點數(shù)對于模型預測效果的影響,圖3給出了各平滑點數(shù)對應的最優(yōu)RMSEP(從不同導數(shù)階數(shù)、不同多項式次數(shù)、不同PLS因子數(shù)中優(yōu)選),21點平滑的模型明顯優(yōu)于其他平滑點數(shù)的模型。此外,為了分析PLS因子數(shù)的設置對模型效果的影響,在SG平滑模式為上述最優(yōu)模式的情形,圖4給出了不同PLS因子數(shù)對應的RMSEP,因子數(shù)為5時的模型預測效果最好。本段的結(jié)果都是在先做SG平滑后做MSC預處理的情形下得到。從表2還可以看出,光譜經(jīng)過MSC預處理之后,模型的預測效果比未經(jīng)預處理前有所提高;而光譜經(jīng)過SG平滑預處理之后,由于SG平滑的可選模式很多,按照模型預測效果來篩選平滑參數(shù),相應的模型預測效果比未經(jīng)預處理前有更大的改善,結(jié)果表明,只做SG平滑預處理的