基于近紅外光譜數(shù)據(jù)的小麥樣品預處理研究

基于近紅外光譜數(shù)據(jù)的小麥樣品預處理研究

近紅外光譜預處理近紅外光（nir）是光的兩種極端（nis）和中紅外光（mir或i）之間的聲波。美國astr（美國國家質(zhì)量測試協(xié)會（美國材料檢測協(xié)會）將近紅外色譜區(qū)定義為780192nm（波數(shù)為126829cm-1）。近紅外光譜分析方法由于一系列獨特的優(yōu)點,正在全球范圍內(nèi)受到廣泛的重視和推廣應(yīng)用。近紅外光譜由被測樣品的近紅外特征光譜主導,包含了噪聲、各種外界干擾因素。噪聲主要來自高頻隨機噪音、基線漂移、信號本底、樣品不均勻、光散射等。因此要想通過近紅外光譜來分析樣品的物質(zhì)成分,就應(yīng)該先進行光譜預處理,以便降噪、減少各種干擾的影響,簡化后續(xù)建模處理運算過程,提高分析準確度。在深入研究近紅外光譜預處理的基礎(chǔ)上,通過對66個小麥樣品蛋白質(zhì)含量測定的具體問題,研究解決近紅外光譜數(shù)據(jù)預處理。本研究引入了小波變換進行光譜預處理。1小麥品種光譜的建立由中國農(nóng)業(yè)大學信息學院生物物理實驗室,提供了分別由傅里葉變換型近紅外光譜儀和光柵型近紅外農(nóng)產(chǎn)品品質(zhì)分析儀掃描所得的小麥樣品光譜圖,如圖1和圖2所示。由圖1和圖2可見,所用的傅里葉變換光譜儀精度和穩(wěn)定性很好,所以66個小麥樣品的近紅外光譜曲線離散度較小。2光譜數(shù)據(jù)處理為了消除儀器掃描過程中不可避免的噪聲、減少種種外界因素帶入的影響并簡化數(shù)據(jù)處理的運算過程,應(yīng)對儀器檢測所得到的光譜數(shù)據(jù)作下述一系列預處理。1.噪聲濾除(1)移動平均平滑:主要去掉高頻噪聲的干擾。平滑處理需要選擇處理窗口的大小,較大的平滑窗口可以使信噪比提高,但同時也會導致信號的失真,要綜合考慮。(2)微分處理,扣除儀器背景或漂移對信號的影響。采用微分可以較好地凈化譜圖信息,但在微分處理時,根據(jù)微分的級數(shù),要合理選擇微分窗口數(shù)據(jù)點的大小。2.歸一化處理:消除光程或樣品稀釋等變化對光譜響應(yīng)造成的影響。3.數(shù)據(jù)篩選和光譜范圍的優(yōu)選:從原始光譜數(shù)據(jù)中剔除無效數(shù)據(jù),根據(jù)測定的主成分特征舍棄光譜信息微少的次要光譜范圍,以減小計算工作量。4.中心化及標準化預處理:從每個光譜數(shù)據(jù)中減去各個樣品的平均值,使所有數(shù)據(jù)都分布在零點兩側(cè),充分反映變化信息,可簡化以后的回歸運算。3小波變換實驗就噪聲濾除預處理方面比較了多種方法后,引入了小波變換對光譜進行預處理。小波理論是20世紀80年代后期發(fā)展起來的應(yīng)用數(shù)學分支,其思想來源于伸縮與平移,它既保持了傅氏變換的優(yōu)點又滿足了局部性要求,具有多分辨率、方向選擇性和自動調(diào)焦的特點,被譽為數(shù)學上的顯微鏡。本研究通過小波變換對近紅外光譜作預處理,很好地實現(xiàn)了光譜數(shù)據(jù)平滑、降噪以及消除基線漂移。在應(yīng)用小波變換時,試用過許多小波,效果最為理想的就是高斯函數(shù)導數(shù)小波。本研究采用高斯一階、二階導數(shù)小波變換方法對光譜數(shù)據(jù)進行了預處理。高斯函數(shù)θ(t)=12π√e??t22σ2θ(t)=12πe--t22σ2是起平滑作用的低通函數(shù),本文用Ψ1(t)=dθdtΨ1(t)=dθdt(高斯一階導數(shù)),Ψ2(t)=d2θdt2Ψ2(t)=d2θdt2(高斯二階導數(shù))來作小波變換的基本小波。直接用平滑函數(shù)的導數(shù)對信號作處理,相當于信號經(jīng)平滑后再求導。具體說就是:(1)小波函數(shù)Ψ1(t)是低通平滑高斯函數(shù)θ(t)的一階導數(shù),可用Ψ1(t)對近紅外光譜χ(t)作小波變換。此時小波變換的零點正是dχdt=0dχdt=0之點,也就是χ(t)的極值點;小波變換的極值點是d2χd2t=0d2χd2t=0之處,也就是χ(t)的轉(zhuǎn)折點。(2)小波函數(shù)Ψ2(t)是低通平滑高斯函數(shù)θ(t)的二階導數(shù),可用Ψ2(t)對近紅外光譜χ(t)作小波變換。此時小波變換的零點正是d2χd2t=0d2χd2t=0之點,也就是χ(t)的轉(zhuǎn)折點;小波變換的極值點是dχdt=0dχdt=0之處,也就是χ(t)的極值點。4傅里葉變換、小波加倫理后的合成算法圖為了比較經(jīng)過高斯函數(shù)導數(shù)小波變換處理的效果,對圖1和圖2的光譜先作一階差分處理,用的是三點差分。得到圖3和圖4的結(jié)果。在圖3中光譜線重疊的那些光譜區(qū)段是與小麥樣品蛋白質(zhì)含量基本無關(guān)的,沒有重疊的光譜部分才能反映小麥蛋白質(zhì)含量的部分;而在圖4中,因圖2所示的原始光譜離散度較大,經(jīng)過差分預處理后光柵光譜的情況沒有反映出有用的信息所在的位置,對后續(xù)的定標和預測產(chǎn)生了負面影響,這或許是因為光柵光譜的擾動較大,直接作差分后反而放大了擾動。采用高斯一階、二階導數(shù)小波對傅里葉變換光譜預處理的結(jié)果如圖5,圖6;采用高斯一階、二階導數(shù)小波對光柵光譜進行預處理的結(jié)果如圖7,圖8。由圖5,圖6,圖7和圖8可見,引入高斯導數(shù)小波變換對原始光譜進行預處理后,光譜曲線明顯變光滑了,基本上消除了噪聲的影響,光譜中富含有用信息的光譜位置更加清晰顯示出來;對比圖2、圖4和圖7、圖8可以看出:尤