基于機器視覺的室內(nèi)農(nóng)藥自動精確噴霧系統(tǒng)

基于機器視覺的室內(nèi)農(nóng)藥自動精確噴霧系統(tǒng)

論文關(guān)鍵詞:精確林業(yè)農(nóng)藥噴霧技術(shù)機器視覺

論文摘要：建立了基于機器視覺的室內(nèi)農(nóng)藥自動精確噴霧系統(tǒng),對信號采集、圖像處理、施藥決策、數(shù)據(jù)交換等主要問題作了較深入的研究,提出了基于相對色彩因子的樹木圖像分割算法,和傳統(tǒng)方法相比,在不影響分割效果的同時大大提高了圖像分割的實時性。測試表明該系統(tǒng)運行良好,有很好的戶外應用前景。

引言

當前我國森林病蟲害嚴重制約了造林綠化和生態(tài)環(huán)境建設,但病蟲害防治效率卻是相當?shù)拖?施藥技術(shù)落后,不管有無施藥目標都采用均勻恒速的施藥方法,而沒有考慮到林木的栽植密度、株距及樹冠形態(tài)等個體差別;施藥器械落后,無論是施藥器械的藥液混合裝置、動力裝置還是噴霧裝置,其機械化、自動化、精確化程度都相當?shù)汀?/p>

落后的防治手段使農(nóng)藥的利用率低,花費大;農(nóng)藥殘留、農(nóng)藥霧滴飄移加重了環(huán)境和生態(tài)問題;直接和頻繁接觸農(nóng)藥危及到操作者的人身安全。

精確林業(yè)技術(shù)提供了解決辦法,即在林業(yè)生產(chǎn)過程中運用視覺傳感器、衛(wèi)星定位等高新技術(shù),在作業(yè)過程中實時測知工作對象所需工作的質(zhì)、量和時機等時空數(shù)據(jù),以求獲得最好的施藥效果和最小的環(huán)境代價,從而節(jié)約資源,保護環(huán)境。從文獻[1~5]可以看出,雖然目前已經(jīng)有一些學者開展了機器視覺的精確施藥方法研究,但其研究對象主要為田間作物如棉花、雜草等,還很少有人研究用于林木病蟲害防治的精確施藥系統(tǒng),因此開展針對林木病蟲害防治的精確施藥系統(tǒng)的研究很有必要。

1室內(nèi)農(nóng)藥自動精確噴霧系統(tǒng)設計1設計要求

根據(jù)研究目標要求,本系統(tǒng)需要完成以下功能:模擬施藥過程中施藥器械和施藥目標之間的相對運動;利用機器視覺技術(shù)采集實時樹木圖像,通過圖像處理完成目標樹木的分割和識別;以圖像處理結(jié)果為依據(jù)進行施藥決策;上位機PC和下位機單片機進行數(shù)據(jù)交換,將決策結(jié)果轉(zhuǎn)化為噴霧指令,并控制噴霧執(zhí)行系統(tǒng)實現(xiàn)自動精確噴霧。2系統(tǒng)硬件組成

室內(nèi)農(nóng)藥自動精確噴霧系統(tǒng)的硬件主要包括:運動模擬試驗臺、彩色CCD攝像頭、真彩色圖像采集卡、PC機(上位機)、單片機芯片組(下位機)、智能噴霧臺(包括若干智能噴頭和安裝噴頭的噴霧臺架、壓力噴霧系統(tǒng))及若干接口電路(如RS232/TTL電平轉(zhuǎn)換、功率放大和光電耦合電路等),共分為運動模擬裝置、圖像采集(機器視覺)裝置、自動精確施藥裝置等3部分。運動模擬裝置

設計的傳輸帶式模擬運動試驗臺用于模擬施藥過程中施藥器械和施藥目標之間的相對運動,同時便于機器視覺系統(tǒng)采集到連續(xù)目標的運動圖像。根據(jù)樹木自相似原理,在傳輸帶上安裝了樹葉以模擬實際樹木。工作臺的啟動、調(diào)速由西門子矢量型變頻調(diào)速器6SE3214控制電動機來完成。圖1中電動機1通過聯(lián)軸器2帶動主動軸3轉(zhuǎn)動,從而帶動傳輸帶7運動,這樣目標8就跟著傳輸帶7連續(xù)地運動起來。通過調(diào)節(jié)張緊裝置4可以調(diào)整傳輸帶7的張緊狀態(tài),以使其運行平穩(wěn)。

根據(jù)實際施藥工作情況,以及實時圖像采集處理要求,傳輸帶的速度以2~3m/s為佳。選用的電動機的轉(zhuǎn)速為1440r/min,由帶輪直徑d=m得到傳輸帶的速度達到10m/s。圖像采集(機器視覺)裝置圖像采集裝置由CCD攝像頭、圖像采集卡、PC機組成。CCD攝像頭為PanasonicWV-CP450ColorCCTVCamera,配套鏡頭為PanasonicAutoIrisLensLA9C3AE。攝像頭連同三腳架放置在距傳輸帶m處,鏡頭與樹葉同高,其基線與傳輸帶運動方向垂直。圖像采集卡型號為MiroVIDEODC30Plus,支持彩色圖像采集,最大分辨率為712×534像素。采集卡插在PC的PCI插槽上,卡上的視頻復合端子接收CCD攝像頭采集到的模擬視頻信號,并將信號數(shù)字化,供系統(tǒng)后續(xù)使用。當傳輸帶帶動樹葉轉(zhuǎn)動時,配合開發(fā)的軟件,機器視覺裝置便可采集到連續(xù)的樹葉運動圖像。自動精確施藥裝置

自動精確施藥裝置由單片機、噴霧臺架、噴頭系統(tǒng)等組成。將若干個噴頭布置在噴霧架橫梁上,以此來測試圖像處理和噴霧決策結(jié)果的正誤。每個噴頭由一個二位二通電磁閥來控制其開閉。電磁閥的控制信號由單片機的I/O端口提供。電磁閥工作電壓為220V,單片機發(fā)出的控制指令為5V,因此在電磁閥和下位機之間接中間繼電器,噴頭連同電磁閥和繼電器一同安裝在盒子上。圖2為噴頭控制原理圖。

3系統(tǒng)軟件組成

開發(fā)了兩套軟件系統(tǒng):一套用VC開發(fā),是基于Windows平臺的應用程序,用于控制硬件實現(xiàn)目標圖像采集、圖像分割、智能決策、信息發(fā)送等功能;另一套由匯編語言編寫,運行于單片機上,實現(xiàn)信息接收、噴霧指令發(fā)送功能。圖像采集

利用Microsoft公司提供的VFW(VideoForWindows)開發(fā)了Capture類,實現(xiàn)模擬運動樹木圖像的連續(xù)采集。視頻流中幀圖像的格式由圖像采集卡和PC機顯示卡決定,本系統(tǒng)中為DIB(設備無關(guān)位圖)格式。利用Capture類的關(guān)鍵幀提取功能,從視頻流中提取出特定的關(guān)鍵幀進行分析處理,從而減輕CPU負擔。圖像分割

采集到的圖像要進行圖像分割,將目標樹木從背景中分割出來。典型的基于顏色的分割算法將獲取的圖像從RGB模型轉(zhuǎn)化為HSI模型,以此來削弱光照強度的影響。但色彩模型的轉(zhuǎn)換非常耗時,對于實時性要求高的場合,這些圖像分割算法根本不適用。文獻指出,彩色圖像像素的RGB灰度級在很大程度上依賴于光照強度。在不同的光照條件下,直接用RGB值來進行識別會導致錯誤的結(jié)果。而利用簡單的算術(shù)操作來組合RGB分量形成相對色彩因子(relativecolorindices)進行彩色圖像分割可以大大降低光照強度的影響。[1]

在實驗室可控光條件及室外自然光條件下拍攝大量綠色樹木的圖像進行RGB各分量的分析發(fā)現(xiàn),綠色樹木圖像的G分量值都相對較大,而R、B分量值都相對較小。圖像中的背景則鮮有這種現(xiàn)象。據(jù)此設計了2G/(R+B)和(R+B+G)/3這一組相對色彩因子來實現(xiàn)樹木圖像與其背景的分割,其中加入(R+B+G)/3是為了保證圖像有足夠的光照強度,避免圖像中的暗區(qū)引起錯誤分割。為了排除隨機噪聲的干擾,對分割后的圖像進行中值濾波,得到最后的分割結(jié)果。由圖3可見,當閾值取得合理時,能獲得良好的分割效果。

施藥決策

以圖像分割結(jié)果為依據(jù),進行施藥決策運算,結(jié)果中包含施藥命令,是實現(xiàn)自動精確噴霧的關(guān)鍵。為簡化算法,提高決策實時性,用控制微型噴頭來實現(xiàn)自動精確施藥。在實驗室實現(xiàn)的方法是:將CCD攝像頭的可見視野無重疊地均勻分為若干個小的控制區(qū)域,每一個噴頭對應一個小控制區(qū)域,以分割后的樹木圖像為基礎(chǔ),檢測每一個控制區(qū)域,當某個控制區(qū)域中有目標(目標的有無通過閾值來設定),則形成對應噴頭打開信息,否則形成噴頭關(guān)閉信息。試驗時,將視野平鋪地分成4塊,對應4個噴頭,進行每個噴頭的開關(guān)量決策,效果良好。如圖4,由于2號區(qū)域存在目標,因此控制2號區(qū)域的微型噴頭打開,而其他噴頭關(guān)閉,從而實現(xiàn)自動精確噴霧。信息發(fā)送

利用PC機主板上的COM口將施藥決策的結(jié)果發(fā)送至單片機。用MSComm控件來進行串口編程。由于PC是RS232電平,而單片機是TTL電平,因此必須在它們之間用一個電平轉(zhuǎn)換電路。

[1]

單片機程序

該程序?qū)纹瑱C串口工作方式、波特率、校驗位進行設置(這些設置必須與PC機的串口設置嚴格保持一致)。同時將接收到的噴霧決策結(jié)果轉(zhuǎn)化為高、低電平送至I/O口,控制施藥裝置。

由單片機的I/O口輸出信號來進行繼電器的控制存在以下問題:繼電器的工作電壓較高,因此從單片機輸出的信號需要經(jīng)過驅(qū)動電路進行轉(zhuǎn)換,使輸出的驅(qū)動電壓能夠適應繼電器線圈的要求;繼電器動作時,對電源有一定的干擾。為了提高系統(tǒng)的可靠性,在單片機和繼電器之間用光電耦合器隔離。

2系統(tǒng)運行測試

在實驗室內(nèi),將變頻器工作頻率設定在2~20Hz范圍內(nèi)可變,即目標和攝像頭相對運動速度為~13km/h。采集到的視頻流幀速率為10f/s,關(guān)鍵幀采樣間隔為s,即在視頻流中每3幀抽取一幀進行圖像分割。為了更加清楚地在不同運行速度上觀察系統(tǒng)施藥決策和精確施藥的效果,在測試時僅控制一個噴頭的開閉。

運行測試表明,當系統(tǒng)運行于低速狀態(tài)(~5km/h)時,系統(tǒng)各環(huán)節(jié)協(xié)同較好。采集到的圖像較清晰,圖像分割結(jié)果和靜止狀態(tài)下分割結(jié)果基本一致,電磁閥工作穩(wěn)定可靠,噴頭的開閉和預期的完全一致。不考慮霧滴飄移等因素,有80%左右的液體擊中目標,自動精確施藥實現(xiàn)的效果較好。但當系統(tǒng)運行速度增大時,出現(xiàn)了以下問題:①由于運動速度較大,采集到的圖像開始出現(xiàn)模糊和拖尾,當速度大于km/h時,這種現(xiàn)象相當明顯,圖像噪聲也有所增加,圖像分割正確性下降。②在s的采樣間隔下,由于相對運動速度過大,CCD系統(tǒng)來不及采樣,造成無目標的錯誤決策。③由于電磁閥的機械響應特性,電磁閥需要足夠長時間的高電平(或低電平)來開啟(或閉合)閥門,系統(tǒng)運動速度過大,使得目標在控制區(qū)中的時間縮短,決策程序不能在此期間生成足夠長的高電平來開啟閥門時,會發(fā)生錯誤。

為解決以上問題,提高視頻流的幀速率,同時縮短關(guān)鍵幀的采樣間隔。在~km/h的運行速度上,將系統(tǒng)幀速率提高到15f/s,關(guān)鍵幀采樣間隔為s(即每兩幀抽取一幀進行圖像分割)。經(jīng)過以上調(diào)整,系統(tǒng)的可靠性有較大改善。但關(guān)鍵幀的采樣間隔不能無限制縮短,關(guān)鍵幀的采樣間隔必須比分割一幀圖像所需的時間長,否則系統(tǒng)不能正常工作,因此當系統(tǒng)的運行速度更大時,由于受到圖像處理速度的限制,不能再通過縮短關(guān)鍵幀采樣間隔的方法來提高系統(tǒng)性能,從而可看出,圖像處理算法的效率直接影響系統(tǒng)精確施藥性能和效率。

在本系統(tǒng)中,傳輸帶的運動速度(相當于施藥目標和施藥器械之間的相對運動速度)是至關(guān)重要參數(shù),因為它直接決定了本系統(tǒng)是否有經(jīng)濟實用價值。在實際林木病蟲害防治過程中,一般要求施藥速度達到8~10km/h。從系統(tǒng)實驗室測試結(jié)果來看,在低速狀態(tài)下系統(tǒng)運行是可靠的,在中速狀態(tài)下,也可以用調(diào)整狀態(tài)參數(shù)的方法(主要是縮短關(guān)鍵幀采樣間隔)使之可靠運行,由于實驗室內(nèi)所用的模擬目標遠比實際樹木小,模擬目標間的間隔也要比行道樹間的實際株距小,因此,通過相似原理可以推斷出進行戶外工作時,系統(tǒng)運行速度可以進一步提高,達到10km/h以上,但仍需進行戶外測試加以證實。

3結(jié)束語

研究的室內(nèi)農(nóng)藥實時精確噴霧系統(tǒng)以實驗室環(huán)境中的試驗模型為研究對象,模擬林木病蟲害防治農(nóng)藥噴霧的真實情況,分析和探索了在自然環(huán)境中基于實時視覺傳感技術(shù)的農(nóng)藥精確噴霧的可行性和效果。建立了一套圖像處理算法,并以此為依據(jù)做出決策來控制噴頭實現(xiàn)農(nóng)藥的精確噴霧。對施藥過程中的運動模擬、樹木圖像采集、圖像分割、施藥決策、噴霧執(zhí)行等方面作了深入的探討和研究。

參考文獻

1StewardBL,TianLF.Machine-visionweeddensityestimationforrealtime,outdoorlightingofASAE,1999,42(6):1897~1909

2StewardBL,TianLF,TangL.Distance-basedcontrolsystemformachinevision-basedselectiveoftheASAE,2002,45(5):1255~1262

3LiZhigang,FuZetian,ShiYan,etal.Prototypesystemofautomaticidenficationcottoninsectpestsandintelligentdecisionbasedonmachinevision.2003ASAEMeeting,Paper031107.

4KevinGillisP,GilesDKen,SlaughterDavidC,etal.Injectionandfluidhandlingsystemformachine-visioncontrolledspraying.2001ASAEMeeting,Paper011114.

5ChiYT,ChienCF,LinTT.Leafshapemodelingandanalysisusinggeometricdescriptorsderivedfrombeziercurves.TransactionsofASAE,2003,46(1);175~185