本科畢業(yè)設(shè)計(jì)Kinect在農(nóng)產(chǎn)品采集方面的應(yīng)用

1、本科畢業(yè)設(shè)計(jì)kinect在農(nóng)產(chǎn)品采集方面的應(yīng)用摘 要快速、準(zhǔn)確、實(shí)時(shí)獲取農(nóng)作物漲勢圖像信息已經(jīng)成為數(shù)字農(nóng)業(yè)生產(chǎn)管理的趨勢和必要手段，而深度圖像信息包含彩色圖像所沒有的三維信息，是農(nóng)作物信息采集的重要補(bǔ)充。本文采用微軟公司開發(fā)的一款廉價(jià)傳感器設(shè)備kinect for windows嘗試用于農(nóng)產(chǎn)品采集方面的應(yīng)用，包括在水稻圖像的預(yù)處理、水果分級系統(tǒng)等方面的應(yīng)用，旨在于將高科技技術(shù)應(yīng)用于精細(xì)農(nóng)作業(yè)的生產(chǎn)與管理，讓農(nóng)作業(yè)的生產(chǎn)與管理更加科學(xué)與方便化。本文先是對kinect在各個(gè)領(lǐng)域上的應(yīng)用進(jìn)行闡述，然后深入探究了kinect的構(gòu)造和工作原理，繼而對kinect的深度成像進(jìn)行了初步研究，論文在水稻冠層和

2、水果分類做了初步探索，利用kinect獲取水稻及水果的rgbd圖像，根據(jù)其深度信息，從空間維度，將水稻冠層進(jìn)行快速分割、提取，為后續(xù)水稻冠層信息分析打下基礎(chǔ)。利用深度信息及幾何原理獲取水果的高度和直徑，可為水果分級提供依據(jù)。關(guān)鍵詞：kinect rgbd 水稻冠層分割 深度信息 kinect in the acquisition of agricultural productsruan xiaozhao(college of engineering, south china agricultural university, guangzhou 510642, china)abstract: f

3、ast, accurate, real-time acquisition of crop rise image information has become a necessary means of digital agriculture production and management trend, but the depth image information contains no 3d information of color image, is an important supplement to the crop information collection. this pape

4、r uses a low-cost sensor devices called kinect for windows developed by the microsoft corp attempts to application for agricultural products of the acquisition, including the application in rice image preprocessing, fruit grading system, aimed at the production and management of high-tech in fine ag

5、ricultural work, make the production and management of agricultural work more scientific and convenient.this paper first elaborates on the application of kinect in various fields, and then in-depth study of the structure and working principle of kinect, and then to kinect depth imaging is studied, t

6、he paper made a preliminary exploration in rice canopy and fruit classification, rgbd image acquisition of rice and fruit by kinect, according to its depth information, from the spatial dimension, the rice canopy fast segmentation, extraction, analysis to lay the foundation for subsequent rice canop

7、y information. the fruit to obtain using depth information and geometric principle of height and diameter, can provide the basis for the classification of fruit.key words: kinect rgbd rice canopy segmentation depth information目 錄1 前言11.1 課題的研究背景11.2 kinect在各領(lǐng)域的應(yīng)用11.2.1 醫(yī)療領(lǐng)域的應(yīng)用11.2.2 教育領(lǐng)域的應(yīng)用11.2.3 機(jī)器

8、人視覺與控制領(lǐng)域的應(yīng)用21.2.4 體育運(yùn)動競技研究21.2.5 娛樂領(lǐng)域的應(yīng)用21.2.6 零售領(lǐng)域的應(yīng)用22 基于kinect開發(fā)的原理22.1 kinect for windows硬件組成及其深度成像原理22.1.1 kinect for windows 的硬件組成32.1.2 kinect的核心芯片42.1.3 kinect for windows的核心部件42.1.4 kinect 相關(guān)技術(shù)規(guī)格52.1.5 kinect深度成像原理62.1.6 深度測量技術(shù)62.1.7 光源標(biāo)定方法62.2 軟件開發(fā)平臺72.2.1 .net framework（.net 框架）72.2.2 公共語

9、言運(yùn)行庫82.2.3 類庫92.2.4 c# 編程語言102.3 搭建農(nóng)業(yè)信息監(jiān)測平臺103 kinect在農(nóng)業(yè)信息采集中的應(yīng)用123.1 基于kinect的水稻冠層分割123.1.1 水稻的彩色圖像和深度圖像獲取123.1.2 根據(jù)深度圖像對水稻冠層進(jìn)行分割153.2 基于kinect的水果三維尺寸獲取163.2.1 獲取水果的三維尺寸173.2.2 測試kinect深度值精度實(shí)驗(yàn)183.2.3 kinect在水果分級系統(tǒng)上的應(yīng)用構(gòu)想194 總結(jié)與展望214.1 總結(jié)214.2 展望22參考文獻(xiàn)23附錄24致謝30華南農(nóng)業(yè)大學(xué)本科生畢業(yè)設(shè)計(jì)成績評定表1 前言1.1 課題的研究背景隨著全球信息

10、化的迅猛發(fā)展，數(shù)字農(nóng)業(yè)已經(jīng)發(fā)展成為現(xiàn)代農(nóng)業(yè)的新潮流。數(shù)字農(nóng)業(yè)是集農(nóng)業(yè)科學(xué)、環(huán)境科學(xué)、計(jì)算機(jī)技術(shù)、通信技術(shù)和網(wǎng)絡(luò)技術(shù)等眾多科學(xué)技術(shù)于一體的高新技術(shù)系統(tǒng)，也是現(xiàn)代農(nóng)業(yè)發(fā)展的新模式。自20世紀(jì)90年代以來，農(nóng)作物遙感監(jiān)測一直是遙感應(yīng)用的一個(gè)重要課題，但遙感監(jiān)測使用的是衛(wèi)星空間監(jiān)測，一方面，受氣候條件影響而導(dǎo)致監(jiān)測精度不高；另一方面，遙感監(jiān)測是基于宏觀的大面積農(nóng)作物監(jiān)測，不適合對單個(gè)農(nóng)作物進(jìn)行快速、準(zhǔn)確和實(shí)時(shí)的小面積監(jiān)測研究。伴隨著計(jì)算機(jī)軟硬件和圖形圖像處理技術(shù)的飛速發(fā)展，計(jì)算機(jī)視覺技術(shù)在農(nóng)業(yè)中的應(yīng)用越來越廣泛，從而使得利用計(jì)算機(jī)視覺技術(shù)對農(nóng)作物長勢形態(tài)的監(jiān)測成為可能。（江曉慶，肖德琴，張波，2012

11、）然而傳統(tǒng)對農(nóng)作物長勢形態(tài)監(jiān)測主要是通過繁瑣的手工測量或采用安規(guī)的圖像采集設(shè)備獲取，比如ccd攝像機(jī)、數(shù)碼相機(jī)、光坡掃面億、雙目設(shè)備等，這些方法一方面測量過于復(fù)雜不易操作，并且無法做到實(shí)時(shí)監(jiān)測；另一方面測量過程可能會破壞農(nóng)作物的生長及環(huán)境。本文將采用微軟公司開發(fā)的kinect for windows運(yùn)用于室外農(nóng)作物的信息監(jiān)測。kinect作為一款廉價(jià)的傳感器攝像頭正被越來越多地應(yīng)用到現(xiàn)實(shí)中，從游戲到商業(yè)運(yùn)用，其應(yīng)用前景正隨著科研和商業(yè)開發(fā)而變得越來越廣闊。本文嘗試將kinect運(yùn)用到農(nóng)產(chǎn)品采集方面的應(yīng)用領(lǐng)域。1.2 kinect在各領(lǐng)域的應(yīng)用1.2.1 醫(yī)療領(lǐng)域的應(yīng)用手術(shù)室環(huán)境對無菌要求非常高

12、，傳統(tǒng)鼠標(biāo)鍵盤等人機(jī)交互方式存在很多限制，例如需要定期消毒、無法在手術(shù)過程中進(jìn)行操作等。kinect體感操作可擺脫這些束縛，解放手術(shù)室外科醫(yī)生、麻醉醫(yī)生的雙手，可在手術(shù)進(jìn)行的過程中實(shí)現(xiàn)調(diào)閱病患病灶影像，通過手勢放大、縮小圖片，以及翻閱病歷等操作，大大方便了醫(yī)生手術(shù)，減少了手術(shù)室的人員流動。1.2.2 教育領(lǐng)域的應(yīng)用kinect“體感操作”這種新穎的交互方式，能夠激發(fā)學(xué)習(xí)興趣。一些設(shè)計(jì)控件結(jié)構(gòu)的課件制作可結(jié)合kinect進(jìn)行體感操作，比如用kinect展示宇宙星云，演示dna、化學(xué)分子結(jié)構(gòu)等，用kinect蠟筆物理，使用kinect手勢繪圖，通過體感控制所繪圖形，并使之具有物理特性，比如重力，吸

13、引力等。1.2.3 機(jī)器人視覺與控制領(lǐng)域的應(yīng)用四旋翼飛行器的“導(dǎo)航雷達(dá)”；地震搜救機(jī)器人控制；深海探測機(jī)器人控制；kinect robot，使用kinect作為機(jī)器人的頭，通過kinect檢測周圍環(huán)境，并進(jìn)行3d建模，來指導(dǎo)機(jī)器人的行動。1.2.4 體育運(yùn)動競技研究目前在很多運(yùn)動競技科目中，廣泛采用了類似于“好萊塢”動作捕捉的技術(shù)，結(jié)合計(jì)算機(jī)視覺技術(shù)，對運(yùn)動目標(biāo)進(jìn)行準(zhǔn)確跟蹤，并計(jì)算出肢體運(yùn)動軌跡、角度、速度和加速度，以及跑位的軌跡和速度。這類運(yùn)動經(jīng)濟(jì)分析的設(shè)備和系統(tǒng)同樣價(jià)值不菲。利用kinect的骨骼跟蹤的技術(shù)，無須特制發(fā)光點(diǎn)（marker），結(jié)合運(yùn)動人體科學(xué)，用于體育競技訓(xùn)練的三維動作捕捉，

14、從而提高運(yùn)動員訓(xùn)練水平。1.2.5 娛樂領(lǐng)域的應(yīng)用kinect破解“初音”，將體感控制應(yīng)用到漫畫人物初音未來上；變身奧特曼，捕捉玩家骨架數(shù)據(jù)，虛擬為奧特曼的形態(tài)與之隨動，并且附加一些特技效果。在應(yīng)用kinect的xbox360體感游戲機(jī)中，“你就是控制器”這句標(biāo)語得到了最直接的體現(xiàn)，無需其他操作器，僅用身體就能進(jìn)行球類運(yùn)動游戲、賽車游戲，從虛擬游戲中真實(shí)感得到了前所未有地增強(qiáng)。1.2.6 零售領(lǐng)域的應(yīng)用kinect試衣鏡，這款基于kinect體感技術(shù)的神奇的試衣鏡，讓客戶可以快速的試穿衣服，提高銷售效率和企業(yè)形象。2 基于kinect開發(fā)的原理2.1 kinect for windows硬件組

15、成及其深度成像原理kinect for windows如圖1所示，原型是微軟公司2010年推出的xbox360游戲機(jī)體感外設(shè)，kinect原本是微軟專為xbox游戲機(jī)開發(fā)的體感外設(shè)，利用即使動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等功能讓玩家擺脫傳統(tǒng)游戲手柄的束縛，通過讓自己的肢體控制游戲，并且實(shí)行與互聯(lián)網(wǎng)玩家互動，分享圖片、影音信息等功能。吉尼斯世界記錄組織在其官方網(wǎng)站上宣布，微軟 xbox 360 最新體感外設(shè) kinect 憑借發(fā)布后首兩個(gè)月800萬臺，平均每天133,333臺的銷量，被評為有史以來銷售最快的電子消費(fèi)產(chǎn)品，2012年7月美國科技博客網(wǎng)站businessinsid

16、er評選出本世紀(jì)10款最重要電子產(chǎn)品，kinect榜上有名。kinect 體感游戲在xbox 360 上獲得很好的評價(jià)，但是對于 windows 平臺上的開發(fā)卻一直只能使用非官方的解決方案，例如 nkinect 配合cl nui sdk ，但是微軟終于在 2011 年 6 月推出了 kinect for windows sdk beta，特別是可以使用 c# 與.net framework 4.0 來進(jìn)行開發(fā)，這對 .net 開發(fā)人員來說無疑是 2011 年最好的消息了。在2012年初微軟正式發(fā)布了pc版kinect體感外設(shè)也即kinect for windows ，微軟授權(quán)這一版本的kine

17、ct，不能用做商業(yè)開發(fā)，只能用作教學(xué)、科研或?qū)嶒?yàn)。本次設(shè)計(jì)使用的正是kinect for windows 。圖1 kinect for windows傳感器2.1.1 kinect for windows 的硬件組成kinect for windows傳感器關(guān)鍵部件如圖2所示，下面列出了各關(guān)鍵部件的說明：(1)麥克風(fēng)陣列：聲音從4 個(gè)麥克風(fēng)采集，同時(shí)過濾背景噪聲，可定位聲源。(2)紅外投影機(jī)：主動投射近紅外光譜。(3)紅外攝像頭：分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像。(4)仰角控制馬達(dá)：可編程控制仰角的馬達(dá)，用于獲取最佳視角。(5)usb 線纜：支持usb 2.0 接口，用于傳輸

18、彩色視頻流、深度流、音頻流等。必須使用外部電源，傳感器才能充分發(fā)揮其功能。（kinect 的功率達(dá)到了12w，而普通usb 一般是2.5w。）(6)彩色攝像頭：用于拍攝視角范圍內(nèi)的彩色視頻圖像。（jarrett webb，james ashley，2012）圖2 kinect的主要部件2.1.2 kinect的核心芯片kinect的核心是primesense的ps1080 系統(tǒng)級芯片（soc）。ps1080 soc擁有超強(qiáng)的并行計(jì)算邏輯，可控制近紅外光源，進(jìn)行圖像編碼并主動投射近紅外光譜。同時(shí)，通過一個(gè)標(biāo)準(zhǔn)的cmos 圖像傳感器接收投影的light coding 紅外光譜并且將編碼后的反射斑點(diǎn)

19、圖像傳輸給ps1080，ps1080 對此進(jìn)行處理并生成深度圖像。圖4所示為primesense的推薦設(shè)計(jì)。ps1080 soc 芯片是一個(gè)多感應(yīng)系統(tǒng)，能提供同步深度圖像、彩色圖像和音頻流。ps1080 通過usb 2.0 物理層協(xié)議將所有數(shù)據(jù)傳送到主機(jī)。ps1080 適用于各種主機(jī)cpu，所有深度獲取算法均在ps1080 上運(yùn)行，主機(jī)只需運(yùn)行最低限度的usb 通信層。通過該設(shè)計(jì)，即使是計(jì)算能力有限的主機(jī)設(shè)備也能具備“深度圖像獲取力”。圖3 primesense推薦的設(shè)計(jì)2.1.3 kinect for windows的核心部件作為一款集成了諸多先進(jìn)視覺技術(shù)的自然交互設(shè)備，kinect for

20、 windows 主要零部件有近百個(gè)，其的核心部件是它前面的三個(gè)鏡頭，包括一個(gè)投影機(jī)和兩個(gè)攝像頭，如圖5所示，從左向右分別是紅外投影機(jī)和一組光學(xué)部件彩色攝像頭和紅外攝像頭， 紅外投影機(jī)是位于kinect 最左側(cè)的鏡頭，它與最右側(cè)的紅外攝像頭配合使用。ps1080 soc（系統(tǒng)級芯片）對紅外光源進(jìn)行控制，以便通過紅外光編碼影像放映場景。紅外投影機(jī)的光源是一類普通激光光源，經(jīng)過磨砂玻璃和紅外濾光片，投射出近紅外光，該光波長為830nm，可持續(xù)輸出，符合iec 60825-1 標(biāo)準(zhǔn)中的一級安全要求。紅外攝像頭是一個(gè)標(biāo)準(zhǔn)cmos 影像傳感器，負(fù)責(zé)接收放出的紅外光，并將紅外光編碼影像傳給ps1080。p

21、s1080 負(fù)責(zé)處理紅外影像，然后逐幀生成準(zhǔn)確的場景深度影像。kinect 通過彩色攝像頭和紅外攝像頭來獲取外界的信息，為了生成更準(zhǔn)確的傳感器信息，ps1080 系統(tǒng)級芯片（soc）會執(zhí)行“primesense 注冊過程”，為了讓深度影像和二維標(biāo)準(zhǔn)色彩影像相互對應(yīng)，必須進(jìn)行注冊。注冊就是將色彩影像和深度影像進(jìn)行對應(yīng)，產(chǎn)生像素相互對應(yīng)的影像，即色彩影像中的每個(gè)像素分別與深度影像中的一個(gè)像素對應(yīng)。這能讓應(yīng)用程序準(zhǔn)確了解收到的色彩影像中每個(gè)像素的深度。所有傳感器信息（深度影像、色彩影像和音頻）通過一個(gè)usb 2.0 接口傳送給主機(jī)，同時(shí)保證時(shí)序準(zhǔn)確對準(zhǔn)。通過kinect sdk 可以獲得同步的深度圖

22、像和彩色圖像數(shù)據(jù)流。圖4 kinect的核心部件2.1.4 kinect 相關(guān)技術(shù)規(guī)格kinect 傳感器的有效視距如表1所示，傳感器陣列規(guī)格規(guī)格表2 所示。相較于kinect for xbox360 ,kinect for windows 增加了近景模式（near mode），使得其所能探測的最小深度范圍從原來的距離kinect 0.8米擴(kuò)大到距離kinect 0.4米。kinect 默認(rèn)的彩色圖像格式分辨率為640*480，深度圖像則為320*240，幀率均為30幀每秒。表1 kinect傳感器有效視距傳感器特性有效視距/m色彩和深度默認(rèn)模式（0.84.0），近景模式（0.43.5）骨骼跟

23、蹤默認(rèn)模式（0.84.0），近景模式（0.43.5）表2 kinect 傳感器陣列規(guī)格傳感器特性規(guī)格范圍可視角度43垂直方向和57水平方向有效視野范圍機(jī)械化傾斜范圍（垂直方向）28幀率（深度和彩色圖像數(shù)據(jù)流）30 幀每秒（fps）深度圖像（默認(rèn)）qvga（320240）彩色圖像（默認(rèn)）vga（640480）音頻格式16khz, 16bit 單聲道（pcm）音頻輸入特性4 個(gè)帶有24bit 的數(shù)字模擬信號（adc）和消除和處理噪聲的麥克風(fēng)陣列2.1.5 kinect深度成像原理kinect的核心技術(shù)也是屬于計(jì)算機(jī)視覺技術(shù)范疇，只不過它們分析的不是彩色圖像，而是目標(biāo)物體的深度數(shù)據(jù)。kinect 獲

24、取深度信息主要是通過紅外投影機(jī)和紅外攝像頭的組合，投影和接收互為重疊，如圖2.1所示。圖5 kinect紅外攝像頭視角2.1.6 深度測量技術(shù)kinect的芯片采用的深度測量技術(shù)為light coding技術(shù)，屬于結(jié)構(gòu)光技術(shù)的一種，只是深度計(jì)算方式不一樣，其測量基于光編碼，投射已知的紅外模式到場景中， 通過另外一個(gè)紅外cmos 成像器所捕獲到的該模式的變形，從而最終來確定深度信息的攝像頭light coding的光源稱為激光散斑（laser speckles），是激光照射到粗糙物體或穿透毛玻璃后隨機(jī)形成的衍射斑點(diǎn)。這些散斑具有的明顯特點(diǎn)就是具有高度的隨機(jī)性，而且會隨著距離的不同而變換圖案。也就

25、是說空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的結(jié)構(gòu)光，整個(gè)空間就都被做了標(biāo)記，把一個(gè)物體放進(jìn)這個(gè)空間，只要看看物體上面的散斑圖案，就可以知道這個(gè)物體在什么位置了，在這之前還要先做一次光源標(biāo)定。2.1.7 光源標(biāo)定方法kinect光源標(biāo)定方法的官方解釋是：每隔一段距離，取一個(gè)參考平面，把參考平面上的散斑圖案記錄下來。假設(shè)kinect 規(guī)定的用戶空間是距離攝像頭14m 的范圍，每隔1cm 取一個(gè)參考平面，那么標(biāo)定下來我們就保存了300 幅散斑圖像。標(biāo)定的間距越小，精度越高，如圖6所示。需要進(jìn)行測量的時(shí)候，拍攝一幅待測量的散斑圖像，將這幅圖像和我們保存下來的300 幅參考圖依次做互相

26、關(guān)運(yùn)算，進(jìn)而得到300幅相關(guān)度圖像。而空間中的物體存在的位置，會在相關(guān)圖像上會顯示出峰值，把這些峰值疊加在一起，再經(jīng)過插值運(yùn)算后就會得到整個(gè)場景的三維形狀了。圖6 光源標(biāo)定2.2 軟件開發(fā)平臺visual studio 是微軟公司推出的開發(fā)環(huán)境，visual studio 可以用來創(chuàng)建 windows 平臺下的 windows 應(yīng)用程序和網(wǎng)絡(luò)應(yīng)用程序，也可以用來創(chuàng)建網(wǎng)絡(luò)服務(wù)、智能設(shè)備應(yīng)用程序和 office 插件,visual studio 2012榮獲在軟件界有奧斯卡獎之稱的jolt獎2013年生產(chǎn)力獎。2002 年，隨著 .net 口號的提出與 windows xp / office xp

27、 的發(fā)布，微軟發(fā)布了 visual studio .net（內(nèi)部版本號為 7.0）。在這個(gè)版本的 visual studio 中，微軟剝離了 visual foxpro 作為一個(gè)單獨(dú)的開發(fā)環(huán)境以 visual foxpro 7.0 單獨(dú)銷售，同時(shí)取消了 visual interdev。與此同時(shí)，微軟引入了建立在 .net 框架上（版本1.0）的托管代碼機(jī)制以及一門新的語言c#。2.2.1 .net framework（.net 框架）.net框架是構(gòu)建并運(yùn)行應(yīng)用程序的平臺。它的主要組件包括公共語言運(yùn)行庫和.net框架類庫（fcl）。clr抽象操作系統(tǒng)服務(wù)，并用作托管應(yīng)用程序（managed a

28、pplication）（其每一個(gè)動作都須經(jīng)過clr批準(zhǔn)）的執(zhí)行引擎。fcl提供托管應(yīng)用程序?qū)懭朊嫦驅(qū)ο蟮腶pi。編寫.net框架應(yīng)用程序時(shí)，不必考慮windows api、mfc、atl、com或者其他工具和技術(shù)，只需要使用fcl。當(dāng)然，也可以調(diào)用windows api或com對象，但是這樣必須將托管代碼（managed code，clr運(yùn)行的代碼）轉(zhuǎn)換為非托管代碼（unmanaged code，不需要clr幫助的本機(jī)代碼）。這種轉(zhuǎn)換會降低系統(tǒng)性能，甚至可能被系統(tǒng)管理員否決。microsoft.net主要是關(guān)于xml，web服務(wù)的，但.net框架同樣支持其他的編程模型。除了web服務(wù)以外，還

29、可以利用它來編寫控制臺應(yīng)用程序、gui應(yīng)用程序（windows窗體）、web應(yīng)用程序（web窗體），甚至windows服務(wù)（大家熟知的nt服務(wù)）等。.net框架同樣能幫助使用web服務(wù)即編寫web服務(wù)客戶端。但是，用.net框架編寫的應(yīng)用程序不一定必須使用web服務(wù)。2.2.2 公共語言運(yùn)行庫.net framework的核心是其公共語言運(yùn)行庫(common language runtime,clr)，通常將在clr控制下運(yùn)行的代碼成為托管代碼（managed code）（christian nagel等，2010），托管代碼執(zhí)行核心中的引擎。運(yùn)行庫為托管代碼提供各種服務(wù)，如跨語言集成、代碼訪

30、問安全性、對象生存期管理、調(diào)試和分析支持。當(dāng)應(yīng)用程序執(zhí)行時(shí)，公共語言運(yùn)行庫也可用于提供一些服務(wù)并對這些服務(wù)進(jìn)行管理，這些服務(wù)包括增強(qiáng)安全性、管理內(nèi)存、進(jìn)程、線程及語言集成。語言集成允許組件與xml web服務(wù)完全集成，而不管使用的是何種編程語言。microsoft提供了4種.net編程語言，還有大量非microsoft語言也可用于生成.net應(yīng)用程序。多數(shù)windows可執(zhí)行程序（.exe）使用的是非托管代碼，這些代碼無法提供安全性或內(nèi)存管理方面的保證。在公共語言運(yùn)行庫下執(zhí)行的程序代碼即是托管代碼，因?yàn)樗蕾囉诠舱Z言運(yùn)行庫完成了如內(nèi)存管理之類的許多低級別任務(wù)。使用托管代碼能比非托管代碼提供更

31、高級別的可靠性與安全性。圖7顯示了公共語言運(yùn)行庫組件的概念架構(gòu)。基類庫支持線程支持類型檢驗(yàn)程序安全引擎調(diào)試引擎異常管理器com封送拆收器類加載程序垃圾回收器代碼管理器il到本機(jī)代碼編譯器圖7 公共語言運(yùn)行庫組件為了跨越托管代碼與非托管代碼的鴻溝，并使開發(fā)人員能夠利用巨量的傳統(tǒng)的windows代碼，公共語言運(yùn)行庫啟用了互操作性。例如，公共語言運(yùn)行庫使得托管代碼可以調(diào)用在非托管代碼中定義的函數(shù)。除了作為運(yùn)行庫系統(tǒng)外，公共語言運(yùn)行庫還有另外一個(gè)重要功能是可以作為一臺虛擬機(jī)。將托管代碼應(yīng)用程序編譯成可執(zhí)行程序的方式較之傳統(tǒng)windows應(yīng)用程序有所不同。事實(shí)上，它們是以一種被稱作microsoft中間

32、語言或msil的中間語言中分布的。在程序安裝時(shí)或在程序初次運(yùn)行時(shí)，公共語言運(yùn)行庫完成編譯。這一操作稱作“即時(shí)編譯”。2.2.3 類庫類庫提供了一組標(biāo)準(zhǔn)的系統(tǒng)服務(wù)。這些代碼庫將取代并提供與c+或visual basic中的win32 api和microsoft基礎(chǔ)類（mfc）相同種類的函數(shù)。圖8所示是.net類庫的概念框架?；愄峁┝酥T如輸入/輸出、字符串操作、安全性管理、網(wǎng)絡(luò)通信、線程管理、文本管理及其它函數(shù)等標(biāo)準(zhǔn)功能。 data類支持穩(wěn)定的數(shù)據(jù)管理，并納入了sql類以通過標(biāo)準(zhǔn)sql接口處理穩(wěn)定的數(shù)據(jù)存儲。xml類使得xml數(shù)據(jù)處理、搜索與轉(zhuǎn)換成為可能。xml web服務(wù)類支持輕量級的分布式組

33、件開發(fā)，這些組件即便在遇到防火墻和網(wǎng)絡(luò)地址轉(zhuǎn)換（nat）軟件時(shí)也能正常運(yùn)行。web窗體包含的類使得用戶可以迅速開發(fā)web圖形用戶界面（gui）應(yīng)用程序。windows窗體支持一組類，通過這些類可以開發(fā)基于windows的gui應(yīng)用程序，促進(jìn)了托放式gui開發(fā)，此外還為.net框架的所有編程語言提供了一個(gè)公共的、一致的開發(fā)界面。web窗體包含的類使得用戶可以迅速開發(fā)web圖形用戶界面（gui）應(yīng)用程序。windows窗體支持一組類，通過這些類可以開發(fā)基于windows的gui應(yīng)用程序，促進(jìn)了托放式gui開發(fā)，此外還為.net框架的所有編程語言提供了一個(gè)公共的、一致的開發(fā)界面。xml web服務(wù)w

34、eb窗體windows窗體aspnet數(shù)據(jù)和xml類基本框架類公共語言運(yùn)行庫windows操作系統(tǒng)圖8 .net 類庫2.2.4 c# 編程語言microsoft引入了一種新的編程語言c#， c# 是微軟開發(fā)的一種面向?qū)ο蟮木幊陶Z言，是微軟.net開發(fā)環(huán)境的重要組成部分。它是為生成在 .net framework 上運(yùn)行的多種應(yīng)用程序而設(shè)計(jì)的。c# 簡單、功能強(qiáng)大、類型安全，而且是面向?qū)ο蟮?。c# 憑借它的許多創(chuàng)新，在保持 c 樣式語言的表示形式和優(yōu)美的同時(shí)，實(shí)現(xiàn)了應(yīng)用程序的快速開發(fā)。visual studio 包含 visual c#，這是通過功能齊全的代碼編輯器、項(xiàng)目模板、設(shè)計(jì)器、代碼向?qū)?/p>

35、、功能強(qiáng)大且易于使用的調(diào)試器以及其他工具實(shí)現(xiàn)的。通過 .net framework 類庫，可以訪問多種操作系統(tǒng)服務(wù)和其他精心設(shè)計(jì)的類，這些類可顯著加快開發(fā)周期。2.3 搭建農(nóng)業(yè)信息監(jiān)測平臺農(nóng)產(chǎn)品信息實(shí)時(shí)監(jiān)測平臺是由硬件和軟件平臺組成，硬件主要包括kinect攝像頭和筆記本電腦以及連接pc和kinect的usb轉(zhuǎn)換數(shù)據(jù)線，其中，kinect對pc的硬件要求是：雙核2.66ghz或以上的處理器、2gb以上內(nèi)存，受實(shí)際情況限制，本次設(shè)計(jì)使用的筆記本內(nèi)含的是intel core i3的處理器，其運(yùn)行速度為2.27ghz，經(jīng)過嘗試，雖然運(yùn)行某些程序時(shí)會出現(xiàn)影像卡頓或者幀率不足30fps的現(xiàn)象，但總體運(yùn)行

36、情況良好，能達(dá)到基本輸出彩色和深度影像的目的，kinect對操作系統(tǒng)的要求是windows 7的任意版本（32位或64位），同時(shí)也向上支持windows 8，而且kinect應(yīng)用程序必須在一個(gè)原生操作環(huán)境下編譯、運(yùn)行，也就是說，暫時(shí)kinect 還無法支持在虛擬機(jī)環(huán)境下安裝。所以本次設(shè)計(jì)kinect 是在windows 7旗艦版（32位）操作系統(tǒng)下安裝運(yùn)行的。其軟件要求：微軟的visual studio 2010或visual studio 2012 開發(fā)環(huán)境、microsoft .net framework 4.0或4.5 工具組件。本次設(shè)計(jì)安裝的是visual studio 2010旗艦版

37、以及microsoft .net framework 4.0。除此之外，pc端還需安裝kinect for windows sdk（software development kit,軟件開發(fā)工具包，最新版本是v1.7）以及developer toolkit（開發(fā)者工具包）。kinect 傳感器實(shí)時(shí)獲取農(nóng)產(chǎn)品信息是通過kinect傳感器提供原始數(shù)據(jù)流（raw sensor streams）給sdk，這些數(shù)據(jù)流包括深度數(shù)據(jù)流、彩色數(shù)據(jù)流和音頻數(shù)據(jù)流，通過kinect sdk可以直接獲取這些原始傳感器數(shù)據(jù)流，并在此基礎(chǔ)上進(jìn)行較為底層的應(yīng)用開發(fā)，如圖9所示。其中nui library是自然用戶界面庫，

38、庫里面包含了眾多nui api（application programming interface）即應(yīng)用程序編程接口，kinect for windows sdk beta包含兩個(gè)重要的api，分別是nui api和audio api，其中nui api是kinect sdk的核心，kinect for windows sdk的系統(tǒng)架構(gòu)如圖10所示。系統(tǒng)架構(gòu)各部分內(nèi)容如下：(1) kinect硬件接入層：kinect硬件接入層由kinect的傳感馬達(dá)、攝像頭、麥克風(fēng)陣列等硬件組件可以通過設(shè)備驅(qū)動程序進(jìn)行管理和訪問。kinect傳感器通過usb集線器連接到計(jì)算機(jī)上。(2) microsoft

39、kinect設(shè)備驅(qū)動層：驅(qū)動分為內(nèi)核模式和用戶模式：內(nèi)核模式（kernel mode）包括設(shè)備驅(qū)動程序、數(shù)據(jù)交互統(tǒng)一使用winusb數(shù)據(jù)棧，其中設(shè)備棧主要用于設(shè)備的配置和訪問，winusb camera stack用于彩色圖像和深度圖像數(shù)據(jù)流的控制，usbaudio棧用于音頻數(shù)據(jù)流控制；用戶模式（user mode）為sdk api提供了訪問和控制接口。包括麥克風(fēng)陣列、彩色及深度圖像數(shù)據(jù)、設(shè)備每句功能、控制傳動馬達(dá)仰角。(3) nui api：這是kinect sdk的核心，用來處理彩色圖像流、深度圖像數(shù)據(jù)、骨骼跟蹤和控制/管理kinect設(shè)備等。kinect for windows版本的攝像

40、頭支持近景模式。(4) dmo codec for mic array apis:拓展windows7上的麥克風(fēng)陣列，用于波束成形和定位聲源位置。(5) windows core audio and speech apis: windows 7上的音頻、語音識別、多媒體等api。圖9 應(yīng)用程序與kinect傳感器及驅(qū)動程序、sdk之間的交互圖10 kinect for windows sdk 系統(tǒng)架構(gòu)3 kinect在農(nóng)業(yè)信息采集中的應(yīng)用3.1 基于kinect的水稻冠層分割水稻是世界上最重要的糧食作物之一，獲得水稻的水分含量和營養(yǎng)狀況是對其進(jìn)行精確管理的前提。田間破壞性取樣和實(shí)驗(yàn)室化學(xué)分許雖

41、然具有較高的準(zhǔn)確度，但其處理周期長，并且需要消耗大量人力物力（王遠(yuǎn)等，2012）。利用計(jì)算機(jī)視覺、圖像處理技術(shù)對水稻進(jìn)行實(shí)時(shí)監(jiān)測研究，能夠?qū)r(nóng)作物的生長模型三維重建、長勢狀態(tài)分析、病蟲害實(shí)時(shí)監(jiān)測等研究提供有價(jià)值的數(shù)據(jù)依據(jù)。而kinect與其他視覺設(shè)備相比較有著自己獨(dú)特而且價(jià)值非凡的優(yōu)勢。往往在用視覺設(shè)備獲取水稻圖片的時(shí)候，包括土壤、水分等背景都是不希望獲取到卻難以摒棄的，而使用kinect就可以做到這一點(diǎn)，只要根據(jù)深度信息對拍攝物體進(jìn)行閾值運(yùn)算，并選擇顯示水稻冠層，這在很大程度上減少了圖片的預(yù)處理工作計(jì)算量，這點(diǎn)是kinect在與其他視覺機(jī)器對比所具有的核心優(yōu)勢。3.1.1 水稻的彩色圖像和深

42、度圖像獲取為了能夠比較直觀的觀察水稻在深度攝像頭中的顯示效果，以便后續(xù)對水稻冠層圖像進(jìn)行分割，首先通過kinect傳感器的rgb攝像頭和紅外攝像頭獲取水稻的彩色圖像和深度圖像。通過kinect sdk獲取傳感器的圖像信息的流程如圖11所示，下面是對工程主要函數(shù)的介紹：(1)建立wpf工程。在工程中添加microsoft kinect的引用。(2)初始化、啟動kinect設(shè)備。 編寫startkinect()方法，選擇kinect設(shè)備，把kinect命名為sensor，啟用彩色圖像、深度圖像數(shù)據(jù)流，并注冊事件：sensor. allframesready +=new eventhandler (

43、sensor_allframesready)，該方法將保證彩色圖像、深度圖像的同步。(3)彩色圖像流事件處理。kinect的彩色圖像為bgr32格式，一個(gè)像素為4個(gè)字節(jié)，前3字節(jié)分別對應(yīng)b（blue），g(green)，r(red)，最后1字節(jié)為阿爾法通道，代表其透明度。圖像顯示在用戶界面中的colorimage控件中。(4)深度圖像流事件處理。kinect返回的只是一串深度數(shù)據(jù)流，而要直觀地看到物體輪廓，這里將深度轉(zhuǎn)換為灰度圖像，為了深度圖像能有更好的顯示效果，這里深度圖像也采用bgr32格式，使b、g、r的值相等，就會呈現(xiàn)出灰色圖像，灰度值的范圍是0255，0為黑色，255為白色，在這范圍

44、之間根據(jù)距離kinect傳感器的距離而呈現(xiàn)不同程度的灰色，在視距之外的統(tǒng)一設(shè)為白色。圖像顯示在用戶界面的depthimage控件中。(5)保存圖片事件。注冊鼠標(biāo)按鍵事件，調(diào)用takecolorpicture_click和takedepthpicture_click方法可以分別保存彩色和深度圖像。(6)窗體啟動事件。在window_loaded()事件中調(diào)用startkinect方法，保證運(yùn)行程序時(shí)能首先打開窗體和啟動kinect傳感器數(shù)據(jù)流。(7)窗體關(guān)閉事件。在window_closed事件中調(diào)用stopkinect方法。運(yùn)行程序，水稻的彩色和深度圖像效果如圖12所示，圖13是對宿舍進(jìn)行拍攝

45、，對彩色和深度圖像的分析如下：從圖中可以發(fā)現(xiàn)，彩色圖像雖然分辨率為640*480，但是顯示效果還是不錯(cuò)的，深度圖像是使用原始深度數(shù)據(jù)形成的圖片，并沒有經(jīng)過任何圖像處理，雖然由于kinect的深度圖像分辨率只能達(dá)到320*240，導(dǎo)致畫面比較粗糙，噪聲較大，但從圖中可以發(fā)現(xiàn)，彩色圖像上的物體基本都可以在深度圖像中找到比較清晰的輪廓，不過會出現(xiàn)一些并非距離原因而導(dǎo)致的白色區(qū)域，經(jīng)過分析，白色區(qū)域的出現(xiàn)主要是因?yàn)椴荒茉谖矬w表面形成反射散斑，也就不能得到該物體的深度信息，這是一種深度圖像噪聲。發(fā)生這種情況一般有以下幾種原因: （1） 特殊材料，如透明玻璃、鏡子、吸收紅外線材料；（2） 特殊結(jié)構(gòu)，不能反

46、射散斑。（陳曉明等，2013）；（3） 距離原因：距離不在kinect視距范圍內(nèi)，這里是硬編程使得kinect傳感器視距范圍之外的都使其灰度值為255，即白色。（4）縫隙：由于紅外線無法反射回來導(dǎo)致的盲區(qū)。（5）光滑物體的鏡面反射：在kinect以一定角度拍攝比較光滑平整的物體時(shí)由于鏡面反射作用導(dǎo)致紅外線無法被紅外攝像頭所接收，導(dǎo)致了深度數(shù)據(jù)的盲區(qū)。圖11 彩色及深度影像顯示流程圖對比圖12、圖13的深度圖發(fā)現(xiàn)，兩者共同的特點(diǎn)是距離kinect越近，顏色越深，面積大且越平整、密度越大顯示的效果也越好，圖13中較狹小的葉子部分顯示不出來。圖12 深度圖像和彩色圖像圖13 彩色圖像和深度圖像3.1

47、.2 根據(jù)深度圖像對水稻冠層進(jìn)行分割為了分割獲取水稻冠層圖像，需要對深度圖像的像素進(jìn)行一一掃描并通過深度值來選取水稻冠層的像素坐標(biāo)，然后將水稻冠層的深度坐標(biāo)映射到rgb圖像坐標(biāo)中，然后將水稻冠層的rgb圖像顯示在白色幕布上。之所以需要將水稻的深度坐標(biāo)映射到rgb圖像坐標(biāo)中，是因?yàn)閞gb圖像和深度圖像分別是以rgb攝像頭和紅外攝像頭為中心拍攝到的圖片。正如人的左眼和右眼看到的景象不同，kinect紅外攝像頭和彩色攝像頭獲取的圖像幀也是有差異的。即使深度圖像和彩色圖像采用同樣大小的分辨率，在同步注冊事件中獲取同一位置的深度圖像和彩色圖像的像素點(diǎn)也不是一一對應(yīng)的。因此，如果需要得到包含顏色信息的三維

48、點(diǎn)云，就需要將深度圖像通過一定的變換，對應(yīng)到rgb圖像中，如圖14所示。最后再將分割出來的水稻冠層顯示在白色幕布之上，如圖15所示。圖15 分割水稻冠層 圖16 水稻rgb圖像kinect在水稻圖像預(yù)處理應(yīng)用上的優(yōu)勢：(1)可快速獲取物體和場景的深度信息，實(shí)時(shí)性強(qiáng)；(2)像素灰度值僅與物體或場景跟深度攝像頭距離有關(guān)，不受光照或陰影等因素影響，能夠適應(yīng)各種環(huán)境變化的情況，魯棒性較強(qiáng)；(3)廉價(jià)，易普及；(4)設(shè)備除了能夠獲取深度圖像，同時(shí)也能得到對應(yīng)的rgb彩色圖像，更有利于后期圖形、圖像的分析處理。3.2 基于kinect的水果三維尺寸獲取 kinect的優(yōu)點(diǎn)是同時(shí)擁有彩色攝像頭和紅外攝像頭，

49、除了可以得到物體的彩色亮度信息外，還可以簡單獲取物體的尺寸大小，雖然傳統(tǒng)攝像機(jī)拍攝出來的圖像通過程序算法也可得出水果的二維直徑等信息，但卻無法得到其景深數(shù)據(jù)信息，而kinect可以比較簡單地獲得水果的三維信息，甚至可以得到三維圖像，實(shí)現(xiàn)立體還原。kinect的這一特性可以應(yīng)用在水果的分級系統(tǒng)上。3.2.1 獲取水果的三維尺寸kinect攝像頭的水平和垂直視場角分別為57和43，通過獲取物體的深度值，利用三角幾何知識，就可以計(jì)算出物體的實(shí)際寬度和高度，示意圖如圖16所示，攝像頭的視場角是一個(gè)以物體深度位置為底的等腰三角形，物體的深度值是這個(gè)等腰三角形的高。可以將這個(gè)等腰三角形以物體所在位置分為兩

50、個(gè)直角三角形，這樣就可以計(jì)算出底邊的長度，然后就可以將像素的寬度轉(zhuǎn)換為現(xiàn)實(shí)中的寬度。圖16的公式中wr為物體的實(shí)際寬度，wp為物體在影像中兩個(gè)像素的距離，b為等腰直角三角形底邊邊長的1/2，b可由深度值d乘以kinect的水平視角的1/2的正切值得到，從而得到其實(shí)際寬度。通過同樣的原理還可以計(jì)算物體的高度，只不過使用的是kinect的垂直視角。如圖17是運(yùn)行objectmeasure工程測量蘋果的尺寸，通過depthimage_mousewheel 、depthimage_mouseleftbuttondown和depthimage_mouserightbuttondown分別可獲取桌面的深度

51、值和蘋果兩個(gè)點(diǎn)在屏幕上的索引值，再獲取蘋果的最近深度值，即可計(jì)算出蘋果的高度和直徑。圖17 kinect測量物體尺寸示意圖圖18 kinect測量蘋果尺寸3.2.2 測試kinect深度值精度實(shí)驗(yàn)在測量水果三維尺寸的時(shí)候，kinect的深度值精確與否會直接影響到整個(gè)測量的準(zhǔn)確度，為了測試kinect的深度值精度，如圖18所示是檢驗(yàn)kinect精度所設(shè)計(jì)的一個(gè)實(shí)驗(yàn)。實(shí)驗(yàn)材料：kinect作為測量儀器，用紙盒作為被測物體，紙殼表面比較光滑平整，適合作為測量對象，測量基準(zhǔn)為標(biāo)志過的膠布，將膠布貼在地磚上，由于地磚鋪設(shè)得比較整齊，縫隙處形成一條筆直的直線。本次實(shí)驗(yàn)的范圍從500mm到3000mm，實(shí)驗(yàn)

52、結(jié)果如圖19所示，實(shí)際距離與測量深度基本吻合，如表3所示，實(shí)際距離與測量深度的誤差隨著距離加大而有所增加，但測量距離達(dá)到3米時(shí)，其誤差也僅為53mm。實(shí)驗(yàn)結(jié)論：kinect在測量深度值時(shí)誤差較小，適宜測量水果的尺寸。圖19 實(shí)際距離與深度值比較實(shí)驗(yàn)圖20 實(shí)際距離與深度值的比較表3 實(shí)際距離與深度值的誤差 實(shí)際距離/mm kinect深度值/mm 絕對誤差/mm 相對誤差/%500 496 5 11000 985 15 1.51500 1479 21 1.42000 1975 25 1.252500 2452 48 1.923000 2947 53 1.763.2.3 kinect在水果分級系

53、統(tǒng)上的應(yīng)用構(gòu)想目前對于水果分級系統(tǒng)已有比較成熟的研究，但傳統(tǒng)的水果分級系統(tǒng)主要還是比較依賴于算法，只能通過單純的二維彩色圖像對水果進(jìn)行分析從而進(jìn)行分類，而使用kinect傳感器可以獲得水果的三維立體信息，其采集的信息可以包括水果的以下特點(diǎn)：直徑、高度、顏色。除此之外，根據(jù)三維立體還原還可以對水果進(jìn)行無損檢測。通過大量的樣本訓(xùn)練和圖像算法可以實(shí)現(xiàn)對以上特點(diǎn)的特征進(jìn)行分級，只要對這些特征參量確定合適的決策分界線，就能對水果的等級分類建立一個(gè)更為精準(zhǔn)的分類規(guī)則。實(shí)際分級中可以按圖20的活動擋板來對水果進(jìn)行分類裝箱，圖20是一個(gè)基于kinect的水果分級系統(tǒng)的模擬示意圖，核心部分是控制單元，控制單元根

54、據(jù)kinect傳感器拍攝輸出的圖像進(jìn)行圖像處理、智能識別、測量水果尺寸、分析水果色澤、進(jìn)行無損檢測，通過計(jì)算機(jī)判別水果等級，然后自動控制活動擋板實(shí)現(xiàn)水果的分類裝箱。另外通過kinect內(nèi)置的麥克風(fēng)陣列還可以實(shí)現(xiàn)語音控制，通過控制中心的語音識別處理對機(jī)器的運(yùn)轉(zhuǎn)進(jìn)行控制，這也是kinect在今后機(jī)器生產(chǎn)中的一大亮點(diǎn)，在節(jié)省了硬件資源的同時(shí)，也很大程度上方便了管理人員，可以真正地實(shí)現(xiàn)智能控制。如圖21是一個(gè)構(gòu)想的水果分級系統(tǒng)框架圖，主要包含三個(gè)環(huán)節(jié)：kinect傳感器-計(jì)算機(jī)-控制單元。kinect負(fù)責(zé)采集彩色、景深、音頻信息，計(jì)算機(jī)對來自kinect的信息進(jìn)行處理并識別，控制單元執(zhí)行最后的水果分級

55、工作。圖21 基于kinect的水果分級系統(tǒng)構(gòu)想圖人們認(rèn)為分級機(jī)器人系統(tǒng)的發(fā)展有如下特點(diǎn)：（1）替代勞動力。正是因?yàn)橛辛颂娲鷦趧拥臋C(jī)器，生產(chǎn)者就可以找到時(shí)間來智能地進(jìn)行農(nóng)業(yè)生產(chǎn)、擴(kuò)大他們的農(nóng)業(yè)規(guī)模，并有更多的時(shí)間來培養(yǎng)安全和高質(zhì)量的產(chǎn)品。（2）客觀的分級操作，沒有人類的主觀判斷。當(dāng)人類在進(jìn)行分級操作的時(shí)候，主觀判斷和錯(cuò)誤是不可避免的。分級操作的判斷決定于人力、時(shí)間、地點(diǎn)、物理?xiàng)l件、環(huán)境條件等等。而機(jī)器在任何時(shí)間都會公平分級。（3）水果分級積聚下的數(shù)據(jù)對生產(chǎn)者來說具有可追溯性和農(nóng)業(yè)指導(dǎo)性。因?yàn)橛?jì)算機(jī)有大量內(nèi)存，該機(jī)器系統(tǒng)就可以在數(shù)據(jù)庫中存儲大量精確數(shù)據(jù)，這些數(shù)據(jù)就可以讓生產(chǎn)者們能夠擁有精確農(nóng)業(yè)和智能農(nóng)業(yè)的指導(dǎo)。為了食品的安全，預(yù)計(jì)這些數(shù)據(jù)可以對消費(fèi)者、生產(chǎn)商和分銷商開放。如果生產(chǎn)者的操作記錄或者是其它農(nóng)業(yè)機(jī)械的數(shù)據(jù)被加入到這個(gè)機(jī)器的分級信息中，那么追溯的數(shù)據(jù)將得到補(bǔ)償。圖22 基于kinect的水果分級系統(tǒng)結(jié)構(gòu)框圖4 總結(jié)與展望4.1 總結(jié)