DB6111-T 175-2021 智慧農(nóng)業(yè)++果實三維數(shù)字化數(shù)據(jù)采集及建模技術規(guī)范

ICS65.020.99CCSB07

DB6111楊凌農(nóng)業(yè)高新技術產(chǎn)業(yè)示范區(qū)地方標準DB6111/T175—2021智慧農(nóng)業(yè)果實三維數(shù)字化數(shù)據(jù)采集及建模技術規(guī)范SmartAgriculture-Specificationfor3DDigitalDataCollectionandModelingofSmartAgriculture-Specificationfor3DDigitalDataCollectionandModelingofFruits2021102220211101楊凌示范區(qū)市場監(jiān)督管理局發(fā)布DB6111T/175DB6111T/175—2021前??言本文件依據(jù)GB/T1.1-2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》起草。本文件由楊凌示范區(qū)農(nóng)業(yè)標準化技術委員會提出并歸口。本文件起草單位：西北農(nóng)林科技大學、陜西貞觀實業(yè)有限公司、陜西楊凌田上農(nóng)業(yè)科技有限公司、陜西美好家園農(nóng)業(yè)科技發(fā)展股份有限公司、楊凌錦田果蔬專業(yè)合作社。本文件主要起草人：楊會君、王昕、于啟瑞、李勁波、雷鳴、張?zhí)稞垺⒗詈Ｆ奖疚募状伟l(fā)布。本文件由西北農(nóng)林科技大學負責解釋。聯(lián)系方式：yhj740225@聯(lián)系地址：陜西省楊凌示范區(qū)西農(nóng)南路3號郵政編碼：712100IIDB6111T/175DB6111T/175—2021DB6111T/175—2021以圖像為節(jié)點，以幾何校驗后的匹配圖像之間的重疊關系作為邊構成的三維場景圖。DB6111T/175—2021以圖像為節(jié)點，以幾何校驗后的匹配圖像之間的重疊關系作為邊構成的三維場景圖。智慧農(nóng)業(yè)果實三維數(shù)字化數(shù)據(jù)采集及建模技術規(guī)范范圍本文件適用于智慧果園蘋果、獼猴桃、桃子等鮮果果實三維數(shù)字化的點云數(shù)據(jù)采集、建模、處理，得到干凈、準確的果實模型數(shù)據(jù)。不適用于干果品質(zhì)評測過程中的形態(tài)特征獲取、色澤和水分含量測定。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T2822-2005標準尺寸GB/T8170-2008數(shù)值修約規(guī)則與極限數(shù)值的表示和判定GB/T24734.1-2009技術產(chǎn)品文件數(shù)字化產(chǎn)品定義數(shù)據(jù)通則第1部分：術語和定義GB/T26099.1-2010機械產(chǎn)品三維建模通用規(guī)則第1部分：通用要求GB/T31053-2014機械產(chǎn)品逆向工程三維建模技術要求GB/T38368-2019產(chǎn)品幾何技術規(guī)范（GPS）基于數(shù)字化模型的測量通用要求3術語和定義GB/T26099.1-2010、GB/T31053-2014和GB/T38368-2019界定的以及下列術語和定義適用于本文GB/T24734.1-2009技術產(chǎn)品文件數(shù)字化產(chǎn)品定義數(shù)據(jù)通則第1部分：術語和定義GB/T26099.1-2010機械產(chǎn)品三維建模通用規(guī)則第1部分：通用要求GB/T31053-2014機械產(chǎn)品逆向工程三維建模技術要求GB/T38368-2019產(chǎn)品幾何技術規(guī)范（GPS）基于數(shù)字化模型的測量通用要求3術語和定義GB/T26099.1-2010、GB/T31053-2014和GB/T38368-2019界定的以及下列術語和定義適用于本文件。3.1果實三維數(shù)字化Fruit3DDigitization用三維重建和分析工具獲取、創(chuàng)建、修改、完善、分析果實數(shù)字模型的系列技術。3.2點云數(shù)據(jù)采集PointCloudDataCollection用三維掃描儀、深度相機、RGB相機等獲取果實點云形態(tài)的形狀（幾何構造）和外觀信息（如顏色、表面反照率等）過程。3.3場景圖SceneGraph1縮略語下列縮略語適用于本文件:——CAD--計算機輔助設計(ComputerAidedDesign)；——SFM--運動恢復結構(StructureFromMotion)；——SIFT---尺度不變特征變換(ScaleInvariantFeatureTransform)；——RANSAC--隨機采樣一致性(RandomSampleConsensus)。果實多視角圖像數(shù)據(jù)采集采集設備RGB表1數(shù)據(jù)采集過程中的拍攝參數(shù)要求項目具體要求設備選型單目相機分辨率最低支持1920×1080角度見圖1所示距離范圍20cm～100cm拍攝數(shù)量每一方位≥20張拍攝設備和圖像關系限單個設備連續(xù)拍攝多視角照片目標占比前景目標物占圖像內(nèi)容50%以上攝像頭內(nèi)部參數(shù)由攝像頭本身元件所確定。計算方法見公式（1）。攝像頭內(nèi)部參數(shù)由攝像頭本身元件所確定。計算方法見公式（1）。........................................................(1)式中：p --焦距(像素)；m---焦距(毫米)； (像素； (像素； (毫米)；參數(shù)通常包含于圖像EXIF信息中，若缺失，也可通過計算相機元件參數(shù)獲得。5.2采集環(huán)境2圖1圖像數(shù)據(jù)采集路徑標定板（紅色為俯視圖，藍色為側視圖）拍攝與數(shù)據(jù)存儲方案參照圖1所示的位置關系，確定拍攝視角，具體方案如下：130cm30°3018°，所得圖像應連續(xù)且有重疊，206.2預處理預處理背景預處理按照5.3拍攝得到的多視角圖片示例參見圖2OpenCV庫中的K-均值聚類或分水嶺算法預處理果實圖2規(guī)范采集的多視角圖像示例（部分數(shù)據(jù)）5.4.2圖像預處理3DB6111T/175—2021DB6111T/175—2021DB6111T/175DB6111T/175—2021果實三維重建果實表面重建規(guī)范生成稀疏場景圖生成方法采取具有迭代重構分量的順序處理管道——增量式SFM生成稀疏場景圖。特征提取使用SIFT首先使用高斯濾波技術(GaussianBlur)來降低圖像中的噪點，除去紋理噪點等次要特征，保留給定圖像輪廓主要特征。使用高斯差分技術(DifferenceofGaussian)，將去噪后圖像與原圖像進行相減運算；過濾特征點并精確定位。利用黑塞(Hessian)矩陣處理并確定某像素點是否為特征點，特征點初步定位后，過濾除去不精確的特征點，完成特征點精確定位；80效增強匹配的魯棒性。圖3相鄰果實圖像特征提取結果示例80效增強匹配的魯棒性。圖3相鄰果實圖像特征提取結果示例4特征匹配根據(jù)得到相鄰兩幅圖像的顯著特征點，利用特征點及其鄰域信息計算SIFT描述子，并用基于歐氏距離的K幾何驗證采用SFM通過估計射影幾何映射圖像之間的特征點轉(zhuǎn)換來驗證可能重疊的圖像對。a4果實表面稠密重建增量式重建輸入場景圖，估計配準圖像和重構場景結構的位姿。初始化一組與突出圖像區(qū)域相關的稀疏面片patch集；PnP使用特征對應法對已配準的圖像中的點進行三角化(2D-3D2D-3D初始化一組與突出圖像區(qū)域相關的稀疏面片patch集；PnP使用特征對應法對已配準的圖像中的點進行三角化(2D-3D2D-3D使用將場景點投影到圖像空間的函數(shù)π和降低異常值權重的損失函數(shù)ρJT并將攝像機參數(shù)Pc和點參數(shù)Xkt聯(lián)合非線性細化。(a)稀疏重建的場景圖(b)稠密化重建點云圖4果實點云重建結果圖稠密化重建采用Patch-Match方法估計密集點云，恢復果實表面稠密數(shù)據(jù)，如圖4(b)所示。5果實重建處理流程配置及處理要求通過開源庫Colmap實現(xiàn)果實稀疏三維點云重建，Patch-Match實現(xiàn)稠密重建。配置和處理過程請參見附錄A。準備操作mkdircolmap_data//新建colmap_datacdcolmap_data//colmap_datamkdirimages//images，存儲輸入的多視角圖片。mkdirdatabase.db//database.db稀疏重建colmapfeature_extractor--database_pathdatabase.db--image_pathimages//執(zhí)行特征提取命令colmapexhaustive_matcher--database_pathdatabase.db//執(zhí)行特征點匹配命令colmapmapper--image_pathimages--database_pathdatabase.db–output_pathsparse//在colmap_data目錄下新建sparse文件夾，并存儲稀疏重建結果。sparsebin3Dpoints3D.bin。信息轉(zhuǎn)換信息轉(zhuǎn)換OpenVMS和colmap轉(zhuǎn)換得到sence.mvs文件。生成稠密點云DensifyPointCloudscene.mvs//執(zhí)行命令,使用OpenVMS生成深度圖從而得到稠密點云。7精細度評估誤差來源果實點云獲取過程中的誤差來源包括：設備誤差：因采集設備自身性能限制產(chǎn)生；環(huán)境誤差：因拍攝場景復雜多變，光照變化等影響產(chǎn)生；系統(tǒng)誤差：因不同的軟件版本等產(chǎn)生的誤差；計算誤差：因采用的算法不同產(chǎn)生的誤差；近似誤差：因系統(tǒng)計算時得到的近似值產(chǎn)生的誤差；模型誤差：實際問題抽象為數(shù)學模型本身含有的誤差；其它誤差：因人為因素或偶然原因引起的其它誤差。評估指標選擇6GB/T8170-2008中的下列要求：局部指標：評估曲面與真實果實對應曲面的偏離程度；量化指標：評估點云模型點數(shù)值偏差；評估要求果實數(shù)字化形成的三維模型精度評價應遵循以下原則：GB/T187844%；8三維模型發(fā)布和應用三維點云模型的發(fā)布與應用應滿足GB/T24734.1-2009中對三維模型的發(fā)布、應用要求和GB/T三維點云模型的發(fā)布與應用應滿足GB/T24734.1-2009中對三維模型的發(fā)布、應用要求和GB/T38368-2019中對三維模型的通用要求。7附錄A（規(guī)范性附錄）環(huán)境配置COLMAP的安裝配置運行環(huán)境Ubuntu16.04。在GitHub上下載COLMAP源代碼gitclone/colmap/colmap安裝Ubuntu存儲庫的依賴項sudoapt-getinstallgitsudoapt-getinstallcmakesudoapt-getinstallbuild-essentialsudoapt-getinstalllibboost-graph-devsudoapt-getinstalllibboost-regex-devsudoapt-getinstalllibboost-system-devsudoapt-getinstalllibboost-test-devsudoapt-getinstalllibeigen3-devsudoapt-getinstalllibsuitesparse-devsudoapt-getinstalllibfreeimage-devsudoapt-getinstalllibgoogle-glog-devsudoapt-getinstalllibgflags-devsudoapt-getinstallsudoapt-getinstalllibboost-graph-devsudoapt-getinstalllibboost-regex-devsudoapt-getinstalllibboost-system-devsudoapt-getinstalllibboost-test-devsudoapt-getinstalllibeigen3-devsudoapt-getinstalllibsuitesparse-devsudoapt-getinstalllibfreeimage-devsudoapt-getinstalllibgoogle-glog-devsudoapt-getinstalllibgflags-devsudoapt-getinstalllibglew-devsudoapt-getinstallqtbase5-devsudoapt-getinstalllibqt5opengl5-devsudoapt-getinstalllibcgal-dev安裝CGALQt5軟件包sudoapt-getinstalllibcgal-qt5-dev安裝CeresSolversudoapt-getinstalllibatlas-base-devlibsuitesparse-devgitclone/ceres-solvercdceres-solvergitcheckout$(gitdescribe--tags)#Checkoutthelatestrelease8mkdirbuildcdbuildcmake..-DBUILD_TESTING=OFF-DBUILD_EXAMPLES=OFFmake-jsudomakeinstall配置和編譯COLMAPcdcolmapgitcheckoutdevmkdirbuildcdbuildcmakemake-jsudomakeinstall運行COLMAPcolmap–hcolmapgui運行環(huán)境Ubuntu16.04（參考網(wǎng)站）在GitHub上下載OpenMVS源代碼運行環(huán)境Ubuntu16.04（參考網(wǎng)站）在GitHub上下載OpenMVS源代碼gitclone/cdcseacave/openMVS.git環(huán)境配置sudoapt-getupdate-qq&&sudoapt-getinstall-qqsudoapt-get-yinstallgitcmakelibpng-devlibjpeg-devlibtiff-devlibglu1-mesa-devmain_path='pwd'gitclone/libeigen/eigen.git--branch3.2#Eigen(Required)mkdireigen_build&&cdeigen_buildcmake.../eigenmake&&sudomakeinstallcd..sudoapt-get-yinstalllibboost-iostreams-devlibboost-program-options-devibboost-system-devlibboost-serialization-dev#Boost(Required)sudoapt-get-yinstalllibopen