DB6111-T 197-2023 智慧農(nóng)業(yè)園區(qū)數(shù)據(jù)處理技術(shù)規(guī)范

ICS35.240.70CCSB07DB61111楊凌農(nóng)業(yè)高新技術(shù)產(chǎn)業(yè)示范區(qū)地方標準IDB6111/T197-2023本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件由西北農(nóng)林科技大學信息工程學院提出。本文件由楊凌示范區(qū)農(nóng)業(yè)標準化技術(shù)委員會歸口。本文件起草單位：西北農(nóng)林科技大學（信息工程學院、信息化管理處）、陜西省農(nóng)村科技開發(fā)中心、楊凌耘尚田園網(wǎng)絡(luò)科技有限公司、楊凌乾泰電子科技有限責任公司、楊凌現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)標準化研究推廣服務中心。本文件主要起草人：劉斌、耿楠、蒲攀、周兆永、張宏鳴、李書琴、黃鋁文、劉運松、耿耀君、李梅、張海曦、衛(wèi)星、鄧希廉、李皓、馬軍妮、文立紅。本文件首次發(fā)布。1DB6111/T197-2023智慧農(nóng)業(yè)園區(qū)數(shù)據(jù)處理技術(shù)規(guī)范本文件規(guī)定了基于物聯(lián)網(wǎng)系統(tǒng)的智慧農(nóng)業(yè)園數(shù)據(jù)處理的相關(guān)術(shù)語和定義、處理流程及技術(shù)要求。本文件適用于智慧農(nóng)業(yè)園的數(shù)據(jù)規(guī)范處理、數(shù)據(jù)分析、數(shù)據(jù)可視化管理。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T36344-2018信息技術(shù)數(shù)據(jù)質(zhì)量評價指標GB/T37025-2018信息安全技術(shù)物聯(lián)網(wǎng)數(shù)據(jù)傳輸安全技術(shù)要求QX/T628-2021常規(guī)高空氣象觀測數(shù)據(jù)處理方法3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1農(nóng)業(yè)大數(shù)據(jù)bigdataofagriculture在農(nóng)業(yè)生產(chǎn)、經(jīng)營、管理、服務等環(huán)節(jié)中產(chǎn)生的海量的，具備多樣性、高增長率、真實性及一定價值的數(shù)據(jù)集。3.2數(shù)據(jù)處理dataprocessing為從大量雜亂無章、難于直接理解的數(shù)據(jù)中抽取并推導到對特定人群有價值、有意義的信息，而進行的數(shù)據(jù)采集、存儲、檢索、加工、變換和傳輸?shù)然顒印?.3數(shù)據(jù)增強dataaugmentation一種為提升數(shù)據(jù)利用價值，用有限數(shù)據(jù)創(chuàng)造出盡可能多有用信息的數(shù)據(jù)擴充技術(shù)。3.4監(jiān)測預警monitoringandearlywarning通過監(jiān)測、匯集、抽取相關(guān)信息數(shù)據(jù)，結(jié)合風險評估分析，將可能出現(xiàn)的結(jié)果直觀展現(xiàn)給決策者，提醒作出預先處置的活動。3.5特征衍生featurederivatives利用現(xiàn)有的數(shù)據(jù)特征，組合構(gòu)建出新的數(shù)據(jù)特征的技術(shù)手段。也稱特征構(gòu)建。3.6特征選擇featureselection按系統(tǒng)特定指標最優(yōu)化目標，從原始特征中選擇出最有效特征的過程。也稱特征子集選擇或?qū)傩赃x擇(Attributeselection)。2DB6111/T197-20234處理流程4.1數(shù)據(jù)預處理4.1.1數(shù)據(jù)清洗4.1.1.1檢驗重復性數(shù)據(jù)需要根據(jù)具體場景、數(shù)據(jù)特點和問題需求，確定重復性數(shù)據(jù)的定義、檢驗方法以及工具，并記錄檢驗結(jié)果。4.1.1.2異常值采用刪除、替換、離群值檢測等方法處理。其中離群值檢測可以采用箱線圖、3σ準則、聚類等統(tǒng)計方法處理。4.1.1.3重復值采用刪除、合并、標記等方法處理。其中合并可以采用相似度匹配、聚類等方法處理。4.1.1.4不一致值采用規(guī)范化、轉(zhuǎn)換、匹配等方法處理。其中規(guī)范化可以采用大小寫轉(zhuǎn)換、數(shù)據(jù)類型轉(zhuǎn)換等方法處理。4.1.1.5格式不一致采用規(guī)范化、轉(zhuǎn)換、格式化等方法處理。其中規(guī)范化可以采用格式化字符串、正則表達式等方法處理。4.1.1.6噪聲數(shù)據(jù)處理包括但不限于以下方法：a)采用分箱法、聚類法、回歸法等處理噪聲數(shù)據(jù)。b)采用分箱法將原始數(shù)據(jù)劃分為若干區(qū)間，統(tǒng)計每個區(qū)間內(nèi)的樣本數(shù)量并計算樣本占比，然后平滑處理每個區(qū)間的樣本占比，將平滑后的數(shù)據(jù)作為處理后的結(jié)果，用于后續(xù)的分析和建模。c)采用聚類法根據(jù)一定的相似性度量分組原始數(shù)據(jù)，計算每個組的中心點，并根據(jù)中心點重新分配數(shù)據(jù)點到各個組中，迭代執(zhí)行上述步驟直到滿足停止條件為止。最終得到的聚類結(jié)果可以用于分析和建模，去除噪聲數(shù)據(jù)對后續(xù)分析和建模的影響。d)采用回歸法包括建立一個回歸模型，通過擬合已知數(shù)據(jù)的函數(shù)關(guān)系，預測未知數(shù)據(jù)，并評估和調(diào)整預測結(jié)果，得到更準確的預測結(jié)果。在建立回歸模型時，需要去除或修正噪聲數(shù)據(jù)，提高模型的預測精度。4.1.1.7清洗處理的數(shù)據(jù)再次傳輸應符合GB/T37025-2018的安全傳輸規(guī)定。4.1.1.8高空氣象數(shù)據(jù)的處理應符合QX/T628-2021的規(guī)定。4.1.2數(shù)據(jù)補全a)均值/中位數(shù)/眾數(shù)填充：對于數(shù)值型數(shù)據(jù)，可以使用均值、中位數(shù)或眾數(shù)來填充缺失值。b)固定值填充：對于某些特殊的數(shù)據(jù)，可以使用固定值來填充缺失值。c)向前/向后填充：對于時間序列數(shù)據(jù)，可以使用向前或向后的值來填充缺失值。d)插值法填充：可以使用插值法來填充缺失值，例如線性插值、多項式插值等。e)建模預測填充：可以使用其他變量建立模型，預測缺失值。4.1.3數(shù)據(jù)融合采用深度學習模型提取多個數(shù)據(jù)源的數(shù)據(jù)信息特征（園區(qū)小氣候數(shù)據(jù)、種植環(huán)境數(shù)據(jù)、圖像數(shù)據(jù)和農(nóng)技知識數(shù)據(jù)），融合特征級、決策級，提升數(shù)據(jù)的有效性和準確性。4.1.4數(shù)據(jù)變換4.1.4.1圖像數(shù)據(jù)按照目標程度劃分為一般或嚴重狀態(tài)，通過數(shù)字圖像處理技術(shù)生成充足的數(shù)據(jù)集，按照3:1:1的比例劃分為訓練集、驗證集和測試集。4.1.4.2園區(qū)小氣候數(shù)據(jù)和種植環(huán)境數(shù)據(jù)，采用特征衍生和特征選擇作預處理。特征選擇分別基于最大信息系數(shù)的最小冗余、最大相關(guān)指標過濾粗篩特征，再基于嵌入法選擇。3DB6111/T197-20234.1.5數(shù)據(jù)規(guī)約應在保證數(shù)據(jù)集完整性的基礎(chǔ)上，簡化數(shù)據(jù)集，包含但不限于以下方面：a)維度規(guī)約：即將數(shù)據(jù)的維度降低，減少數(shù)據(jù)中不必要的屬性，降低數(shù)據(jù)集的復雜度。常用的維度規(guī)約方法有主成分分析（PCA）和線性判別分析（LDA）。b)數(shù)值規(guī)約：即將數(shù)據(jù)的數(shù)值范圍縮小，減少數(shù)值間的差異，降低數(shù)據(jù)集的復雜度。常用的數(shù)值規(guī)約方法有歸一化和標準化。c)屬性規(guī)約：即從數(shù)據(jù)集中選擇出最具有代表性和區(qū)分性的屬性，剔除無關(guān)或冗余的屬性，減少數(shù)據(jù)集的復雜度。常用的屬性規(guī)約方法有逐步回歸法和決策樹算法。d)數(shù)據(jù)壓縮：即通過壓縮算法去除數(shù)據(jù)集中的冗余信息，減少數(shù)據(jù)集的復雜度。常用的數(shù)據(jù)壓縮方法有哈夫曼編碼和Lempel-Ziv算法。e)隨機抽樣：即從數(shù)據(jù)集中隨機選擇部分數(shù)據(jù)作為樣本，通過分析處理，減少數(shù)據(jù)集的復雜度。常用的隨機抽樣方法有簡單隨機抽樣和分層抽樣。4.2數(shù)據(jù)分析應建立在計算機機器學習基礎(chǔ)上。被分析的數(shù)據(jù)質(zhì)量按照GB/T36344-2018的規(guī)定評價，評價合格的數(shù)據(jù)分析結(jié)果為有效分析結(jié)果。分析技術(shù)包括但不限于：a)描述性統(tǒng)計：通過對數(shù)據(jù)的描述性統(tǒng)計分析，了解數(shù)據(jù)的基本情況，包括中心趨勢、離散程度、分布形態(tài)等等。b)探索性數(shù)據(jù)分析：通過可視化和統(tǒng)計分析探索數(shù)據(jù)之間的關(guān)系趨勢，為后續(xù)建模和分析做準c)假設(shè)檢驗：用于檢驗數(shù)據(jù)之間是否有顯著差異，判斷是否拒絕某個假設(shè)。d)回歸分析：用于分析自變量和因變量之間的關(guān)系，建立回歸模型，預測因變量的變化趨勢。e)聚類分析：將數(shù)據(jù)分成若干類別，同一類別內(nèi)的數(shù)據(jù)相似度較高，不同類別之間的數(shù)據(jù)相似度較低。f)主成分分析：將多個變量合并成少數(shù)幾個新變量，保留原始變量的大部分信息，以減少維度。g)時間序列分析：用于分析時間序列數(shù)據(jù)，找出趨勢、季節(jié)性和周期性等規(guī)律，預測未來的變化趨勢。h)關(guān)聯(lián)規(guī)則挖掘：從數(shù)據(jù)中發(fā)現(xiàn)頻繁出現(xiàn)的模式和關(guān)聯(lián)關(guān)系，如超市商品的購買關(guān)系。i)決策樹分析：基于樣本數(shù)據(jù)建立決策樹模型，通過選擇屬性值，逐步篩選出目標屬性預測值。j)神經(jīng)網(wǎng)絡(luò)分析：用人工神經(jīng)網(wǎng)絡(luò)模擬人腦處理信息的過程，進行數(shù)據(jù)建模和預測等操作。4.3數(shù)據(jù)可視化數(shù)據(jù)分析與預測結(jié)果應以圖像、圖表的直觀方式，展示數(shù)據(jù)所蘊含