DB37T 3432-2018 農(nóng)業(yè)大數(shù)據(jù) 數(shù)據(jù)處理基本要求

DB37Agriculturalbigdata—Basicrequirementsfordataprocessi山東省質(zhì)量技術(shù)監(jiān)督局發(fā)布I 1 1 1 1 1 1 2 2 2 2 3 4 51農(nóng)業(yè)大數(shù)據(jù)數(shù)據(jù)處理基本要求本標(biāo)準(zhǔn)適用于山東省農(nóng)業(yè)領(lǐng)域大數(shù)據(jù)的處理、分凡是不注日期的引用文件，其最新版本（包括所有的修改單DB37/T3431—2018農(nóng)業(yè)大數(shù)據(jù)4術(shù)語和定義5概述b)數(shù)據(jù)傳輸：對(duì)采集的數(shù)據(jù)按約定方式進(jìn)行安全傳輸；c)數(shù)據(jù)預(yù)處理：按照預(yù)處理操作流程將數(shù)據(jù)處理為易于存儲(chǔ)和分析的規(guī)范格式；d)數(shù)據(jù)存儲(chǔ)：對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理，實(shí)現(xiàn)對(duì)各種數(shù)據(jù)的有效組織；e)數(shù)據(jù)分析：對(duì)存儲(chǔ)數(shù)據(jù)計(jì)算和分析，獲取有價(jià)值信息和知識(shí)；f)可視化展現(xiàn)：將數(shù)據(jù)分析結(jié)果以直觀方式顯示給用戶，并與用戶實(shí)現(xiàn)交互。2b)應(yīng)依據(jù)數(shù)據(jù)采集需求確定數(shù)據(jù)采集范圍、選取數(shù)據(jù)采集方式、約定數(shù)據(jù)采集周期；e)應(yīng)從數(shù)據(jù)完整性、準(zhǔn)確性、一致性等方面控制數(shù)據(jù)采集質(zhì)量。b)應(yīng)明確數(shù)據(jù)傳輸周期，按照約定頻次傳輸數(shù)據(jù)；c)應(yīng)滿足數(shù)據(jù)完整性、準(zhǔn)確性等可靠性傳輸要求；a)應(yīng)制定數(shù)據(jù)清洗規(guī)則，對(duì)缺失數(shù)據(jù)、格式錯(cuò)誤數(shù)據(jù)、邏輯錯(cuò)誤數(shù)據(jù)等臟數(shù)據(jù)進(jìn)行清洗；b)應(yīng)將不同來源、格式等數(shù)據(jù)進(jìn)行集成；c)應(yīng)在數(shù)據(jù)完整性基礎(chǔ)上將數(shù)據(jù)集歸約表示；d)應(yīng)將數(shù)據(jù)格式轉(zhuǎn)換成適用于數(shù)據(jù)存儲(chǔ)和分析的形式；9數(shù)據(jù)存儲(chǔ)a)對(duì)象存儲(chǔ)、過程數(shù)據(jù)存儲(chǔ)、結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)等不同類型的數(shù)據(jù)存儲(chǔ)應(yīng)滿足相對(duì)應(yīng)的存儲(chǔ)要求；b)應(yīng)滿足大數(shù)據(jù)存儲(chǔ)技術(shù)的高可靠、高可用、可擴(kuò)展以及高性能等要求；d)應(yīng)滿足數(shù)據(jù)一致性、完整性和可用性等存儲(chǔ)質(zhì)量要求；3a)應(yīng)根據(jù)需求對(duì)敏感、涉密數(shù)據(jù)進(jìn)行脫敏脫密操作；f)應(yīng)滿足展現(xiàn)內(nèi)容的清晰、直觀、形象等要求。412農(nóng)業(yè)農(nóng)村電子商務(wù)、休閑農(nóng)業(yè)、民宿旅游、農(nóng)產(chǎn)品期貨交易，以及農(nóng)3農(nóng)業(yè)行業(yè)統(tǒng)計(jì)監(jiān)測(cè)、預(yù)警防控、指揮調(diào)度、農(nóng)產(chǎn)品質(zhì)量安全追溯、農(nóng)4512