2024大數(shù)據(jù)清洗加工規(guī)范

前 附 本規(guī)范定義了大數(shù)據(jù)清洗加工的標(biāo)準(zhǔn)方法，為貴州省各級(jí)政府部門(mén)、企下列文件對(duì)于本規(guī)范的應(yīng)用是必不可少的。凡是標(biāo)注日期的引用文件，DB52/T1123-2016DB52/T1124-20161DB52/T1125-20162DB52/T1126-2016數(shù)據(jù)采集data大數(shù)據(jù)big一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工臟數(shù)據(jù)dirty臟數(shù)據(jù)是指系統(tǒng)中的數(shù)據(jù)不在給定的范圍內(nèi)或?qū)τ趯?shí)際業(yè)務(wù)毫無(wú)意義，或是數(shù)據(jù)格式非法，以及在系統(tǒng)中存在不規(guī)范的編碼和含糊的業(yè)務(wù)邏輯。數(shù)據(jù)清洗data數(shù)據(jù)清洗是指利用現(xiàn)有的數(shù)據(jù)挖掘手段和方法清洗“臟數(shù)據(jù)”“臟數(shù)結(jié)構(gòu)化數(shù)據(jù)structural結(jié)構(gòu)化數(shù)據(jù)也稱(chēng)作行數(shù)據(jù)，是由二維表結(jié)構(gòu)來(lái)邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，主要通過(guò)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理。非結(jié)構(gòu)化數(shù)據(jù)unstructured非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒(méi)有預(yù)定義的數(shù)據(jù)模型，不半結(jié)構(gòu)化數(shù)據(jù)semi-structured非結(jié)構(gòu)化數(shù)據(jù)處于結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)之間，具有一定的結(jié)構(gòu)，數(shù)據(jù)規(guī)范data數(shù)據(jù)完整性準(zhǔn)則dataintegrity對(duì)數(shù)據(jù)進(jìn)行有關(guān)存在性、有效性、結(jié)構(gòu)、內(nèi)容及其他基本數(shù)據(jù)特征的測(cè)數(shù)據(jù)覆蓋data表達(dá)質(zhì)量presentation數(shù)據(jù)衰變data政務(wù)數(shù)據(jù)資源是指政務(wù)部門(mén)在履行職責(zé)過(guò)程中制作或獲取的，以一定形政務(wù)數(shù)據(jù)不僅有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，還包含大量的非結(jié)構(gòu)化數(shù)據(jù)。進(jìn)行后通過(guò)技術(shù)手段轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。1數(shù)據(jù)質(zhì)量問(wèn)題中模式層的臟數(shù)據(jù)，必須借助數(shù)據(jù)整合技術(shù)。2數(shù)據(jù)清洗的方法包括：缺失數(shù)據(jù)處理、相似重復(fù)對(duì)象監(jiān)測(cè)、異常數(shù)據(jù)處數(shù)據(jù)清洗具體流程如下3理。預(yù)處理過(guò)程中除了更正、修復(fù)系統(tǒng)中的一些錯(cuò)誤數(shù)據(jù)之外，更多的是對(duì)數(shù)ETL具體數(shù)據(jù)抽取工具種類(lèi)繁多，可根據(jù)實(shí)際業(yè)務(wù)數(shù)據(jù)的特點(diǎn)進(jìn)行選擇。從數(shù)據(jù)庫(kù)或視圖的數(shù)據(jù)原封不動(dòng)的從數(shù)據(jù)庫(kù)中抽取出來(lái)。該方法主要用于在系統(tǒng)數(shù)據(jù)初增量抽取（更新）：據(jù)分別插入到不同的數(shù)據(jù)表中。對(duì)于數(shù)據(jù)加載工作，一般會(huì)搭建數(shù)據(jù)庫(kù)環(huán)境，如果數(shù)據(jù)量大（千萬(wàn)級(jí)以上），可以使用文本文件存儲(chǔ)結(jié)合腳本程序處理進(jìn)行一致等，非法值問(wèn)題包括取值錯(cuò)誤、格式錯(cuò)誤、多余字符、亂碼等，需根據(jù)具4▲

圖5存在缺失值數(shù)據(jù)處理策略參考圖是否有其他渠道可以取到相關(guān)數(shù)據(jù)，必要時(shí)進(jìn)行重新采集。若無(wú)法取得相關(guān)數(shù)據(jù)，則需e）對(duì)于指標(biāo)重要性低，缺失率高的缺失值數(shù)據(jù)，可備份當(dāng)前數(shù)據(jù)，直接刪掉不需以同一指標(biāo)的計(jì)算結(jié)果（均值、中位數(shù)、眾數(shù)等）a1）處理方法是將其處理成一致的某種格式。這種情況的數(shù)據(jù)多數(shù)由人工收集或用戶(hù)需要以半自動(dòng)校驗(yàn)半人工方式來(lái)找出可能存在的問(wèn)題，并去除不需要的字符。典該問(wèn)題不能簡(jiǎn)單地以刪除來(lái)處理，因?yàn)槌梢驈?fù)雜，可能是人工填寫(xiě)錯(cuò)誤、前端沒(méi)可直接發(fā)現(xiàn)問(wèn)題的數(shù)據(jù)，防止分析結(jié)果錯(cuò)誤。主要包含以下三個(gè)步驟：1）去重放在格式內(nèi)容清洗之后，原因是格式內(nèi)容清理之后才能總體發(fā)現(xiàn)重復(fù)的業(yè)務(wù)2）離群值（異常值）采集數(shù)據(jù)時(shí)可能因?yàn)榧夹g(shù)或物理原因，數(shù)據(jù)取值超過(guò)數(shù)據(jù)值域范圍。為處理離群值，第一步即為識(shí)別離群值。識(shí)別離群值的方法主要有如下兩種：一區(qū)域之內(nèi)，所以利用數(shù)據(jù)自身分布特征來(lái)識(shí)別離群值，可采用直觀的箱型圖方法可視效，但對(duì)于聚合程度高，彼此相關(guān)的多維數(shù)據(jù)而言，通過(guò)數(shù)據(jù)分布特征或業(yè)務(wù)理解來(lái)識(shí)別離群值的方法會(huì)缺乏有效性。面對(duì)這種情況，聚類(lèi)方法提供識(shí)別多維數(shù)據(jù)集中噪聲數(shù)據(jù)的方法。新采集的數(shù)值，按照缺失值辦法處理。對(duì)于重要性較低數(shù)值，可直接去除。3）典、元數(shù)據(jù)等，還可梳理數(shù)據(jù)之間的關(guān)系，并進(jìn)行修正。不一致數(shù)據(jù)往往是因?yàn)槿狈?shù)據(jù)標(biāo)準(zhǔn)或未依照已有標(biāo)準(zhǔn)執(zhí)行而產(chǎn)生。錯(cuò)誤關(guān)聯(lián)數(shù)據(jù)清洗方法主要有以下方法：c）基于距離的方法：使用距離度量來(lái)量化數(shù)據(jù)對(duì)象之間的相似性。要字段，可以從數(shù)據(jù)集中刪除。對(duì)于尚不明確是否需要的字段，原則上數(shù)據(jù)量在可處理是一種通過(guò)測(cè)量和改善數(shù)據(jù)綜合特征來(lái)優(yōu)化數(shù)據(jù)價(jià)值的過(guò)程。數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)和方法研究的重點(diǎn)在于數(shù)據(jù)的含義、內(nèi)容、分類(lèi)、分級(jí)、質(zhì)量的評(píng)價(jià)指標(biāo)等的研究分析。12數(shù)據(jù)規(guī)范(Dataspecification):參考數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的測(cè)量標(biāo)準(zhǔn)；數(shù)據(jù)完整性準(zhǔn)則(Dataintegrityfundamentals):重復(fù)(Duplication):—致性和同步(Consistencyandsynchronization):應(yīng)用和系統(tǒng)中所存儲(chǔ)或使用的信息等價(jià)程度的測(cè)量，以及使數(shù)據(jù)等價(jià)處理流程的測(cè)量標(biāo)f(Timelinessandavailability):易用性和可維護(hù)性(Easeofuseandmaintainability):數(shù)據(jù)覆蓋(Datacoverage):相對(duì)于數(shù)據(jù)總體或全體相關(guān)對(duì)象數(shù)據(jù)的可用性和全表達(dá)質(zhì)量(Presentationquality)；如何進(jìn)行有效信息表達(dá)以及如何從用戶(hù)中理解性和數(shù)據(jù)質(zhì)量中執(zhí)行度的測(cè)量標(biāo)準(zhǔn)，以及對(duì)業(yè)務(wù)所需數(shù)據(jù)的重要性、實(shí)用性及相關(guān)數(shù)據(jù)衰變(Datadecay):效用性(Transactability):數(shù)據(jù)產(chǎn)生期望業(yè)務(wù)交易或結(jié)果程度的測(cè)量標(biāo)準(zhǔn)。所選維度，制定評(píng)估方案，選擇合適的評(píng)估手段進(jìn)行測(cè)量，最后合并和分析所有質(zhì)量評(píng)數(shù)據(jù)清洗管理涉及的數(shù)據(jù)管理角色有提供者和管理者。提供者負(fù)責(zé)提供清洗的業(yè)務(wù)項(xiàng)目中提供者為數(shù)據(jù)接入方，管理者為項(xiàng)目建設(shè)方。具體針對(duì)特殊情況有所變化。配置與部署接入服務(wù)，實(shí)現(xiàn)接入數(shù)據(jù)庫(kù)的數(shù)據(jù)交換提供者應(yīng)該提供待清洗數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)；提供者應(yīng)接收數(shù)據(jù)清洗系統(tǒng)的問(wèn)題數(shù)據(jù)，及時(shí)修改，并通知管理者。管理者對(duì)數(shù)據(jù)清洗系統(tǒng)的管理要點(diǎn)應(yīng)包括:管理者應(yīng)負(fù)責(zé)構(gòu)建清洗后數(shù)據(jù)及問(wèn)題數(shù)據(jù)各自的數(shù)據(jù)庫(kù)和數(shù)據(jù)表的結(jié)構(gòu)；管理者應(yīng)負(fù)責(zé)源質(zhì)量評(píng)價(jià)、數(shù)據(jù)加工模型與算法質(zhì)量評(píng)價(jià)、數(shù)據(jù)產(chǎn)品質(zhì)量評(píng)價(jià)等。科領(lǐng)域內(nèi)已存在相關(guān)的數(shù)據(jù)質(zhì)量管理國(guó)際、國(guó)家規(guī)范或行業(yè)標(biāo)準(zhǔn)，數(shù)據(jù)審核宜采用這壁審核指標(biāo)可以包括但不限于準(zhǔn)確性，真實(shí)性誤差等技術(shù)參數(shù)，特色數(shù)據(jù)和重點(diǎn)數(shù)