DB11-T 2351-2024 數(shù)據(jù)資源治理通 用技術(shù)要求

丹、羅登亮、肖博勝、劉子莉、李孟凡、艾崧溥、李海翔、周曉波、徐數(shù)據(jù)資源治理通用技術(shù)要求數(shù)據(jù)資源治理框架主要涵蓋數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)生存周期管理以及數(shù)據(jù)治理組織構(gòu)建這三個重要安全管理和元數(shù)據(jù)管理貫穿于該周期的各個環(huán)節(jié)。而數(shù)據(jù)治理組織則致力于提供系統(tǒng)地管理與運用企b)使用數(shù)據(jù)架構(gòu)來指導(dǎo)數(shù)據(jù)集成和控制，并使數(shù)據(jù)資源匯聚與需源的現(xiàn)狀和特點，為數(shù)據(jù)資源的治理提供基應(yīng)根據(jù)GB/T36073要求，針對數(shù)據(jù)模型中的數(shù)據(jù)定義，明確數(shù)據(jù)在組織、流程、系統(tǒng)等方面的分布關(guān)系，制定CRUD規(guī)劃，確保數(shù)據(jù)的安其中主題域是采購與供應(yīng)商，主要涉及兩類數(shù)據(jù)實體供應(yīng)商和采購合同。其中描述供應(yīng)商包括供應(yīng)商基本信息、潛在供應(yīng)商信息、供應(yīng)商績效、供應(yīng)商認證信息和供應(yīng)商評價。以供應(yīng)信息為例，該信息只能在財務(wù)MIS系統(tǒng)中創(chuàng)建、修改和刪除，可以被項目管理應(yīng)設(shè)計數(shù)據(jù)結(jié)構(gòu)、減少重復(fù)開發(fā)、屏蔽源數(shù)據(jù)的影響等信息，實現(xiàn)數(shù)據(jù)血緣追蹤。數(shù)據(jù)架少包括數(shù)據(jù)來源層、數(shù)據(jù)支撐層、數(shù)據(jù)存儲層和數(shù)據(jù)分本層宜包括公共數(shù)據(jù)、企業(yè)數(shù)據(jù)和個人數(shù)據(jù)，涵蓋傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫、分布式a)ODS：保存最原始數(shù)據(jù)，按業(yè)務(wù)概念組織細節(jié)數(shù)據(jù)，并進行名稱、代碼等標準b)DWS：存儲整合后的明細數(shù)據(jù)，在本層應(yīng)進行指標與維度的標準化，包括數(shù)據(jù)清洗、脫敏c)DIM：公共維度表，用于建立一致性維度數(shù)據(jù)，規(guī)范化維度屬性，降低e)ADS：面向業(yè)務(wù)定制的應(yīng)用數(shù)據(jù)，根據(jù)不同的業(yè)務(wù)需求采用星型或雪本層實現(xiàn)對數(shù)據(jù)的深加工，宜建立滿足需求的數(shù)據(jù)統(tǒng)計分析模型，建立大數(shù)據(jù)運行處理應(yīng)進行數(shù)據(jù)資源分類，將數(shù)據(jù)進行主題域劃分、歸類和a)應(yīng)能夠識別數(shù)據(jù)值域，包括參考數(shù)影響數(shù)據(jù)質(zhì)量的問題主要包括技術(shù)、業(yè)務(wù)、管理三g)運維要求：更新元數(shù)據(jù)的處理過程和規(guī)c)管理類元模型：包括系統(tǒng)資源、人員規(guī)范包括但不限于元數(shù)據(jù)標準、處理過程文檔、數(shù)據(jù)交換格式及應(yīng)用程序接d)數(shù)據(jù)加工：在入庫前對數(shù)據(jù)進行清洗、轉(zhuǎn)換、集成等加工處理，e)數(shù)據(jù)可追溯：記錄數(shù)據(jù)來源和處理過程，保留原始數(shù)據(jù)和處理b)規(guī)定數(shù)據(jù)格式的具體規(guī)范，例如字段名稱、字段類型、字應(yīng)規(guī)定數(shù)據(jù)接口的要求，例如接口名稱、參數(shù)、返數(shù)據(jù)探查應(yīng)包括單表數(shù)據(jù)內(nèi)容分析、多表間數(shù)據(jù)關(guān)系分析的指標定義和準入a)非空檢核：若字段應(yīng)為非空時，對字段e)修改文檔應(yīng)包括版本號、修改原因描述、修改過b)維護人員被告知錯誤后，應(yīng)快速分析定位問題類d)開發(fā)不規(guī)范導(dǎo)致的維護問題，應(yīng)定期進行開發(fā)規(guī)b)對于缺失的內(nèi)容，應(yīng)按規(guī)則進行填充，c)對于內(nèi)容與該字段應(yīng)有內(nèi)容不符時，詳細識別問題模型設(shè)計要求應(yīng)包括邏輯模型與物理模型規(guī)范，具體內(nèi)容b)表命名要求，宜使用單數(shù)名詞、復(fù)數(shù)名b)應(yīng)充分識別影響范圍，通知受影響內(nèi)容的負責人并由負責應(yīng)構(gòu)建數(shù)據(jù)變更的監(jiān)控、變更通知能力，完成上下游變b)傳輸?shù)臄?shù)據(jù)應(yīng)采用加密和防篡改技術(shù)保證數(shù)據(jù)的d)宜采用HTTP/HTTPS作為傳輸協(xié)議；a)數(shù)據(jù)資源提供方應(yīng)在數(shù)據(jù)共享交換平臺對數(shù)據(jù)資源進行注冊和發(fā)布，內(nèi)b)數(shù)據(jù)需求方在數(shù)據(jù)共享交換平臺進行數(shù)據(jù)資源的申請和訂閱訪問，內(nèi)容應(yīng)包括但a)數(shù)據(jù)文件是接口單元的實例，每個數(shù)據(jù)文件應(yīng)且質(zhì)量子元素質(zhì)量子元根據(jù)實際循的標準，包括國際標準、國家標在一個完整地數(shù)據(jù)規(guī)劃中舊數(shù)據(jù)的銷毀一般也有一個比較詳細且具有根據(jù)實際數(shù)據(jù)結(jié)構(gòu)的手段，是數(shù)據(jù)表達的規(guī)在清晰可理解的數(shù)據(jù)模型定義以及滿足數(shù)據(jù)模型要求的數(shù)據(jù)集中元素的被檢核的數(shù)據(jù)集中根據(jù)實際檢核數(shù)據(jù)質(zhì)量時應(yīng)檢查是否提供可值域等內(nèi)容的數(shù)據(jù)字典為一種元數(shù)滿足元數(shù)據(jù)定義數(shù)根據(jù)實際立行動和數(shù)據(jù)行為結(jié)果及完整性的滿足業(yè)務(wù)規(guī)則的數(shù)被檢核的數(shù)據(jù)集中權(quán)威參考根據(jù)實際參考數(shù)據(jù)是系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)注：檢核數(shù)據(jù)質(zhì)量時應(yīng)收集參考數(shù)示例：一張用于一個特定字段的有滿足參考數(shù)據(jù)規(guī)則的數(shù)據(jù)集中元素的被檢核的數(shù)據(jù)集中根據(jù)實際安全規(guī)范是安全和隱私方面的規(guī)數(shù)據(jù)元素完整性根據(jù)實際需集中應(yīng)被賦值的數(shù)據(jù)元被賦值的數(shù)據(jù)集中元素的個預(yù)期被賦值的數(shù)據(jù)集中元素數(shù)據(jù)記錄完整性根據(jù)實際需集中應(yīng)被賦值的數(shù)據(jù)記被賦值的數(shù)據(jù)集中元素的個預(yù)期被賦值的數(shù)據(jù)集中元素數(shù)據(jù)內(nèi)容正滿足數(shù)據(jù)正確性要求的數(shù)據(jù)集中元素的個被檢核的數(shù)據(jù)集中元數(shù)據(jù)格式合數(shù)據(jù)格式（包括數(shù)據(jù)類型、數(shù)值范的內(nèi)容；身份證號不能出現(xiàn)標點符滿足格式要求的數(shù)據(jù)被檢核的數(shù)據(jù)集中元重復(fù)的數(shù)據(jù)集中元素被檢核的數(shù)據(jù)集中元滿足唯一性要求的數(shù)被檢核的數(shù)據(jù)集中元臟數(shù)據(jù)出現(xiàn)率示例：事務(wù)發(fā)生回滾時由于回滾機制不健全或不完善導(dǎo)致可能出現(xiàn)臟有臟數(shù)據(jù)出現(xiàn)的數(shù)據(jù)被檢核的數(shù)據(jù)集中元根據(jù)實際需求定義同一數(shù)據(jù)在不同位置存儲或被不同應(yīng)用或用戶使置的統(tǒng)一數(shù)據(jù)被滿足相同數(shù)據(jù)一致性要求的數(shù)據(jù)集中元素被檢核的數(shù)據(jù)集中元根據(jù)實際需求定義根據(jù)一致性約束規(guī)則檢查關(guān)聯(lián)數(shù)滿足關(guān)聯(lián)數(shù)據(jù)一致性要求的數(shù)據(jù)集中元素被檢核的數(shù)據(jù)集中元基于時間段的正根據(jù)實際需求定義基于日期范圍的記錄數(shù)或頻率分布符合業(yè)務(wù)應(yīng)求滿有效性要求的數(shù)據(jù)被檢核的數(shù)據(jù)集中元基于時間點及時性根據(jù)實際需求定義基于時間戳的記延遲時間符合業(yè)滿足及時性要求的數(shù)被檢核的數(shù)據(jù)集中元根據(jù)實際需求定義數(shù)據(jù)集中同一對象的數(shù)據(jù)元素之間的相對時序關(guān)滿足時序性要求的數(shù)被檢核的數(shù)據(jù)集中元根據(jù)實際需求定義數(shù)據(jù)在應(yīng)時的可根據(jù)實際需求定義數(shù)據(jù)在設(shè)定有效生存周期內(nèi)的可滿足可用性要求的數(shù)據(jù)被檢核的數(shù)據(jù)集中元素造成數(shù)據(jù)錄入無法校驗或校驗不當，引起數(shù)據(jù)重復(fù)等采集參數(shù)