大數(shù)據(jù)治理體系

數(shù)據(jù)治理體系目錄范圍1標(biāo)準(zhǔn)性引用文件1術(shù)語、定義和縮略語5總體說明8概述8目標(biāo)8原如此9數(shù)據(jù)治理體系9總體框架10組織架構(gòu)10組織構(gòu)成10角色職責(zé)11系統(tǒng)架構(gòu)11系統(tǒng)功能框架11.系統(tǒng)模塊流程12系統(tǒng)邊界13與企業(yè)級省大數(shù)據(jù)平臺關(guān)系14與對外能力開放平臺關(guān)系14與平臺運維系統(tǒng)關(guān)系14數(shù)據(jù)治理核心模塊146.1.數(shù)據(jù)標(biāo)準(zhǔn)管理14背景15.錯誤!未定義書簽。目標(biāo)及原如此15業(yè)務(wù)分類和定義166.1.5.技術(shù)功能要求19本期建設(shè)范圍及內(nèi)容21實施要求錯誤!未定義書簽。元數(shù)據(jù)管理22背景和定義22元數(shù)據(jù)運營模式23元模型標(biāo)準(zhǔn)23元數(shù)據(jù)運維276.2.5.本期重點建設(shè)內(nèi)容27數(shù)據(jù)質(zhì)量管理28與傳統(tǒng)經(jīng)營分析系統(tǒng)的區(qū)別28范圍和原如此29與其它功能模塊的關(guān)系29本期數(shù)據(jù)質(zhì)量功能需求30本期數(shù)據(jù)質(zhì)量運維要求31數(shù)據(jù)資產(chǎn)管理32數(shù)據(jù)資產(chǎn)概述32數(shù)據(jù)資產(chǎn)范圍33與其它功能模塊的關(guān)系33本期數(shù)據(jù)資產(chǎn)功能需求34本期建設(shè)內(nèi)容36數(shù)據(jù)平安管理36數(shù)據(jù)平安概述36建設(shè)原如此36建設(shè)內(nèi)容37邊界關(guān)系37技術(shù)功能38管理要求387.數(shù)據(jù)治理場景41背景描述41場景一：銀行偽卡交易判別42背景介紹42場景描述427.3.場景二：銀彳亍貸業(yè)務(wù)43背景介紹43場景描述448.附錄44附錄一：數(shù)據(jù)標(biāo)準(zhǔn)框架44附錄二：數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例為45刖言本標(biāo)準(zhǔn)的制訂是為了更好地實現(xiàn)中國移動企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理子系統(tǒng)的建設(shè)和管理，為省大數(shù)據(jù)平臺上的各類根底技術(shù)和應(yīng)用提供支撐，加強省大數(shù)據(jù)平臺上數(shù)據(jù)的管控力度，增強數(shù)據(jù)治理子系統(tǒng)自身管理能力。本標(biāo)準(zhǔn)主要包括以下幾方面的內(nèi)容：總體說明、數(shù)據(jù)治理體系、數(shù)據(jù)治理核心模塊、數(shù)據(jù)治理場景等。本標(biāo)準(zhǔn)是中國移動企業(yè)級大數(shù)據(jù)平臺系列標(biāo)準(zhǔn)之一。該系列標(biāo)準(zhǔn)的結(jié)構(gòu)、名稱或預(yù)計的名稱如下：序號標(biāo)準(zhǔn)編號標(biāo)準(zhǔn)名稱[1]QB-Y-***-2021中國移動企業(yè)級大數(shù)據(jù)平臺目標(biāo)架構(gòu)[2]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)總冊[3]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)分冊[4]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)技術(shù)[5]QB-Y-***-2021方案分冊中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)[6]QB-Y-***-2021模型分冊中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)外部[7]QB-Y-***-2021接口分冊中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)效勞開放分冊

[8]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)效勞[9]QB-Y-***-2021開放技術(shù)方案分冊中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)[10]QB-Y-***-2021治理分冊中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)[11]QB-Y-***-2021治理技術(shù)方案分冊中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)運營[12]QB-Y-***-2021維護分冊中國移動企業(yè)級省大數(shù)據(jù)平臺技術(shù)標(biāo)準(zhǔn)平安管理技術(shù)方案本標(biāo)準(zhǔn)由中移技(XX)XX印發(fā)。本標(biāo)準(zhǔn)由中國移動通信集團公司業(yè)務(wù)支撐系統(tǒng)部提出，集團公司技術(shù)部歸口。本標(biāo)準(zhǔn)起草單位：中國移動通信集團公司業(yè)務(wù)支撐系統(tǒng)部。本標(biāo)準(zhǔn)主要起草人：段云峰、汪新勇、趙靜、周立、、任怡健、王保強、潘剛、劉童桐、王金金、陶濤、劉虹、張紅星、魏春輝。1.范圍本標(biāo)準(zhǔn)規(guī)定了中國移動企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理子系統(tǒng)的建設(shè)內(nèi)容，適用于中國移動各省〔直轄市、自治區(qū)〕公司企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理子系統(tǒng)的建設(shè)。標(biāo)準(zhǔn)性引用文件如下文件中的條款通過本標(biāo)準(zhǔn)的引用而成為本標(biāo)準(zhǔn)的條款。但凡標(biāo)注日期的引用文件，其隨后所有的修改單〔不包括勘誤的內(nèi)容〕或修訂版均不適用于本標(biāo)準(zhǔn)。然而，鼓勵根據(jù)本標(biāo)準(zhǔn)達成協(xié)議的各方對是否使用這些文件的最新版本進展研究。但凡不標(biāo)注日期的引用文件，其最新版本適用于本標(biāo)準(zhǔn)。[1]中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)(v1.0)?中國移動通信[2]中國移動省級經(jīng)營分析系統(tǒng)技術(shù)標(biāo)準(zhǔn)(v1.0)?中國移動通信[3]QB-J-010-2006中國移動省級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)方案〔v1.5〕?中國移動通信[4]QB-J-006-2006中國移動省級經(jīng)營分析系統(tǒng)數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型說明(v1.5)?中國移動通信[5]QB-J-007-2006中國移動省級經(jīng)營分析系統(tǒng)數(shù)據(jù)集市業(yè)務(wù)技術(shù)標(biāo)準(zhǔn)(v1.5)?中國移動通信[6]QB-J-008-2006中國移動省級經(jīng)營分析系統(tǒng)與源系統(tǒng)接口標(biāo)準(zhǔn)(v1.5)?中國移動通信[7]QB-J-009-2006中國移動省級經(jīng)營分析系統(tǒng)與BOSS系統(tǒng)互動技術(shù)標(biāo)準(zhǔn)(v1.5)?中國移動通信[8]QB-J-003-2006中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)〔v1.5〕一根底業(yè)務(wù)分冊？中國移動通信[9]QB-J-004-2006中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)〔v1.5〕一數(shù)據(jù)業(yè)務(wù)分冊？中國移動通信[10]QB-J-005-2006中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)〔v1.5〕一集團客戶分冊？中國移動業(yè)務(wù)運營支撐系統(tǒng)中國移動通信[11]QB-J-001-2006〔BOSS〕業(yè)務(wù)技術(shù)標(biāo)準(zhǔn)營銷資源管理分冊〔2.0版〕？中國移動通信中國移動業(yè)務(wù)運營支撐系統(tǒng)[12]QB-J-001-2006〔BOSS〕業(yè)務(wù)技術(shù)標(biāo)準(zhǔn)客服信息分中國移動通信冊〔2.0版〕?

[13]QB-J-001-2006中國移動業(yè)務(wù)運營支撐系統(tǒng)〔BOSS〕業(yè)務(wù)技術(shù)標(biāo)準(zhǔn)〔2.0版〕？中國移動通信[14]QB-J-021-2007中國移動省級經(jīng)營分析系統(tǒng)數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型標(biāo)準(zhǔn)〔v2.0〕?中國移動通信[15]QB-J-020-2007中國移動省級經(jīng)營分析系統(tǒng)與源數(shù)據(jù)接口標(biāo)準(zhǔn)〔v2.0〕?中國移動通信[16]QB-J-022-2007中國移動省級經(jīng)營分析系統(tǒng)數(shù)據(jù)集市業(yè)務(wù)技術(shù)標(biāo)準(zhǔn)〔v2.0〕?中國移動通信[17]QB-J-019-2007中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)渠道運營管理分析監(jiān)控分冊〔v1.0〕？中國移動通信[18]QB-J-018-2007中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)客戶效勞分冊〔v2.0〕?中國移動通信[19]QB-J-017-2007中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)集團客戶分冊〔v2.0?中國移動通信[20]QB-J-016-2007中國移動省級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)業(yè)務(wù)技術(shù)標(biāo)準(zhǔn)〔V2.0)?中國移動通信[21]中國移動業(yè)務(wù)支撐網(wǎng)4A平安技術(shù)標(biāo)準(zhǔn)?中國移動通信[22]中國移動省級經(jīng)營分析系統(tǒng)技術(shù)標(biāo)準(zhǔn)總冊〔v2.0全量版〕？中國移動通信[23]中國移動省級經(jīng)營分析系統(tǒng)技術(shù)標(biāo)準(zhǔn)邏輯模型分冊〔v2.0全量版〕？中國移動通信[24]中國移動省級經(jīng)營分析系統(tǒng)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)集市分冊〔v2.0全量版〕？中國移動通信中國移動省級經(jīng)營分析系統(tǒng)技術(shù)標(biāo)準(zhǔn)[25]數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊〔v2.0全量版〕？中國移動通信[26]中國移動省級經(jīng)營分析系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)〔v2.0全量版〕？中國移動通信[27]中國移動省級經(jīng)營分析系統(tǒng)技術(shù)標(biāo)準(zhǔn)源系統(tǒng)接口分冊〔v2.0全量版〕？中國移動通信[28]QB-J-002-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)總冊(v1.0)?中國移動通信集團公司[29]QB-J-003-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)集市分冊(v1.0)?中國移動通信集團公司[30]QB-J-004-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)邏輯模型分冊(v1.0)?中國移動通信集團公司[31]QB-J-005-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)源系統(tǒng)接口分冊(v1.0)?中國移動通信集團公司

[32]QB-J-006-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)元數(shù)據(jù)管理分冊(v1.0)?中國移動通信集團公司[33]QB-J-007-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)中國移動通信集團數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊(v1.0)?公司[34]QB-J-008-2021中國移動省級NG1-BASS業(yè)務(wù)技術(shù)中國移動通信集團標(biāo)準(zhǔn)客戶分析及運營分冊(v1.0)?公司[35]QB-J-001-2021中國移動省級NG1-BASS業(yè)務(wù)標(biāo)準(zhǔn)(v1.0)?中國移動通信集團公司[36]QB-Y-003-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)總冊(v2.0)?中國移動通信集團公司[37]QB-Y-004-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)集市分冊(v2.0)?中國移動通信集團公司[38]QB-Y-005-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)邏輯模型分冊(v2.0)?中國移動通信集團公司[39]QB-Y-006-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)外部接口分冊(v2.0)?中國移動通信集團公司[40]QB-Y-007-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)元數(shù)據(jù)管理分冊(v2.0)?中國移動通信集團公司[41]QB-Y-008-2021中國移動省級NG1-BASS技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊(v2.0)?中國移動通信集團公司[42]QB-Y-002-2021中國移動省級NG1-BASS業(yè)務(wù)標(biāo)準(zhǔn)(v2.0)?中國移動通信集團公司[43]QB-Y-052-2021中國移動省級NG2-BASS(v3.0)業(yè)務(wù)標(biāo)準(zhǔn)?中國移動通信集團公司[44]QB-Y-053-2021中國移動省級NG2-BASS(v3.0)技術(shù)標(biāo)準(zhǔn)總冊?中國移動通信集團公司[45]QB-Y-054-2021中國移動省級NG2-BASS(v3.0)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)集市分冊？中國移動通信集團公司[46]QB-Y-055-2021中國移動省級NG2-BASS(v3.0)技術(shù)標(biāo)準(zhǔn)邏輯模型分冊?中國移動通信集團公司[47]QB-Y-056-2021中國移動省級NG2-BASS(v3.0)技術(shù)標(biāo)準(zhǔn)外部接口分冊?中國移動通信集團公司[48]QB-Y-057-2021中國移動省級NG2-BASS(v3.0)技術(shù)標(biāo)準(zhǔn)元數(shù)據(jù)管理分冊?中國移動通信集團公司[49]QB-Y-058-2021中國移動省級NG2-BASS(v3.0)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊?中國移動通信集團公司[50]QB-Y-059-2021中國移動省級NG2-BASS(v3.0)技術(shù)標(biāo)準(zhǔn)多OP能力交互分冊？中國移動通信集團公司

[51]QB-Y-060-2021中國移動省級增值業(yè)務(wù)綜合運營平臺業(yè)務(wù)標(biāo)準(zhǔn)(v1.0)?中國移動通信集團公司[52]QB-Y-061-2021中國移動省級增值業(yè)務(wù)綜合運營平臺技術(shù)標(biāo)準(zhǔn)(v1.0)?中國移動通信集團公司[53]QB-Y-062-2021中國移動省級增值業(yè)務(wù)綜合運營平臺技術(shù)標(biāo)準(zhǔn)-數(shù)據(jù)管理分冊(v1.0)?中國移動通信集團公司[54]QB-Y-063-2021中國移動省級增值業(yè)務(wù)綜合運營平臺接口標(biāo)準(zhǔn)？中國移動通信集團公司[55]QB-Y-039-2021中國移動省級NG2-BASS(v3.5)業(yè)務(wù)標(biāo)準(zhǔn)?中國移動通信集團公司[56]QB-Y-038-2021中國移動省級NG2-BASS(v3.5)技術(shù)標(biāo)準(zhǔn)總冊？中國移動通信集團公司[57]QB-Y-040-2021中國移動省級NG2-BASS(v3.5)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)集市分冊？中國移動通信集團公司[58]QB-Y-041-2021中國移動省級NG2-BASS(v3.5)技術(shù)標(biāo)準(zhǔn)邏輯模型分冊？中國移動通信集團公司[59]QB-Y-042-2021中國移動省級NG2-BASS(v3.5)技術(shù)標(biāo)準(zhǔn)外部接口分冊？中國移動通信集團公司[60]QB-Y-043-2021中國移動省級NG2-BASS(v3.5)技術(shù)標(biāo)準(zhǔn)元數(shù)據(jù)管理分冊？中國移動通信集團公司[61]QB-Y-044-2021中國移動省級NG2-BASS(v3.5)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊？中國移動通信集團公司[62]QB-Y-045-2021中國移動省級NG2-BASS(v3.5)技術(shù)標(biāo)準(zhǔn)OP能力交互分冊？中國移動通信集團公司[63]QB-Y-046-2021中國移動省級增值業(yè)務(wù)綜合運營平臺業(yè)務(wù)標(biāo)準(zhǔn)(v1.5)?中國移動通信集團公司[64]QB-Y-047-2021中國移動省級增值業(yè)務(wù)綜合運營平臺技術(shù)標(biāo)準(zhǔn)(v1.5)?中國移動通信集團公司[65]QB-Y-048-2021中國移動省級NG2-BASS技術(shù)標(biāo)準(zhǔn)系統(tǒng)平安管理分冊(v1.5)?中國移動通信集團公司[66]QB-Y-044-2021中國移動省級NG2-BASS(v4.0)業(yè)務(wù)標(biāo)準(zhǔn)？中國移動通信集團公司[67]QB-Y-045-2021中國移動省級NG2-BASS(v4.0)技術(shù)標(biāo)準(zhǔn)總冊？中國移動通信集團公司[68]QB-Y-045.1-2021中國移動省級NG2-BASS(v4.0)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)集市分冊？中國移動通信集團公司[69]QB-Y-045.2-2021中國移動省級NG2-BASS(v4.0)技術(shù)標(biāo)準(zhǔn)邏輯模型分冊？中國移動通信集團公司

[70]QB-Y-045.3-2021中國移動省級NG2-BASS(v4.0)技術(shù)標(biāo)準(zhǔn)外部接口分冊？中國移動通信集團公司[72]QB-Y-045.4-2021中國移動省級NG2-BASS(v4.0)技術(shù)標(biāo)準(zhǔn)元數(shù)據(jù)管理分冊？中國移動通信集團公司[73]QB-Y-045.5-2021中國移動省級NG2-BASS(v4.0)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊？中國移動通信集團公司[74]QB-Y-046-2021中國移動省級增值業(yè)務(wù)綜合運營平臺業(yè)務(wù)標(biāo)準(zhǔn)？中國移動通信集團公司[75]QB-Y-047-2021中國移動省級增值業(yè)務(wù)綜合運營平臺技術(shù)標(biāo)準(zhǔn)？中國移動通信集團公司[76]QB-Y-047.1-2021中國移動省級增值業(yè)務(wù)綜合運營平臺技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)管理分冊？中國移動通信集團公司[77]QB-Y-044-2021中國移動省級NG2-BASS(v4.5)業(yè)務(wù)標(biāo)準(zhǔn)？中國移動通信集團公司[78]QB-Y-045-2021中國移動省級NG2-BASS(v4.5)技術(shù)標(biāo)準(zhǔn)總冊？中國移動通信集團公司[79]QB-Y-045.1-2021中國移動省級NG2-BASS(v4.5)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)集市分冊？中國移動通信集團公司[80]QB-Y-045.2-2021中國移動省級NG2-BASS(v4.5)技術(shù)標(biāo)準(zhǔn)邏輯模型分冊？中國移動通信集團公司[81]QB-Y-045.3-2021中國移動省級NG2-BASS(v4.5)技術(shù)標(biāo)準(zhǔn)外部接口分冊？中國移動通信集團公司[82]QB-Y-045.4-2021中國移動省級NG2-BASS(v4.5)技術(shù)標(biāo)準(zhǔn)元數(shù)據(jù)管理分冊？中國移動通信集團公司[83]QB-Y-045.5-2021中國移動省級NG2-BASS(v4.5)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊？中國移動通信集團公司[84]QB-Y-045.6-2021中國移動省級NG2-BASS(v4.5)技術(shù)中國移動通信集團公司標(biāo)準(zhǔn)平安管理技術(shù)方案？[85]QB-Y-046-2021中國移動省級增值業(yè)務(wù)綜合運營平臺業(yè)務(wù)標(biāo)準(zhǔn)V2.5.0?中國移動通信集團公司[86]QB-Y-047-2021中國移動省級增值業(yè)務(wù)綜合運營平臺技術(shù)標(biāo)準(zhǔn)V2.5.0?中國移動通信集團公司[87]QB-Y-047.1-2021中國移動省級增值業(yè)務(wù)綜合運營平臺技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)管理分冊V2.5.0?中國移動通信集團公司術(shù)語、定義和縮略語如下術(shù)語、定義適用于本標(biāo)準(zhǔn):

字母名詞解釋CCWMCWM標(biāo)準(zhǔn)是OMG組織定義的數(shù)據(jù)倉庫和相關(guān)系統(tǒng)的國際元數(shù)據(jù)標(biāo)準(zhǔn)，給出了各種元數(shù)據(jù)結(jié)構(gòu)的標(biāo)準(zhǔn)定義。CWM標(biāo)準(zhǔn)的目的在于：使數(shù)據(jù)倉庫和商業(yè)智能軟件的元數(shù)據(jù)在異構(gòu)的數(shù)據(jù)分析工具、數(shù)據(jù)倉庫平臺、元數(shù)據(jù)存儲庫等系統(tǒng)之間進展交互。EETL特指從數(shù)據(jù)源系統(tǒng)到大數(shù)據(jù)平臺的數(shù)據(jù)抽取、轉(zhuǎn)換和加載。G管理元數(shù)據(jù)描述大數(shù)據(jù)平臺中管理領(lǐng)域相關(guān)概念、關(guān)系、規(guī)如此的數(shù)據(jù)，主要包括人員角色、崗位職責(zé)、管理流程等信息。H核心元模型大數(shù)據(jù)平臺核心元模型是以CWM為根底擴展形成的，針對大數(shù)據(jù)平臺的物理模型、邏輯模型、數(shù)據(jù)處理過程、接口單元、指標(biāo)和維度編碼等主要實體進展準(zhǔn)確定義，并要求各省大數(shù)據(jù)平臺統(tǒng)一遵循的元模型。定義核心元模型的目的是建立大數(shù)據(jù)平臺的統(tǒng)一元數(shù)據(jù)管理標(biāo)準(zhǔn)，為元數(shù)據(jù)管理的功能層與應(yīng)用層解耦、為企業(yè)級總部大數(shù)據(jù)平臺和企業(yè)級省大數(shù)據(jù)平臺的元數(shù)據(jù)交換和相互理解提供統(tǒng)一的語義根底。H核心元模型參照表核心元模型參照表是對核心元模型中的枚舉類型屬性進展枚舉值定義的編碼表。參照表為枚舉類型屬性的每個枚舉值定義了唯一的編碼，并明確該編碼的語義，是核心元模型標(biāo)準(zhǔn)化定義的重要組成局部。J技術(shù)兀數(shù)據(jù)描述大數(shù)據(jù)平臺中技術(shù)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)如此的數(shù)據(jù)。主要包括對數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述，覆蓋大數(shù)據(jù)平臺數(shù)據(jù)源接口、數(shù)據(jù)倉庫、ETL、OLAP、數(shù)據(jù)挖掘、前端展現(xiàn)等全部數(shù)據(jù)處理環(huán)節(jié)。S數(shù)據(jù)處理過程數(shù)據(jù)從數(shù)據(jù)源系統(tǒng)到大數(shù)據(jù)平臺前端使用的整個處理過程，包含大數(shù)據(jù)平臺數(shù)據(jù)倉庫內(nèi)部的數(shù)據(jù)抽取、轉(zhuǎn)換和加載。S數(shù)據(jù)采集點覆蓋大數(shù)據(jù)平臺數(shù)據(jù)處理環(huán)節(jié)的、獲取每個環(huán)節(jié)運行狀態(tài)的實體。該實體可以是程序?qū)嶓w也可以是任務(wù)實體S數(shù)據(jù)質(zhì)量報告數(shù)據(jù)質(zhì)量報告是對數(shù)據(jù)質(zhì)量日常監(jiān)控以及質(zhì)量評估等過程累積的各種信息進展匯總、梳理、統(tǒng)計和分析，形成的統(tǒng)計報告S數(shù)據(jù)質(zhì)量監(jiān)控通過獲取大數(shù)據(jù)平臺各環(huán)節(jié)的數(shù)據(jù)質(zhì)量監(jiān)控信息，結(jié)合元數(shù)據(jù)庫中的有關(guān)檢查規(guī)如此，對各個環(huán)節(jié)的數(shù)據(jù)質(zhì)量情況進展判斷，并及時向數(shù)據(jù)質(zhì)量監(jiān)控人員報告。

字母名詞解釋S數(shù)據(jù)質(zhì)量規(guī)如此庫數(shù)據(jù)質(zhì)量規(guī)如此庫是對數(shù)據(jù)質(zhì)量管理活動所用到的各種判斷及校驗規(guī)如此進展歸類和存放的存儲結(jié)構(gòu)，存儲的內(nèi)容包括采集規(guī)如此、監(jiān)控規(guī)如此、告警規(guī)如此和審計規(guī)如此等S數(shù)據(jù)質(zhì)量信息庫數(shù)據(jù)質(zhì)量管理子系統(tǒng)存儲層上的存儲結(jié)構(gòu)，用于存儲數(shù)據(jù)質(zhì)量信息采集程序采集的數(shù)據(jù)質(zhì)量信息、質(zhì)量評估信息、問題解決方案和問題處理流程信息等S省公司中國移動通信集團各省〔直轄市、自治區(qū)〕移動通信。SSQL腳本自動解析SQL腳本自動解析指通過對SQL腳本的詞法、語法和語義進展分析，自動生成滿足CWM標(biāo)準(zhǔn)要求的數(shù)據(jù)處理過程的技術(shù)元數(shù)據(jù)的功能。Y業(yè)務(wù)元數(shù)據(jù)描述大數(shù)據(jù)平臺中業(yè)務(wù)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)如此的數(shù)據(jù)。主要包括業(yè)務(wù)術(shù)語、信息分類、指標(biāo)定義〔指標(biāo)口徑〕、業(yè)務(wù)規(guī)如此等信息。Y元模型元模型是描述元數(shù)據(jù)的根底模型結(jié)構(gòu)，用于說明元數(shù)據(jù)對象的各種屬性、結(jié)構(gòu)和關(guān)系。Y元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)間關(guān)系的數(shù)據(jù)。大數(shù)據(jù)平臺中元數(shù)據(jù)泛指描述數(shù)據(jù)概念〔Concepts〕、數(shù)據(jù)間關(guān)系〔Roles〕、數(shù)據(jù)處理規(guī)如此〔Rules〕的數(shù)據(jù)，其中，領(lǐng)域語義〔Semantics〕和知識〔Knowledge〕也屬于兀數(shù)據(jù)的范疇。D數(shù)據(jù)標(biāo)準(zhǔn)指在中國移動臺企業(yè)級省大數(shù)據(jù)平臺下為了使企業(yè)內(nèi)外部使用和交換的數(shù)據(jù)是一致和準(zhǔn)確的，經(jīng)協(xié)商一致制定并由大數(shù)據(jù)治理委員會主管機構(gòu)批準(zhǔn)，具有行業(yè)特點且共同使用和重復(fù)使用的一種標(biāo)準(zhǔn)性約束。D數(shù)據(jù)標(biāo)準(zhǔn)體系指數(shù)據(jù)標(biāo)準(zhǔn)按照中國移動企業(yè)級省大數(shù)據(jù)平臺需求對數(shù)據(jù)進展標(biāo)準(zhǔn)化的劃分歸類。D數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容按照數(shù)據(jù)標(biāo)準(zhǔn)體系劃分的要求分別給出各數(shù)據(jù)標(biāo)準(zhǔn)制定的標(biāo)準(zhǔn)內(nèi)容。D行業(yè)參考模型實體中國移動標(biāo)準(zhǔn)中原定義或新增加的邏輯數(shù)據(jù)模型LDM實體。D公共代碼標(biāo)準(zhǔn)需要引用外部公共標(biāo)準(zhǔn)機構(gòu)的標(biāo)準(zhǔn)。如：世界各國和地區(qū)名稱代碼等。如下略縮語適用于本標(biāo)準(zhǔn):縮寫英文描述中文描述ASTAbstractSyntaxTree抽象語法樹BOSSBusinessOperationSupportSystem業(yè)務(wù)運營支撐系統(tǒng)CWMCommonWarehouseMetamodel公共倉庫元模型ETLExtractionTransformationLoading抽取、轉(zhuǎn)換和加載OLAPOn-lineAnalysisProcess在線分析處理XMIXMLMetadataInterchangeXML元數(shù)據(jù)交換BIBusinessIntelligence商務(wù)智能RESTRepresentationalStateTransfer表述性狀態(tài)轉(zhuǎn)移總體說明概述本標(biāo)準(zhǔn)用于指導(dǎo)企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理子系統(tǒng)建設(shè)，規(guī)定了省大數(shù)據(jù)平臺數(shù)據(jù)治理的范圍和要求，明確了數(shù)據(jù)治理子系統(tǒng)的體系結(jié)構(gòu)，制定了數(shù)據(jù)治理子系統(tǒng)的功能和處理流程。數(shù)據(jù)治理子系統(tǒng)包含數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)平安管理等功能模塊。本方案借鑒資產(chǎn)管理的方法理論來管理數(shù)據(jù)，將數(shù)據(jù)作為一種特殊的資產(chǎn)，對進入平臺的數(shù)據(jù)進展標(biāo)準(zhǔn)化的標(biāo)準(zhǔn)約束，并以元數(shù)據(jù)作為驅(qū)動，連接數(shù)據(jù)的標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)數(shù)據(jù)平安管理的各個階段，形成統(tǒng)一、完善的數(shù)據(jù)治理體系，以解決實際業(yè)務(wù)問題為導(dǎo)向，增強數(shù)據(jù)治理子系統(tǒng)對業(yè)務(wù)開展的支撐能力。目標(biāo)數(shù)據(jù)治理子系統(tǒng)的建設(shè)為數(shù)據(jù)治理工作提供強有力的系統(tǒng)支撐。本期標(biāo)準(zhǔn)建設(shè)目標(biāo)是以元數(shù)據(jù)為驅(qū)動，建立省大數(shù)據(jù)平臺完整的數(shù)據(jù)治理體系。從組織架構(gòu)、系統(tǒng)功能等方面增強數(shù)據(jù)宏觀管控，并實現(xiàn)精細化管理，具體包括：?數(shù)據(jù)治理組織架構(gòu)管理：定義數(shù)據(jù)治理所需人員組織上的崗位和職責(zé)，從管理角度支撐數(shù)據(jù)治理工作的落地和執(zhí)行。?數(shù)據(jù)標(biāo)準(zhǔn)管理：建立企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)體系，并制定數(shù)據(jù)標(biāo)準(zhǔn)運維管控制度和流程。?元數(shù)據(jù)管理：降低元數(shù)據(jù)使用難度、提升用戶體驗，使大數(shù)據(jù)平臺各類用戶均能參與到元數(shù)據(jù)運營維護當(dāng)中。?數(shù)據(jù)質(zhì)量管理：為內(nèi)、外部用戶提供平臺化的數(shù)據(jù)質(zhì)量監(jiān)控；通過擴大和優(yōu)化公共規(guī)如此庫、保證數(shù)據(jù)的完整性、一致性、準(zhǔn)確性、及時性、合法性，提升用戶使用感知；并提供數(shù)據(jù)質(zhì)量應(yīng)用滿足個性化需求。?數(shù)據(jù)資產(chǎn)管理：重點建設(shè)從規(guī)劃、注冊、運維到注銷的全流程管理體系，使數(shù)據(jù)資產(chǎn)管理系統(tǒng)化、可視化。?數(shù)據(jù)平安管理：建立體系化的數(shù)據(jù)平安管控策略，通過用戶平安管理、數(shù)據(jù)平安管理實現(xiàn)全方位數(shù)據(jù)平安管控機制，通過技術(shù)手段與管理措施相結(jié)合的方式落實數(shù)據(jù)平安，做到事前可管、事中可控、事后可查。4.3.原如此企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理子系統(tǒng)建設(shè)應(yīng)遵循以下根本原如此：有效性原如此表現(xiàn)大數(shù)據(jù)平臺數(shù)據(jù)治理過程中數(shù)據(jù)的標(biāo)準(zhǔn)、質(zhì)量、價值、管控的有效性、高效性。價值化原如此表現(xiàn)數(shù)據(jù)治理過程中以數(shù)據(jù)資產(chǎn)為價值核心，最大化大數(shù)據(jù)平臺的數(shù)據(jù)價值。統(tǒng)一性原如此表現(xiàn)大數(shù)據(jù)平臺架構(gòu)統(tǒng)一、標(biāo)準(zhǔn)統(tǒng)一、元數(shù)據(jù)統(tǒng)一、質(zhì)量流程統(tǒng)一、資產(chǎn)價值統(tǒng)一的一體化管控平臺體系。開放性原如此表現(xiàn)平臺化、開放性運維思想，實現(xiàn)人人參與數(shù)據(jù)治理、人人參與數(shù)據(jù)運維。產(chǎn)品化原如此表現(xiàn)大數(shù)據(jù)平臺數(shù)據(jù)治理能力的顯性化，通過產(chǎn)品化互聯(lián)網(wǎng)思維效勞大數(shù)據(jù)平臺數(shù)據(jù)生態(tài)圈用戶。平安性原如此表現(xiàn)平安的重要性、必要性，保障大數(shù)據(jù)平臺數(shù)據(jù)平安和數(shù)據(jù)治理過程中數(shù)據(jù)的平安可控。數(shù)據(jù)治理體系5.1.總體框架數(shù)據(jù)治理總體框架包括組織架構(gòu)、數(shù)據(jù)治理模塊、數(shù)據(jù)運維三局部。通過組織架構(gòu)建立管理方法，制定工作流程，確定角色職責(zé)。數(shù)據(jù)治理模塊主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)平安管理，各模塊協(xié)同運營，確保大數(shù)據(jù)平臺的數(shù)據(jù)一致、平安、有效。數(shù)據(jù)運維貫穿整個數(shù)據(jù)治理體系的流程中，實現(xiàn)平臺化的運維管理思路。數(shù)據(jù)治理總體框架如圖5-1所示：L一 核心領(lǐng)域組織架數(shù)據(jù)治理工具數(shù)據(jù)運.組構(gòu)架數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)管1>TMZ質(zhì)量運. J角色與廣 "■>規(guī)劃和 J數(shù)據(jù)質(zhì)量< J數(shù)據(jù)資產(chǎn)t y「 氣資產(chǎn)運管理方數(shù)據(jù)平安管理管控運圖5-1數(shù)據(jù)治理體系框架5.2.組織架構(gòu)數(shù)據(jù)治理組織的構(gòu)建旨在通過建立數(shù)據(jù)治理組織架構(gòu)明確各級角色和職責(zé)，保障數(shù)據(jù)治理的各項管理方法、工作流程的實施，推送數(shù)據(jù)治理工作的有序開展。5.2.1,組織構(gòu)成數(shù)據(jù)治理組織架構(gòu)主要由數(shù)據(jù)治理委員會、數(shù)據(jù)治理中心和各業(yè)務(wù)部門構(gòu)成。組織架構(gòu)劃分和角色設(shè)定如圖5-2所示：圖5-2數(shù)據(jù)治理組織架構(gòu)圖

5.2.2.角色職責(zé)組織責(zé)任體系是數(shù)據(jù)治理責(zé)任落地的保障，數(shù)據(jù)治理組織架構(gòu)通過明確各角色職責(zé)，實行認責(zé)制度，讓數(shù)據(jù)治理工作更好的融入到數(shù)據(jù)日常使用和相關(guān)的工作中，從而推動數(shù)據(jù)運維自治的實現(xiàn)，如表5-1。表5-1數(shù)據(jù)治理組織架構(gòu)角色職責(zé)定義內(nèi)容組織結(jié)構(gòu)角色角色描述角色主要職責(zé)數(shù)據(jù)治理委員會數(shù)據(jù)管理決策者由公司主管領(lǐng)導(dǎo)和各業(yè)務(wù)部門領(lǐng)導(dǎo)組成負責(zé)牽頭數(shù)據(jù)治理工作；制定數(shù)據(jù)治理的政策、標(biāo)準(zhǔn)、規(guī)如此、流程，協(xié)調(diào)認責(zé)沖突；對數(shù)據(jù)事實治理，保證數(shù)據(jù)的質(zhì)量和隱私；在數(shù)據(jù)出現(xiàn)質(zhì)量問題時負責(zé)仲裁工作。數(shù)據(jù)治理中心數(shù)據(jù)平臺運營者數(shù)據(jù)管理中心機構(gòu)的平臺運營人員負責(zé)提交數(shù)據(jù)標(biāo)準(zhǔn)的要求及數(shù)據(jù)質(zhì)量規(guī)如此和業(yè)務(wù)標(biāo)準(zhǔn)，解釋數(shù)據(jù)的業(yè)務(wù)規(guī)如此和含義；監(jiān)視各項數(shù)據(jù)規(guī)如此和標(biāo)準(zhǔn)的約束的落實情況；負責(zé)數(shù)據(jù)治理平臺中整體數(shù)據(jù)的管控流程制定和平臺功能系統(tǒng)支撐的實施；負責(zé)平臺的整體運營、組織、協(xié)調(diào)。各業(yè)務(wù)部門數(shù)據(jù)提供者相關(guān)數(shù)據(jù)開發(fā)提供人員負責(zé)數(shù)據(jù)及相關(guān)系統(tǒng)的開發(fā)，有責(zé)任執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量內(nèi)容；負責(zé)從技術(shù)角度解決數(shù)據(jù)質(zhì)量問題；作為數(shù)據(jù)出現(xiàn)質(zhì)量問題時的主要責(zé)任者。數(shù)據(jù)維護者數(shù)據(jù)維護人員制定相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)制度和規(guī)如此；遵守和執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)管控相關(guān)的流程，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)要求提供相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)；作為數(shù)據(jù)出現(xiàn)質(zhì)量問題時的次要責(zé)任者。數(shù)據(jù)消費者數(shù)據(jù)使用人員，包含內(nèi)部用戶和外部用戶作為數(shù)據(jù)治理平臺數(shù)據(jù)管控流程的最后參與使用者；是數(shù)據(jù)資產(chǎn)價值的獲益人；作為數(shù)據(jù)治理平臺數(shù)據(jù)閉環(huán)流程的發(fā)起人。5.3.系統(tǒng)架構(gòu)5.3.1.系統(tǒng)功能框架數(shù)據(jù)治理功能框架明確了數(shù)據(jù)治理在企業(yè)級省大數(shù)據(jù)平臺中的定位，并以合理的功能層次劃分指導(dǎo)數(shù)據(jù)治理系統(tǒng)相關(guān)功能建設(shè)。系統(tǒng)功能框架如圖5-3所示。圖5-3數(shù)據(jù)治理功能框架圖企業(yè)級省大數(shù)據(jù)平臺門戶：企業(yè)級省大數(shù)據(jù)平臺統(tǒng)一的訪問接口，供企業(yè)內(nèi)、外部用戶、第三方獨立開發(fā)者訪問及使用數(shù)據(jù)治理相關(guān)產(chǎn)品或功能，并負責(zé)統(tǒng)一訪問認證及日志記錄。?能力開放平臺：企業(yè)級省大數(shù)據(jù)平臺統(tǒng)一的對外效勞層，數(shù)據(jù)治理相關(guān)的產(chǎn)品及應(yīng)用均通過這個層次進展注冊、發(fā)布，并對內(nèi)、外部開放。?數(shù)據(jù)治理系統(tǒng)：數(shù)據(jù)標(biāo)準(zhǔn)：在數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)推動和指導(dǎo)下，遵循協(xié)商一致制定的數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)，借助標(biāo)準(zhǔn)化管控流程得以實施數(shù)據(jù)標(biāo)準(zhǔn)化的整個過程。元數(shù)據(jù)：采用集中式管理模式進展元數(shù)據(jù)管理，全公司元數(shù)據(jù)邏輯集中，即元數(shù)據(jù)管理模塊作為公司元數(shù)據(jù)的統(tǒng)一發(fā)布源，集中管理元數(shù)據(jù)，提供元數(shù)據(jù)集中創(chuàng)立、維護、查詢功能。數(shù)據(jù)質(zhì)量：對數(shù)據(jù)從方案、獲取、存儲、共享、維護、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進展識別、度量、監(jiān)控、預(yù)警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進一步提高。數(shù)據(jù)資產(chǎn)：規(guī)劃、控制、提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務(wù)職能，包括開發(fā)、執(zhí)行和監(jiān)視有關(guān)數(shù)據(jù)的方案、政策、方案、工程、流程、方法和程序，從而控制、保護、提高數(shù)據(jù)資產(chǎn)的價值。數(shù)據(jù)平安：通過方案、制定、執(zhí)行數(shù)據(jù)平安政策和平安策略措施，為企業(yè)級大數(shù)據(jù)平臺的數(shù)據(jù)和信息提供行之有效的認證、授權(quán)、訪問和審計。數(shù)據(jù)運維：包括數(shù)據(jù)資產(chǎn)運維、數(shù)據(jù)質(zhì)量運維，借鑒互聯(lián)網(wǎng)思維，通過產(chǎn)品化運維工具來整體提升企業(yè)級大數(shù)據(jù)平臺數(shù)據(jù)運維效率。?企業(yè)級省大數(shù)據(jù)平臺：大數(shù)據(jù)根底平臺，負責(zé)數(shù)據(jù)的接入、存儲、管理、應(yīng)用及相關(guān)根底功能支撐。5.3.2.系統(tǒng)模塊流程如圖5-4所示，數(shù)據(jù)治理系統(tǒng)各模塊之間，根據(jù)數(shù)據(jù)操作的流程產(chǎn)生相互關(guān)聯(lián)，各模塊業(yè)務(wù)流程關(guān)系說明如下：L1：數(shù)據(jù)標(biāo)準(zhǔn)管理模塊將標(biāo)準(zhǔn)定義映射到元數(shù)據(jù)信息上，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的標(biāo)準(zhǔn)要求落地。L2：元數(shù)據(jù)管理模塊為數(shù)據(jù)資產(chǎn)管理模塊提供存儲模型、屬性信息查詢效勞。L3：元數(shù)據(jù)管理模塊為數(shù)據(jù)質(zhì)量管理模塊提供元數(shù)據(jù)相關(guān)屬性信息。L4：用戶通過元數(shù)據(jù)定義大數(shù)據(jù)平臺的數(shù)據(jù)結(jié)構(gòu)。L5：數(shù)據(jù)質(zhì)量管理模塊根據(jù)采集需求從大數(shù)據(jù)平臺采集數(shù)據(jù)。L6：數(shù)據(jù)質(zhì)量管理模塊將數(shù)據(jù)質(zhì)量問題反應(yīng)給大數(shù)據(jù)平臺。L7：數(shù)據(jù)質(zhì)量管理模塊向資產(chǎn)模塊提交數(shù)據(jù)質(zhì)量評估結(jié)果。L8:元數(shù)據(jù)管理模塊為數(shù)據(jù)平安管理模塊提供隱私級別定義效勞。L9：數(shù)據(jù)資產(chǎn)管理模塊發(fā)起資產(chǎn)訪問申請，由數(shù)據(jù)平安管理模塊控制用戶訪問權(quán)限，控制數(shù)據(jù)資產(chǎn)的增加、刪除、變更操作權(quán)限，對訪問的數(shù)據(jù)內(nèi)容、數(shù)據(jù)屬性等操作進展管控。L10:數(shù)據(jù)平安管理模塊為大數(shù)據(jù)平臺提供數(shù)據(jù)訪問權(quán)限策略。5.4.系統(tǒng)邊界企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理子系統(tǒng)與其它子系統(tǒng)之間存在數(shù)據(jù)交互、功能調(diào)用、流程穿插等關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)與大數(shù)據(jù)平臺系統(tǒng)內(nèi)其它子系統(tǒng)的關(guān)系示意如圖5-5所示：數(shù)據(jù)效勞平臺I t數(shù)據(jù)治理數(shù)據(jù)標(biāo)準(zhǔn)管理 元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)平安管理Jt企業(yè)級省大數(shù)據(jù)平臺圖5-5數(shù)據(jù)治理子系統(tǒng)與各子系統(tǒng)邊界圖與企業(yè)級省大數(shù)據(jù)平臺關(guān)系企業(yè)級省大數(shù)據(jù)平臺上的數(shù)據(jù)資產(chǎn)是數(shù)據(jù)治理的主要對象；數(shù)據(jù)治理為企業(yè)級省大數(shù)據(jù)平臺提供數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)、元數(shù)據(jù)定義、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)平安等方面的全面支撐，使大數(shù)據(jù)平臺上的數(shù)據(jù)資產(chǎn)清晰、有序、平安、可控。與對外能力開放平臺關(guān)系數(shù)據(jù)治理為對外能力開放平臺提供元數(shù)據(jù)查詢、數(shù)據(jù)平安管理支持；對外能力開放平臺為數(shù)據(jù)治理提供統(tǒng)一的數(shù)據(jù)治理產(chǎn)品及功能注冊、發(fā)布、使用效勞。與平臺運維系統(tǒng)關(guān)系數(shù)據(jù)治理子系統(tǒng)支撐大數(shù)據(jù)平臺的數(shù)據(jù)管控流程，并與平臺運維交互協(xié)調(diào)，共同支撐大數(shù)據(jù)平臺整體的平安運維、數(shù)據(jù)運維和管理運維。數(shù)據(jù)治理核心模塊6.1.數(shù)據(jù)標(biāo)準(zhǔn)管理中國移動企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)是在經(jīng)營分析系統(tǒng)數(shù)據(jù)管控要求根底之上，借鑒互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)治理的經(jīng)驗而提出的。數(shù)據(jù)標(biāo)準(zhǔn)是指在中國移動企業(yè)級省大數(shù)據(jù)平臺下，保障企業(yè)內(nèi)外部使用和交換數(shù)據(jù)的一致性和準(zhǔn)確性，具有行業(yè)特點且共同使用的一種標(biāo)準(zhǔn)性約束。數(shù)據(jù)標(biāo)準(zhǔn)是企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理的根底性工作，是數(shù)據(jù)治理建設(shè)中的首要環(huán)節(jié)。首先，數(shù)據(jù)標(biāo)準(zhǔn)為企業(yè)級省大數(shù)據(jù)平臺提供統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)定義和平臺邏輯模型。其次，數(shù)據(jù)標(biāo)準(zhǔn)是企業(yè)級省大數(shù)據(jù)平臺進展數(shù)據(jù)治理的依據(jù)和根本。再次，數(shù)據(jù)標(biāo)準(zhǔn)是衡量企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)運營和管理的評估依據(jù)。最后，中國移動通過數(shù)據(jù)標(biāo)準(zhǔn)管理的實施，實現(xiàn)對企業(yè)級省大數(shù)據(jù)平臺全網(wǎng)數(shù)據(jù)的統(tǒng)一運營管理。企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理體系中數(shù)據(jù)標(biāo)準(zhǔn)管理如圖6-1所示，包括制定數(shù)據(jù)標(biāo)準(zhǔn)的標(biāo)準(zhǔn)性文件、進展數(shù)據(jù)標(biāo)準(zhǔn)化管控及數(shù)據(jù)標(biāo)準(zhǔn)管理組織。圖6-1數(shù)據(jù)標(biāo)準(zhǔn)管理內(nèi)容企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)管理與原經(jīng)營分析系統(tǒng)數(shù)據(jù)管控的區(qū)別如下表6-1所示：表6-1企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)管理與原經(jīng)營分析系統(tǒng)數(shù)據(jù)管控區(qū)別企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)管理原經(jīng)營分析系統(tǒng)數(shù)據(jù)管控數(shù)據(jù)范圍涉及企業(yè)內(nèi)外部數(shù)據(jù)運營相關(guān)的數(shù)據(jù)，包含BOM三域數(shù)據(jù)、外部數(shù)據(jù)。數(shù)據(jù)僅限于市場經(jīng)營活動的B域和局部O,M域數(shù)據(jù)。業(yè)務(wù)應(yīng)用模式以數(shù)據(jù)標(biāo)準(zhǔn)為根底的數(shù)據(jù)治理體系，實現(xiàn)數(shù)據(jù)的資產(chǎn)化，貫穿整個數(shù)據(jù)運營的全流程，形成以中國移動大數(shù)據(jù)平臺為核心的大數(shù)據(jù)生態(tài)圈，效勞于企業(yè)內(nèi)外部客戶。以支撐企業(yè)內(nèi)部經(jīng)營分析為主。效勞對象效勞于整個大數(shù)據(jù)生態(tài)圈。原經(jīng)營分析系統(tǒng)使用人員。6.1.2.目標(biāo)及原如此數(shù)據(jù)標(biāo)準(zhǔn)管理的總體目標(biāo)：通過統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)制定和發(fā)布，結(jié)合制度約束、系統(tǒng)控制等手段，實現(xiàn)中國移動企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)的完整性、有效性、一致性、標(biāo)準(zhǔn)性、開放性和共享性管理，提高企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)治理水平。數(shù)據(jù)標(biāo)準(zhǔn)制定的原如此：?開放性：標(biāo)準(zhǔn)制定人人參與。?共享性：數(shù)據(jù)標(biāo)準(zhǔn)化信息在大數(shù)據(jù)生態(tài)圈共享使用。?完整性：涵蓋客戶、產(chǎn)品、效勞、帳務(wù)、資源、網(wǎng)絡(luò)等全部重要數(shù)據(jù)信息。?有效性：信息準(zhǔn)確度高、理解上不存在歧義。?一致性：做到“五統(tǒng)一〃，定義統(tǒng)一、口徑統(tǒng)一、名稱統(tǒng)一、來源統(tǒng)一、參照統(tǒng)一。?標(biāo)準(zhǔn)性：制度標(biāo)準(zhǔn)、流程控制、系統(tǒng)管理等。6.1.3.業(yè)務(wù)分類和定義數(shù)據(jù)標(biāo)準(zhǔn)體系分類數(shù)據(jù)標(biāo)準(zhǔn)制定如圖6-2所示，包括數(shù)據(jù)標(biāo)準(zhǔn)體系劃分和數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容制定，數(shù)據(jù)標(biāo)準(zhǔn)體系可分為根底類數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)。圖6-2數(shù)據(jù)標(biāo)準(zhǔn)體系劃分數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容制定數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容的制定按照數(shù)據(jù)標(biāo)準(zhǔn)體系分類的要求分別給出數(shù)據(jù)標(biāo)準(zhǔn)制定的標(biāo)準(zhǔn)要求。1、根底類數(shù)據(jù)標(biāo)準(zhǔn)根底類數(shù)據(jù)標(biāo)準(zhǔn)是通過各種業(yè)務(wù)處理產(chǎn)生或各類渠道采集的根底性數(shù)據(jù)，在全國范圍內(nèi)必須是唯一定義的，如“用戶品牌〃、“歸屬地市〃。根底類數(shù)據(jù)標(biāo)準(zhǔn)分為行業(yè)參考模型實體標(biāo)準(zhǔn)和公共代碼標(biāo)準(zhǔn)。行業(yè)參考模型實體標(biāo)準(zhǔn)指按照行業(yè)需求和中國移動省級數(shù)據(jù)邏輯模型實體標(biāo)準(zhǔn)要求，繼承以往數(shù)據(jù)邏輯模型實體標(biāo)準(zhǔn)，將各域的邏輯模型實體定義抽象為模型實體標(biāo)準(zhǔn)要求。行業(yè)參考模型實體數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容如表6-2所示。表6-2行業(yè)參考模型實體數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容行業(yè)參考模型實體標(biāo)準(zhǔn)標(biāo)準(zhǔn)體系屬性說明數(shù)據(jù)標(biāo)準(zhǔn)編碼根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)編碼命名規(guī)如此進展編寫。標(biāo)準(zhǔn)主題數(shù)據(jù)標(biāo)準(zhǔn)歸屬主題標(biāo)準(zhǔn)子類數(shù)據(jù)標(biāo)準(zhǔn)歸屬類型中文名稱數(shù)據(jù)標(biāo)準(zhǔn)中文名稱。英文名稱數(shù)據(jù)標(biāo)準(zhǔn)英文名稱。

實體編號根據(jù)行業(yè)參考模型實體編號命名規(guī)如此進展編與。實體名稱根據(jù)行業(yè)參考模型實體名稱命名規(guī)如此進展編與。數(shù)據(jù)版本該數(shù)據(jù)標(biāo)準(zhǔn)的版本信息。數(shù)據(jù)體系分類根據(jù)數(shù)據(jù)分類規(guī)如此對數(shù)據(jù)進展分類，以保證數(shù)據(jù)體系的易用性，以及符合用戶查找習(xí)慣。重要級別集團標(biāo)準(zhǔn)定義的數(shù)據(jù)為一級，省公司定義的數(shù)據(jù)為二級，其它常用的數(shù)據(jù)為三級。數(shù)據(jù)提供部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)的提供部門。數(shù)據(jù)提供部門負責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)提供負責(zé)人。數(shù)據(jù)維護部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)維護部門。數(shù)據(jù)維護部門負責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)維護負責(zé)人。業(yè)務(wù)主管部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)業(yè)務(wù)主管部門，該部門對數(shù)據(jù)口徑、編碼取值和相關(guān)專業(yè)術(shù)語有決定權(quán)。業(yè)務(wù)主管部門負責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)業(yè)務(wù)負責(zé)人。數(shù)據(jù)來源系統(tǒng)如：BOSS,CRM,ERP等主要依據(jù)關(guān)于指標(biāo)的解釋和描述文件。如集團標(biāo)準(zhǔn)、省公司標(biāo)準(zhǔn)、業(yè)務(wù)部門制定等等。業(yè)務(wù)定義指標(biāo)的業(yè)務(wù)描述口徑，一般由業(yè)務(wù)部門使用業(yè)務(wù)語言制定。具體行業(yè)參考模型實體數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例為參見?附錄二：數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例為?。公共代碼標(biāo)準(zhǔn)，指對于一些共享程度較高、內(nèi)容相比照擬穩(wěn)定的編碼，通?？梢越M織力量一次性地編制出來，其中有一些需要引用外部公共標(biāo)準(zhǔn)機構(gòu)的標(biāo)準(zhǔn)，比方：世界各國和地區(qū)名稱代碼等。公共代碼標(biāo)準(zhǔn)體系定義內(nèi)容如表6-3所示。表6-3公共代碼標(biāo)準(zhǔn)體系定義內(nèi)容公共代碼標(biāo)準(zhǔn)標(biāo)準(zhǔn)體系屬性說明數(shù)據(jù)標(biāo)準(zhǔn)編碼根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)編碼命名規(guī)如此進展編寫。公共標(biāo)準(zhǔn)號引入外部公共標(biāo)準(zhǔn)號中文標(biāo)準(zhǔn)名稱數(shù)據(jù)標(biāo)準(zhǔn)中文名稱英文標(biāo)準(zhǔn)名稱數(shù)據(jù)標(biāo)準(zhǔn)英文名稱。標(biāo)準(zhǔn)狀態(tài)該標(biāo)準(zhǔn)的狀態(tài)，如現(xiàn)行、停止。公共標(biāo)準(zhǔn)機構(gòu)名稱引入該公共標(biāo)準(zhǔn)的機構(gòu)名稱。數(shù)據(jù)標(biāo)準(zhǔn)體系根據(jù)數(shù)據(jù)分類規(guī)如此對數(shù)據(jù)進展分類，以保證數(shù)據(jù)體系的易用性，以及符合用戶查找習(xí)慣。重要級別集團標(biāo)準(zhǔn)定義的數(shù)據(jù)為一級，省公司定義的數(shù)據(jù)為二級，其它常用的數(shù)據(jù)為三級。數(shù)據(jù)標(biāo)準(zhǔn)引入部門該數(shù)據(jù)標(biāo)準(zhǔn)引入和維護部門。數(shù)據(jù)標(biāo)準(zhǔn)引入部門負責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)引入和數(shù)據(jù)維護負責(zé)人。數(shù)據(jù)上報系統(tǒng)最終對數(shù)據(jù)進展計算和發(fā)布的系統(tǒng)，也是各部門唯一獲取指標(biāo)數(shù)據(jù)的來源系統(tǒng)。具體行業(yè)參考模型實體數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例為參見?附錄二：數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例為?。2、指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)

指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)根底上按照一定業(yè)務(wù)規(guī)如此加工匯總的數(shù)據(jù)，如KPI指標(biāo)數(shù)據(jù)。指標(biāo)類數(shù)據(jù)又可分為根底指標(biāo)和計算指標(biāo)。根底指標(biāo)一般不含維度信息，且具有特定業(yè)務(wù)和經(jīng)濟含義。計算指標(biāo)通常由兩個以上根底指標(biāo)計算出。指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容如表6-4所示。表6-4指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容指標(biāo)類標(biāo)準(zhǔn)說明根底屬性數(shù)據(jù)標(biāo)準(zhǔn)編碼根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)編碼命名規(guī)如此進展編寫。中文名稱數(shù)據(jù)標(biāo)準(zhǔn)中文名稱。英文名稱數(shù)據(jù)標(biāo)準(zhǔn)英文名稱。應(yīng)用場景該指標(biāo)適用于什么場景。數(shù)據(jù)版本該數(shù)據(jù)標(biāo)準(zhǔn)的版本信息。數(shù)據(jù)體系分類根據(jù)數(shù)據(jù)分類規(guī)如此對數(shù)據(jù)進展分類，以保證數(shù)據(jù)體系的易用性，以及符合用戶查找習(xí)慣。重要級別集團標(biāo)準(zhǔn)定義的數(shù)據(jù)為一級，省公司定義的數(shù)據(jù)為二級，其它常用的數(shù)據(jù)為三級。管理屬性數(shù)據(jù)提供部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)的提供部門。數(shù)據(jù)提供部門負責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)提供負責(zé)人。數(shù)據(jù)維護部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)維護部門。數(shù)據(jù)維護部門負責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)維護負責(zé)人。業(yè)務(wù)主管部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)業(yè)務(wù)主管部門，該部門對數(shù)據(jù)口徑、編碼取值和相關(guān)專業(yè)術(shù)語有決定權(quán)。業(yè)務(wù)主管部門負責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)業(yè)務(wù)負責(zé)人。數(shù)據(jù)上報系統(tǒng)最終對數(shù)據(jù)進展計算和發(fā)布的系統(tǒng)，也是各部門唯一獲取指標(biāo)數(shù)據(jù)的來源系統(tǒng)。數(shù)據(jù)生成系統(tǒng)生成數(shù)據(jù)所需的數(shù)據(jù)所在的來源系統(tǒng)，如BOSS系統(tǒng)。數(shù)據(jù)上游系統(tǒng)數(shù)據(jù)生成后上報給哪個系統(tǒng)，如ERP系統(tǒng)。業(yè)務(wù)屬性主要依據(jù)關(guān)于指標(biāo)的解釋和描述文件。如集團標(biāo)準(zhǔn)、省公司標(biāo)準(zhǔn)、業(yè)務(wù)部門制定等等。業(yè)務(wù)定義指標(biāo)的業(yè)務(wù)描述口徑，一般由業(yè)務(wù)部門使用業(yè)務(wù)語言制定。計算流程/算法用來描述指標(biāo)詳細的計算過程。指標(biāo)類型根據(jù)管理需要可以將指標(biāo)分為根底指標(biāo)、計算指標(biāo)兩類。計算指標(biāo)公式用于描述相關(guān)指標(biāo)間的平衡關(guān)系，可用于指標(biāo)數(shù)據(jù)審核過程中，能有效地保證指標(biāo)數(shù)據(jù)質(zhì)量。技術(shù)屬性計量單位數(shù)據(jù)使用單位如：“戶〃、“分鐘〃、"MB〃、"元〃、“次〃、“％〃等等。統(tǒng)計精度指標(biāo)統(tǒng)計數(shù)值準(zhǔn)確到小數(shù)還是整數(shù)。數(shù)據(jù)值域數(shù)據(jù)的合理取值范圍。統(tǒng)計周期數(shù)據(jù)統(tǒng)計周期如“日〃、“周〃、“月〃、“季度〃、“半年〃、“年〃等等。統(tǒng)計粒度數(shù)據(jù)統(tǒng)計粒度如：“用戶級〃、“區(qū)縣級〃、“地市級〃等。統(tǒng)計維度數(shù)據(jù)統(tǒng)計維度如：“地域〃、“品牌〃、“在網(wǎng)時長〃、“客戶等級〃等。指標(biāo)出數(shù)表指標(biāo)數(shù)據(jù)來源于哪張物理表。指標(biāo)出數(shù)代碼指標(biāo)數(shù)據(jù)來源于物理表的哪個。具體行業(yè)參考模型實體數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例為參見?附錄二：數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例為?。6.1.4.技術(shù)功能要求數(shù)據(jù)標(biāo)準(zhǔn)制定數(shù)據(jù)標(biāo)準(zhǔn)的制定按照本冊中數(shù)據(jù)標(biāo)準(zhǔn)管理的業(yè)務(wù)分類和定義標(biāo)準(zhǔn)指導(dǎo)要求，基于各企業(yè)級省大數(shù)據(jù)平臺的數(shù)據(jù)管控需求進展數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)的制定。其制定的數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)內(nèi)容在全省進展發(fā)布和告知，要求企業(yè)級省大數(shù)據(jù)平臺系統(tǒng)按照該標(biāo)準(zhǔn)標(biāo)準(zhǔn)進展統(tǒng)一的數(shù)據(jù)管理。數(shù)據(jù)標(biāo)準(zhǔn)制定包括數(shù)據(jù)標(biāo)準(zhǔn)的編制、數(shù)據(jù)標(biāo)準(zhǔn)的審查、數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)布。數(shù)據(jù)標(biāo)準(zhǔn)化管理組織將數(shù)據(jù)標(biāo)準(zhǔn)以正式發(fā)文的方式在全公司范圍內(nèi)進展發(fā)布，并在發(fā)布后將數(shù)據(jù)標(biāo)準(zhǔn)、版本說明保存?zhèn)浒?。最終將發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)更新至數(shù)據(jù)標(biāo)準(zhǔn)管理模塊中，如圖6-3所示。圖6-3數(shù)據(jù)標(biāo)準(zhǔn)管理的編制、審查、發(fā)布流程圖數(shù)據(jù)標(biāo)準(zhǔn)的編制、審查和發(fā)布通過數(shù)據(jù)標(biāo)準(zhǔn)管理模塊開發(fā)實現(xiàn)，其流程如圖6-3示：1、 數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者組織數(shù)據(jù)提供者和執(zhí)行者參與數(shù)據(jù)標(biāo)準(zhǔn)屬性的收集和整理工作，并按照協(xié)商一致的原如此形成數(shù)據(jù)標(biāo)準(zhǔn)初稿。2、 數(shù)據(jù)標(biāo)準(zhǔn)初稿進展屢次的討論和豐富后，形成數(shù)據(jù)標(biāo)準(zhǔn)送審稿提交給數(shù)據(jù)標(biāo)準(zhǔn)管理決策者。3、 經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)管理決策者的討論審核后，由數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者再次進展數(shù)據(jù)標(biāo)準(zhǔn)的修改完善，并完成數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)布。數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行數(shù)省公司和各部門、分公司統(tǒng)一按照所制定的數(shù)據(jù)標(biāo)準(zhǔn)實施數(shù)據(jù)標(biāo)準(zhǔn)管理，數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行流程如圖6-2所示。圖6-2數(shù)據(jù)標(biāo)準(zhǔn)管理的執(zhí)行流程圖數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行的流程步驟如下：1、數(shù)據(jù)標(biāo)準(zhǔn)制定發(fā)布后，將數(shù)據(jù)標(biāo)準(zhǔn)錄入到數(shù)據(jù)標(biāo)準(zhǔn)管理模塊。2、 數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者按照發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)，制定和發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)接口。3、 數(shù)據(jù)標(biāo)準(zhǔn)管理模塊將標(biāo)準(zhǔn)要求提供給數(shù)據(jù)質(zhì)量管理根據(jù)已錄入系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)形成稽查規(guī)如此，對數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者制定和發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)接口中的內(nèi)容進展相關(guān)的標(biāo)準(zhǔn)稽核監(jiān)控。4、 將標(biāo)準(zhǔn)稽核結(jié)果發(fā)送給數(shù)據(jù)標(biāo)準(zhǔn)管理模塊，并反應(yīng)給數(shù)據(jù)標(biāo)準(zhǔn)管理決策者和數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者。數(shù)據(jù)標(biāo)準(zhǔn)維護數(shù)據(jù)標(biāo)準(zhǔn)的維護指數(shù)據(jù)標(biāo)準(zhǔn)建立后，根據(jù)業(yè)務(wù)需求的開展變化或外部數(shù)據(jù)標(biāo)準(zhǔn)要求不一致時，對數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容進展變更和版本管理，如圖6-5所示。圖6-5數(shù)據(jù)標(biāo)準(zhǔn)管理的變更流程圖數(shù)據(jù)標(biāo)準(zhǔn)管理的變更通過數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)開發(fā)實現(xiàn)落地，其流程如圖6-5所示：1、 對執(zhí)行的相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)進展變更請求的申請，組織該數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)執(zhí)行層和各數(shù)據(jù)運維者進展討論和變更需求匯總。2、 由數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)機構(gòu)進展標(biāo)準(zhǔn)變更的審核。3、 討論審議數(shù)據(jù)標(biāo)準(zhǔn)項的變更內(nèi)容，并形成標(biāo)準(zhǔn)變更需求審批表提交給數(shù)據(jù)標(biāo)準(zhǔn)管理決策層進展審批。4、 決策層將審批結(jié)果反應(yīng)給標(biāo)準(zhǔn)管理組織協(xié)調(diào)者，并由其進展數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布及版本維護。數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)控數(shù)據(jù)標(biāo)準(zhǔn)監(jiān)控實現(xiàn)對數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行過程的監(jiān)控，包括對數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行、效果、問題進展監(jiān)控管理，為后期數(shù)據(jù)標(biāo)準(zhǔn)維護管理提供依據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)的監(jiān)控通過數(shù)據(jù)標(biāo)準(zhǔn)管理和元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理協(xié)同實現(xiàn)落地，監(jiān)控流程如圖6-6所示：圖6-6數(shù)據(jù)標(biāo)準(zhǔn)管理監(jiān)控流程圖數(shù)據(jù)標(biāo)準(zhǔn)管理監(jiān)控流程如下：數(shù)據(jù)管理者錄入數(shù)據(jù)標(biāo)準(zhǔn)和元數(shù)據(jù)信息。根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)制定數(shù)據(jù)標(biāo)準(zhǔn)接口。根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)生成的稽核規(guī)如此，進展前向稽核，稽核正常進展下一流程，稽核非正常返回錯誤文件記錄給數(shù)據(jù)管理者做數(shù)據(jù)標(biāo)準(zhǔn)的更新。數(shù)據(jù)提供者將數(shù)據(jù)提交到企業(yè)級大數(shù)據(jù)平臺，并且完成對元數(shù)據(jù)的采集。對數(shù)據(jù)提供者數(shù)據(jù)進展后向稽核，稽核正常如此數(shù)據(jù)可提供數(shù)據(jù)消費者正常使用，稽核非正常返回錯誤信息記錄給數(shù)據(jù)提供者做數(shù)據(jù)修訂。本期建設(shè)范圍及內(nèi)容本期數(shù)據(jù)標(biāo)準(zhǔn)管理建設(shè)范圍要求涉及企業(yè)級省大數(shù)據(jù)平臺中數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容，但不在全集團范圍內(nèi)強制統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)。本期具體建設(shè)內(nèi)容包括：1、 數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)內(nèi)容涵蓋：?行業(yè)參考模型實體標(biāo)準(zhǔn)?指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)?公共代碼標(biāo)準(zhǔn)2、 數(shù)據(jù)標(biāo)準(zhǔn)化管控內(nèi)容涵蓋：?建立數(shù)據(jù)標(biāo)準(zhǔn)化管理組織架構(gòu)。?搭建數(shù)據(jù)標(biāo)準(zhǔn)管理模塊。?實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理流程的功能系統(tǒng)化，并銜接元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)資產(chǎn)管理形成數(shù)據(jù)治理的閉環(huán)運維。?提供具數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品，如數(shù)據(jù)標(biāo)準(zhǔn)查詢APP等。實施要求數(shù)據(jù)標(biāo)準(zhǔn)管理實施要求包括：1、 數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一規(guī)劃。按照企業(yè)級省大數(shù)據(jù)平臺的數(shù)據(jù)治理要求，結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)指導(dǎo)內(nèi)容，構(gòu)建適應(yīng)企業(yè)級省大數(shù)據(jù)平臺的數(shù)據(jù)標(biāo)準(zhǔn)體系，并制定數(shù)據(jù)標(biāo)準(zhǔn)實施方案。2、 建立數(shù)據(jù)標(biāo)準(zhǔn)管理的支撐體系。要求包括數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)管理方法和制度流程，以及數(shù)據(jù)標(biāo)準(zhǔn)管理支撐工具。3、 實現(xiàn)中國移動企業(yè)級省大數(shù)據(jù)平臺中數(shù)據(jù)業(yè)務(wù)口徑和技術(shù)口徑有效協(xié)同統(tǒng)一。4、 支撐中國移動企業(yè)級省大數(shù)據(jù)平臺的平臺化、產(chǎn)品化和數(shù)據(jù)資產(chǎn)運營的需求。5、 支撐新增企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)接口內(nèi)容的標(biāo)準(zhǔn)化定義。6、 滿足原有數(shù)據(jù)可逐步進展數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)的遷移和統(tǒng)一。6.2.元數(shù)據(jù)管理6.2.1.背景元數(shù)據(jù)管理模塊是大數(shù)據(jù)平臺數(shù)據(jù)治理體系的重要組成局部。IT研究與參謀咨詢公司Gartner發(fā)布的?2021年十大戰(zhàn)略性技術(shù)趨勢?中對于企業(yè)戰(zhàn)略性大數(shù)據(jù)的描述如下：將多個系統(tǒng)，包括內(nèi)容管理、數(shù)據(jù)倉庫、數(shù)據(jù)集市和專門的文件系統(tǒng)等與數(shù)據(jù)效勞和元數(shù)據(jù)相互結(jié)合，組合為“邏輯的〃企業(yè)數(shù)據(jù)倉庫。通過對這個“邏輯的數(shù)據(jù)倉庫〃的有效治理，為企業(yè)后續(xù)的數(shù)據(jù)資產(chǎn)運營、增值以及數(shù)據(jù)效勞提供有效支撐。中國移動企業(yè)級省大數(shù)據(jù)平臺是這種邏輯的企業(yè)數(shù)據(jù)倉庫的一個具體落地實現(xiàn)，元數(shù)據(jù)管理的建設(shè)將貫穿大數(shù)據(jù)平臺建設(shè)、使用、運營、維護的全過程，并發(fā)揮以下作用：?提供企業(yè)級數(shù)據(jù)字典，便于內(nèi)外部客戶更好地了解企業(yè)數(shù)據(jù)概況；?提供全局元數(shù)據(jù)查詢檢索，便于用戶快速定位元數(shù)據(jù)；?提供元數(shù)據(jù)詳細描述，使用戶了解數(shù)據(jù)組成、結(jié)構(gòu)及數(shù)據(jù)流向；?提供血緣/影響分析功能，便于用戶進展分析判斷、問題定位；?提供元數(shù)據(jù)接口效勞，便于其它系統(tǒng)或模塊使用元數(shù)據(jù)效勞；?提供元數(shù)據(jù)應(yīng)用，方便終端用戶使用元數(shù)據(jù)；?提供統(tǒng)一的基于元數(shù)據(jù)描述的API管理產(chǎn)品，集中管理平臺開放的內(nèi)外部API。大數(shù)據(jù)平臺的元數(shù)據(jù)管理方面，與傳統(tǒng)經(jīng)分相比，主要有以下不同點：?管理范圍不同：新增集群NameNode節(jié)點的管理元數(shù)據(jù)；新增集群DataNode節(jié)點的業(yè)務(wù)/技術(shù)元數(shù)據(jù)；新增大數(shù)據(jù)平臺內(nèi)部以及其與DW、MPP等跨工具/產(chǎn)品的復(fù)雜數(shù)據(jù)流元數(shù)據(jù)。?管理制度方面：管理流程：新增跨部門、跨系統(tǒng)的多層次交互式的元數(shù)據(jù)注冊、維護、管理、使用流程，同時需要針對不同用戶提供有針對性的元數(shù)據(jù)產(chǎn)品支持。角色權(quán)限：管理上更加細致的分工，不同部門需新增相應(yīng)的元數(shù)據(jù)查詢、管理、維護角色；?工具支撐方面：需支持大數(shù)據(jù)平臺新增元數(shù)據(jù)范圍地獲取、存儲與管理；需支持大數(shù)據(jù)平臺海量元數(shù)據(jù)的獲取、存儲、管理及應(yīng)用；需提供標(biāo)準(zhǔn)化定義，并支持管理集群節(jié)點快速獲取分節(jié)點的運行元數(shù)據(jù)信息；需對大數(shù)據(jù)平臺的文件、語音、圖片等非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)記元數(shù)據(jù)，即大數(shù)據(jù)相關(guān)的詞庫元數(shù)據(jù)進展管理，并提供檢索查詢等應(yīng)用支持；需通過元數(shù)據(jù)對大數(shù)據(jù)平臺的新增數(shù)據(jù)進展敏感定義及標(biāo)記；需為終端用戶提供簡單易用的元數(shù)據(jù)產(chǎn)品，降低使用本錢。元數(shù)據(jù)運營模式本期標(biāo)準(zhǔn)要求，在提升元數(shù)據(jù)用戶使用體驗的同時，著重改善元數(shù)據(jù)管理的運營模式，重點建設(shè)前向的元數(shù)據(jù)管控機制，并逐步探索集中的大數(shù)據(jù)平臺元數(shù)據(jù)管理方式。本期標(biāo)準(zhǔn)中，除元數(shù)據(jù)根底功能外，對元數(shù)據(jù)管理的運行維護提出以下要求：對于集團統(tǒng)一標(biāo)準(zhǔn)標(biāo)準(zhǔn)的元數(shù)據(jù)，嚴(yán)格按照集團提供元數(shù)據(jù)標(biāo)準(zhǔn)落地；對于大數(shù)據(jù)平臺的集群NameNode、文件目錄等局部元數(shù)據(jù)，通過互通機制定期按集團要求格式上報。元模型標(biāo)準(zhǔn)關(guān)于元數(shù)據(jù)標(biāo)準(zhǔn)的元模型局部，將在經(jīng)分標(biāo)準(zhǔn)的核心元模型根底上，根據(jù)大數(shù)據(jù)平臺新增數(shù)據(jù)結(jié)構(gòu)特點進展擴大，以滿足這局部元數(shù)據(jù)獲取、存儲、管理及應(yīng)用要求。主要涉及集群節(jié)點的namenode元數(shù)據(jù)及Hadoop的文件/目錄元數(shù)據(jù)。本期標(biāo)準(zhǔn)需要上報的元數(shù)據(jù)信息，主要涉及集群NameNode元數(shù)據(jù)，包括集群的運行監(jiān)控信息及文件/目錄元數(shù)據(jù)。圖6-7總部集群與省集群節(jié)點的元數(shù)據(jù)上報關(guān)系示意圖6-7為集團總控節(jié)點與省集群節(jié)點的元數(shù)據(jù)上報關(guān)系示意圖。集群節(jié)點定期上報其自身的NameNode階段運行信息及數(shù)據(jù)節(jié)點的數(shù)據(jù)信息，供集團了解省分節(jié)點運行、存儲情況，為后續(xù)的統(tǒng)一管控提供根底支撐。6.2.3.1.集群監(jiān)控類

對于集群NameNode節(jié)點的運行監(jiān)控類元數(shù)據(jù)，屬于ApacheHadoop的私有定義，暫無法使用或在CWM標(biāo)準(zhǔn)根底上擴大。故直接引用ApacheHadoop的相關(guān)定義，并對其進展適當(dāng)標(biāo)準(zhǔn)。本期對NameNode節(jié)點的元數(shù)據(jù)上報信息要求如下:英文名中文名類型備注ConfiguredCapacity配置容量doublePresentCapacity當(dāng)前總?cè)萘縟oubleDFSRemaining剩余容量doubleDFSUsed已用容量doubleDFSUsed%使用率double小數(shù)點后4位Underreplicatedblocks待復(fù)制數(shù)據(jù)塊doubleBlockswithcorruptreplicas中斷復(fù)制數(shù)據(jù)塊doubleMissingblocks喪失數(shù)據(jù)塊doubleDatanodesavailable可用節(jié)點數(shù)doubleDatanodesNonavailable不可用節(jié)點數(shù)double需要上報的作業(yè)監(jiān)控信息如下:英文名E名類型備注Name名稱textDescription描述textLastModified更新時間dateSteps步驟doubleStatus狀態(tài)textOwner擁有人textDatanode節(jié)點需要上報的元數(shù)據(jù)信息如下:英文名E名類型備注Name節(jié)點名稱textHostname主機名textRack所屬機架textDecommissionStatus可用狀態(tài)textConfiguredCapacity配置容量doubleDFSUsed已用容量doubleNonDFSUsed非DFS使用容量doubleDFSRemaining剩余容量doubleDFSUsed%已用容量double小數(shù)點后4位DFSRemaining%使用率double小數(shù)點后4位ConfiguredCacheCapacity配置緩存容量doubleCacheUsed緩存使用量doubleCacheRemaining緩存剩余量doubleCacheUsed%緩存使用率double小數(shù)點后4位CacheRemaining%緩存剩余率double小數(shù)點后4位Lastcontact最近檢查時間date6.2.3.2.數(shù)據(jù)節(jié)點類為支持大數(shù)據(jù)平臺下文件、目錄、Hbase、Hive相關(guān)元數(shù)據(jù)的集中存儲，本期標(biāo)準(zhǔn)將CWM核心元模型的Table、Column、View類進展擴展，同時新增模型包，里邊包含目錄fDirectory〕和文件〔File〕兩個實體及相關(guān)屬性。關(guān)于經(jīng)分系統(tǒng)核心元模型及參考表，元模型標(biāo)準(zhǔn)CWM的相關(guān)定義，請參考?中國移動省級NG2-BASS(v5.0)技術(shù)標(biāo)準(zhǔn)核心元模型標(biāo)準(zhǔn)?中的相關(guān)章節(jié)描述。修訂內(nèi)容如下：1、需要修改的元模型包括：Table類增加以下屬性：location:String說明：存儲大數(shù)據(jù)平臺上該表對應(yīng)的HDFS文件目錄信息。createTime:String說明：該表的創(chuàng)立時間。creator:String說明：該表的創(chuàng)立人。Column類增加以下屬性：partitionColumnId:String說明：Hive表對應(yīng)的分區(qū)字段編號。View類增加以下屬性：createTime:String說明：該視圖的創(chuàng)立時間。>creator:String說明：該視圖的創(chuàng)立人。2、需要增加的元模型包括：ColumnFamily類有如下屬性：name:String說明：Hbase對應(yīng)的列簇名稱。File類有如下屬性：name:String說明：文件名稱。path:String說明：文件路徑信息。compressorType:String說明：壓縮類型。size:String說明：文件大小。type:String說明：文件類型。permission:String說明：權(quán)限。owner:String說明：所有者。group:String說明：所屬用戶組。Directory類有如下屬性：name:String說明：目錄名稱。path:String說明：路徑信息。permission:String說明：權(quán)限。owner:String說明：所有者。group:String說明：所屬用戶組。3、需要增加的元模型關(guān)系包括：添加TableToDirectory關(guān)系；添加ColumnFamilyToDirecitry關(guān)系。元數(shù)據(jù)運維在前期元數(shù)據(jù)運行維護要求的根底上，滿足本期大數(shù)據(jù)平臺的數(shù)據(jù)治理要求，對元數(shù)據(jù)的維護提出以下補充要求：?強化元數(shù)據(jù)管理制度要求，每個元數(shù)據(jù)均需將所屬部門、責(zé)任人信息補充完整；?為加強數(shù)據(jù)平安及隱私保護，每個元數(shù)據(jù)需提供對應(yīng)的數(shù)據(jù)隱私級別信息；?細化元數(shù)據(jù)分類，在前期技術(shù)、業(yè)務(wù)、管理大分類的根底上，增加從系統(tǒng)所屬部門、系統(tǒng)及模塊角度標(biāo)記每個元數(shù)據(jù)；?嚴(yán)控元數(shù)據(jù)版本，對于每次變更需詳細記錄變更原因、時間、人員等關(guān)鍵信息；?細化元數(shù)據(jù)權(quán)限，對于不同的部門、人員、角色，僅授予工作所需的最小權(quán)限，對于權(quán)限變化要嚴(yán)格審批。本期重點建設(shè)內(nèi)容基于大數(shù)據(jù)平臺“邏輯集中、物理分散〃的最終目標(biāo)原如此，元數(shù)據(jù)管理的建設(shè)也將按此目標(biāo)分步實現(xiàn)。在本期標(biāo)準(zhǔn)中，強調(diào)元數(shù)據(jù)的運維管理及產(chǎn)品化支撐，元數(shù)據(jù)產(chǎn)品要簡單易用、用戶體驗不斷提升。主要建設(shè)以下內(nèi)容：1、元數(shù)據(jù)之家產(chǎn)品?；诖髷?shù)據(jù)平臺數(shù)據(jù)治理及改善用戶體驗要求，建設(shè)一個方便內(nèi)外部用戶使用的元數(shù)據(jù)產(chǎn)品。主要包括以下模塊：?集中分類展現(xiàn)；?多樣化檢索；?詳情多樣化展示；?收藏與評價；?統(tǒng)計分析；?知識庫；?權(quán)限審批。2、 元數(shù)據(jù)應(yīng)用產(chǎn)品：?查詢類APP，面向業(yè)務(wù)人員及大數(shù)據(jù)平臺分析人員。3、 輔助開發(fā)產(chǎn)品：?團結(jié)幫API管理產(chǎn)品，對OpenAPI進展元數(shù)據(jù)結(jié)構(gòu)化描述，用于對大數(shù)據(jù)平臺開放API進展注冊、發(fā)布、訂閱及使用管理。6.3.數(shù)據(jù)質(zhì)量管理6.3.1.與傳統(tǒng)經(jīng)營分析系統(tǒng)的區(qū)別數(shù)據(jù)質(zhì)量為數(shù)據(jù)的“適用性〔fitnessforuse〕〃，即數(shù)據(jù)滿足使用需要的適宜程度。數(shù)據(jù)質(zhì)量通過完整性、一致性、準(zhǔn)確性、及時性、合法性等多類維度對數(shù)據(jù)進展度量。在大數(shù)據(jù)平臺上，數(shù)據(jù)質(zhì)量為其提供潔凈、結(jié)構(gòu)清晰的數(shù)據(jù)，是大數(shù)據(jù)平臺開發(fā)數(shù)據(jù)產(chǎn)品、提供數(shù)據(jù)效勞、發(fā)揮大數(shù)據(jù)價值的必要前提，是企業(yè)數(shù)據(jù)資產(chǎn)管理的關(guān)鍵因素。大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量和傳統(tǒng)經(jīng)營分析系統(tǒng)的區(qū)別如表6-5所示。表6-5大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量和傳統(tǒng)經(jīng)營分析系統(tǒng)的區(qū)別大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)的類型可以對非/半結(jié)構(gòu)化數(shù)據(jù)中指定信息項進展監(jiān)控，例如Gn日志中的終端信息等僅監(jiān)控結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)倉庫的類型支持傳統(tǒng)數(shù)據(jù)倉庫、MPP和Hadoop。僅支持傳統(tǒng)數(shù)據(jù)倉庫。使用者數(shù)據(jù)資產(chǎn)的所有者及其授權(quán)用戶、數(shù)據(jù)應(yīng)用開發(fā)者、租戶等將成為大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量管理模塊的主要使用者，負責(zé)監(jiān)控規(guī)如此的設(shè)置和監(jiān)控結(jié)果的處理。經(jīng)分運維人員和數(shù)據(jù)質(zhì)量管理員為主要使用者，負責(zé)將業(yè)務(wù)人員的需求在數(shù)據(jù)質(zhì)量模塊上實現(xiàn)。運維工作運維人員主要負責(zé)保障數(shù)據(jù)質(zhì)量功能模塊的正常運行和規(guī)如此庫的擴大，規(guī)如此配置、執(zhí)行和結(jié)果處理等實際工作由用戶自行負責(zé)。數(shù)據(jù)質(zhì)量運維人員的工作范疇涵蓋數(shù)據(jù)質(zhì)量監(jiān)控的全流程，包括采集、規(guī)如此配置、告警、結(jié)果查看和處理。監(jiān)控模式由事后監(jiān)控向事中、事后監(jiān)控相結(jié)合轉(zhuǎn)化，用戶/應(yīng)用設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控規(guī)如此用戶僅能在結(jié)果出來后才能進展監(jiān)控。后，可以在計算執(zhí)行過程中調(diào)用數(shù)據(jù)質(zhì)量監(jiān)控作業(yè)，無需等待結(jié)果出來后再進展監(jiān)控。質(zhì)量保障數(shù)據(jù)質(zhì)量功能模塊是大數(shù)據(jù)平臺接收源數(shù)據(jù)的屏障，保障所有接收的源數(shù)據(jù)均符合大數(shù)據(jù)平臺的要求；數(shù)據(jù)質(zhì)量還是大數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)評估的重要組成局部，定期運行平臺數(shù)據(jù)資產(chǎn)的相關(guān)質(zhì)量規(guī)如此，為數(shù)據(jù)資產(chǎn)評估提供輸入。未明確規(guī)定數(shù)據(jù)質(zhì)量為其它功能模塊提供效勞。范圍和原如此大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量的管理范疇，涵蓋從源數(shù)據(jù)接入大數(shù)據(jù)平臺到應(yīng)用輸出的全過程。大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量管理的原如此包括：?以用戶需求為中心：數(shù)據(jù)質(zhì)量模塊旨在為大數(shù)據(jù)平臺所有用戶提供效勞，平臺功能的增加和增強始終圍繞著用戶的實際使用需求；界面設(shè)計需要充分考慮不同類型用戶的需求，既要滿足業(yè)務(wù)用戶簡單易懂的需要，也要允許技術(shù)用戶實現(xiàn)個性化的監(jiān)控需求。?全員參與：大數(shù)據(jù)平臺的用戶包括數(shù)據(jù)提供者、數(shù)據(jù)開發(fā)者、數(shù)據(jù)管理者、數(shù)據(jù)消費者，均要參與平臺的數(shù)據(jù)質(zhì)量管理；?過程控制：數(shù)據(jù)質(zhì)量監(jiān)控不僅是在結(jié)果輸出后，還包括對計算過程中質(zhì)量監(jiān)控，一旦發(fā)現(xiàn)問題，可以及時終止進程；?持續(xù)改良：數(shù)據(jù)質(zhì)量的提升是一個持續(xù)的過程，需要定期對發(fā)現(xiàn)的問題進展評估，提出改良意見；也包括數(shù)據(jù)質(zhì)量模塊本身功能的提升和規(guī)如此庫的完善。與其它功能模塊的關(guān)系6.3.3.1.與元數(shù)據(jù)模塊的關(guān)系數(shù)據(jù)質(zhì)量模塊將與元數(shù)據(jù)模塊通過接口互通，根據(jù)需求獲取相關(guān)元數(shù)據(jù)信息。用戶檢索監(jiān)控對象時，可以檢索監(jiān)控對象的名稱、說明或者其它元數(shù)據(jù)的屬性信息，數(shù)據(jù)質(zhì)量模塊通過接口將檢索條件傳輸?shù)皆獢?shù)據(jù)模塊，元數(shù)據(jù)模塊將檢索結(jié)果反應(yīng)給數(shù)據(jù)質(zhì)量模塊，如圖6-8所示。圖6-8數(shù)據(jù)質(zhì)量模塊與元數(shù)據(jù)模塊交互流程用戶對監(jiān)控對象配置監(jiān)控規(guī)如此，數(shù)據(jù)質(zhì)量功能模塊由元數(shù)據(jù)管理模塊自動獲取該監(jiān)控對象的物理地址，按照用戶需求自動生成采集規(guī)如此。用戶如果需要在監(jiān)控對象血統(tǒng)的相關(guān)節(jié)點上配置監(jiān)控規(guī)如此，如此可以跳轉(zhuǎn)到元數(shù)據(jù)平臺上查看監(jiān)控對象的血統(tǒng)圖，找到對應(yīng)節(jié)點的名稱，然后按照監(jiān)控對象的配置方式進展配置。6.3.3.2.與數(shù)據(jù)資產(chǎn)模塊的關(guān)系源數(shù)據(jù)接入大數(shù)據(jù)平臺，需要進展接收稽核，滿足稽核規(guī)如此的源數(shù)據(jù)才能接入大數(shù)據(jù)平臺。源數(shù)據(jù)初次申請進入大數(shù)據(jù)平臺時，即需要配置其稽核規(guī)如此，此后該源數(shù)據(jù)每次提交數(shù)據(jù)到大數(shù)據(jù)平臺，均需要按照設(shè)定的規(guī)如此進展稽核，并將稽核結(jié)果反應(yīng)給數(shù)據(jù)資產(chǎn)模塊，如圖6-9所示。圖6-9數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊交互流程〔資產(chǎn)接收〕數(shù)據(jù)質(zhì)量模塊對大數(shù)據(jù)平臺上所有資產(chǎn)進展定期的監(jiān)控，并將監(jiān)控結(jié)果反應(yīng)給數(shù)據(jù)資產(chǎn)模塊，為數(shù)據(jù)資產(chǎn)評估提供支持，如圖6-10所示。圖6-10數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊交互流程〔資產(chǎn)評估〕6.3.4.本期數(shù)據(jù)質(zhì)量功能需求本期數(shù)據(jù)質(zhì)量模塊的目標(biāo)是為內(nèi)、外部用戶提供平臺化的數(shù)據(jù)質(zhì)量監(jiān)控；通過擴大和優(yōu)化公共規(guī)如此庫、增強后臺對不同類型數(shù)據(jù)倉庫和非結(jié)構(gòu)化數(shù)據(jù)的兼容性，提升用戶使用感受；并提供數(shù)據(jù)質(zhì)量應(yīng)用滿足個性化需求。6.3.4.1.平臺化數(shù)據(jù)質(zhì)量監(jiān)控為外部用戶提供數(shù)據(jù)質(zhì)量監(jiān)控界面，用戶可以在界面上完成監(jiān)控對象選擇、規(guī)如此配置、告警及結(jié)果查看、問題處理等數(shù)據(jù)質(zhì)量全流程監(jiān)控。?監(jiān)控對象選擇靈活，可以通過多種檢索條件進展檢索；?規(guī)如此配置界面友好，用戶通過選擇規(guī)如此模板直接進展配置；?后臺自行適配多種數(shù)據(jù)倉庫，根據(jù)監(jiān)控對象的不同，自動生成適配的作業(yè)；?設(shè)置好的監(jiān)控規(guī)如此作為單獨的作業(yè)，用戶可以在計算執(zhí)行過程中或計算完成后進展調(diào)用。6.3.4.2.對內(nèi)質(zhì)量效勞為大數(shù)據(jù)平臺內(nèi)部提供數(shù)據(jù)質(zhì)量支撐，包括兩方面：?資產(chǎn)接收稽核：獲取接入源數(shù)據(jù)的元數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)信息，配置相應(yīng)的監(jiān)控規(guī)如此，不滿足稽核規(guī)如此的源數(shù)據(jù)如此通知數(shù)據(jù)資產(chǎn)模塊，不予接收；?數(shù)據(jù)資產(chǎn)評估支撐：對大數(shù)據(jù)平臺中的數(shù)據(jù)資產(chǎn)進展定期的監(jiān)控，將監(jiān)控結(jié)果輸入到數(shù)據(jù)資產(chǎn)模塊，作為數(shù)據(jù)資產(chǎn)評估的一局部。規(guī)如此庫數(shù)據(jù)質(zhì)量功能模塊將?中國移動企業(yè)大數(shù)據(jù)平臺標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)分冊?及本分冊中數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)平安等相關(guān)要求轉(zhuǎn)化為相應(yīng)質(zhì)量監(jiān)控規(guī)如此，內(nèi)置于規(guī)如此庫中，并將其它常用數(shù)據(jù)質(zhì)量監(jiān)控規(guī)如此也納入規(guī)如此庫中。規(guī)如此庫按照使用場景劃分為不同等級，如文件級、字段級、數(shù)據(jù)級等，便于用戶選擇。數(shù)據(jù)質(zhì)量功能模塊可以為已經(jīng)確定的場景，設(shè)定規(guī)如此包，例如數(shù)據(jù)資產(chǎn)評估，用戶可以直接使用，無需任何配置，也允許用戶根據(jù)實際情況對規(guī)如此包中的內(nèi)容進展修改。后臺支撐數(shù)據(jù)質(zhì)量功能模塊需要為數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、告警通知等提供接口。數(shù)據(jù)質(zhì)量功能模塊后臺需要自動適配不同類型數(shù)據(jù)倉庫，保證采集和規(guī)如此配置的兼容性。數(shù)據(jù)質(zhì)量功能模塊對規(guī)如此和結(jié)果的存儲需要滿足大數(shù)據(jù)平臺的需求。6.345.數(shù)據(jù)質(zhì)量應(yīng)用數(shù)據(jù)質(zhì)量功能模塊為一線人員提供數(shù)據(jù)質(zhì)量應(yīng)用，包括：?績效監(jiān)控：用戶可以在該應(yīng)用上設(shè)置規(guī)如此、查看結(jié)果以及進展結(jié)果的進一步剖析；?體檢中心：通過運行該應(yīng)用，對企業(yè)的數(shù)據(jù)質(zhì)量進展了一次全面的體檢，并即時輸出體檢報告，讓企業(yè)時刻了解自身數(shù)據(jù)系統(tǒng)的健康情況。6.3.5.本期數(shù)據(jù)質(zhì)量運維要求本期數(shù)據(jù)質(zhì)量運維著重表現(xiàn)“平臺化〃、“全員參與〃的理念，通過平臺化數(shù)據(jù)質(zhì)量監(jiān)控和規(guī)如此庫的配合，讓大數(shù)據(jù)平臺的所有用戶能夠?qū)ψ约禾峁┗蛳M的數(shù)據(jù)進展數(shù)據(jù)質(zhì)量管理，可以在數(shù)據(jù)質(zhì)量模塊上方便自如的配置需要的監(jiān)控規(guī)如此、查看結(jié)果并進展后續(xù)處理。6.4.數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)概述背景數(shù)據(jù)資產(chǎn)化將以資產(chǎn)的角度開展數(shù)據(jù)管理工作變?yōu)榭赡埽瑢⒂兄诙嘟嵌?、全方位開展數(shù)據(jù)的管理，明確數(shù)據(jù)平安級別，落實資產(chǎn)責(zé)任管理，是實現(xiàn)數(shù)據(jù)變現(xiàn)的必要前提。數(shù)據(jù)資產(chǎn)化包含了數(shù)據(jù)資產(chǎn)梳理盤點和數(shù)據(jù)價值評估的過程。數(shù)據(jù)資產(chǎn)是指企業(yè)及組織擁有或控制，能給企業(yè)及組織帶來未來經(jīng)濟利益的數(shù)據(jù)資源。數(shù)據(jù)有可能成為資產(chǎn)，但不是所有數(shù)據(jù)都能具備資產(chǎn)的屬性。數(shù)據(jù)資產(chǎn)包含著如下幾個要素：1〕被企業(yè)擁有和控制；2〕能夠用貨幣來計量；3〕能為企業(yè)帶來經(jīng)濟利益。數(shù)據(jù)的價值根據(jù)其相關(guān)性的不同而各不一樣，而數(shù)據(jù)相關(guān)性又因數(shù)據(jù)使用者而異。對某個人群沒有價值的數(shù)據(jù)，可能對另外一個人群相當(dāng)有用；在某個時間段內(nèi)沒有價值的數(shù)據(jù)，可能在另一個時間段內(nèi)相當(dāng)有用。例如：用戶十年前的入網(wǎng)信息，在幾年前是沒有什么價值，但隨著“十年移動〃等營銷活動開展，這類信息又非常有價值。系統(tǒng)框架圖6-11數(shù)據(jù)資產(chǎn)架構(gòu)圖如圖6-11所示，數(shù)據(jù)資產(chǎn)管理系統(tǒng)包括六個局部：注冊管理：支持多種方式〔采集器、在線維護、提供自助注冊接口〕注冊數(shù)據(jù)資產(chǎn)，并提供審核及版本控制等功能；變更管理：支持已注冊數(shù)據(jù)資產(chǎn)信息的變更、審核和更新功能；審計管理：支持對數(shù)據(jù)資產(chǎn)的盤點，以及對數(shù)據(jù)資產(chǎn)訪問記錄的審計；資產(chǎn)統(tǒng)計分析：支持數(shù)據(jù)資產(chǎn)的評估，包括數(shù)據(jù)質(zhì)量、訪問情況等信息的采集，根據(jù)這些信息對數(shù)據(jù)資產(chǎn)進展綜合評估打分；權(quán)限管理：對接數(shù)據(jù)平安管理模塊，除了同步數(shù)據(jù)平安管理模塊中用戶賬戶信息及權(quán)限外，還會將用戶對數(shù)據(jù)資產(chǎn)訪問的申請信息發(fā)送給數(shù)據(jù)平安管理模塊進展處理；接口管理：與元數(shù)據(jù)管理模塊、數(shù)據(jù)質(zhì)量管理模塊、數(shù)據(jù)平安管理模塊對接，收集相關(guān)模塊的根底數(shù)據(jù)，用于完成數(shù)據(jù)資產(chǎn)的注冊、稽核及平安管理等工作數(shù)據(jù)資產(chǎn)化后，將解決目前普遍存在的需求分散重復(fù)、口徑模糊等問題，實現(xiàn)成果和經(jīng)驗的共享和積累，方便實現(xiàn)應(yīng)用和數(shù)據(jù)的生命周期的自動化管理。明確的數(shù)據(jù)資產(chǎn)信息，將有效支撐公司內(nèi)部知識系統(tǒng)和資源管理的建設(shè)，為業(yè)務(wù)人員能更快捷、有序、便利地提供資產(chǎn)使用的方式和途徑，支撐數(shù)據(jù)分析、開發(fā)、運維的自治。數(shù)據(jù)資產(chǎn)范圍數(shù)據(jù)資產(chǎn)的范圍和形式應(yīng)包含企業(yè)擁有的各類數(shù)據(jù)，如表、視圖、接口、程序等。同時，隨著大數(shù)據(jù)的開展，還應(yīng)納入各種非/半結(jié)構(gòu)化的數(shù)據(jù)形式，如日志、網(wǎng)頁、圖片、音視頻等。數(shù)據(jù)資產(chǎn)標(biāo)識是一個有業(yè)務(wù)含義、分段式、全局唯一的字符串，用來區(qū)分識別數(shù)據(jù)資產(chǎn)的標(biāo)簽。資產(chǎn)標(biāo)識包含有資產(chǎn)所屬業(yè)務(wù)域、資產(chǎn)類型、提供者等信息。資產(chǎn)標(biāo)識標(biāo)準(zhǔn)為五段式結(jié)構(gòu)，每段以點分隔。具體格式如圖6-12所示：圖6-12數(shù)據(jù)資產(chǎn)標(biāo)識標(biāo)準(zhǔn)｛根前綴｝：指數(shù)據(jù)資產(chǎn)全局前綴，以常量表示。其值為comcc.xxx｛業(yè)務(wù)域｝：指數(shù)據(jù)資產(chǎn)所歸屬的業(yè)務(wù)系統(tǒng)類別域。其值為BSS,OSS,MSS等｛資產(chǎn)類型｝：指數(shù)據(jù)資產(chǎn)模型類別。其值為表、文件、圖片、音頻等｛提供者/租戶｝：指數(shù)據(jù)資產(chǎn)的生產(chǎn)者，或者是數(shù)據(jù)資產(chǎn)的所有者。其值一般是生產(chǎn)者或者所有者的標(biāo)識。其值為MKT（市場）、GRP（集團）、BASS（經(jīng)分）等｛資產(chǎn)名稱｝：指數(shù)據(jù)資產(chǎn)的簡短命名。其值一般是資產(chǎn)對象的名稱或編碼。數(shù)據(jù)資產(chǎn)標(biāo)識示例為：comcc.xxx.BSS.table.YWB.application_log二維碼如圖6-13所示。圖6-13數(shù)據(jù)資產(chǎn)標(biāo)識二維碼與其它功能模塊的關(guān)系數(shù)據(jù)資產(chǎn)管理模塊將與元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)平安模塊通過接口互通，根據(jù)需求獲取元數(shù)據(jù)，數(shù)據(jù)稽核和交互賬號權(quán)限等信息。在資產(chǎn)注冊、變更時，需要從元數(shù)據(jù)模塊獲取表、字段、口徑、程序等元數(shù)據(jù)信息，用于數(shù)據(jù)資產(chǎn)信息的登記和更新。在資產(chǎn)運維時，需要從數(shù)據(jù)質(zhì)量模塊獲取數(shù)據(jù)質(zhì)量監(jiān)控、稽核的結(jié)果，用于資產(chǎn)評估。同時，消費者申請訪問數(shù)據(jù)資產(chǎn)，需要從數(shù)據(jù)平安模塊中獲取賬號信息，相關(guān)數(shù)據(jù)訪問申請也需要發(fā)送給數(shù)據(jù)平安模塊進展處理。6.4.4.本期數(shù)據(jù)資產(chǎn)功能需求6.4.4.1.管理過程數(shù)據(jù)資產(chǎn)管理過程是一個資產(chǎn)全生命周期的管理過程，資產(chǎn)全生命周期管理以數(shù)據(jù)資產(chǎn)作為管理對象，以資產(chǎn)戰(zhàn)略和資產(chǎn)策略為導(dǎo)向，從系統(tǒng)整體目標(biāo)出發(fā)，統(tǒng)籌考慮資產(chǎn)的規(guī)劃、投資、設(shè)計、建設(shè)、運行、維護、稽核、變更、注銷的全過程，在滿足平安、效能的前提下有效管理與監(jiān)控數(shù)據(jù)資產(chǎn)的生產(chǎn)和使用情況，不斷優(yōu)化數(shù)據(jù)資產(chǎn)質(zhì)量，實現(xiàn)數(shù)據(jù)資產(chǎn)的業(yè)務(wù)價值。其管理過程如圖6-14所示：圖6-14數(shù)據(jù)資產(chǎn)全生命周期管理過程如圖6-14所示，數(shù)據(jù)資產(chǎn)全生命周期管理過程分為如下四大階段：?戰(zhàn)略規(guī)劃：該階段旨在按照業(yè)務(wù)需要和業(yè)務(wù)開展要求，建立數(shù)據(jù)資產(chǎn)總體性、綱要性規(guī)劃。制定幫助所有的數(shù)據(jù)資產(chǎn)供給者以及消費者，幫助他們運營，幫助他們長期開展建立清晰的效勞戰(zhàn)略。該階段主要包含了制定數(shù)據(jù)資產(chǎn)戰(zhàn)略規(guī)劃和制定數(shù)據(jù)資產(chǎn)策略方案等關(guān)鍵任務(wù)和活動。?注冊入庫：該階段旨在按照戰(zhàn)略規(guī)劃和戰(zhàn)略方案進展數(shù)據(jù)資產(chǎn)的設(shè)計、建設(shè)和交付。針對需求進展分析設(shè)計，根據(jù)戰(zhàn)略階段的要求與標(biāo)準(zhǔn)，定義數(shù)據(jù)資產(chǎn)的結(jié)構(gòu)等，是資產(chǎn)管理中的重要組成。該階段主要包含了設(shè)計并生產(chǎn)數(shù)據(jù)資產(chǎn)和數(shù)據(jù)資產(chǎn)注冊、入庫等關(guān)鍵任務(wù)和活動。?運營維護：該階段旨在對數(shù)據(jù)資產(chǎn)的有效使用進展管控，確保數(shù)據(jù)資產(chǎn)健康運營。運營維護包含數(shù)據(jù)資產(chǎn)發(fā)布、資產(chǎn)稽核、監(jiān)控告警、資產(chǎn)評估、資產(chǎn)審計、資產(chǎn)變更等方面；提供數(shù)據(jù)資產(chǎn)給授權(quán)的消費者〔內(nèi)部用戶、集團用戶和外部用戶〕使用；對數(shù)據(jù)資產(chǎn)進展盤點，監(jiān)控數(shù)據(jù)資產(chǎn)的使用情況，對數(shù)據(jù)資產(chǎn)訪問記錄進展審計；對數(shù)據(jù)資產(chǎn)從規(guī)劃到運營階段情況進展全方位、多維度的統(tǒng)計分析，對資產(chǎn)內(nèi)容標(biāo)準(zhǔn)化、合規(guī)性的稽核評價，根據(jù)評估結(jié)果有目的的對數(shù)據(jù)資產(chǎn)進展改良和完善。注銷報廢：該階段主要是對無效和失效的資產(chǎn)進展清理，主要包括資產(chǎn)注銷和報廢去除等任務(wù)和活動。在注銷報廢階段，對已失效的資產(chǎn)，由管理者注銷資產(chǎn)，并由運維者銷毀資產(chǎn)對象；管理對象圖6-15數(shù)據(jù)資產(chǎn)管理對象如圖6-15所示，數(shù)據(jù)資產(chǎn)管理對象是針對納入企業(yè)級大數(shù)據(jù)平臺進展存儲、訪問、操作的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于：IT支撐系統(tǒng)〔含業(yè)務(wù)支撐、運營支撐、管理支撐等〕所產(chǎn)生的業(yè)務(wù)數(shù)據(jù)、交易數(shù)據(jù)、分析數(shù)據(jù)、流程數(shù)據(jù)等，簡稱B域數(shù)據(jù)；網(wǎng)絡(luò)運行管理和分析系統(tǒng)所產(chǎn)生生業(yè)務(wù)數(shù)據(jù)、交易數(shù)據(jù)、分析數(shù)據(jù)、流程數(shù)據(jù)等；以及各類網(wǎng)元設(shè)備所產(chǎn)生的話單、信令、上網(wǎng)日志、性能檢測數(shù)據(jù)，簡稱O域數(shù)據(jù)；業(yè)務(wù)平臺〔含管理平臺、能力平臺、應(yīng)用平臺等〕對內(nèi)進展發(fā)布和共享的特定業(yè)務(wù)數(shù)據(jù)，簡稱業(yè)務(wù)平臺數(shù)據(jù)；其它納入企業(yè)級大數(shù)據(jù)平臺管理的外部引入數(shù)據(jù)，簡稱外部引入數(shù)據(jù)。管理角色數(shù)據(jù)資產(chǎn)管理過程中，應(yīng)包含如表6-6相關(guān)的角色：表6-6人員角色職責(zé)角色主要職責(zé)數(shù)據(jù)資產(chǎn)規(guī)劃者制定數(shù)據(jù)資產(chǎn)模型標(biāo)準(zhǔn)；規(guī)劃數(shù)據(jù)資產(chǎn)建設(shè)方案；數(shù)據(jù)資產(chǎn)提供者提交數(shù)據(jù)資產(chǎn)相關(guān)信息到數(shù)據(jù)資產(chǎn)管控平臺進展數(shù)據(jù)資產(chǎn)注冊；確保數(shù)據(jù)資產(chǎn)提