中國移動企業(yè)級大數(shù)據(jù)中心建設(shè)指導(dǎo)意見V1終版資料

1、中國移動企業(yè)級大數(shù)據(jù)中心建設(shè)指導(dǎo)意見為進(jìn)一步提高中國移動互聯(lián)網(wǎng)戰(zhàn)略的服務(wù)能力，對內(nèi)驅(qū)動企業(yè)管理的精細(xì)化、智能化，對外提供信息服務(wù)型產(chǎn)品，實現(xiàn)大數(shù)據(jù)開放后的運營和服務(wù)提升，公司決定在全國范圍內(nèi)實施中國移動企業(yè)級大數(shù)據(jù)中心建設(shè)工作，通過整合全公司數(shù)據(jù)資源，盤活數(shù)據(jù)資產(chǎn)，助力公司第三條曲線的拓展，以服務(wù)“內(nèi)增效、外增收”的整體企業(yè)戰(zhàn)略，保證中國移動在激烈市場競爭中的可持續(xù)發(fā)展。一、建設(shè)要求與重點企業(yè)級大數(shù)據(jù)中心作為中國移動唯一、統(tǒng)一的數(shù)據(jù)采集、處理、服務(wù)和運營的平臺，通過“統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營和統(tǒng)一服務(wù)”，形成集團(tuán)及各省市公司“多節(jié)點”、“網(wǎng)狀網(wǎng)”形態(tài)的數(shù)據(jù)和服務(wù)共享能力；具備獨立

2、機(jī)構(gòu)以承擔(dān)平臺建維、數(shù)據(jù)交換、資產(chǎn)管理、應(yīng)用開發(fā)、數(shù)據(jù)服務(wù)和數(shù)據(jù)運營職責(zé)。為企業(yè)內(nèi)、外部客戶提供“按需”的服務(wù)能力，輔助企業(yè)決策，彰顯數(shù)據(jù)價值。企業(yè)級大數(shù)據(jù)中心的建設(shè)要求包括三方面：（一）建好組織：建立相對獨立的、專業(yè)的企業(yè)級大數(shù)據(jù)中心管理機(jī)構(gòu)，立足公司全局，全面負(fù)責(zé)企業(yè)級大數(shù)據(jù)平臺的規(guī)劃、建設(shè)、運維，以及數(shù)據(jù)資產(chǎn)管理、產(chǎn)品開發(fā)和數(shù)據(jù)運營等職能。（二）搭好平臺：企業(yè)級大數(shù)據(jù)中心滿足中國移動全部數(shù)據(jù)“統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營、統(tǒng)一服務(wù)”的要求，實現(xiàn)邏輯集中；全部數(shù)據(jù)的采集、處理和存儲分布于多個節(jié)點，進(jìn)行物理分散，同時實現(xiàn)關(guān)鍵數(shù)據(jù)資產(chǎn)的異地容災(zāi)備份。（三）做好服務(wù)：企業(yè)級大數(shù)據(jù)中心能

3、為集團(tuán)各部門、專業(yè)基地（位置等）、專業(yè)公司（咪咕、互聯(lián)網(wǎng)、政企、在線服務(wù)、物聯(lián)網(wǎng)等）、各省公司及外部行業(yè)提供靈活的“按需”服務(wù)。二、建設(shè)重點企業(yè)級大數(shù)據(jù)中心建設(shè)重點要求如下：（一）企業(yè)級大數(shù)據(jù)中心的能力要求為了承接大數(shù)據(jù)中心的基礎(chǔ)平臺管理、數(shù)據(jù)交換、資產(chǎn)管理、應(yīng)用開發(fā)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)運營六個職責(zé)，在大數(shù)據(jù)平臺技術(shù)架構(gòu)層面提供數(shù)據(jù)基礎(chǔ)服務(wù)能力、系統(tǒng)平臺管理能力、數(shù)據(jù)資產(chǎn)管理能力和應(yīng)用共享開放能力四個部分：數(shù)據(jù)基礎(chǔ)服務(wù)能力：數(shù)據(jù)基礎(chǔ)服務(wù)能力是大數(shù)據(jù)平臺的基礎(chǔ)，包含數(shù)據(jù)采集功能、數(shù)據(jù)存儲運算功能、數(shù)據(jù)交互功能。數(shù)據(jù)采集需包括來自BSS、OSS、MSS的基礎(chǔ)數(shù)據(jù)、來自于用戶上網(wǎng)行為的DPI二次解析數(shù)據(jù)

4、以及來自外部的第三方數(shù)據(jù)的數(shù)據(jù)采集。數(shù)據(jù)存儲運算功能可根據(jù)數(shù)據(jù)類型及應(yīng)用采用不同類型的數(shù)據(jù)庫技術(shù)實現(xiàn)對不同價值、規(guī)模、時效性的數(shù)據(jù)差異化存儲和運算。數(shù)據(jù)交互功能是實現(xiàn)不同形式的數(shù)據(jù)存儲之間的數(shù)據(jù)交系統(tǒng)平臺管理能力：大數(shù)據(jù)平臺需具備系統(tǒng)平臺管理能力,提供對大數(shù)據(jù)平臺的軟件和硬件資源的管理，包括諸如資源管理、負(fù)載管理、配額管理以及計量管理等。通過系統(tǒng)平臺管理能力大數(shù)據(jù)平臺管理者可以根據(jù)租戶提出的平臺資源和能力的中請進(jìn)行資源分配、監(jiān)控、動態(tài)調(diào)整以及資源開銷核算。數(shù)據(jù)資產(chǎn)管理能力：數(shù)據(jù)資產(chǎn)管理能力包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等。數(shù)據(jù)安全管理提供跨租戶、跨時間、跨平臺、跨任務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控與管理。數(shù)據(jù)

5、安全管理能力對大數(shù)據(jù)平臺的使用者進(jìn)行相關(guān)的賬號、授權(quán)、鑒權(quán)等設(shè)置。應(yīng)用共享開放能力：為支持應(yīng)用開發(fā)者高效、安全、規(guī)范的進(jìn)行應(yīng)用開發(fā)，大數(shù)據(jù)平臺需要具有應(yīng)用開放能力，應(yīng)用開放能力包括開發(fā)者管理門戶、統(tǒng)一調(diào)度平臺等功能。通過開發(fā)者管理門戶實現(xiàn)注冊認(rèn)證、資源申請、數(shù)據(jù)申請、開發(fā)上線功能的管理。統(tǒng)一調(diào)度平臺需集成圖形化的開發(fā)界面，通過統(tǒng)一封裝的函數(shù)庫提供類SQL的開發(fā)語言，以屏蔽底層差異性，降低業(yè)務(wù)人員的開發(fā)門檻，實現(xiàn)快速的業(yè)務(wù)開發(fā)。（二）企業(yè)級大數(shù)據(jù)中心的技術(shù)架構(gòu)按照“邏輯統(tǒng)一，物理分離”的原則構(gòu)建全國統(tǒng)一的多域融合企業(yè)級大數(shù)據(jù)中心。在云資源池基礎(chǔ)上按照“1+31”方式在總部和省公司分別建設(shè)總部節(jié)點

6、和省級節(jié)點。總部節(jié)點采集總部系統(tǒng)和專業(yè)公司系統(tǒng)以及全國性、總體性對外業(yè)務(wù)合作的外部數(shù)據(jù)；省級節(jié)點采集省內(nèi)系統(tǒng)BSS、MSS、OSS三域及其它系統(tǒng)數(shù)據(jù)、省級對外業(yè)務(wù)合作的外部數(shù)據(jù)?？偛抗?jié)點和省級節(jié)點之間通過輕度匯總和高價值詳單數(shù)據(jù)接口進(jìn)行數(shù)據(jù)交互，逐步形成全國共享、按需服務(wù)、形成大數(shù)據(jù)的良性生態(tài)圈，對內(nèi)對外提供數(shù)據(jù)、平臺和應(yīng)用服務(wù)夕像應(yīng)用缶部門春地專業(yè)公司也專制fl聃.由北WIKIICI明*-一圖1中國移動企業(yè)級大數(shù)據(jù)中心的體系架構(gòu)外部利用現(xiàn)有集中化經(jīng)分系統(tǒng)，向企業(yè)級大數(shù)據(jù)中心演進(jìn)，利用省公司現(xiàn)有經(jīng)分系統(tǒng)能力，演進(jìn)為省公司大數(shù)據(jù)中心，合理利用現(xiàn)有資源，實現(xiàn)大數(shù)據(jù)中心能力的快速搭建和提升，打造“D

7、W+MPP+Hadoop”混搭技術(shù)架構(gòu)。Hadoop:承載大數(shù)據(jù)中心的ETL功能，實現(xiàn)三域數(shù)據(jù)定時、實時數(shù)據(jù)處理；承載清單、網(wǎng)絡(luò)信令、非結(jié)構(gòu)化數(shù)據(jù)等基礎(chǔ)數(shù)據(jù)處理；建立企業(yè)級統(tǒng)一標(biāo)準(zhǔn)模型，弁且對外提供明細(xì)查詢服務(wù)。采用Hadoop技術(shù)和PC服務(wù)器架構(gòu)解決數(shù)據(jù)量大、數(shù)據(jù)多樣的問題；MPP:是使用SQL進(jìn)行結(jié)構(gòu)化大數(shù)據(jù)處理和分析最好的技術(shù)選擇，具有高弁發(fā)、支持多表聯(lián)合復(fù)雜查詢、高安全等優(yōu)勢。DW:傳統(tǒng)數(shù)據(jù)庫，面向企業(yè)級高性能數(shù)據(jù)處理，進(jìn)行復(fù)雜匯總分析運算。采用高性能庫和傳統(tǒng)小機(jī)架構(gòu)提升數(shù)據(jù)分析性能，集中保障集團(tuán)、省級應(yīng)用。企業(yè)級大數(shù)據(jù)中心各節(jié)點按照能力需求劃分為數(shù)據(jù)源、資源池層、數(shù)據(jù)采集/分發(fā)層、數(shù)

8、據(jù)計算和存儲層、能力開放層、數(shù)據(jù)運維和管理數(shù)據(jù)、數(shù)據(jù)應(yīng)用。圖2企業(yè)級大數(shù)據(jù)中心節(jié)點功能結(jié)構(gòu)數(shù)據(jù)源數(shù)據(jù)源包括企業(yè)內(nèi)部BSS域、OSS域、MSS域各系統(tǒng)的清單級和匯總級數(shù)據(jù)，以及企業(yè)外部系統(tǒng)的數(shù)據(jù)。重點接入LTE的XDR數(shù)據(jù)，實現(xiàn)O域、M域及外部數(shù)據(jù)源與現(xiàn)有B域數(shù)據(jù)的融合;資源池層采用云計算、虛擬化技術(shù)整合計算、存儲和網(wǎng)絡(luò)等硬件資源向上提供服務(wù)。數(shù)據(jù)采集和分發(fā)以離線批抽取和在線實時抽取方式從數(shù)據(jù)源系統(tǒng)采集數(shù)據(jù)，將采集數(shù)據(jù)或DPI二次解析后的數(shù)據(jù)按照數(shù)據(jù)種類分發(fā)至負(fù)責(zé)數(shù)據(jù)計算和存儲的各類集群，并協(xié)調(diào)各集群之間的數(shù)據(jù)同步。數(shù)據(jù)計算和存儲為適應(yīng)各類海量結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)的計算和存儲要求的多種集群。包括

9、面向批處理的Hadoop集群(MR,Spark,用于ETL)、面向文件存儲和查詢的Hadoop集群(HDFS,Hbase,Hive)、流處理集群(Storm/SparkStreaming)傳統(tǒng)數(shù)據(jù)倉庫集群DW、MPP數(shù)據(jù)倉庫集群、內(nèi)存數(shù)據(jù)庫集群。各集群數(shù)據(jù)流向呈交叉網(wǎng)狀，應(yīng)支持資源的多租戶調(diào)用。能力開放層從數(shù)據(jù)、API、工具三個層次對外提供服務(wù)。透明數(shù)據(jù)層在各類數(shù)據(jù)計算和存儲集群之上提供一個面向各類應(yīng)用的統(tǒng)一數(shù)據(jù)訪問能力，屏蔽各計算和存儲集群的復(fù)雜性。OPENAPI以接口方式封裝各類數(shù)據(jù)計算和存儲集群的能力，供各類應(yīng)用調(diào)用。并提供自助報表、OLAP工具、SAS/SPSS數(shù)據(jù)挖掘、IDE等工具類

10、服務(wù)。數(shù)據(jù)運維和管理包含數(shù)據(jù)資產(chǎn)管理、元數(shù)據(jù)管理、統(tǒng)一調(diào)度、多租戶管理、資源池運營、權(quán)限管理、安全管理、系統(tǒng)運維管理。數(shù)據(jù)應(yīng)用架構(gòu)上對數(shù)據(jù)和應(yīng)用進(jìn)行解耦，各類應(yīng)用（不同的應(yīng)用開發(fā)商）通過能力開放層的服務(wù)使用數(shù)據(jù)。應(yīng)用涵蓋企業(yè)內(nèi)、外部，包括報表、查詢、統(tǒng)計、分析、挖掘，對外價值變現(xiàn)等?；谝陨洗髷?shù)據(jù)平臺重點支撐的需求，系統(tǒng)技術(shù)架構(gòu)應(yīng)包括數(shù)據(jù)源、數(shù)據(jù)采集與處理、數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用四個主要組成模塊。梳理大數(shù)據(jù)平臺系統(tǒng)應(yīng)具備的關(guān)鍵技術(shù)，深入研究各項大數(shù)據(jù)關(guān)鍵技術(shù)，為未來公司級大數(shù)據(jù)平臺建設(shè)實施工作提供技術(shù)儲備和參考圖2企業(yè)級大數(shù)據(jù)中心的技術(shù)架構(gòu)（四）企業(yè)及大數(shù)據(jù)中心對外服務(wù)的模式與場景企業(yè)級大數(shù)據(jù)中心

11、對外提供SaaS、PaaS、DaaS的服務(wù)模式，將大數(shù)據(jù)采集、存儲和處理的基礎(chǔ)能力以及數(shù)據(jù)本身開放給個性化應(yīng)用的開發(fā)者，這些開發(fā)者可利用開放的能力，開發(fā)個性化應(yīng)用（或數(shù)據(jù)）；將大數(shù)據(jù)的應(yīng)用（或數(shù)據(jù)）提供給公司業(yè)務(wù)部門、網(wǎng)絡(luò)部門以及外部行業(yè)客戶。圖3企業(yè)級大數(shù)據(jù)中心對外服務(wù)模式大數(shù)據(jù)中心對外提供服務(wù)的模式分為三種：SaaS、PaaS和DaaSoSaaS（SoftwareasaService,“軟件即服務(wù)”）是按需求進(jìn)行應(yīng)用開發(fā)，提供指標(biāo)、報表或?qū)ｎ}分析，以應(yīng)用的方式提供給需求方使用。使用者通常為無自行開發(fā)能力的需求方。應(yīng)用場景舉例：1）市場部通過自助服務(wù)、即席查詢等方式自行分析；2）大數(shù)據(jù)平臺運

12、營方開發(fā)業(yè)務(wù)統(tǒng)計報表供市場部、財務(wù)部等部門作為決策和管理依據(jù)。PaaS（PlatformasaService平臺即服務(wù)）提供給使用者部署應(yīng)用到云基礎(chǔ)設(shè)施上的能力，這些應(yīng)用是使用者通過使用平臺支持的編程語言和提供的開發(fā)工具創(chuàng)建或采購的。PaaS使用者不必關(guān)心底層云基礎(chǔ)設(shè)施（包括網(wǎng)絡(luò)，服務(wù)器，操作系統(tǒng)，或存儲），但需關(guān)心所部署的應(yīng)用，并可能控制應(yīng)用環(huán)境的配置。使用者為有個性化需求、深度需求，利用平臺工具和數(shù)據(jù)，自行組織應(yīng)用開發(fā)的內(nèi)部需求者、合作伙伴以及外部數(shù)據(jù)需求方。應(yīng)用場景舉例：網(wǎng)絡(luò)部第三方廠商利用大數(shù)據(jù)平臺直接調(diào)用三域融合數(shù)據(jù)，利用其歸屬租戶存儲其分析數(shù)據(jù)，通過統(tǒng)一IDE開發(fā)其應(yīng)用，以API接

13、口方式與其原有應(yīng)用對接。Daas（DataasaService,數(shù)據(jù)即服務(wù)）是對各種數(shù)據(jù)進(jìn)行不同程度“數(shù)據(jù)封裝”，通過各種服務(wù)方式向不同應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)，滿足企業(yè)內(nèi)外部用戶的多樣性數(shù)據(jù)請求。建立數(shù)據(jù)服務(wù)請求和數(shù)據(jù)之間標(biāo)準(zhǔn)化的訪問接口，提升與內(nèi)外部系統(tǒng)的互動和信息共享能力。使用者為有個性化需求、深度需求，需要從大數(shù)據(jù)平臺獲取數(shù)據(jù)，自行組織軟硬件資源以及應(yīng)用開發(fā)的內(nèi)部需求者、合作伙伴以及外部數(shù)據(jù)需求方。應(yīng)用場景舉例：1、開發(fā)者通過數(shù)據(jù)集成平臺進(jìn)行批量數(shù)據(jù)的準(zhǔn)備與接口配置。2、開發(fā)者通過數(shù)據(jù)封裝平臺將準(zhǔn)備好的數(shù)據(jù)封裝成相應(yīng)的查詢接口。3、開發(fā)者通過消息中間件平臺提供的接入、接出能力進(jìn)行接口配置。

14、4、開發(fā)者將以上3類接口，注冊到服務(wù)集成平臺中，形成數(shù)據(jù)服務(wù)訪問接口。5、上層應(yīng)用（或外部系統(tǒng)），通過服務(wù)集成平臺查看數(shù)據(jù)服務(wù)接口信息，并調(diào)用。企業(yè)級大數(shù)據(jù)平臺的數(shù)據(jù)膨脹給整個開發(fā)、架構(gòu)、運維體系都難已承載巨量的數(shù)據(jù)，對平臺支撐以及系統(tǒng)管理能力帶來巨大的挑戰(zhàn)，同時數(shù)據(jù)是企業(yè)最核心的資產(chǎn)，如何有效進(jìn)行數(shù)據(jù)的保值和增值，需要建立大數(shù)據(jù)中心的數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)運營管理體系，實現(xiàn)數(shù)據(jù)管理的降本增效，提升數(shù)據(jù)管理能力與數(shù)據(jù)價值。企業(yè)級大數(shù)據(jù)中心數(shù)據(jù)治理包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)運維、數(shù)據(jù)資產(chǎn)運營和數(shù)據(jù)資產(chǎn)應(yīng)用，通過進(jìn)行全面數(shù)據(jù)模型梳理、優(yōu)化，實現(xiàn)數(shù)據(jù)資產(chǎn)的可視、可控，建立全流程的開發(fā)維護(hù)規(guī)范和流程，支撐面向

15、內(nèi)部應(yīng)用和對外服務(wù)的數(shù)據(jù)管理應(yīng)用。企業(yè)級大數(shù)據(jù)中心的數(shù)據(jù)資產(chǎn)包括基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)模型、挖掘模型、數(shù)據(jù)字典、元數(shù)據(jù)及數(shù)據(jù)分析報告等方面。(1)數(shù)據(jù)標(biāo)準(zhǔn)管理當(dāng)前大數(shù)據(jù)時代下，數(shù)據(jù)作為企業(yè)最有價值的核心資產(chǎn)，成為企業(yè)間競爭的核心因素；企業(yè)級大數(shù)據(jù)中心將不斷引入三域數(shù)據(jù)、企業(yè)外部數(shù)據(jù)等海量結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)管理、運維難度加大，亟需建立大數(shù)據(jù)平臺完整的數(shù)據(jù)規(guī)則管理、標(biāo)準(zhǔn)開發(fā)以及運維體系：數(shù)據(jù)規(guī)則管理體系須加強(qiáng)大數(shù)據(jù)中心的數(shù)據(jù)管控，增強(qiáng)數(shù)據(jù)模型設(shè)計、數(shù)據(jù)字典規(guī)則設(shè)置等管理流程標(biāo)準(zhǔn)化、規(guī)范化。標(biāo)準(zhǔn)開發(fā)體系支撐面向PAAS服務(wù)開放的圖形化開發(fā)工具，支持應(yīng)用商在企業(yè)級大數(shù)據(jù)平臺進(jìn)行開發(fā)、調(diào)用，面向多租戶實

16、現(xiàn)圖形化的開發(fā)界面及統(tǒng)一封裝函數(shù)庫的集成；通過可視化拖拽方式對API進(jìn)行編排，實現(xiàn)數(shù)據(jù)建模過程，滿足業(yè)務(wù)部門自助開發(fā)的需求。運用類SQL語言實現(xiàn)傳統(tǒng)DB、HADOOP、MPP等平臺的統(tǒng)一操作，屏蔽差異。標(biāo)準(zhǔn)運維體系解決大數(shù)據(jù)平臺各系統(tǒng)串行調(diào)度模式無法滿足多平臺協(xié)作、大并發(fā)處理的要求，通過對各平臺數(shù)據(jù)處理任務(wù)基于輸入表解耦，簡化調(diào)度配置及監(jiān)控運維工作，提高了整體執(zhí)行效率。(2)元數(shù)據(jù)管理元數(shù)據(jù)管理屬于企業(yè)級大數(shù)據(jù)中心的數(shù)據(jù)管理域的基礎(chǔ)模塊，基于元數(shù)據(jù)的關(guān)聯(lián)分析能力和圖形化展現(xiàn)能力，通過元數(shù)據(jù)OpenAPI實現(xiàn)能力開放，為大數(shù)據(jù)中心的數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)開發(fā)共享、數(shù)據(jù)安全和業(yè)務(wù)應(yīng)用提供

17、輔助功能支撐，提升企業(yè)大數(shù)據(jù)平臺的運維管理水平和用戶感知。企業(yè)級大數(shù)據(jù)中心的元數(shù)據(jù)包括技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)三類，涵蓋大數(shù)據(jù)中心的數(shù)據(jù)源、資源池層、數(shù)據(jù)采集和分發(fā)、數(shù)據(jù)計算和存儲、能力開放層和數(shù)據(jù)應(yīng)用層。與傳統(tǒng)數(shù)據(jù)倉庫相比，企業(yè)級大數(shù)據(jù)平臺元數(shù)據(jù)管理的差異主要體現(xiàn)在兩個方面：分布式存儲和計算框架企業(yè)級大數(shù)據(jù)中心采用MPP數(shù)據(jù)庫、Hadoop分布式存儲和計算框架，以降低數(shù)據(jù)存儲和處理成本，提升系統(tǒng)橫向擴(kuò)展能力，支持互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展和大批量數(shù)據(jù)處理分析的需要。數(shù)據(jù)源接口文件以HDFS文件的形式進(jìn)入Hadoop平臺，經(jīng)過一到多個步驟的ETL處理后進(jìn)入HIVE、HBASE或者M(jìn)PP數(shù)據(jù)庫中。

18、與傳統(tǒng)數(shù)據(jù)倉庫相比，大數(shù)據(jù)平臺的數(shù)據(jù)實體數(shù)量更龐大，數(shù)據(jù)處理過程更復(fù)雜。多租戶環(huán)境在大數(shù)據(jù)平臺多租戶環(huán)境下，要求元數(shù)據(jù)管理模塊為每個租戶分別提供邏輯上獨立的元數(shù)據(jù)存儲庫、元數(shù)據(jù)獲取功能、管理功能和應(yīng)用功能。每個租戶可以通過調(diào)用元數(shù)據(jù)管理模塊的OpenAPI實現(xiàn)元數(shù)據(jù)的擴(kuò)展管理功能和應(yīng)用功能，租戶之間可以通過共享沙箱實現(xiàn)元數(shù)據(jù)的共享訪問。(3)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理是企業(yè)級大數(shù)據(jù)平臺數(shù)據(jù)管理域的核心子系統(tǒng)之一，提供數(shù)據(jù)質(zhì)量監(jiān)控、告警、問題分析處理和數(shù)據(jù)質(zhì)量評估等功能，旨在建立大數(shù)據(jù)平臺數(shù)據(jù)加載處理和應(yīng)用各個關(guān)鍵環(huán)節(jié)、關(guān)鍵實體的數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警機(jī)制，及時發(fā)現(xiàn)、報告、處理大數(shù)據(jù)平臺中的數(shù)據(jù)質(zhì)量問題

19、，保障大數(shù)據(jù)平臺的數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量管理目標(biāo)是保障企業(yè)級大數(shù)據(jù)平臺數(shù)據(jù)準(zhǔn)確性、合法性、及時性等，并為大數(shù)據(jù)平臺運維人員提供數(shù)據(jù)的波動性、平衡性、合理性等管理手段，管理范圍涵蓋大數(shù)據(jù)中心的數(shù)據(jù)源、資源池層、數(shù)據(jù)采集和分發(fā)、數(shù)據(jù)計算和存儲、能力開放層和數(shù)據(jù)應(yīng)用層。三、建設(shè)實施原則為了保障企業(yè)級大數(shù)據(jù)中心的順利建設(shè)，要求按照如下六項原則進(jìn)行推進(jìn)：1、統(tǒng)一原則：以“建好組織、搭好平臺、做好服務(wù)”為目標(biāo)，實現(xiàn)統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營、統(tǒng)一服務(wù);2、開放原則：借鑒互聯(lián)網(wǎng)思維，強(qiáng)調(diào)開放、協(xié)作、共享，打造開放的“和生態(tài)”；3、先進(jìn)原則：積極研究、引入先進(jìn)技術(shù)及經(jīng)驗，建設(shè)“低成本、高效率”的大數(shù)據(jù)

20、中心；4、安全原則：強(qiáng)化流程管理和日常監(jiān)控，保障信息安全；建立異地容災(zāi)平臺，保護(hù)企業(yè)關(guān)鍵數(shù)據(jù)資產(chǎn)；5、利舊原則：充分考慮現(xiàn)有系統(tǒng)、平臺在架構(gòu)、數(shù)據(jù)、應(yīng)用、運維和人員等方面的儲備和積累，把已有的資源盡量充分復(fù)用或利舊，降低整體成本；6、漸進(jìn)原則：統(tǒng)一規(guī)劃、分步實施，逐步優(yōu)化組織機(jī)構(gòu)，完善平臺能力，提升服務(wù)能力，穩(wěn)步推進(jìn)企業(yè)級大數(shù)據(jù)中心建設(shè)。四、組織架構(gòu)及職責(zé)、崗位建議（一）企業(yè)級大數(shù)據(jù)中心組織保障建議為了保障企業(yè)級大數(shù)據(jù)運營工作，盡快發(fā)揮數(shù)據(jù)價值，根據(jù)當(dāng)前各省公司實際發(fā)展現(xiàn)狀，對組織架構(gòu)建議如下：目標(biāo)方案：各省公司由總經(jīng)理或分管副總經(jīng)理擔(dān)任公司CIO（首席信息官）一職，統(tǒng)籌大數(shù)據(jù)相關(guān)工作，并增設(shè)

21、二級部門“大數(shù)據(jù)中心”。大數(shù)據(jù)中心由具有市場、網(wǎng)絡(luò)、財務(wù)等專業(yè)技能人員聯(lián)合組成，承擔(dān)大數(shù)據(jù)平臺的規(guī)劃、建設(shè)、維護(hù)及運營職能；過渡方案：各省公司在業(yè)務(wù)支撐系統(tǒng)部下設(shè)二級副部門“大數(shù)據(jù)中心”。大數(shù)據(jù)中心由業(yè)務(wù)支撐中心人員為主組成，承擔(dān)大數(shù)據(jù)平臺的規(guī)劃、建設(shè)及維護(hù)職能。推薦各省選用目標(biāo)方案。存在相關(guān)困難的，可以以過渡方案逐步演進(jìn)。（二）大數(shù)據(jù)中心職責(zé)大數(shù)據(jù)中心職責(zé)如下：一、負(fù)責(zé)大數(shù)據(jù)平臺的規(guī)劃、大數(shù)據(jù)技術(shù)演進(jìn)的研究、大數(shù)據(jù)平臺的建設(shè)和維護(hù)、以及相關(guān)系統(tǒng)、數(shù)據(jù)等安全規(guī)劃和實施；二、制定大數(shù)據(jù)管理相關(guān)規(guī)章制度，構(gòu)建完善的數(shù)據(jù)治理體系，實現(xiàn)跨域數(shù)據(jù)的元數(shù)據(jù)、數(shù)據(jù)模型管理、數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)生命周期管理等；

22、三、負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的研發(fā)，覆蓋產(chǎn)品設(shè)計、開發(fā)和運營，以及效果后評估全流程管理，包括數(shù)據(jù)產(chǎn)品商品化過程的管理，以及數(shù)據(jù)服務(wù)的計費；四、負(fù)責(zé)大數(shù)據(jù)產(chǎn)品售前、售中、售后的一體化支撐，探索大數(shù)據(jù)對內(nèi)部各部門的服務(wù)模式，以及對外在各行業(yè)的解決方案以及商業(yè)模式，形成大數(shù)據(jù)應(yīng)用的產(chǎn)品。（三）與現(xiàn)有職能部門的關(guān)系大數(shù)據(jù)中心通過統(tǒng)一采集企業(yè)內(nèi)外部各數(shù)據(jù)源系統(tǒng)數(shù)據(jù)，通過加工處理后形成大數(shù)據(jù)服務(wù)產(chǎn)品，為內(nèi)部各相關(guān)部門及外部實體提供服務(wù)。與數(shù)據(jù)源管理部門的關(guān)系：大數(shù)據(jù)中心作為企業(yè)級數(shù)據(jù)資源池，與數(shù)據(jù)源管理部門協(xié)調(diào)制定數(shù)據(jù)獲取標(biāo)準(zhǔn)，統(tǒng)一采集B域、O域、M域數(shù)據(jù)。數(shù)據(jù)源管理部門包括：業(yè)支、網(wǎng)管、數(shù)據(jù)、業(yè)務(wù)基地、財務(wù)、人力

23、等。同時，根據(jù)對外服務(wù)需要，接入外部數(shù)據(jù)源提供的相關(guān)數(shù)據(jù)。數(shù)據(jù)源管理部門負(fù)責(zé)參照標(biāo)準(zhǔn)數(shù)據(jù)獲取標(biāo)準(zhǔn)，及時、準(zhǔn)確地提供數(shù)據(jù)。與內(nèi)部服務(wù)部門的關(guān)系：大數(shù)據(jù)中心為內(nèi)部各服務(wù)部門提供大數(shù)據(jù)產(chǎn)品服務(wù)，服務(wù)對象部門包括：市場、集客、數(shù)據(jù)、網(wǎng)絡(luò)、財務(wù)、審計、人力、計劃等。內(nèi)部各服務(wù)部門負(fù)責(zé)提交業(yè)務(wù)需求及產(chǎn)品使用效果反饋。與外部服務(wù)對象的關(guān)系：大數(shù)據(jù)中心提供面向外部對象的行業(yè)應(yīng)用產(chǎn)品及信息服務(wù),服務(wù)對象包括：政府機(jī)關(guān)、各企事業(yè)單位、個人等。(四)崗位人員建議設(shè)置(1)崗位設(shè)置基于大數(shù)據(jù)中心職責(zé)要求，建議配置如下崗位：平臺規(guī)劃、建設(shè)和維護(hù)類：包括：平臺架構(gòu)崗位、技術(shù)開發(fā)崗位、平臺維護(hù)崗位。數(shù)據(jù)運營類：包括：數(shù)據(jù)保

24、障崗位、業(yè)務(wù)分析崗位、數(shù)據(jù)挖掘崗位和數(shù)據(jù)產(chǎn)品崗位。各崗位具體職責(zé)如下：平臺架構(gòu)崗位負(fù)責(zé)平臺建設(shè)和技術(shù)保障，包括：大數(shù)據(jù)平臺規(guī)劃設(shè)計、大數(shù)據(jù)平臺運營管理、數(shù)據(jù)平臺相關(guān)技術(shù)保障、測試平臺的維護(hù)。技術(shù)開發(fā)崗位負(fù)責(zé)大數(shù)據(jù)平臺的技術(shù)研究、開發(fā)和改進(jìn)，包括平臺軟件、中間件等設(shè)計、開發(fā)。平臺維護(hù)崗位負(fù)責(zé)大數(shù)據(jù)平臺的系統(tǒng)維護(hù)、業(yè)務(wù)維護(hù)，包括：系統(tǒng)監(jiān)控、系統(tǒng)優(yōu)化、業(yè)務(wù)監(jiān)控和業(yè)務(wù)優(yōu)化。數(shù)據(jù)保障崗位負(fù)責(zé)數(shù)據(jù)的加載以及數(shù)據(jù)質(zhì)量保障，包括：各類數(shù)據(jù)的加載、數(shù)據(jù)質(zhì)量的保障、信息安全的保障、數(shù)據(jù)能力的開放。業(yè)務(wù)分析崗位負(fù)責(zé)業(yè)務(wù)分析和需求導(dǎo)入，包括：業(yè)務(wù)調(diào)研、需求分析、跨部門溝通、相關(guān)業(yè)務(wù)運營。數(shù)據(jù)挖掘崗位培養(yǎng)數(shù)據(jù)科學(xué)家。負(fù)

25、責(zé)大數(shù)據(jù)建模和創(chuàng)新，包括：大數(shù)據(jù)分析、大數(shù)據(jù)建模、大數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)。產(chǎn)品經(jīng)理崗位負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的設(shè)計策劃、開發(fā)、營銷，包括：產(chǎn)品運營、數(shù)據(jù)服務(wù)、可視化和平臺產(chǎn)品的設(shè)計、行業(yè)解決方案和運營。(2)角色設(shè)置大數(shù)據(jù)技術(shù)和應(yīng)用對公司的人才培養(yǎng)提出了新的要求，傳統(tǒng)的技術(shù)人才已經(jīng)無法滿足大數(shù)據(jù)變現(xiàn)的需要，因此，公司需要物色和培養(yǎng)大數(shù)據(jù)相關(guān)的專業(yè)人才。在大數(shù)據(jù)運營的過程中，中國移動自有技術(shù)力量不可或缺，必須具有掌握核心架構(gòu)的人員，與業(yè)務(wù)、流程和分析相關(guān)的內(nèi)容也應(yīng)該自我掌控。結(jié)合國內(nèi)外電信運營商的先進(jìn)經(jīng)驗，企業(yè)級大數(shù)據(jù)中心需要具備以下類型的人員：運營分析師：按照公司領(lǐng)導(dǎo)和業(yè)務(wù)部門的需求，深入分析和挖掘數(shù)據(jù)

26、，形成專題分析報告；數(shù)據(jù)科學(xué)家：建立各種數(shù)據(jù)挖掘模型，進(jìn)行數(shù)據(jù)的深度分析；數(shù)據(jù)管理員：制定數(shù)據(jù)規(guī)范，實施“數(shù)據(jù)治理”，及時解決數(shù)據(jù)質(zhì)量問題；數(shù)據(jù)建模師：制定標(biāo)準(zhǔn)的數(shù)據(jù)模型，確保數(shù)據(jù)模型的一致性，評估邏輯模型和物理模型的差異和矛盾；數(shù)據(jù)架構(gòu)師：設(shè)計數(shù)據(jù)庫，數(shù)據(jù)模型，ETL過程，數(shù)據(jù)倉庫設(shè)計和數(shù)據(jù)系統(tǒng)的改進(jìn)。對數(shù)據(jù)架構(gòu)的發(fā)展未來做出決定和建議；技術(shù)架構(gòu)師：緊跟新技術(shù)，組織對產(chǎn)品的測試和選型，負(fù)責(zé)制定創(chuàng)新架構(gòu)；數(shù)據(jù)咨詢師：借助我公司的數(shù)據(jù)資源幫助企業(yè)內(nèi)外部的組織實施各類大數(shù)據(jù)項目；數(shù)據(jù)產(chǎn)品師：負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的設(shè)計策劃、開發(fā)、營銷。(3)人員配置建議借鑒互聯(lián)網(wǎng)公司運營大數(shù)據(jù)平臺的經(jīng)驗，結(jié)合中國移動現(xiàn)狀

27、建議人員配備分三個階段逐步增強(qiáng)中國移動自有力量，逐步掌握大數(shù)據(jù)平臺的核心技術(shù)、開發(fā)和數(shù)據(jù)運營，分階段降低廠商支撐人員比例。初期階段，以現(xiàn)有廠商合作模式為主，在平臺規(guī)劃和設(shè)計方面增加中國移動自有人員能力和數(shù)量，掌握核心架構(gòu)規(guī)劃和設(shè)計能力，掌控數(shù)據(jù)運營核心環(huán)節(jié)。同時鑒于大數(shù)據(jù)新技術(shù)的復(fù)雜性,增加支撐廠商的大數(shù)據(jù)平臺規(guī)劃、建設(shè)和維護(hù)人員，以及數(shù)據(jù)運營人員。建議中國移動大數(shù)據(jù)中心規(guī)劃、建設(shè)和維護(hù)人員每個省達(dá)到20-30人，數(shù)據(jù)運營人員5-10人，廠商支撐人員65-100人。移動人員和廠商人員比例達(dá)到1:2.5左右。中期階段，逐步增強(qiáng)中國移動自有力量，在掌握核心架構(gòu)和能力基礎(chǔ)上，逐步掌握核心功能的開發(fā)和維護(hù)。逐步減少廠商的支撐人員占比。建議中國移動大數(shù)據(jù)中心規(guī)劃、建設(shè)和維護(hù)人員達(dá)到50-7