數(shù)據(jù)中心建設(shè)方案(簡版)

1、企業(yè)數(shù)據(jù)中心系統(tǒng)平臺技術(shù)方案建議書riAsass第1章總體建設(shè)方案1.1總體建設(shè)思路fr-lTP圖、數(shù)據(jù)中心構(gòu)建思路圖按照對數(shù)據(jù)中心的理解，完整的數(shù)據(jù)中心應(yīng)該具備IT基礎(chǔ)設(shè)施（主機(jī)、存儲、網(wǎng)絡(luò)）企業(yè)級ETL平臺、數(shù)據(jù)存儲中心、數(shù)據(jù)共享服務(wù)、應(yīng)用層、統(tǒng)一門戶、數(shù)據(jù)管控平臺。ETL孚臺rr碗 iSSfe1.2功能框架負(fù)我均詢IS用注冊應(yīng)用師.WJ汾析|自空吳汀懸3堂I負(fù)硼羽1SQL文件API躍由其打牧捂處理1 一 -丄戕瓏）Q琨和據(jù)花息sass.L系統(tǒng)功能框架分為企業(yè)級ETL平臺、存儲與計算中心、服務(wù)層、應(yīng)用層、統(tǒng)一門戶、統(tǒng)一平臺管控。企業(yè)級ETL平臺:負(fù)責(zé)企業(yè)數(shù)據(jù)中心數(shù)據(jù)采集、加工、匯總、分發(fā)的

2、過程，完成企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)化、集中 化，實現(xiàn)數(shù)據(jù)脈絡(luò)化、關(guān)系化，實現(xiàn)統(tǒng)一的數(shù)據(jù)處理加工，包括：非實時數(shù)據(jù)處理和實時數(shù) 據(jù)處理，提供數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)匯總、數(shù)據(jù)分發(fā)、數(shù)據(jù)挖掘等能力。存儲與計算中心：建立統(tǒng)一的數(shù)據(jù)中心數(shù)據(jù)模型，以及統(tǒng)一的數(shù)據(jù)存儲與計算，具體提供關(guān)系數(shù)據(jù)庫、 分布式非關(guān)系數(shù)據(jù)庫、分布式文件、分布式計算，實現(xiàn)統(tǒng)一的數(shù)據(jù)存儲與計算。數(shù)據(jù)共享服務(wù):應(yīng)用層幗幵放共農(nóng)H務(wù)甲臺 _ * w V M * 啟榻冊努殂件服努數(shù)據(jù)JE矣曾理分布式立件分環(huán)弍L宜關(guān)庚838-r 處園W工IvTE 可驅(qū) ft 組蚌制皓計 算中心企業(yè)援 FTLSPH退件0C- 門戶已只可科VGOPfeffiLT

3、EEiar&xffr射?；嘏.苣聞沮上瞅據(jù):牡理 勺伴分在式關(guān) 爭昶闊CIT基礎(chǔ)設(shè)圖、功能框架竦一平臺阻梓程入SE-FMLb KM H二：3跖啤通過數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)化開放訪問，幫助企業(yè)IT建設(shè)中，應(yīng)用和數(shù)據(jù)分離，引入更多的應(yīng)用開發(fā)商，促進(jìn)應(yīng)用的百花齊放和應(yīng)用的專業(yè)性；基于標(biāo)準(zhǔn)化接口，實現(xiàn)對標(biāo)簽、客戶視圖、指標(biāo)等數(shù)據(jù)查詢 API封裝，實現(xiàn)與周邊系統(tǒng)實時互動，體現(xiàn)數(shù)據(jù)價值，減少數(shù)據(jù)冗余，保 證數(shù)據(jù)安全，保證數(shù)據(jù)的一致性。應(yīng)用層：應(yīng)用層的應(yīng)用使用服務(wù)層提供的各種數(shù)據(jù)服務(wù)。本期應(yīng)用層包括：經(jīng)分應(yīng)用、流量運(yùn)營、ESOP應(yīng)用、VGOP應(yīng)用、指標(biāo)庫、流量運(yùn)營戰(zhàn)略地圖、掌上分析、自助業(yè)務(wù)分析、區(qū)域洞 察、渠道運(yùn)

4、營、自助分析、客戶標(biāo)簽庫、實時營銷、LTE互聯(lián)網(wǎng)管控策略。統(tǒng)一門戶：提供統(tǒng)一域名分配、負(fù)載均衡、鑒權(quán)管理、統(tǒng)一管控平臺接入、應(yīng)用注冊、應(yīng)用發(fā)布、 應(yīng)用訪問數(shù)據(jù)信息等功能，同時提供數(shù)據(jù)中心被應(yīng)用訪問的頻次，被應(yīng)用訪問的數(shù)據(jù)范圍， 提供數(shù)據(jù)資產(chǎn)的評估，為應(yīng)用上下線和數(shù)據(jù)開放提供依據(jù)。統(tǒng)一平臺管控：面向開發(fā)人員、運(yùn)維人員實現(xiàn)數(shù)據(jù)、應(yīng)用、資源的統(tǒng)一管控，包括：數(shù)據(jù)資產(chǎn)管控、開 發(fā)管理、監(jiān)控管理、調(diào)度管理、系統(tǒng)管理、安全管理。1.3技術(shù)架構(gòu)drrso-rw-*- j慮ES圖、技術(shù)架構(gòu)Hadoop系統(tǒng)技術(shù)架構(gòu)分為數(shù)據(jù)采集、計算存儲服務(wù)、數(shù)據(jù)共享服務(wù)、平臺管控。采用 云技術(shù)，可以滿足計算能力線性擴(kuò)展、多租戶

5、能力、數(shù)據(jù)匯總能力；批處理場景采取Hadoop的Map/Reduce、Hive或者Spark來完成；流式數(shù)據(jù)處理，采用Esper計算引擎實現(xiàn)。數(shù)據(jù)采集：采用Flume計算框架，實現(xiàn)文件和消息采集與解析；采用流式爬蟲、中文分詞、圖片 識別技術(shù)，實現(xiàn)互聯(lián)網(wǎng)網(wǎng)頁信息實時采集；采用FTP文件方式實現(xiàn)對數(shù)據(jù)文件的采集；采用Socket消息方式實現(xiàn)對消息數(shù)據(jù)的采集；采用sqoop方式實現(xiàn)將數(shù)據(jù)庫數(shù)據(jù)裝載到HDFS文件系統(tǒng)。計算存儲服務(wù)：采用Hadoop中HDFS文件系統(tǒng)提供統(tǒng)一的大數(shù)據(jù)數(shù)據(jù)存儲，滿足全量數(shù)據(jù)留存；基于Yarn提供跨平臺的資源管理，滿足資源的統(tǒng)一調(diào)度與管理；采用Hadoop實現(xiàn)非實時ETL，

6、實現(xiàn)海量數(shù)據(jù)的批處理，主要處理ODS層-DWD層-DW層-ST層的數(shù)據(jù)處理；視業(yè)務(wù)數(shù)據(jù)情況部分 DW層-ST層的數(shù)據(jù)處理采用 Spark計算框架實現(xiàn)；采用 Esper和rabbitmq 支撐流數(shù)據(jù)處理與復(fù)雜事件處理；利舊DB2提供ST層數(shù)據(jù)的存儲與計算，支持高并發(fā)的指標(biāo)級數(shù)據(jù)共享。數(shù)據(jù)共享：數(shù)據(jù)開放共享采用基于 HTTP協(xié)議REST風(fēng)格的OpenAPI完成同步處理與基于消息隊 列（MQ）完成異步處理，實現(xiàn)類SOA面向服務(wù)的架構(gòu)體系。 支持OAuth提供一個安全的、 開放而又簡易的授權(quán)協(xié)議。數(shù)據(jù)共享服務(wù)部署在集群環(huán)境中以應(yīng)對高并發(fā)的訪問請求，并實現(xiàn)集群的負(fù)載均衡。統(tǒng)一平臺管控：采用Java EE

7、技術(shù)，通過 MVC模式（Model View Controller，是模型視圖控制器）把業(yè)務(wù)邏輯、數(shù)據(jù)、 界面顯示分離的方法組織代碼，將業(yè)務(wù)邏輯聚集到一個部件里面，在改進(jìn)和個性化定制界面及用戶交互的同時，不需要重新編寫業(yè)務(wù)邏輯。1.4數(shù)據(jù)流圖Me信令（實時）數(shù)據(jù)通過 Socket消息適配模塊接入至 Esper計算引擎進(jìn)行實時處理, 向應(yīng)用提供事件 API服務(wù)，支撐實時營銷應(yīng)用；后期如Gn信令、LTE信令也提供實時數(shù)據(jù)， 可滿足基于Gn信令、LTE信令的實時處理。除Me信令（實時）數(shù)據(jù)外，Gn信令、Me信令、自有業(yè)務(wù)訂購與使用行為等數(shù)據(jù)通過 非實時ETL方式裝載到Hadoop的HDFS文件系統(tǒng)，

8、實現(xiàn)全量數(shù)據(jù)留存；由 Hive承擔(dān)主庫 的職能，實現(xiàn)海量數(shù)據(jù)的批處理，承載ODS-DWD-DW-ST 各層數(shù)據(jù)處理，其中 DW層部分?jǐn)?shù)據(jù)提供給Spark，由Spark完成數(shù)據(jù)處理工作。對外數(shù)據(jù)服務(wù)可以由不同種類的API來完成：1、 針對諸如客戶統(tǒng)一視圖、客戶標(biāo)簽庫的數(shù)據(jù)探索查詢服務(wù)：將數(shù)據(jù)加載到Spark的 RDD中，通過API將數(shù)據(jù)共享出去；2、 針對諸如客戶標(biāo)簽信息查詢、客戶詳單查詢類的數(shù)據(jù)查詢服務(wù)（特點是通過一個 Key 來查詢數(shù)據(jù)）：將數(shù)據(jù)加載到Hbase中，通過API將數(shù)據(jù)共享出去；3、 針對諸如指標(biāo)數(shù)據(jù)查詢、KPI數(shù)據(jù)查詢服務(wù)（特點是高并發(fā)、多維度的數(shù)據(jù)查詢）： 將數(shù)據(jù)加載到 DB

9、2數(shù)據(jù)庫（利舊）中，通過 API將數(shù)據(jù)共享出去；4、 針對多租戶的數(shù)據(jù)共享服務(wù)，詳見5.3章節(jié)；計算勺仔儲W44PI的IHHETL平臺扯_故蹴刪ILLitmat 理第2章 企業(yè)ETL數(shù)據(jù)處理平臺2.1功能框架根據(jù)數(shù)據(jù)中心的建設(shè)需求，企業(yè)級的ETL平臺實現(xiàn)統(tǒng)一的數(shù)據(jù)采集、轉(zhuǎn)換、加載、處理以及統(tǒng)一調(diào)度、管控等功能。這里的ETL指的是廣義的ETL，具備以下的特點：統(tǒng)一數(shù)據(jù)獲取接入，支持 B域數(shù)據(jù)、M域數(shù)據(jù)、0域數(shù)據(jù)或其他外部數(shù)據(jù)統(tǒng)一接入 數(shù)據(jù)中心平臺。支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)采集、加工；對非結(jié)構(gòu)化數(shù)據(jù)要實現(xiàn)從非結(jié)構(gòu)化到結(jié)構(gòu)化的處理過程。支持?jǐn)?shù)據(jù)采集、轉(zhuǎn)換、加載等關(guān)鍵，-數(shù)據(jù)處理過程，實現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)

10、準(zhǔn)。從周期上，支持批量的數(shù)據(jù)采集，實時的數(shù)據(jù)采集滿足數(shù)據(jù)中心數(shù)據(jù)加工，處理以及對外提供數(shù)據(jù)分發(fā)、同步支持全過程的數(shù)據(jù)稽核。包括事前、事中、事后的稽核方式。以及靈活的稽核規(guī)則管理，算法管理全過程的可視化開發(fā)配置管理。通過可視化的開發(fā)配置，測試和部署上線。全過程元數(shù)據(jù)管理。重點要實現(xiàn)事前的元數(shù)據(jù)管理。管理的內(nèi)容包括：支持?jǐn)?shù)據(jù)模 型、數(shù)據(jù)流程、轉(zhuǎn)換規(guī)則、數(shù)據(jù)關(guān)系和轉(zhuǎn)換映射規(guī)則。企業(yè)級的ETL平臺產(chǎn)品DACP可以很好支持上述的關(guān)鍵功能特點。實翊艱處理宏夕袁李1噓二凄st副週首揑平臺羽bbiCTtM Q宴時ETLMs#第3章數(shù)據(jù)存儲層3.1總體概述Me信令（實時）數(shù)據(jù)通過 Socket消息適配模塊接入至

11、 Esper計算引擎進(jìn)行實時處理， 向應(yīng)用提供事件 API服務(wù)，支撐實時營銷應(yīng)用；后期如Gn信令、LTE信令也提供實時數(shù)據(jù)， 可滿足基于Gn信令、LTE信令的實時處理。除Me信令（實時）數(shù)據(jù)外，Gn信令、Me信令、自有業(yè)務(wù)訂購與使用行為等數(shù)據(jù)通過非實時ETL方式裝載到Hadoop的HDFS文件系統(tǒng)，實現(xiàn)全量數(shù)據(jù)留存；由 Hive承擔(dān)主庫的職能，實現(xiàn)海量數(shù)據(jù)的批處理，承載ODS-DWD-DW-ST 各層數(shù)據(jù)處理，其中 DW層部分?jǐn)?shù)據(jù)提供給Spark，由Spark完成數(shù)據(jù)處理工作。3.2存儲規(guī)劃HiveHbasedb2ODS層3+1月3+1月-服pnritpnrit 加處IS)HiveHive 屆

12、tttttt處理）3非寶時ETL用戶曲盲羊|屋戶駕Mk賓爛Bt企 4翱曜菊鏈建表弓目動舞換為在H 3 d 0 口 p上的物理存踴層次.主題 表名 wvvmmddDWD層6+1月-DW層12+1 月-ST層36月-36月客戶標(biāo)簽/視圖3月12+1 月-指標(biāo)3+1月-永久3.3模型設(shè)計數(shù)據(jù)模型設(shè)計按照層次，主題的數(shù)據(jù)模型設(shè)計的思路。系統(tǒng)根據(jù)模型設(shè)計會自動轉(zhuǎn)成 hadoop上存儲。層次、主題映射到相應(yīng)的目錄。邏輯模型到h範(fàn)盤QB物理模型轉(zhuǎn)換盪L人員在說代型町按盼竊撮t再話心如訛x層次主題L俵名心m 壬題Jdr_gwn_yyyTrdcJcdr_gm_M 1QQ7QQI1udf _gjm_QiQ lUM

13、EJOS _art XJQZLaxe-ajqipdMh014D10 亡1002.001cd.E_g3iii_001002 0023.4模型規(guī)范化管理3.4.1分層規(guī)范依據(jù)數(shù)據(jù)倉庫建模理論，結(jié)合實際經(jīng)驗， 數(shù)據(jù)計算平臺承載數(shù)據(jù)模型分為四層:ODS、DWD、DW和ST,即接口層、存儲層、匯總層、應(yīng)用層。模型分層說明：接口層：ODS模型的數(shù)據(jù)結(jié)構(gòu)與業(yè)務(wù)系統(tǒng)接口文件結(jié)構(gòu)保持一致，接口層的數(shù)part areajogdeMffn20i 40101edr_g_001002001cd.rg3wa0100Z0a2prt: 3JQA ueMiad#* tukl*2 D140101 cdr_g3m_00100100

14、1edr_g_001002 0Q21* 展次槿式名f 2IM娟 3編號主體名Ml附AH/2dwpubN/A同H/ASTivapprgfnctjlggil*4N/A幀自行釵DWtLretrteN/A沿展二息屋畬容DWD韓ACDStf騷1日期據(jù)在數(shù)據(jù)計算平臺進(jìn)行暫存。存儲層：即明細(xì)數(shù)據(jù)層，是數(shù)據(jù)計算核心層數(shù)據(jù)模型之一，用于存放由清洗、 轉(zhuǎn)換層來的數(shù)據(jù)或者接口層直接來的數(shù)據(jù)，其設(shè)計目標(biāo)是為后續(xù)的匯總數(shù)據(jù)層和信 息子層提供數(shù)據(jù)基礎(chǔ)。匯總層：即輕度匯總數(shù)據(jù)層，也是數(shù)據(jù)計算核心層數(shù)據(jù)模型之一，該層實現(xiàn)對 主題內(nèi)的數(shù)據(jù)做輕量匯總。設(shè)計目標(biāo)是為應(yīng)用層提供足夠靈活、方便的基礎(chǔ)數(shù)據(jù)， 并保證從該層獲取數(shù)據(jù)是性能最

15、優(yōu)。應(yīng)用層：在匯總數(shù)據(jù)層之上，數(shù)據(jù)按照應(yīng)用需求做數(shù)據(jù)聚合，生成相關(guān)應(yīng)用所 需數(shù)據(jù)的數(shù)據(jù)層。應(yīng)用數(shù)據(jù)層是面向應(yīng)用的，但是也不是每個應(yīng)用都在應(yīng)用數(shù)據(jù)層 對應(yīng)一個表，對應(yīng)用要在數(shù)據(jù)應(yīng)用層中進(jìn)行整合。342表命名規(guī)范OMG標(biāo)準(zhǔn)化組織建議，采用 5分段的命名規(guī)范：如下3.4.3字段命名規(guī)范建立字段的命名規(guī)范，并固化為domain類型，指導(dǎo)模型設(shè)計字段命名。當(dāng)有變更，可以做到跨平臺的統(tǒng)一建模。層次摸式名刪編號主體名店散脳壩遷輯字段售物俚字宦客IF3：xxXX 啊0次數(shù)XX次數(shù)XTC_numxxSftxx num人散XX人散xx critEJKxxBJtxx durar =f =a. .，-.XX flow

16、賽用XX尋xx fee3 y S r “r344模型版本管理新建，測試、JLJL線*變史PoiMerDe&in ERWiin.： ： 亠上 FEX云二醫(yī)主女討二施龍E 竝:書吾豈工且藝吒走壟 忙負(fù)星-鬥世戴宅 4TT F w叮卡孚=亍乩汪紀(jì).勇云扭忑旣：-?- r 玄工去祺型說計層U!坦廳璉曲.ft 倉甬敲訊配就厘審 未建乜惶曇三記老託11上線1變克測試識町俚于芝燈冃I 吉雖忙*上注:迫云 i rJijr.- -B 衽肅疋吊壬占JEE&勇賣 迪S，回霍SLAhWF 朋雖蠱茅:盛據(jù)表結(jié)嗎臥元載舌為中心進(jìn)訐頡卞官戈也 同時在程卉屯建煮不允許aeeteubte方式 必筑調(diào)用平臺提供的星表固載“以.確

17、味素結(jié)構(gòu)描述信息.圭義信皂和實際生產(chǎn)環(huán)節(jié)-能皤保持一詼第4章數(shù)據(jù)開放服務(wù)層4.1建設(shè)目標(biāo)通過數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)化開放訪問，幫助企業(yè)IT建設(shè)中，應(yīng)用和數(shù)據(jù)分離，引入更多的應(yīng)用開發(fā)商，促進(jìn)應(yīng)用的百花齊放和應(yīng)用的專業(yè)性?；跇?biāo)準(zhǔn)化接口，實現(xiàn)對標(biāo)簽、客戶視圖、指標(biāo)等數(shù)據(jù)查詢API封裝，實現(xiàn)與周邊系統(tǒng)實時互動，體現(xiàn)數(shù)據(jù)價值，減少數(shù)據(jù)冗余，保證數(shù)據(jù)安全，保證數(shù)據(jù)的一致 性。對于詳單級數(shù)據(jù)，支持通過文件或授權(quán)的方式共享給周邊系統(tǒng)。通過統(tǒng)一的技術(shù)平臺框架，制定企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系規(guī)范，基礎(chǔ)數(shù)據(jù)采集處理，加工匯總，可以引入多家廠商或多租戶進(jìn)行標(biāo)準(zhǔn)化開發(fā)。要實現(xiàn)上述目標(biāo)，需要解決的關(guān)鍵問題：1） 需要什么樣平臺功能？2）

18、開放的對象。給誰開放？3） 開放什么內(nèi)容。包含兩部分，基礎(chǔ)數(shù)據(jù)的集成開發(fā)的開放和應(yīng)用訪問層數(shù)據(jù)開放。4） 開放的安全保障機(jī)制5） 如何保證開放對象開發(fā)提交的結(jié)果的規(guī)范化、質(zhì)量。6） 開放平臺運(yùn)營的組織結(jié)構(gòu)和流程制度。4.2概述要滿足建設(shè)目標(biāo)的要求，數(shù)據(jù)服務(wù)開放的整個功能框架如下:開放對象開放形貳開放平臺 安全營理 運(yùn)行機(jī)窟鮭st車件刪p pj?j?卿坤斟L L伴笙件組件1開放內(nèi)窘屮冼倉庫ggriwoDW咀戶執(zhí)祁埜理魁Lffit)SPAfK1客尸稅同產(chǎn)品襖國)HBASE:客戶標(biāo)簽苣旬)DB2(3(3則4.2.1開放對象示例說明如下開放對象說明使用形式相關(guān)數(shù)據(jù)多租戶通過授權(quán)的機(jī)制，給租戶開放通過

19、sql查詢數(shù)據(jù)能力，租戶可以在此 基礎(chǔ)上匯總加工自己私有的數(shù)據(jù)SQL，進(jìn)行數(shù)據(jù)處理在保障數(shù)據(jù)安全性、數(shù)據(jù) 可控性的前提下，將Hive 倉庫的 ODS、DWD、DW 各層的開放授權(quán)給數(shù)據(jù) 處理開放給租戶。ESOP ,VGOP通過文件接口將數(shù)據(jù)分發(fā)給對端 系統(tǒng)，滿足其數(shù)據(jù)分析需求文件客戶視圖，匯總模型等手機(jī)經(jīng)分通過在線冋步 API調(diào)用的方式獲 取數(shù)據(jù)開放API指標(biāo)類數(shù)據(jù)實時營銷客戶端通過事件注冊的方式監(jiān)聽 服務(wù)接口，當(dāng)服務(wù)滿足觸發(fā)條件是 主動通知監(jiān)聽客戶端消息服務(wù)信令位置信息等422開放共享方式共享方式說明應(yīng)用場景示例1 1、bossboss的互動接口文件接口數(shù)據(jù)中心將數(shù)據(jù)主動導(dǎo)岀文件，發(fā)送給數(shù)據(jù)

20、需求方2 2、即席查詢臨時周期性生成數(shù)據(jù)開放APIAPI通過APIAPI查詢獲取結(jié)果數(shù)據(jù)，即查即用， 不落地。按查詢數(shù)據(jù)對象粒度分為三巨櫓 世祐fitiKJT犧冥豆a矽車臺丑吏運(yùn)蘭渥是宙類：1 1）STST表查詢1 1、通過對發(fā)布的數(shù)據(jù)模型發(fā)起LSQLLSQL進(jìn)行查詢獲取數(shù)據(jù)2 2）指標(biāo)類查詢2 2、如手機(jī)經(jīng)分查詢指標(biāo)，原來是通過接口 表導(dǎo)入數(shù)據(jù)，可以通過 APIAPI來查詢數(shù)據(jù)3 3）單用戶清單信息查詢APIAPI數(shù)據(jù)分發(fā)將數(shù)據(jù)中心的數(shù)據(jù)分發(fā)到目標(biāo)數(shù)據(jù)庫。需求方提岀申請審批通過后，系統(tǒng)通過分發(fā)平臺定期將數(shù)據(jù)分發(fā)到目標(biāo)庫定期數(shù)據(jù)同步。如將用戶行為匯總數(shù)據(jù)定期同步到經(jīng)營分析系統(tǒng)即席查詢業(yè)務(wù)分析人

21、員通過封裝好的數(shù)據(jù)模型和提供在線即席查詢分析工具，進(jìn)行查詢分析獲取數(shù)據(jù)臨時統(tǒng)計，臨時取數(shù)消息服務(wù)通過消息傳遞數(shù)據(jù)。適合于系統(tǒng)之間的實時協(xié)助， 如用戶事件信 息。需求方作為消息的消費(fèi)者， 同時傳遞消 息事件和內(nèi)容4.3多租戶管理4.3.1概述采用多租戶的思路，將數(shù)據(jù)能力和數(shù)據(jù)平臺數(shù)據(jù)處理能力按需、可控的進(jìn)行開放，在保障數(shù)據(jù)安全性、數(shù)據(jù)可控性的前提下，通過標(biāo)準(zhǔn)化封裝的數(shù)據(jù)操作，可視化開發(fā)工具開放給 業(yè)務(wù)運(yùn)營部門，由其自行進(jìn)行數(shù)據(jù)操作開發(fā)。使用企業(yè)級數(shù)據(jù)中心提供統(tǒng)一開發(fā)平臺來實現(xiàn)多租戶數(shù)據(jù)開發(fā)，其功能結(jié)構(gòu)如下圖：開麥團(tuán)以芝理日常曾理系統(tǒng)包括兩部分：開發(fā)管控和技術(shù)平臺。 通過這兩部分互相配合實現(xiàn)系統(tǒng)開

22、發(fā)能力的開 放。這種模式下需要解決的關(guān)鍵問題包括如下：如何進(jìn)行資源控制， 數(shù)據(jù)權(quán)限管理，跨系統(tǒng)之間的數(shù)據(jù)交互，自動調(diào)度運(yùn)行，元數(shù)據(jù)管理。432角色功能系統(tǒng)管理員：對開發(fā)團(tuán)隊進(jìn)行管理，數(shù)據(jù)權(quán)限和系統(tǒng)資源的分配、審批。1設(shè)置開發(fā)團(tuán)隊使用資源和賬號2、對開發(fā)團(tuán)隊提出的數(shù)據(jù)權(quán)限申請進(jìn)行審批授權(quán)3、表的敏感級別和敏感字段。不同團(tuán)隊對同一數(shù)據(jù)安全級別可以不一樣4、對開發(fā)團(tuán)隊上線進(jìn)行審批。檢查性能，開發(fā)規(guī)范的滿足情況，調(diào)度申請周期是否合理5、對開發(fā)團(tuán)隊數(shù)據(jù)導(dǎo)出安全進(jìn)行審計租戶開發(fā)：使用統(tǒng)一的技術(shù)架構(gòu)和開發(fā)工具，在可以使用的數(shù)據(jù)的基礎(chǔ)，加工出私有 數(shù)據(jù)1查看詳細(xì)的數(shù)據(jù)結(jié)構(gòu)2、新申請數(shù)據(jù)權(quán)限，如果需要新的數(shù)據(jù)，

23、可以進(jìn)行申請，由管理員審批后就可以使用3、數(shù)據(jù)加工開發(fā)，進(jìn)行數(shù)據(jù)匯總、關(guān)聯(lián)查詢，數(shù)據(jù)導(dǎo)出等類型數(shù)據(jù)數(shù)據(jù)加工開發(fā)4、臨時上線、正式上線。5、對其所開發(fā)的程序數(shù)據(jù)運(yùn)行情況監(jiān)控。4.3.3統(tǒng)一開發(fā)平臺技術(shù)詳解租戶用戶管理租戶與系統(tǒng)用戶映射通過映射開發(fā)管理平臺帳號及執(zhí)行平臺帳號，以租戶的方式實現(xiàn)用戶及用戶組管理，以達(dá)到資源管控及數(shù)據(jù)權(quán)限控制的目的。如下圖，在管控平臺進(jìn)行開發(fā)團(tuán)隊的管理和對應(yīng)賬號的設(shè)置，在數(shù)據(jù)平臺完成對租戶的 資源、權(quán)限進(jìn)行控制。每個開發(fā)團(tuán)隊根據(jù)需要指定其在現(xiàn)賬號的權(quán)限、資源的控制。hadoop或關(guān)系數(shù)據(jù)庫上的執(zhí)行賬號。在數(shù)據(jù)平臺上實在查詢或運(yùn)行某個數(shù)據(jù)處理任務(wù)時,用其對應(yīng)

24、的賬號進(jìn)行執(zhí)行。 從而實現(xiàn)對開發(fā)團(tuán)隊開發(fā)運(yùn)行的任務(wù)資源、權(quán)限的控制。在管理平臺新建租戶的賬號或數(shù)據(jù)權(quán)限變更時，管理平臺根據(jù)配置參數(shù)，實時調(diào)用OCDC的相關(guān)API自動進(jìn)行授權(quán)、修改、創(chuàng)建賬號。433.2系統(tǒng)計算資源分配控制在管控平臺統(tǒng)一對租戶進(jìn)行計算資源的分配，分配完的參數(shù)部署到hadoop或關(guān)系數(shù)據(jù)庫，實現(xiàn)控制。實現(xiàn)資源控制，包括兩部分：hadoop上的資源分配和關(guān)系數(shù)據(jù)庫的資源分配（DB2 ）。HadoopHadoop計算資源控制要實現(xiàn)計算資源的控制，hadoop需要OCHadoop3.2以上，安裝安全組件（sentry）計算資源控制原理資源池跟系統(tǒng)的賬號相關(guān)。一個系統(tǒng)賬號只能屬于一個資源池

25、，YARN支持采用資源池方式對系統(tǒng)用戶進(jìn)行 CPU，內(nèi)存的運(yùn)行控制。資源池控制參數(shù)：獨(dú)占資源：最小分配的資源。系統(tǒng)確保此用戶有最小的資源。共享資源：系統(tǒng)空閑時可以使用的最大資源其中單位：虛擬的 cpu核和內(nèi)存單位。如何設(shè)置租戶的資源參數(shù)，是一個需要不斷根據(jù)運(yùn)行情況進(jìn)行優(yōu)化的過程。占胡且rf ui?tDOOnik iOweitiAMSDCOUC-Ii7QM0Hb4-SODmb Ivem1X0mb7MaooocfUii4S040注：Spark同hadoop的資源管理DB2DB2資源控制要實現(xiàn)DB2的資源控制，要求： DB2 9.5版本。目前db2的版本已經(jīng)滿足，需要開通開發(fā)那f4 csai 威希r

26、用戶. dbuswlHad 000夷煩怏垠！ con, A-veo1SUE庫|7 4ZUJflEEfitl：円銅：歩北b）系統(tǒng)會對開發(fā)人員的編寫的sql進(jìn)行解析，獲取其依賴的輸入表和輸出表。再跟元數(shù)據(jù)進(jìn)行對比自動選擇相應(yīng)數(shù)據(jù)庫。選擇策略如下:所有輸入表都在同一個庫則選擇那個庫輸入表分布在兩個庫系統(tǒng)給岀錯誤提示。建議其采用數(shù)據(jù)同步再進(jìn)行開發(fā)。如果涉及到的表涉及到兩個庫都存在如果有關(guān)聯(lián)表，則跟著關(guān)聯(lián)表同個庫，否則優(yōu)先選擇大數(shù)據(jù)平 臺。3.跨數(shù)據(jù)平臺命令的運(yùn)行比如：如何實現(xiàn)在 hadoop平臺執(zhí)行匯總數(shù)據(jù)，導(dǎo)入到 db2，在進(jìn)行匯總。Server端在讀取這個一個處理任務(wù)時，將命令發(fā)送匯總命令給 ha

27、doop Age nt執(zhí)行，然后DMP SERV二啟豐.能啟J豈刼gs莒淫在發(fā)送命令給hadoop Age nt進(jìn)行分發(fā)到db2，然后在發(fā)送命令給 db2 agent進(jìn)行數(shù)據(jù)處理。第5章應(yīng)用開發(fā)與部署5.1應(yīng)用開發(fā)流程應(yīng)用層的所有業(yè)務(wù)應(yīng)用具備與底層數(shù)據(jù)松耦合特性，通過接口層提供的各種數(shù)據(jù)接口，向業(yè)務(wù)人員或第三方廠商提供開放API服務(wù)。根據(jù)不同的應(yīng)用場景，通過對相應(yīng)的API進(jìn)行選擇和組合，從而快速生成所需要的業(yè)務(wù)應(yīng)用，以滿足對應(yīng)用的快速開發(fā)、部署、上線的能力。對于應(yīng)用的開發(fā)可通過兩種方式進(jìn)行實現(xiàn)：1、 數(shù)據(jù)中心平臺內(nèi)應(yīng)用開發(fā) ：通過數(shù)據(jù)中心提供的應(yīng)用開發(fā)平臺直接進(jìn)行應(yīng)用開發(fā)，開發(fā)平臺提供高效的可

28、視化開發(fā)界面，包括對各類API可以追根溯源，展現(xiàn)詳細(xì)API元數(shù)據(jù)信息等。同時對應(yīng)用設(shè)計、應(yīng)用開發(fā)、應(yīng)用測試、應(yīng)用上線、應(yīng)用下線 進(jìn)行全流程、全生命周期的開發(fā)管控。此類開發(fā)場景主要適用于不具備硬件資源的 用戶（如業(yè)務(wù)部門開發(fā)人員）進(jìn)行應(yīng)用開發(fā)。2、 數(shù)據(jù)中心平臺外應(yīng)用開發(fā)：通過Http協(xié)議數(shù)據(jù)服務(wù)接口，直接調(diào)用數(shù)據(jù)中心服務(wù)層中的各類API服務(wù)，通過開發(fā)編寫相應(yīng)的計算過程形成對應(yīng)的業(yè)務(wù)應(yīng)用。此類開發(fā)場景主要適用于具備硬件資源（如第三方廠商）的用戶進(jìn)行應(yīng)用開發(fā)。丄幵左U理平苣i.h站時上找雷下遇幵3!H詞皆（ft旦.刊!包二環(huán)5芯于宜臣子酎疇tt去開前,述5.2應(yīng)用部署建議本期從外部系統(tǒng)接入 8類數(shù)

29、據(jù)源，所有清單數(shù)據(jù)在企業(yè)數(shù)據(jù)中心進(jìn)行基礎(chǔ)匯總，提供數(shù)據(jù)、存儲和API接口服務(wù)能力，供14類應(yīng)用調(diào)用。三遙wE3H Kafl BESliBF-1用戶hMT信尙1宮垃& i i氓耳肓如密hJHDFSHBASEHIVE 和 HBASE標(biāo)簽庫應(yīng)用：所有標(biāo)簽數(shù)據(jù)計算、存儲在數(shù)據(jù)中心，標(biāo)簽結(jié)果數(shù)據(jù)在 分別存儲一份數(shù)據(jù)，HIVE上存儲的數(shù)據(jù)通過 Spark的RDD對外提供“根據(jù)標(biāo)簽查用戶群”API，HBASE上存儲的數(shù)據(jù)對外提供“根據(jù)號碼查標(biāo)簽信息”API。指標(biāo)庫：所有指標(biāo)計算、存儲在數(shù)據(jù)中心，結(jié)果數(shù)據(jù)存儲在RDB，通過“ KPI查詢”API對外提供服務(wù)。掌上經(jīng)分應(yīng)用支撐：掌上經(jīng)分需要的KPI由經(jīng)分提供，改

30、為由數(shù)據(jù)中心“ KPI查詢”API提供。實時營銷支撐：將 MC位置信令事件集成到數(shù)據(jù)中心，由數(shù)據(jù)中心提供消息事件給實 時營銷平臺。LTE互聯(lián)網(wǎng)管控策略（PCC）、自有業(yè)務(wù)分析平臺、區(qū)域價值洞察：對于這些規(guī)劃中的 系統(tǒng)，建議采用多租戶的方式，在企業(yè)數(shù)據(jù)中心完成數(shù)據(jù)處理和存儲都在數(shù)據(jù)中心，應(yīng)用通過調(diào)用API獲取數(shù)據(jù)。經(jīng)分系統(tǒng)一經(jīng)接口、 MIS接口、財務(wù)報表、ESOP、VGOP、戰(zhàn)略地圖、渠道運(yùn)營平臺、 所需的數(shù)據(jù)源，統(tǒng)一由數(shù)據(jù)中心將 DWD、DW層數(shù)據(jù)分發(fā)文件給各系統(tǒng)，由應(yīng)用系統(tǒng)自行 進(jìn)行數(shù)據(jù)加工及展現(xiàn)。經(jīng)分其他應(yīng)用（除去一經(jīng)接口、 MIS接口、財務(wù)報表）：數(shù)據(jù)處理和存儲都在數(shù)據(jù)中心，ST層數(shù)據(jù)保

31、存在db2。血用Is Is5TSEE欄ODSDW/DWDKPT門戶功能框架包括門戶接入、第6章統(tǒng)一門戶6.1概述企業(yè)數(shù)據(jù)中心統(tǒng)一門戶的建設(shè)是為了降低系統(tǒng)使用人員訪問數(shù)據(jù)中心的難度，提高系統(tǒng)的易用性，并且實現(xiàn)數(shù)據(jù)中心的資源有機(jī)整合和統(tǒng)籌管理。1.數(shù)據(jù)開放服務(wù)門戶：對于數(shù)據(jù)開放服務(wù)提供開發(fā)者門戶，含有數(shù)據(jù)服務(wù)授權(quán)申請、開發(fā)者幫助文檔、服務(wù)注冊、創(chuàng)建、注銷等。2.管控平臺門戶：對整個數(shù)據(jù)中心管控平臺使用者門戶，系統(tǒng)管理、運(yùn)維調(diào)度、質(zhì)量監(jiān)控等。3.應(yīng)用使用門戶：對于應(yīng)用使用者的門戶， 支持多租戶應(yīng)用、第三方應(yīng)用的集成統(tǒng)一 呈現(xiàn)。6.2門戶功能框架統(tǒng)一門戶功能框架如下圖所示門戶功能兩部分；通過功能適配到

32、角色工作臺形成不同的角色視圖。門戶接入：主要負(fù)責(zé)企業(yè)數(shù)據(jù)中心用戶訪問渠道的接入管理；接入應(yīng)用的日志管理、負(fù)載均衡與訪問授權(quán)。門戶功能：包括角色工作臺、認(rèn)證管理、權(quán)限管理、用戶管理、流程審批、數(shù)據(jù)開 發(fā)、應(yīng)用開發(fā)、數(shù)據(jù)授權(quán)、運(yùn)維監(jiān)控、多租戶管理等界面。門戶 山甘云3!誓安全匡理王篩周餐世元處管理咸據(jù)生產(chǎn)平erer第7章管控平臺7.1概述彰故據(jù)辿理鞏廳引擎敢麻皓朽弓評怙曰亂佶樂rt能樂集(I務(wù)嚅度|I.：I 門 戶1 III教捱接口站薦倨弓計K站志烏I7.2元數(shù)據(jù)管理7.2.1功能框架元數(shù)據(jù)管理是需要將各系統(tǒng)的信息、設(shè)計工具信息、生產(chǎn)平臺信息，進(jìn)行收集管理，統(tǒng) 一管理。提供一個視圖，以幫助使用人員

33、了解系統(tǒng)的數(shù)據(jù)分布、數(shù)據(jù)關(guān)系、業(yè)務(wù)規(guī)則、指標(biāo) 口徑等。元數(shù)據(jù)包括：系統(tǒng)類元數(shù)據(jù)、技術(shù)類元數(shù)、管理類元數(shù)據(jù)?？傮w功能框架圖針對數(shù)據(jù)中心的要求，元數(shù)據(jù)管理需要具備的關(guān)鍵的特性如下：1)要求提供標(biāo)準(zhǔn)化的應(yīng)用開發(fā)工具，滿足在不同平臺上的開發(fā)需求2)100%的ETL開發(fā)、數(shù)據(jù)模型開發(fā)、應(yīng)用開發(fā)能基于開發(fā)工具實現(xiàn)3)95%以上的元數(shù)據(jù)能自動采集、解析與管理，元數(shù)據(jù)的范圍包括但不局限于數(shù)據(jù)結(jié)構(gòu)、數(shù) 據(jù)詞典、字段維度、程序映射邏輯、數(shù)據(jù)生命周期等4)多租戶的統(tǒng)一元數(shù)據(jù)管理7.2.2基于元數(shù)據(jù)的應(yīng)用開發(fā)工具提供統(tǒng)一的應(yīng)用開發(fā)工具，完成高效應(yīng)用的開發(fā)，并可以自動完成應(yīng)用元數(shù)據(jù)的采集。 提供諸如數(shù)據(jù)展示包括報表工具

34、，儀表盤分析等工具如1、支持常見的各種報表樣式卡片SO J#1 - r 9琵HC#-uF9V4二MIT壬2、支持常見各種分析圖，同時支持圖表組合分析.I3、支持各種數(shù)據(jù)源方式化陣幵型RtBt陀再幵蟻配K按11IU歩HI血地巾魚市昭庵權(quán)承他月* U*pMrip HiLI.百 也i+ wk分俎式報袤交艮式報表L_ _ _支持oracle, db2,mysql等常見的關(guān)系型數(shù)據(jù)庫支持 gp, gbase等 mpp數(shù)據(jù)庫支持hdfs, hbase等大數(shù)據(jù)平臺提供數(shù)據(jù)支持webservice獲取數(shù)據(jù)7.2.3基于元數(shù)據(jù)的數(shù)據(jù)開發(fā)工具采用元數(shù)據(jù)驅(qū)動（MDA）設(shè)計理念，去規(guī)劃元數(shù)據(jù)對象的創(chuàng)建、運(yùn)行、評估、維

35、護(hù)各環(huán)節(jié)節(jié)。屏蔽大數(shù)據(jù)平臺差異性，統(tǒng)一模型設(shè)計、統(tǒng)一程序開發(fā)，將元數(shù)據(jù)融入到開發(fā)各個環(huán)節(jié)，利于管理。數(shù)據(jù)模型設(shè)計支持IDE數(shù)據(jù)模型設(shè)計，同時支持模型設(shè)計工具power design、Erwin批量導(dǎo)入功能。提供數(shù)據(jù)周期、數(shù)據(jù)表級字段級銘感設(shè)置、字段口徑定義。數(shù)據(jù)流程設(shè)計設(shè)計程序輸入表和輸出表的元數(shù)據(jù)信息。程序開發(fā)根據(jù)設(shè)計的內(nèi)容轉(zhuǎn)換成開發(fā)內(nèi)容。開發(fā)人員就可以在此基礎(chǔ)上進(jìn)行開發(fā)。提供各個接入平臺統(tǒng)一封裝函數(shù)，降低開發(fā)難度數(shù)據(jù)質(zhì)量控制1常規(guī)檢查。包括及時性，運(yùn)行狀態(tài)，運(yùn)行時長，處理記錄數(shù)等進(jìn)行常規(guī)檢查。2對程序日志進(jìn)行稽核。包括單步的處理時長，記錄數(shù)的波動等3對程序的目標(biāo)表啟動檢查。檢查目標(biāo)的統(tǒng)計指

36、標(biāo)值，關(guān)鍵字段維度、層次間數(shù)據(jù)的一 致性進(jìn)行檢查提供程序界面測試功能對開發(fā)內(nèi)容進(jìn)行測試和調(diào)優(yōu)，檢查質(zhì)量規(guī)范，性能，質(zhì)量是否滿足期望 發(fā)布應(yīng)用到正式運(yùn)行環(huán)境元數(shù)據(jù)收集存儲：程序的基本信息。包括程序的名稱，中文名稱，備注，周期，層次，主題，創(chuàng)建人, 開發(fā)人員程序的處理步驟信息。包括程序步驟編號，調(diào)用函數(shù)，執(zhí)行腳本 程序輸入輸出關(guān)系。輸入模型，輸出模型程序的字段映射規(guī)則。輸入模型到輸出模型的轉(zhuǎn)換規(guī)則引學(xué)Uni x/OntUX723.1數(shù)據(jù)流設(shè)計設(shè)計數(shù)據(jù)模型，設(shè)置數(shù)據(jù)存儲周期， 敏感級別，數(shù)據(jù)模型數(shù)據(jù)流設(shè)計，支持模型字段映射關(guān)系設(shè)計1.數(shù)據(jù)流程設(shè)計設(shè)計程序輸入表和輸出表.輸入表可以是文件，也可以是遠(yuǎn)程

37、數(shù)據(jù)庫上的某個表。目標(biāo)表可 以是文件也可以是遠(yuǎn)程目標(biāo)數(shù)據(jù)庫上的表。2.數(shù)據(jù)模型設(shè)計對輸入表和輸出表，進(jìn)行表結(jié)構(gòu)的設(shè)計。包括表的基本信息，存儲信息和表的關(guān)系。根據(jù)不 同的存儲類別，會有設(shè)計參數(shù)上的差異。3.轉(zhuǎn)換映射規(guī)則設(shè)計根據(jù)表的關(guān)系和表模型信息，進(jìn)行轉(zhuǎn)換映射。映射規(guī)則包括合并，拆分，規(guī)則轉(zhuǎn)換，函數(shù)轉(zhuǎn) 換等常見的操作宰APISwindowsDB2 Oracle mysqlOB2 Oracle mysql HadoopB2723.2可視化程序開發(fā)統(tǒng)一封裝的函數(shù)庫，屏蔽底層差異性，通過類sql編寫，或函數(shù)調(diào)度，實現(xiàn)跨平臺統(tǒng)一開發(fā)。根據(jù)數(shù)據(jù)倉庫處理過程抽象出5大類通用函數(shù)庫，統(tǒng)一調(diào)用參數(shù)接口， 開發(fā)人

38、員針對不同不平臺實現(xiàn)無差異的開發(fā)。如將某類數(shù)據(jù)文件加載到數(shù)據(jù)庫中，開發(fā)人員只要指定數(shù)據(jù)文件路徑和目標(biāo)表。系統(tǒng)執(zhí)行時如果是要入庫到DB2調(diào)用DB2的命令，如果是Hadoop平臺，調(diào)用 Hadoop的命令。通過可視化的流程界面， 拖拽方式實現(xiàn)對函數(shù)的編排，對每個節(jié)點函數(shù)編寫參數(shù)， 實現(xiàn)數(shù)據(jù)加工功能。降低開發(fā)難度。開發(fā)時候，對函數(shù)進(jìn)行編排，填寫節(jié)點函數(shù)參數(shù)。實現(xiàn)一個具體的數(shù)據(jù)處理過程每個節(jié)點時應(yīng)一？匪荔V對每個爺點甌輯入?yún)? 址酬護(hù)5QL査看表結(jié)構(gòu)信息或通過這里創(chuàng)建I!H * F*!TWmnm科.fVahueMl poOBow nctoin * FGfiEACH %teTA% G6N6RATE Xf

39、fW_(JATttiDebugHCaisiDg尹剤心UDF 匕 nrv -.備二! 士查看數(shù)據(jù)或運(yùn)行的詳I；細(xì)日志信息支持多種腳本開發(fā)，提供基于web腳本開發(fā)工具編寫如 tel、python開發(fā)程序；能夠從開發(fā)的腳本中自動解析建立元數(shù)據(jù)：輸入表和輸出表的關(guān)系；腳本類的開發(fā)工具，集成 了開發(fā)，測試，上線集成操作。同時將函數(shù)庫，數(shù)據(jù)模型統(tǒng)一進(jìn)行集成;Q 丁 功 4* *耳醞垂 P1織空*!幵iftfH h 于 千*再1 1 battisgbattisg * * 1M&1M&utlnfutlnf PifGtonfH/ItPifGtonfH/Itmumu * * FCSIACHFCSIACH batt

40、batt丄聘 GHERATSGHERATS jQjQ u u playerlD,playerlD, SiSi Ku u rjnrjnJ J grpgrp少- - cwcw runsruns baba y&)y&)；san_r-nssan_r-ns 曲R R臥翱 grpgrp一尙:就畫ATEATE groupgroup u u 甲rp*rp* MU(rjm.runi)MU(rjm.runi) join_aw_nmjoin_aw_nm JOIKJOIK moi,moi,：朋 byby 非們 aw_runsaw_runsJ J nutsnuts byby ;y*r;y*rP Pruns);runs)

41、;i i joudatajoudata nmCSnmCS piiiiurvipiiiiurvi SOATE SOSO asas yar,yar, S2S2 AS plaerp,plaerp, 餾p p ;oindatat;oindatat724關(guān)鍵技術(shù)說明7.241前向元數(shù)據(jù)管理1、在開發(fā)過程中通過IDE工具產(chǎn)生結(jié)構(gòu)化的元數(shù)據(jù)信息。1* l-iSi*li-Miil-a衣 J HdHi a-WHr*i抿志二戎工具號 12、在上線時，對元數(shù)據(jù)內(nèi)容進(jìn)行稽核檢查，保證元數(shù)據(jù)信息的完整性，合理性。通過統(tǒng)一的上線作為管理的控制點。每個團(tuán)隊提交要上線的內(nèi)容,存到統(tǒng)一元數(shù)據(jù)庫進(jìn)行標(biāo)準(zhǔn)化檢查稽核。上線時檢查的內(nèi)

42、容：程序需要提交的內(nèi)容：程序本身的信息和程序輸出表的信息。怖 TTifTl1 I HXXHiPAl1上妙交陽：11密構(gòu)喀旦疸字信g陌柝二津邑 Si看配豊陰旦 幵KHfU.2i1鏈1捏心式：u,金Q三A=ifKCFLtiA_i1上錢的類聖a 幵3kSFA3 F*T*-3Dlte=!aa. jsa si-=1勢諏二線 後序卜墟各習(xí)陸智曰開反魏一上紅工耳手眇畢：Q期j址二控制.&古卷 ”碗”信定魏一元琳y ,-VEHHtCbfMAM4VW1vinrftuttlalinffiujiW|MtfiiU-HB卯甲lMRCV1J“44祁円.I刃臥設(shè)苜善理丄不同系統(tǒng)的開嶷桌面入口 E曜盒1甘厚目 總B瘩口稱原*

43、赴序B JtWB firflaflw7.242多租戶的元數(shù)據(jù)管理每個開發(fā)團(tuán)隊輸出到不同的開發(fā)目錄。內(nèi)容包括現(xiàn)有的數(shù)據(jù)字典、 業(yè)務(wù)口徑、程序代碼等。這些輸出到同一的元數(shù)據(jù)中心，進(jìn)行統(tǒng)一的標(biāo)準(zhǔn)化和規(guī)范化檢查統(tǒng)一的標(biāo)準(zhǔn)與規(guī)范，統(tǒng)制定基本的規(guī)范和標(biāo)準(zhǔn)，不管哪個開發(fā)小組開發(fā)的內(nèi)容必須滿足這些基本的標(biāo)準(zhǔn)。7.3流程管理通過流程管理實現(xiàn)對數(shù)據(jù)處理過程的統(tǒng)一管控，并提供一系列工具實現(xiàn)數(shù)據(jù)處理過程可視化、可管控，它包括對系統(tǒng)資源、軟件資源、業(yè)務(wù)應(yīng)用、參與人員等各種資源統(tǒng)一管理， 綜合監(jiān)控平臺，隨時重現(xiàn)大數(shù)據(jù)環(huán)境中各個組成部分相互依賴，為各級IT管理人員提供從資源規(guī)劃、資源收集、性能分析、故障定位與處理、統(tǒng)計分析

44、、知識沉淀與管理過程的支持7.3.1流程引擎流程管理集成自有輕量型流程引擎來完成各類流程快速配置開發(fā)。功能如下：1、流程的建模和實現(xiàn)在流程定義、執(zhí)行、管理控制等階段，業(yè)務(wù)和IT人員的高度一致流程運(yùn)行，以及整體性能查看和監(jiān)控可視化提供靈活的手段實現(xiàn)流程的修改和演進(jìn)支持流程模式以及部門協(xié)同，支持流程中的附件添加和查看 自帶的業(yè)務(wù)規(guī)則和決策表支持分支選擇，路由到特定用戶、用戶組、角色、投票規(guī)議統(tǒng)的開錄內(nèi)I4Ail1兀城據(jù) 應(yīng)用元數(shù)IB 中右L L一寧麗卑刪問“isMja 1 應(yīng)耐am則、例外和事件處理、服務(wù)水平監(jiān)控規(guī)則等2、流程仿真、優(yōu)化和分析 3、開發(fā)管控、版本控制4、流程評估和監(jiān)控分析1 *|1

45、 1i-二-一17.4作業(yè)任務(wù)管理通過元數(shù)據(jù)獲取作業(yè)輸入表作為作業(yè)啟動的前置條件1、通過數(shù)據(jù)流程設(shè)計來確定數(shù)據(jù)關(guān)系2、人工進(jìn)行修改作業(yè)輸入、輸出3、支持手工設(shè)置前置作業(yè)作業(yè)任務(wù)資源占用類型評估采集程序的歷史運(yùn)行時長，處理記錄數(shù)等關(guān)鍵指標(biāo)， 支持系統(tǒng)自動測算和人工指定,程序的資源占用類型分為三類：1、高：運(yùn)行時長特別長，處理記錄數(shù)比較多2、中：處理記錄數(shù)相對較小，處理步驟多，時間較長。3、低：運(yùn)行時間很短的程序作業(yè)任務(wù)靜態(tài)優(yōu)先級按照應(yīng)用的重要性，根據(jù)血緣分析，尋找路徑上的所有處理任務(wù)。1、重要越高的應(yīng)用，其路徑上的節(jié)點的任務(wù)優(yōu)先級越高。2、人工進(jìn)行修改維護(hù)7.5數(shù)據(jù)管理7.5.1數(shù)據(jù)生命周期管理

46、 上線不管通過什么方式完成開發(fā)，上線必須保證數(shù)據(jù)的相關(guān)的信息完整性，合理性。由數(shù)據(jù)管理員負(fù)責(zé)對上線要素信息的檢查。保證在上線時信息要素被正確保存，以作為后續(xù)使用。上線檢查基本信息要素匕線14期權(quán)限信息要素：存儲信息要素:數(shù)據(jù)關(guān)系要素:主外雜關(guān)聚表的基本信息檢查中文E：dwd用戶電話號碼XT廈夭系冃表類亀;匚業(yè)莓溟水Qffi戶癰匚總虜匚怠DM匯總?cè)诒碇骱?周觸:用戶蘭題VOV/DV月V備注:d”琳尸電詁號碼丼應(yīng)關(guān)系月表IADOOPIASS13P3P）譏門R1IPHB4QE壓需策踞表空間賦取用尸拆分字啟字段踣腳存睛規(guī)凰型據(jù)使用覷則0貝存L!歷更版第 Ann火預(yù)克割旌DV/D DWD

47、USER PHONE MAP YYYV存錯主庫；IZ愴原元數(shù)胡庫匚妬史庫HRgfl庫地而庫壇刪別；：無，級亀感謝敏感表結(jié)構(gòu)基本信息字段館構(gòu)存儲規(guī)則 數(shù)據(jù)使用規(guī)則 質(zhì)量規(guī)則増加批量導(dǎo)入看類似創(chuàng)逢刖除；建害腳本 肆出較導(dǎo)出季刷新 保存序?qū)Q中文名字段類型長度允許盜玄0 0STAT_MONVARCHAR5YH|iUSERJD6IGINTBNE 2PHONE_NOVARCHAR15N 3USER_STATVACHR5Y0 4DATT1METIMESTAMP10Y表存儲信息設(shè)置基豐傳息存苗撫JU數(shù)霑便冃換則虞呈按廬I安全策略管理：對數(shù)據(jù)加密的密鑰管理,敏感數(shù)據(jù)定義，賬號權(quán)限，離線數(shù)據(jù)終端的注如敏感信息

48、是否有加密，賬號系統(tǒng)規(guī)范性自動檢測Qcok201*434iiMr TTJi . 3IWJE蹴g2D14尸*1対闿PftOOaPHOfldk01444學(xué)戰(zhàn)中=T1KH左求僅玄FEE0*g2(HZ1事后屛桂杏hfrtFRI；=flwtr.滬下口說E不斗fl手平和okde211144)4中巾下殲u,陽 丘#耳呂.=?tbsrror破TT.E GETTV陸 OBJCODF Qfi.iTVI.PftnOE?OUI4中只匕中弋窯杏!FFWZ . 3FP4： ;iL門丄:林斥砒de2HU414硯甲護(hù)申專呂乃帶：！冊總*真衛(wèi)儘H.mjfifffl聘aMMKMIf囂工!狙劇UINVL.N韻.業(yè)賢越酬帥EHWWO

49、K*咲中牛泌勺:4fl? r生3沢T -：=okck2flUABMBaLoaina.TrniiN應(yīng)口畫1J4iY1冃2Q114&U刖agcni_02*i&_wru-*0301M 口杲羽欣-fiM月Qa8OufiOI_a2AH_TMN7他2脈豪占 1Bi 11 _Y冃211-03-14aaHCMB3ljDl2i21_TYYllHGKI21?FDW-M冃ZOHHB-UaaADlOM_K2_mWM0協(xié)RMH-U64M09日p劇.8科帚YWiiriASMiHH-A&CM04冃甲網(wǎng)1三芒ttTJHEIhlY刪W麗BdYV冃押州砌3aYBOM* 口弄0Y04a&iiKn_sai4i_nnrwM.WS5S

50、口豪F齢仆ma*4H&iBaLMKA.nfTOiNY佃他口 *TB4Y1l-0i|4!0..2安全漏洞檢測冊等。安全策略檢測：對安全策略是否實施到位進(jìn)行自動檢測。的權(quán)限是否超出范圍。安全審計監(jiān)控：對數(shù)據(jù)所有的使用日志進(jìn)行審計，是否涉及到敏感數(shù)據(jù)非法使用。7.5.1237.5.123存儲空間監(jiān)控檢查文件空間，表空間等信息是否滿足生產(chǎn)的要求。數(shù)據(jù)評估..1數(shù)據(jù)價值評估功能說明：對數(shù)據(jù)價值成本進(jìn)行評估，對數(shù)據(jù)存儲、處理、應(yīng)用進(jìn)行優(yōu)化。 評估算法：科目分?jǐn)偡椒ㄇ芭_應(yīng)用使用次數(shù)應(yīng)用的點擊次數(shù)平均分?jǐn)偨o應(yīng)用鏈路上的所有表支持kpi

51、，指標(biāo)統(tǒng)計的個 數(shù)KPI應(yīng)用次數(shù)平均分?jǐn)偨o KPI的統(tǒng)計表鏈路上的所 有表分發(fā)給外部系統(tǒng)接口可 數(shù)據(jù)（分發(fā)給外部表，平均分?jǐn)偨o分發(fā)接口表鏈路上的 所有表）*加權(quán)系數(shù)價值外部應(yīng)用調(diào)用次數(shù)（外部應(yīng)用調(diào)用表次數(shù)平均分?jǐn)偨o應(yīng)用表鏈路上的 所有表）*加權(quán)系數(shù)存儲成本表的大小*（存儲擴(kuò)容的投資總額/總空間大?。┯嬎愠杀咎幚肀頂?shù)據(jù)總時長*（主機(jī)擴(kuò)容的投資總額/所有程 序的運(yùn)行總時長）開發(fā)成本表的字段數(shù)*（每年新業(yè)務(wù)開發(fā)費(fèi)用/表的總字段數(shù) 據(jù)）運(yùn)維成本維護(hù)費(fèi)用/表的總數(shù)成本項目管理成本分?jǐn)偣芾砜偝杀?表的總數(shù)應(yīng)用場景：SETJI程中，增加一個日 賬申克和用戸表的輕度匯總轟支 持上而的應(yīng)用，減少大表關(guān)聯(lián)次優(yōu)也

52、不接入結(jié)算話單，將境計 指標(biāo)移植到結(jié)算系統(tǒng)出，結(jié)臬再 倍回來-數(shù)據(jù)內(nèi)容集團(tuán)建議數(shù)據(jù)保存周期數(shù)揮名毅存儲戍使用 價值語音清單500060COS45*|4-a-i a *4d fci-ari Hii fl i結(jié)負(fù)話聖1020201111M KSr-i1日雌單殺5203401051II1分?jǐn)兀含F(xiàn)曰底單表應(yīng)用價值在升高，但計 算成車乜同樣往升高“鏗過分祈最近日賬 單表的坯計分析帕塞，經(jīng)常韋日賬單扣用 戶栽關(guān)聯(lián)，造成統(tǒng)計注能開銷恨丈分析=按規(guī)范曼求系統(tǒng)接入了結(jié)算話單， 經(jīng)過價值咸李啟發(fā)規(guī)表的存借成本、計算 感述相當(dāng)高.直托彳良少衛(wèi)統(tǒng)計f 指 標(biāo)7.5.1327.5.132數(shù)據(jù)重要性評估從表的在數(shù)據(jù)使用過

53、程中和數(shù)據(jù)應(yīng)用中對表的重要性進(jìn)行評估，輸出表重要性級別。art 彷r wn vir阿児vs屠倉BH業(yè)砒址rs林3日國用1 MWi i,CIMTU3ermw盒曹 EED*Wi_GCUST_mttikl嗣ww*OMljWB_5rwDMrDRMlT_yWA A A A A42S943DtM. OT_UBU5R_WU?21妙DwAHAxrr_rrau JD 軋wvvuiiCD*57E7D*亡 ihWH TTJTEN.YYEJW昔書w Mr ArW04C* W4To肯* 蠹irUJDDhr2323DPI ALPQflTjNDLVUl.HKIWr二 hBDiwBiiS-STOtjnnrfQtDB4MSER

54、CrrnT*l：C賢肯it*372rJ會恥r31310倉JTNWK GCUJTjPfi ,_WD(fiVTVVllliOO卻D0Jf Ai Ai *a?Dhmcair.vrwiiHWH GDSjnCMET_WYYYiW* W363fiD討340*JAWCUNEFR RFC匚 _D斤匸*-= dtf*口口HOO.gET.CiLjfmHM3121Q..3存儲周期評估包括存儲規(guī)則的配置示例如下:用戶資料及接觸記錄在線存儲：三年近線存儲：永久保存(HadoopHadoop ErasureErasure Code)Code)各類話單在線存儲：一年近線存儲：三年(Hadoop

55、Hadoop ErasureErasure Code)Code)信令和日志在線存儲：一個月近線存儲：六個月(HadoopHadoop ErasureErasure Code)Code)各類匯總數(shù)據(jù)在線存儲：永久保存T3EflgT 可ffi* .ItKfi仍*Ji血2M&-12-W4tAD0901 CCOUHTCOCEMl強(qiáng)口 ?聽:代昭趣礎(chǔ)Q00-BCM口的機(jī)皆2除卜詣-IE口0&GI ADCOUHTMLCFC_RSEND沙0個”000EJDl.AECtJ TLIJLUAILSUM2：9-2-TtG0&001 CCTJTEM_VTYY|dM侏啟料巨表priK-03月30QBtQl *DC03O

56、l?_YVVMU2V弋2疔0月3Q1-Ml J9_SfiW_BURMJ_IIMF0GG&01 ALLUSER_00QBKJI0OI (JlQW000存儲周期的計算，計算表到期時間。如果到期了，則這個表可以進(jìn)行刪除或轉(zhuǎn)儲。ft_DrVN_CBJ_!WCift_TFrr2&1、hCrri4*1DWB*005 gBJTD2LE_DP|J!irPgAm-tnerma#IWI日TflS,COS03JFqrLATJtfl|_D-pW(dlncirniBl-M3ms.HSCMXiiOn CH&8_ifF0PLITKR_DV_DWK2DWDBTBS_eO3*KX0 3_HF0*WT_lfh_D_D岬n( (v

57、 ni#DWBiliOS.QDlWM.QGSXF OPLAI_HPl_PT_PFlh|.ihsrffliitWfiB1flS_i3EiSWCH &3_M* MLAJLKft_Bt_EMil4hiritiaiiSaaQWDBFfl6_QD5WOS 0D9_PIF QLAT_KP：_DT_JHdi-1ntrmaJ-83BWOPTflSCCSos-1DRWDIMBTB5.0OSPX3S ODS_IFDPIJT_KP1_PT_C-1n enn al-B35DHUBTHE qosJUDO9 OtraifFDFUlTKROTDffilnormaJ-B357.5.1347.5.134時效性評估通過對數(shù)據(jù)關(guān)系

58、的分析，發(fā)現(xiàn)孤立表或無效表。根據(jù)表名判斷此表大約含義，建表日期、狀態(tài)日期，表內(nèi)數(shù)據(jù)時間等判斷此表最后更新 時間。通過數(shù)據(jù)的使用日志，對孤立表和無效表進(jìn)行判斷是否有使用如果滿足以上3點，就可以判斷此表無使用和處理就可以進(jìn)行下線處理。7.5.1357.5.135冗余數(shù)據(jù)評估系統(tǒng)中存在著大量的冗余的數(shù)據(jù)。比如從清單上的進(jìn)行匯總的表就非常多，這些匯總表中有些存在相識性，這就造成了大量的冗余數(shù)據(jù)，這些大量的冗余數(shù)據(jù)，一方面給數(shù)據(jù)的精 確性和可靠性將帶來影響，同時也影響著數(shù)據(jù)庫的性能。要解決這個問題有兩個環(huán)節(jié)：發(fā)現(xiàn)冗余數(shù)據(jù)和冗余進(jìn)行消除合并。..6數(shù)據(jù)關(guān)系評估數(shù)據(jù)關(guān)系的類別可

59、以分為以下幾種：主外鍵關(guān)系。由上線時進(jìn)行登記。參考關(guān)系。主要描述實體表與維度表的關(guān)系。在上線時登記。輸入與輸出。通過元數(shù)據(jù)解析建立。歷史拍照。通過處理程序解析發(fā)現(xiàn)建立。冗余備份。從目的可以劃分為：分工提速、轉(zhuǎn)儲優(yōu)化、應(yīng)用分流、數(shù)據(jù)統(tǒng)計臨時備份。系統(tǒng)根據(jù)以上的關(guān)系類別，通過相識表的發(fā)現(xiàn)分析，自動建立數(shù)據(jù)之間的關(guān)系。數(shù)據(jù)優(yōu)化..1優(yōu)化策略類別條件優(yōu)化策略執(zhí)行策略下線清理1、 表滿足存儲評估的到期條件2、同時滿足數(shù)據(jù)在各個已經(jīng)同步到 位清理或轉(zhuǎn)儲自動執(zhí)行下線清理1、滿足時效性分析發(fā)現(xiàn)的無效表清理人工確認(rèn)性能優(yōu)化1、發(fā)現(xiàn)高查詢使用的表轉(zhuǎn)存咼端設(shè)備或內(nèi)存數(shù) 據(jù)

60、人工確認(rèn)冗余消除1、發(fā)現(xiàn)相似表或冗余表數(shù)據(jù)合并人工確認(rèn)冗余字段1、發(fā)現(xiàn)抽取過多的字段但沒有使用 到優(yōu)化抽取策略人工確認(rèn)7.5.1427.5.142優(yōu)化執(zhí)行多系統(tǒng)協(xié)同生命周期管理：可以制定在不同的庫不同存儲策略，如最近數(shù)據(jù)和歷史數(shù)據(jù)分布策略；自動管理與手工管理： 支持系統(tǒng)自動管理，自動清理，同時對一些重點的表進(jìn)行手工審批管理；數(shù)據(jù)下線對滿足下線的表的進(jìn)行數(shù)據(jù)下線。..1預(yù)下線為了安全起見，對重要的表、不確定的冗余表等，可以先預(yù)下線，再下線。將表的權(quán)限都收回，確保所有的使用者都無法使用此表。標(biāo)識此表狀態(tài)為：預(yù)下線狀態(tài)。過了預(yù)下線期限后，就可以執(zhí)行下線的操