京東金融大數(shù)據(jù)分析平臺(tái)總體架構(gòu)（課堂PPT）

1、金融集團(tuán)大數(shù)據(jù)分析平臺(tái)金融集團(tuán)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)總體架構(gòu)議程大數(shù)據(jù)分析平臺(tái)總體架構(gòu)大數(shù)據(jù)分析平臺(tái)演進(jìn)路線大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn)附錄：數(shù)據(jù)質(zhì)量管理平臺(tái)金融集團(tuán)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析商城數(shù)據(jù)倉(cāng)庫(kù)累積數(shù)據(jù)沒(méi)有充分利用缺乏面向整個(gè)金融集團(tuán)的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐金融集團(tuán)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)險(xiǎn)評(píng)估體系；缺乏金融集團(tuán)客戶360度視圖，客戶行為分析和預(yù)測(cè)無(wú)法實(shí)現(xiàn)；缺乏面向金融業(yè)務(wù)運(yùn)營(yíng)管理的關(guān)鍵績(jī)效指標(biāo)體系；l商城已建立面向整個(gè)零售業(yè)務(wù)的商城已建立面向整個(gè)零售業(yè)務(wù)的數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)，整合倉(cāng)庫(kù)，整合了前臺(tái)業(yè)務(wù)了前臺(tái)業(yè)務(wù)運(yùn)營(yíng)運(yùn)營(yíng)數(shù)據(jù)和后數(shù)據(jù)和后臺(tái)管理數(shù)據(jù)，建立了面向零售的管理臺(tái)管理數(shù)據(jù)，建立了面向

2、零售的管理分析應(yīng)用；分析應(yīng)用；l金融集團(tuán)已開(kāi)展供應(yīng)鏈金融、人人貸金融集團(tuán)已開(kāi)展供應(yīng)鏈金融、人人貸和保理等多種業(yè)務(wù)，積累了一定量的和保理等多種業(yè)務(wù)，積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營(yíng)規(guī)模預(yù)測(cè)等方面理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營(yíng)規(guī)模預(yù)測(cè)等方面，提出了大量分析預(yù)測(cè)需求；，提出了大量分析預(yù)測(cè)需求；ll數(shù)據(jù)平臺(tái)整體架構(gòu)；數(shù)據(jù)平臺(tái)整體架構(gòu)；l 數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)；數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)；l 較成熟較成熟的的金融業(yè)金融業(yè)數(shù)據(jù)模型數(shù)據(jù)模型；l 數(shù)據(jù)質(zhì)量治理；數(shù)據(jù)質(zhì)量治理；l 元數(shù)據(jù)管理；元數(shù)據(jù)管理；l 數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)l 數(shù)據(jù)整合；數(shù)據(jù)整合；l 數(shù)

3、據(jù)應(yīng)用建設(shè)；數(shù)據(jù)應(yīng)用建設(shè)；l 數(shù)據(jù)平臺(tái)的軟硬數(shù)據(jù)平臺(tái)的軟硬環(huán)境環(huán)境l大數(shù)據(jù)分析平臺(tái)建設(shè)目標(biāo)外部非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一制定目標(biāo)和分析模型統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術(shù)基礎(chǔ)統(tǒng)一定義BI 應(yīng)用自定義報(bào)表工具行列的簡(jiǎn)單定義方式多種格式報(bào)表集團(tuán)決策層集團(tuán)職能管控層各級(jí)業(yè)務(wù)操作層關(guān)注集團(tuán)主要經(jīng)營(yíng)指標(biāo)業(yè)務(wù)人員使用BI應(yīng)用實(shí)現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新BI 分析工具供應(yīng)鏈金融系統(tǒng)POP系統(tǒng)其他業(yè)務(wù)系統(tǒng)云數(shù)據(jù)推送平臺(tái)已實(shí)現(xiàn)了主要零售及金融業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來(lái)金融集團(tuán)數(shù)據(jù)平臺(tái)提供了豐富的數(shù)據(jù)源。通過(guò)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)，金融集團(tuán)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái)，對(duì)各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測(cè)及分

4、析，為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力采購(gòu)管理系統(tǒng)查看職能部門的業(yè)務(wù)經(jīng)營(yíng)情況大數(shù)據(jù)分析平臺(tái)建設(shè)預(yù)期收益2.加強(qiáng)業(yè)務(wù)協(xié)作加強(qiáng)業(yè)務(wù)協(xié)作3.促進(jìn)業(yè)務(wù)創(chuàng)新促進(jìn)業(yè)務(wù)創(chuàng)新4.提升建設(shè)效率提升建設(shè)效率5.改善數(shù)據(jù)質(zhì)量改善數(shù)據(jù)質(zhì)量1.實(shí)現(xiàn)數(shù)據(jù)共享實(shí)現(xiàn)數(shù)據(jù)共享議程大數(shù)據(jù)分析平臺(tái)綜述大數(shù)據(jù)分析平臺(tái)演進(jìn)路線大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn)附錄：數(shù)據(jù)質(zhì)量管理平臺(tái)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)歷史數(shù)歷史數(shù)據(jù)查詢據(jù)查詢數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平臺(tái)應(yīng)用集市數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)商城零售供應(yīng)鏈金融人人貸系統(tǒng)基金系統(tǒng)系統(tǒng)企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)交換組件數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計(jì)數(shù)據(jù)計(jì)算層算

5、層大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)沙盤(pán)演練數(shù)據(jù)區(qū)沙盤(pán)演練數(shù)據(jù)區(qū)數(shù)據(jù)應(yīng)數(shù)據(jù)應(yīng)用層用層實(shí)時(shí)數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)客戶主題協(xié)議主題產(chǎn)品主題業(yè)務(wù)沙盤(pán)演練業(yè)務(wù)沙盤(pán)演練數(shù)據(jù)增數(shù)據(jù)增值產(chǎn)品值產(chǎn)品 零售數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)增值產(chǎn)增值產(chǎn)品數(shù)據(jù)區(qū)品數(shù)據(jù)區(qū)主主題題數(shù)數(shù)據(jù)據(jù)區(qū)區(qū) 用戶訪用戶訪問(wèn)層問(wèn)層客戶匯總賬戶匯總機(jī)構(gòu)匯總 社交媒體移動(dòng)互聯(lián)用戶評(píng)價(jià)訪問(wèn)日志處理后大數(shù)據(jù)待處理大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程流程調(diào)度調(diào)度平臺(tái)平臺(tái)數(shù)據(jù)數(shù)據(jù)管控管控平臺(tái)平臺(tái)流程調(diào)度層流程調(diào)度層數(shù)數(shù)據(jù)據(jù)管管控控層層數(shù)據(jù)數(shù)據(jù)產(chǎn)生層產(chǎn)生層數(shù)據(jù)交數(shù)據(jù)交換層換層實(shí)時(shí)數(shù)實(shí)時(shí)數(shù)據(jù)查詢據(jù)查詢客戶管理財(cái)務(wù)管理外部用戶貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)內(nèi)部管理分析內(nèi)部管理分析內(nèi)部

6、用戶歷史歸檔數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)IT人員風(fēng)險(xiǎn)管理大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)產(chǎn)生層l內(nèi)部?jī)?nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)v商城日常零售業(yè)務(wù)商城日常零售業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：供應(yīng)商信息、采購(gòu)信息、商品信息、銷售處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：供應(yīng)商信息、采購(gòu)信息、商品信息、銷售流水流水v金融集團(tuán)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如金融集團(tuán)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：客戶信息、賬戶信息、：客戶信息、賬戶信息、金融產(chǎn)品金融產(chǎn)品信息、交易流水信息、交易流水l企業(yè)內(nèi)部非結(jié)

7、構(gòu)化數(shù)據(jù)企業(yè)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)v日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)形式多樣，主要包括用戶訪問(wèn)日志、用戶投訴、用戶點(diǎn)評(píng)日常業(yè)務(wù)處理過(guò)程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)形式多樣，主要包括用戶訪問(wèn)日志、用戶投訴、用戶點(diǎn)評(píng)l企業(yè)外部企業(yè)外部數(shù)據(jù)數(shù)據(jù)v企業(yè)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國(guó)家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息企業(yè)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國(guó)家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息 源數(shù)據(jù)內(nèi)容源數(shù)據(jù)內(nèi)容l在本次項(xiàng)目實(shí)施中將采用以增量在本次項(xiàng)目實(shí)施中將采用以增量為主、全量為主、全量為輔結(jié)合的為輔結(jié)合的方式獲取源數(shù)據(jù)方式獲取源數(shù)

8、據(jù)l商城和金融集團(tuán)業(yè)務(wù)系統(tǒng)商城和金融集團(tuán)業(yè)務(wù)系統(tǒng)的的數(shù)據(jù)數(shù)據(jù)v增量數(shù)據(jù)識(shí)別、獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)，增量數(shù)據(jù)識(shí)別、獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)，云數(shù)據(jù)推送云數(shù)據(jù)推送平臺(tái)采用平臺(tái)采用分析、對(duì)比源系統(tǒng)日志方式實(shí)現(xiàn)分析、對(duì)比源系統(tǒng)日志方式實(shí)現(xiàn)v對(duì)于無(wú)法通過(guò)上述方式獲取增量的源系統(tǒng)數(shù)據(jù)對(duì)于無(wú)法通過(guò)上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量v初始初始數(shù)據(jù)加載均采用全量數(shù)據(jù)加載均采用全量模式模式源數(shù)據(jù)增量源數(shù)據(jù)增量大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)傳輸組件是根據(jù)數(shù)據(jù)源存儲(chǔ)的不同分類而設(shè)計(jì)的，本質(zhì)是通過(guò)分析

9、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)庫(kù)的特點(diǎn)來(lái)針對(duì)性的設(shè)計(jì)工具，以追求卓越的性能保證數(shù)據(jù)在平臺(tái)內(nèi)高速流轉(zhuǎn)高速流轉(zhuǎn)保證數(shù)據(jù)交換過(guò)程中不失真不失真保證數(shù)據(jù)交換過(guò)程中不丟失不丟失保證數(shù)據(jù)交換過(guò)程安全可靠安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件大數(shù)據(jù)交換組件金融集團(tuán)系統(tǒng)金融集團(tuán)系統(tǒng)數(shù)據(jù)服務(wù)層外部外部大數(shù)大數(shù)據(jù)據(jù)商城系統(tǒng)商城系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺(tái)云數(shù)據(jù)推送平臺(tái)數(shù)據(jù)平臺(tái)導(dǎo)入臨時(shí)區(qū)數(shù)據(jù)平臺(tái)導(dǎo)出臨時(shí)區(qū)NAS 存儲(chǔ)ETL程序區(qū)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層NAS存儲(chǔ) 存儲(chǔ)數(shù)據(jù)平臺(tái)各個(gè)Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù) 集團(tuán)數(shù)據(jù)交換平臺(tái)每日獲取運(yùn)輸局推送平臺(tái)提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)，暫存

10、在NAS臨時(shí)數(shù)據(jù)區(qū) 金融數(shù)據(jù)平臺(tái)加工計(jì)算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū) 數(shù)據(jù)平臺(tái)ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲(chǔ)在NAS集群指定目錄，各接口服務(wù)器通過(guò)文件系統(tǒng)Link建立映射大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層大數(shù)據(jù)交換組件l企業(yè)內(nèi)部非結(jié)構(gòu)化企業(yè)內(nèi)部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、如：音頻、視頻、郵件、郵件、Office文檔文檔、抵押品掃描件等、抵押品掃描件等l企業(yè)外部非結(jié)構(gòu)化企業(yè)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、如：微博、貼吧、論壇、用戶點(diǎn)擊流論壇、用戶點(diǎn)擊流、用戶移動(dòng)位置等、用戶移動(dòng)位置等l批量采集

11、：大數(shù)據(jù)批量采集：大數(shù)據(jù)源以源以SFTP協(xié)議批量協(xié)議批量傳輸數(shù)據(jù)傳輸數(shù)據(jù)文件文件l在線在線訪問(wèn)：開(kāi)發(fā)訪問(wèn)：開(kāi)發(fā)Java或或C應(yīng)用，調(diào)應(yīng)用，調(diào)用大據(jù)源用大據(jù)源API，或，或以網(wǎng)絡(luò)平臺(tái)爬蟲(chóng)方以網(wǎng)絡(luò)平臺(tái)爬蟲(chóng)方式抓取源系統(tǒng)式抓取源系統(tǒng)非非結(jié)結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)據(jù)l組件以實(shí)時(shí)和批量組件以實(shí)時(shí)和批量?jī)煞N模式實(shí)現(xiàn)下列兩種模式實(shí)現(xiàn)下列功能：功能：v數(shù)據(jù)采集數(shù)據(jù)采集v數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平平臺(tái)臺(tái)（接口服務(wù)器）（接口服務(wù)器）NAS指定目錄指定目錄v存儲(chǔ)存儲(chǔ)數(shù)據(jù)到數(shù)據(jù)平臺(tái)大數(shù)據(jù)到數(shù)據(jù)平臺(tái)大數(shù)據(jù)區(qū)指定數(shù)據(jù)區(qū)指定HDFS目錄目錄l定時(shí)抽取用戶訪問(wèn)定時(shí)抽取用戶訪問(wèn)日志，日志，加載到數(shù)據(jù)加載

12、到數(shù)據(jù)平臺(tái)大數(shù)據(jù)區(qū)平臺(tái)大數(shù)據(jù)區(qū)HDFS指定目錄，指定目錄，MR程序程序加工處理加工處理l開(kāi)發(fā)網(wǎng)絡(luò)爬蟲(chóng)程序開(kāi)發(fā)網(wǎng)絡(luò)爬蟲(chóng)程序，掃描用戶微博，掃描用戶微博，抓取用戶微博內(nèi)容抓取用戶微博內(nèi)容，社交圈信息，存，社交圈信息，存入大數(shù)據(jù)區(qū)入大數(shù)據(jù)區(qū)處理對(duì)象處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能實(shí)現(xiàn)功能應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件l企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來(lái)源：括兩大來(lái)源：v商城零售業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)商城零售業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)在存儲(chǔ)在Oracle、SQLServer、MySQL和和MongoDB四類數(shù)據(jù)庫(kù)四類數(shù)據(jù)庫(kù)v金融金融集團(tuán)

13、互聯(lián)網(wǎng)金融業(yè)務(wù)集團(tuán)互聯(lián)網(wǎng)金融業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)lPerl程序程序v數(shù)據(jù)采集，數(shù)據(jù)采集，調(diào)用調(diào)用Perl文件模塊相關(guān)函數(shù)，輪文件模塊相關(guān)函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)詢指定目錄，獲取數(shù)據(jù)文件文件v數(shù)據(jù)核查，數(shù)據(jù)核查，Perl執(zhí)行文執(zhí)行文件級(jí)數(shù)據(jù)質(zhì)量檢查件級(jí)數(shù)據(jù)質(zhì)量檢查v數(shù)據(jù)加載，調(diào)用數(shù)據(jù)加載，調(diào)用Hive Load數(shù)據(jù)命令，加載數(shù)據(jù)命令，加載到數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù)區(qū)到數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù)區(qū)的的Hive Tablel組件以實(shí)時(shí)和組件以實(shí)時(shí)和批量模批量模式式實(shí)現(xiàn)下列功能：實(shí)現(xiàn)下列功能：v數(shù)據(jù)采集，數(shù)據(jù)采集，輪詢輪詢NAS集群集群指定指定目錄，獲取數(shù)據(jù)文件目錄，獲取數(shù)據(jù)文

14、件（LZO壓縮壓縮）v數(shù)據(jù)核查，對(duì)數(shù)據(jù)核查，對(duì)數(shù)據(jù)數(shù)據(jù)文件進(jìn)文件進(jìn)行質(zhì)量校驗(yàn)行質(zhì)量校驗(yàn)v數(shù)據(jù)加載，加載數(shù)據(jù)到臨數(shù)據(jù)加載，加載數(shù)據(jù)到臨時(shí)數(shù)據(jù)區(qū)時(shí)數(shù)據(jù)區(qū)l云云數(shù)據(jù)推送平臺(tái)連接數(shù)據(jù)推送平臺(tái)連接供應(yīng)供應(yīng)鏈金融鏈金融系統(tǒng)數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫(kù)，分析庫(kù)，分析供應(yīng)鏈金融供應(yīng)鏈金融MySQL數(shù)據(jù)庫(kù)日志，數(shù)據(jù)庫(kù)日志，識(shí)別增量數(shù)據(jù)識(shí)別增量數(shù)據(jù)，存儲(chǔ)，存儲(chǔ)到金融平臺(tái)到金融平臺(tái)NAS存儲(chǔ)存儲(chǔ)的指定目錄，金融平的指定目錄，金融平臺(tái)加載數(shù)據(jù)文件到臺(tái)加載數(shù)據(jù)文件到數(shù)數(shù)據(jù)平臺(tái)臨時(shí)區(qū)據(jù)平臺(tái)臨時(shí)區(qū)Hive表表處理對(duì)象處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能實(shí)現(xiàn)功能應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件l數(shù)據(jù)平臺(tái)計(jì)算層

15、各數(shù)據(jù)平臺(tái)計(jì)算層各數(shù)據(jù)區(qū)數(shù)據(jù)區(qū)v貼源數(shù)據(jù)貼源數(shù)據(jù)區(qū)區(qū)v主題數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)v集市數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)v沙盤(pán)數(shù)據(jù)區(qū)沙盤(pán)數(shù)據(jù)區(qū)v大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)v歸檔數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)lSqoop實(shí)現(xiàn)集市數(shù)實(shí)現(xiàn)集市數(shù)據(jù)區(qū)與數(shù)據(jù)平臺(tái)其據(jù)區(qū)與數(shù)據(jù)平臺(tái)其他他Hadoop數(shù)據(jù)區(qū)數(shù)據(jù)區(qū)的數(shù)據(jù)交換的數(shù)據(jù)交換lHadoop 命令、命令、Hive外部表、外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺(tái)程序?qū)崿F(xiàn)數(shù)據(jù)平臺(tái)Hadoop數(shù)據(jù)區(qū)間數(shù)據(jù)區(qū)間的數(shù)據(jù)交換的數(shù)據(jù)交換l組件組件以批量方式實(shí)以批量方式實(shí)現(xiàn)下列數(shù)據(jù)交換功現(xiàn)下列數(shù)據(jù)交換功能能：v貼源數(shù)據(jù)貼源數(shù)據(jù)區(qū)和區(qū)和主題數(shù)據(jù)主題數(shù)據(jù)區(qū)到區(qū)到集市數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)v大大數(shù)據(jù)數(shù)據(jù)區(qū)區(qū)到主題數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市和集

16、市數(shù)據(jù)數(shù)據(jù)區(qū)區(qū)v主題數(shù)據(jù)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤(pán)區(qū)、集市數(shù)據(jù)區(qū)到沙盤(pán)數(shù)據(jù)區(qū)數(shù)據(jù)區(qū)v各個(gè)數(shù)據(jù)各個(gè)數(shù)據(jù)區(qū)數(shù)據(jù)歸檔區(qū)數(shù)據(jù)歸檔l數(shù)據(jù)集市的數(shù)據(jù)按數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃照據(jù)生命周期規(guī)劃，統(tǒng)一將過(guò)期數(shù)據(jù)，統(tǒng)一將過(guò)期數(shù)據(jù)歸檔到歷史數(shù)據(jù)歸歸檔到歷史數(shù)據(jù)歸檔區(qū)檔區(qū)處理對(duì)象處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能實(shí)現(xiàn)功能應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景大數(shù)據(jù)分析平臺(tái)總體架構(gòu)流程調(diào)度層批量處理流程l 批量數(shù)據(jù)處理由流程調(diào)度層部署的批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開(kāi)發(fā)自定義開(kāi)發(fā)WorkFlow組件調(diào)度運(yùn)組件調(diào)度運(yùn)行行l(wèi) 整個(gè)流程整個(gè)流程主要完成如下主要完成如下工作工作：獲取業(yè)務(wù)獲取業(yè)務(wù)系統(tǒng)系統(tǒng)結(jié)構(gòu)化

17、數(shù)據(jù)，存結(jié)構(gòu)化數(shù)據(jù)，存入臨時(shí)數(shù)據(jù)區(qū)入臨時(shí)數(shù)據(jù)區(qū)獲取獲取企業(yè)企業(yè)內(nèi)外部非內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)，并進(jìn)行結(jié)構(gòu)化處理，存入主，并進(jìn)行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)題或集市數(shù)據(jù)區(qū)按照貼源按照貼源數(shù)據(jù)模型整合數(shù)據(jù)模型整合數(shù)據(jù)（數(shù)據(jù)（標(biāo)準(zhǔn)化、數(shù)據(jù)更新標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加追加）按照按照主題數(shù)據(jù)模型主題數(shù)據(jù)模型整合整合數(shù)據(jù)并數(shù)據(jù)并生成匯總生成匯總數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用數(shù)據(jù)集市，支持分析類應(yīng)用大數(shù)據(jù)分析平臺(tái)總體架構(gòu)流程調(diào)度層實(shí)時(shí)數(shù)據(jù)處理流程l 實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技取并

18、處理數(shù)據(jù)，通常采取消息隊(duì)列等技術(shù)構(gòu)建術(shù)構(gòu)建“數(shù)據(jù)流數(shù)據(jù)流”l 整個(gè)處理流程由流程調(diào)度層部署的自定整個(gè)處理流程由流程調(diào)度層部署的自定義開(kāi)發(fā)義開(kāi)發(fā)WorkFlow組件調(diào)度運(yùn)行組件調(diào)度運(yùn)行l(wèi) 整個(gè)流程主要完成如下工作：整個(gè)流程主要完成如下工作：通過(guò)數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件獲取增量通過(guò)數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)通過(guò)大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化通過(guò)大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加處理數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)載到實(shí)時(shí)數(shù)據(jù)區(qū)針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合理和貼源整合大數(shù)據(jù)分析平臺(tái)總體架構(gòu)流程調(diào)

19、度層歸檔數(shù)據(jù)處理流程l 數(shù)據(jù)歸檔的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)數(shù)據(jù)歸檔的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)市數(shù)據(jù)區(qū)數(shù)據(jù)l 數(shù)據(jù)按照生命周期規(guī)劃存儲(chǔ)到歸檔區(qū)數(shù)據(jù)按照生命周期規(guī)劃存儲(chǔ)到歸檔區(qū)Hadoop集集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)l 整個(gè)處理流程由流程調(diào)度層部署的自定義開(kāi)發(fā)整個(gè)處理流程由流程調(diào)度層部署的自定義開(kāi)發(fā)WorkFlow組件調(diào)度運(yùn)行組件調(diào)度運(yùn)行l(wèi) 整個(gè)流程主要完成如下工作：整個(gè)流程主要完成如下工作：數(shù)據(jù)文件通過(guò)數(shù)據(jù)文件通過(guò)HDFS命令行命令行copyfromlo

20、cal進(jìn)行歸檔進(jìn)行歸檔貼源、主題和大數(shù)據(jù)區(qū)通過(guò)貼源、主題和大數(shù)據(jù)區(qū)通過(guò)HDFS命令行命令行distcp或自定義開(kāi)發(fā)的或自定義開(kāi)發(fā)的MR程序執(zhí)行歸檔程序執(zhí)行歸檔集市集市數(shù)據(jù)區(qū)通過(guò)數(shù)據(jù)區(qū)通過(guò)Sqoop或數(shù)據(jù)庫(kù)提供的或數(shù)據(jù)庫(kù)提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸集成技術(shù)（如：外部表）執(zhí)行歸檔檔大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層l業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)l緩存數(shù)據(jù)，支持后續(xù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問(wèn)模式工作負(fù)載平臺(tái)要求l貼貼源源數(shù)據(jù)模型數(shù)據(jù)模型l保存最近保存最近7天數(shù)據(jù)天數(shù)據(jù)l貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)貼源數(shù)據(jù)區(qū)和主題

21、數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)l無(wú)最終用戶訪問(wèn)無(wú)最終用戶訪問(wèn)lI/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載l少量量數(shù)據(jù)使用少量量數(shù)據(jù)使用Hive的的Load命令，大量數(shù)據(jù)使用命令，大量數(shù)據(jù)使用MR程序程序l與主題區(qū)與主題區(qū)/貼貼源源區(qū)區(qū)/集市區(qū)構(gòu)成一個(gè)集市區(qū)構(gòu)成一個(gè)Hadoop集群（集群（Hive）l無(wú)單點(diǎn)無(wú)單點(diǎn)故障，故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤(pán)演練數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤(pán)演練數(shù)據(jù)區(qū)批量作業(yè)訪問(wèn)l無(wú)最終用戶訪問(wèn)無(wú)最終用戶訪問(wèn)lI/O敏感，日終批量敏感，日終批量ETLl以以ELT形式通過(guò)形式通過(guò)Hive

22、SQL執(zhí)行執(zhí)行l(wèi)與主題區(qū)與主題區(qū)/貼源區(qū)貼源區(qū)/集市區(qū)構(gòu)成一個(gè)集市區(qū)構(gòu)成一個(gè)Hadoop集群（集群（Hive）l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l貼貼源源數(shù)據(jù)模型數(shù)據(jù)模型l不不保存歷史保存歷史l業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)l數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤(pán)演練提供數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤(pán)演練提供數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層（續(xù)）l企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)l采集并采集并存儲(chǔ)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)，進(jìn)行，進(jìn)行結(jié)構(gòu)化處理，最終得

23、到結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問(wèn)模式工作負(fù)載平臺(tái)要求l數(shù)據(jù)按照數(shù)據(jù)按照HDFS文件文件存儲(chǔ)存儲(chǔ)l建議保留建議保留1年年l集市區(qū)集市區(qū)/沙盤(pán)區(qū)沙盤(pán)區(qū)/增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/主題主題區(qū)區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析少量高級(jí)業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析lMapReduce 分布式計(jì)算，半分布式計(jì)算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包括文本檢索、語(yǔ)義分詞、圖像識(shí)別、音頻識(shí)別等）（包括文本檢索、語(yǔ)義分詞、圖像識(shí)別、音頻識(shí)別等）l與主題區(qū)與主題區(qū)/貼源區(qū)構(gòu)成一個(gè)貼源區(qū)構(gòu)成一個(gè)Hadoop集群（集群（

24、HDFS）l無(wú)單點(diǎn)無(wú)單點(diǎn)故障，故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l集市區(qū)集市區(qū)/沙盤(pán)區(qū)沙盤(pán)區(qū)/增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/主題主題區(qū)區(qū)/高時(shí)效區(qū)批量作業(yè)訪問(wèn)高時(shí)效區(qū)批量作業(yè)訪問(wèn)l業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢lMapReduce分布式計(jì)算，分布式計(jì)算，HDFS命令實(shí)現(xiàn)命令實(shí)現(xiàn)Hadoop集群內(nèi)集群內(nèi)歸檔，歸檔，Sqoop實(shí)現(xiàn)數(shù)據(jù)庫(kù)歸檔，通過(guò)實(shí)現(xiàn)數(shù)據(jù)庫(kù)歸檔，通過(guò)Hive提供歷史查詢提供歷史查詢l獨(dú)立的獨(dú)立的Hadoop集群（集群（HDFS+Hive）l無(wú)單點(diǎn)無(wú)單點(diǎn)故障，故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l數(shù)據(jù)按照數(shù)據(jù)按照HDFS文件文件存儲(chǔ)存儲(chǔ)

25、l數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年年l其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)l按數(shù)據(jù)生命周期規(guī)劃歸檔平臺(tái)過(guò)期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢按數(shù)據(jù)生命周期規(guī)劃歸檔平臺(tái)過(guò)期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層（續(xù)）l業(yè)務(wù)業(yè)務(wù)系統(tǒng)歷史明細(xì)系統(tǒng)歷史明細(xì)數(shù)據(jù)數(shù)據(jù)l打破業(yè)務(wù)條線整合數(shù)據(jù)打破業(yè)務(wù)條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問(wèn)模式工作負(fù)載可用性要求l第三第三范式范式模型模型l保留長(zhǎng)期歷史，需要根據(jù)主題細(xì)化保留長(zhǎng)期歷史，需要根據(jù)主題細(xì)化l主題區(qū)主題區(qū)/集市集市區(qū)區(qū)/沙盤(pán)區(qū)沙盤(pán)區(qū)/增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/歸檔歸檔區(qū)批

26、量作業(yè)訪問(wèn)區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)lI/O敏感敏感，日日終終批量批量ETL （合并、拉鏈、關(guān)聯(lián)、匯總等等）（合并、拉鏈、關(guān)聯(lián)、匯總等等）l以以ELT形式通過(guò)形式通過(guò)Hive SQL執(zhí)行，復(fù)雜處理使用執(zhí)行，復(fù)雜處理使用MR定制定制UDFl與大數(shù)據(jù)區(qū)與大數(shù)據(jù)區(qū)/貼貼源區(qū)構(gòu)成源區(qū)構(gòu)成一個(gè)一個(gè)Hadoop集群集群（Hive）l無(wú)單點(diǎn)故障，無(wú)單點(diǎn)故障， 724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l集市區(qū)集市區(qū)/沙盤(pán)區(qū)沙盤(pán)區(qū)/增值產(chǎn)品區(qū)增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)少量高級(jí)業(yè)

27、務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)lI/O敏感，日終批量敏感，日終批量ETL （連接、聚合、（連接、聚合、匯總等等）匯總等等）l以以ELT形式通過(guò)形式通過(guò)Hive SQL執(zhí)行，復(fù)雜處理使用執(zhí)行，復(fù)雜處理使用MR定制定制UDFl與大數(shù)據(jù)區(qū)與大數(shù)據(jù)區(qū)/貼貼源區(qū)構(gòu)成源區(qū)構(gòu)成一個(gè)一個(gè)Hadoop集群（集群（Hive）l無(wú)單點(diǎn)無(wú)單點(diǎn)故障故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l逆逆范式寬表范式寬表l依賴于集市數(shù)據(jù)需求依賴于集市數(shù)據(jù)需求l對(duì)主題數(shù)據(jù)對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)l針對(duì)應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供針對(duì)應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)數(shù)據(jù)主題

28、數(shù)據(jù)區(qū)明細(xì)主題數(shù)據(jù)區(qū)匯總大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層（續(xù)）l按沙盤(pán)演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)按沙盤(pán)演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)l為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù)為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問(wèn)模式工作負(fù)載可用性要求l模型模型依賴于沙盤(pán)演練依賴于沙盤(pán)演練需求需求l在整個(gè)沙盤(pán)演練周期內(nèi)保留在整個(gè)沙盤(pán)演練周期內(nèi)保留l集市區(qū)集市區(qū)/沙盤(pán)區(qū)沙盤(pán)區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn)l少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)lI/O敏感，終批量敏感，終批量ETL （合并、拉鏈、關(guān)聯(lián)、匯總等等）（合并

29、、拉鏈、關(guān)聯(lián)、匯總等等）l以以ELT形式通過(guò)形式通過(guò)Hive SQL執(zhí)行，復(fù)雜處理使用執(zhí)行，復(fù)雜處理使用MR定制定制UDFl獨(dú)立的獨(dú)立的Hadoop集群（集群（HDFS）l無(wú)單點(diǎn)無(wú)單點(diǎn)故障故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l沙盤(pán)區(qū)沙盤(pán)區(qū)/歸檔區(qū)批量作業(yè)訪問(wèn)歸檔區(qū)批量作業(yè)訪問(wèn)l決策人員、管理人員、業(yè)務(wù)人員訪問(wèn)決策人員、管理人員、業(yè)務(wù)人員訪問(wèn)lI/O敏感型，敏感型，BI工具提交的報(bào)表、查詢、分析工具提交的報(bào)表、查詢、分析SQL命令和日命令和日終批量終批量ETL（匯總、聚集等操作，以（匯總、聚集等操作，以ELT形式通過(guò)形式通過(guò)SQL執(zhí)行）執(zhí)行）l基于開(kāi)放平臺(tái)的基于開(kāi)放平臺(tái)的完全無(wú)

30、共享完全無(wú)共享 MPP 數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)集群集群+內(nèi)存數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)l無(wú)單點(diǎn)無(wú)單點(diǎn)故障故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l維維度度數(shù)據(jù)模型數(shù)據(jù)模型l依賴業(yè)務(wù)需求依賴業(yè)務(wù)需求l面向企業(yè)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)面向企業(yè)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)l為客戶、為客戶、運(yùn)營(yíng)等運(yùn)營(yíng)等管理管理分析主題和數(shù)據(jù)增值產(chǎn)品提供分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)沙盤(pán)演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層（續(xù)）l根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù)根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù)l為為部署在數(shù)據(jù)平臺(tái)上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)

31、支持部署在數(shù)據(jù)平臺(tái)上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持?jǐn)?shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問(wèn)模式工作負(fù)載可用性要求l應(yīng)用模型，依賴于用戶業(yè)務(wù)需求應(yīng)用模型，依賴于用戶業(yè)務(wù)需求l依賴于依賴于用戶用戶業(yè)務(wù)業(yè)務(wù)需求需求l企業(yè)外部人員，如：京東客戶企業(yè)外部人員，如：京東客戶l通過(guò)自己部署在通過(guò)自己部署在Paas平臺(tái)上的應(yīng)用訪問(wèn)平臺(tái)上的應(yīng)用訪問(wèn)lI/O敏感型，敏感型，BI工具提交的報(bào)表、查詢、分析工具提交的報(bào)表、查詢、分析SQL命令和日命令和日終批量終批量ETL（匯總、聚集等操作，以（匯總、聚集等操作，以ELT形式通過(guò)形式通過(guò)SQL執(zhí)行）執(zhí)行）l獨(dú)立的獨(dú)立的Paas平臺(tái)，部署平臺(tái)，部署Hadoop集群集群

32、l無(wú)單點(diǎn)無(wú)單點(diǎn)故障，故障，724小時(shí)小時(shí)+非工作日有限停機(jī)非工作日有限停機(jī)l企業(yè)業(yè)務(wù)人員企業(yè)業(yè)務(wù)人員l高時(shí)效高時(shí)效、高、高并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢lCPU敏感，敏感，BI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時(shí)效查詢，以及準(zhǔn)工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時(shí)效查詢，以及準(zhǔn)實(shí)時(shí)連續(xù)實(shí)時(shí)連續(xù)ETL處理處理+SQL批量處理批量處理l獨(dú)立的內(nèi)存數(shù)據(jù)庫(kù)集群獨(dú)立的內(nèi)存數(shù)據(jù)庫(kù)集群l無(wú)無(wú)單點(diǎn)單點(diǎn)故障，故障，36524小時(shí)不停機(jī)小時(shí)不停機(jī)l貼源數(shù)據(jù)模型貼源數(shù)據(jù)模型l依賴用戶業(yè)務(wù)依賴用戶業(yè)務(wù)需求需求l面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水l為實(shí)時(shí)

33、獲準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù)為實(shí)時(shí)獲準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù)增值產(chǎn)品數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)流數(shù)據(jù)集成層數(shù)據(jù)集成層操作型聚合數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)公共匯總數(shù)據(jù)主題明細(xì)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)沙盤(pán)演練數(shù)據(jù)區(qū)沙盤(pán)演練數(shù)據(jù)區(qū)實(shí)驗(yàn)室數(shù)據(jù)集市數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)POP自營(yíng)數(shù)據(jù)貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)金融業(yè)務(wù)數(shù)據(jù)主題數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)客戶管理集市財(cái)務(wù)管理集市運(yùn)營(yíng)管理集市風(fēng)險(xiǎn)管理集市集市大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財(cái)務(wù)審計(jì)數(shù)據(jù)財(cái)務(wù)研發(fā)數(shù)據(jù)操作型明細(xì)據(jù)歸檔數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)高時(shí)效數(shù)據(jù)大數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)

34、區(qū)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)應(yīng)用層l針對(duì)公檢法查詢需求、內(nèi)外部審針對(duì)公檢法查詢需求、內(nèi)外部審計(jì)需求和最終用戶的歷史交易查計(jì)需求和最終用戶的歷史交易查詢需求，以貼源存儲(chǔ)的歸檔數(shù)據(jù)詢需求，以貼源存儲(chǔ)的歸檔數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用l歷史查詢類應(yīng)用通常使用歷史查詢類應(yīng)用通常使用BI 工具工具或自主開(kāi)發(fā)實(shí)現(xiàn)或自主開(kāi)發(fā)實(shí)現(xiàn)l客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)前業(yè)務(wù)的發(fā)生（如：用戶交易、前業(yè)務(wù)的發(fā)生（如：用戶交易、用戶訪問(wèn)日志），進(jìn)行用戶訪問(wèn)日志），進(jìn)行實(shí)時(shí)查詢實(shí)時(shí)查詢、分析的應(yīng)用、分析的應(yīng)用l管理分析類應(yīng)用主要實(shí)現(xiàn)了集團(tuán)管理分析類應(yīng)用主要實(shí)現(xiàn)了集團(tuán)客戶管理

35、、運(yùn)營(yíng)管理、財(cái)務(wù)管理客戶管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大分析體系功能分析體系功能l管理分析類應(yīng)用通常采用套裝軟管理分析類應(yīng)用通常采用套裝軟件和件和BI工具（工具（MicroStrategy等等）實(shí)現(xiàn)）實(shí)現(xiàn)l業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì)業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì)業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果l沙盤(pán)演練類應(yīng)用通常使用沙盤(pán)演練類應(yīng)用通常使用R語(yǔ)言語(yǔ)言在在Hadoop分布式體系下實(shí)現(xiàn)分布式體系下實(shí)現(xiàn)l金融集團(tuán)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì)金融

36、集團(tuán)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì)業(yè)務(wù)需求的理解或者對(duì)市場(chǎng)的判業(yè)務(wù)需求的理解或者對(duì)市場(chǎng)的判斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)價(jià)值，并封裝成商業(yè)產(chǎn)品價(jià)值，并封裝成商業(yè)產(chǎn)品l數(shù)據(jù)增值產(chǎn)品通常采用數(shù)據(jù)增值產(chǎn)品通常采用R語(yǔ)言和語(yǔ)言和BI工具實(shí)現(xiàn)，面向企業(yè)內(nèi)外部用工具實(shí)現(xiàn)，面向企業(yè)內(nèi)外部用戶戶管理分析類應(yīng)用管理分析類應(yīng)用1沙盤(pán)演練類應(yīng)用沙盤(pán)演練類應(yīng)用3歷史查詢類應(yīng)用歷史查詢類應(yīng)用4高時(shí)效類分析應(yīng)用高時(shí)效類分析應(yīng)用5數(shù)據(jù)增值類產(chǎn)品數(shù)據(jù)增值類產(chǎn)品2l實(shí)時(shí)分析類應(yīng)用通常使用實(shí)時(shí)分析類應(yīng)用通常使用CEP、ESB等技術(shù)實(shí)現(xiàn)等技術(shù)實(shí)現(xiàn)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)平臺(tái)發(fā)展不同階段對(duì)應(yīng)應(yīng)用工作負(fù)載復(fù)雜度大數(shù)據(jù)平臺(tái)

37、發(fā)展階段劃分操作為主階段什么正在發(fā)生？動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)階段 讓正確的事情發(fā)生！分析為主階段為什么會(huì)發(fā)生報(bào)表為主階段發(fā)生了什么預(yù)測(cè)為主階段將會(huì)發(fā)生什么？批量隨機(jī)查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動(dòng)態(tài)觸發(fā)數(shù)據(jù)量增長(zhǎng)用戶數(shù)增長(zhǎng)查詢復(fù)雜度增長(zhǎng)ETL處理復(fù)雜度增長(zhǎng)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)管理分析類應(yīng)用r 總賬分析* 資產(chǎn)負(fù)債表分析* 損益表分析* 現(xiàn)金流量表分析* 財(cái)務(wù)指標(biāo)分析r 盈利分析* 機(jī)構(gòu)貢獻(xiàn)度* 產(chǎn)品貢獻(xiàn)度* 客戶細(xì)分貢獻(xiàn)度* 渠道績(jī)效r 資產(chǎn)負(fù)債分析* 主要指標(biāo)報(bào)告，如：凈利息收入、凈收入、凈現(xiàn)值、市場(chǎng)價(jià)值等* 頭寸報(bào)告* 現(xiàn)金流報(bào)告* 風(fēng)險(xiǎn)價(jià)值（VaR）計(jì)算r 財(cái)務(wù)預(yù)算與計(jì)劃* 財(cái)務(wù)預(yù)算

38、* 財(cái)務(wù)計(jì)劃執(zhí)行監(jiān)控* 執(zhí)行過(guò)程分析* 年末財(cái)務(wù)計(jì)劃執(zhí)行分析r 預(yù)測(cè)與場(chǎng)景分析* 業(yè)務(wù)規(guī)模預(yù)測(cè)* 收益預(yù)測(cè)r r 領(lǐng)導(dǎo)管理駕駛艙r 機(jī)構(gòu)績(jī)效考核r 客戶經(jīng)理考核* 客戶經(jīng)理工作量評(píng)估* 客戶經(jīng)理服務(wù)客戶收益評(píng)估r 產(chǎn)品績(jī)效考核r 業(yè)務(wù)量考核* 供應(yīng)鏈金融業(yè)務(wù)* 人人貸業(yè)務(wù)* 保理業(yè)務(wù)* 基金業(yè)務(wù)* 其它中間業(yè)務(wù)* r 渠道成本與收益r r 風(fēng)險(xiǎn)監(jiān)控報(bào)表/信息披露* 流動(dòng)性報(bào)表* 利率敏感性報(bào)表* 資本充足率報(bào)表* r 市場(chǎng)風(fēng)險(xiǎn)* 市場(chǎng)風(fēng)險(xiǎn)暴露值* 流動(dòng)性管理、利率管理r 信用風(fēng)險(xiǎn)* 信用風(fēng)險(xiǎn)暴露值計(jì)算* 信用風(fēng)險(xiǎn)控制 （貸前控制、貸中監(jiān)控、貸后分析）r 操作風(fēng)險(xiǎn)* 異常交易預(yù)警* 后督差錯(cuò)檢查

39、* r 防欺詐/反洗錢* 定義欺詐交易模型* 可能性欺詐交易預(yù)警* 欺詐交易分布分析r 全面風(fēng)險(xiǎn)管理r r 目前監(jiān)管機(jī)構(gòu)沒(méi)有明確要求r 客戶單一視圖* 公司客戶信息管理* 個(gè)人客戶信息管理* 同業(yè)客戶信息管理r 目標(biāo)客戶搜索* 重點(diǎn)客戶* 關(guān)懷客戶* 風(fēng)險(xiǎn)客戶* 異動(dòng)客戶r 客戶細(xì)分* 個(gè)人客戶細(xì)分* 公司客戶細(xì)分r 客戶行為分析* 客戶輪廓分析* 產(chǎn)品交叉銷售分析* 百分比分析* 渠道偏好分析r 營(yíng)銷活動(dòng)管理* 營(yíng)銷活動(dòng)規(guī)劃* 營(yíng)銷活動(dòng)定義* 營(yíng)銷活動(dòng)執(zhí)行* 營(yíng)銷活動(dòng)蘋(píng)果r 營(yíng)銷活動(dòng)自動(dòng)化* 渠道接口與集成* 流程自動(dòng)化r 客戶管理運(yùn)營(yíng)管理財(cái)務(wù)管理風(fēng)險(xiǎn)管理監(jiān)管披露示例大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)

40、據(jù)訪問(wèn)層l即席查詢：即席查詢：通過(guò)即席查詢工具或手工書(shū)寫(xiě)SQL語(yǔ)句，完成業(yè)務(wù)信息的即席查看l多維分析：多維分析：從多個(gè)維度靈活組合對(duì)目標(biāo)值進(jìn)行分析，常見(jiàn)功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁(yè)、層鉆、跨維鉆取等l主動(dòng)問(wèn)題發(fā)現(xiàn)：主動(dòng)問(wèn)題發(fā)現(xiàn)：通過(guò)事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)企業(yè)運(yùn)營(yíng)中的問(wèn)題，通過(guò)手機(jī)、郵件等方式報(bào)警決策層管理層業(yè)務(wù)人員即席查詢即席查詢靜態(tài)報(bào)表靜態(tài)報(bào)表多維分析多維分析儀表盤(pán)儀表盤(pán)挖掘預(yù)測(cè)挖掘預(yù)測(cè)l儀表盤(pán)儀表盤(pán)：通過(guò)儀表盤(pán)及其它展現(xiàn)方式對(duì)企業(yè)關(guān)鍵績(jī)效指標(biāo)進(jìn)行展示，為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持l靜態(tài)靜態(tài)報(bào)表：報(bào)表：按照預(yù)先定義格式，批處理報(bào)表，在線查詢報(bào)表等 lOffice集成集成：將

41、分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度問(wèn)題發(fā)現(xiàn)問(wèn)題發(fā)現(xiàn)Office 集成集成Web服務(wù)服務(wù)l挖掘挖掘預(yù)測(cè)預(yù)測(cè)：使用專業(yè)的軟件工具，通過(guò)數(shù)理統(tǒng)計(jì)等高級(jí)統(tǒng)計(jì)分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價(jià)值數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)lWeb 服務(wù)服務(wù)：將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊(cè)在企業(yè)服務(wù)總線上，供其它業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果多種展現(xiàn)形式滿足各層級(jí)用戶及應(yīng)用系統(tǒng)使用需求大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控層金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)四個(gè)域。數(shù)據(jù)標(biāo)準(zhǔn)管

42、理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理組織數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會(huì)數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT 支持團(tuán)隊(duì)考核指標(biāo)責(zé)任評(píng)價(jià)標(biāo)準(zhǔn)執(zhí)行評(píng)價(jià)政策執(zhí)行評(píng)價(jià)評(píng)價(jià)標(biāo)準(zhǔn)數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務(wù)分類真實(shí)性定義及時(shí)性定義完整性定義技術(shù)元數(shù)據(jù)流程評(píng)價(jià)與考核流程考核指標(biāo)建立/維護(hù)流程標(biāo)準(zhǔn)建立/維護(hù)流程組織建立/維護(hù)流程評(píng)價(jià)與考核業(yè)務(wù)含義一致性定義數(shù)據(jù)認(rèn)責(zé)平臺(tái)安全等級(jí)權(quán)限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動(dòng)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)創(chuàng)建業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)安全管理數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全審計(jì)定義保留策略大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控體系內(nèi)部運(yùn)轉(zhuǎn)機(jī)制管控組織q數(shù)據(jù)管控委員會(huì)q數(shù)據(jù)所有人q數(shù)據(jù)認(rèn)責(zé)人qIT支持q管控

43、流程q數(shù)據(jù)接入流程q數(shù)據(jù)變更流程q數(shù)據(jù)授權(quán)流程q數(shù)據(jù)退役流程q標(biāo)準(zhǔn)/政策制定流程q評(píng)價(jià)考核流程q評(píng)價(jià)與考核q標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）q遵守標(biāo)準(zhǔn)所需要的政策q政策與標(biāo)準(zhǔn)遵從考評(píng)定義qq數(shù)據(jù)產(chǎn)生者q數(shù)據(jù)使用者q流程支撐流程支撐制定管控平臺(tái)工具支撐 明確了數(shù)據(jù)管控過(guò)程中的組織結(jié)構(gòu)、角色、職責(zé)等。管控組織除了要負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全等要求外，還需要負(fù)責(zé)制定管控的相關(guān)流程和評(píng)價(jià)考核指標(biāo)等內(nèi)容?？荚u(píng)制定 通過(guò)建立一些定性或定量的數(shù)據(jù)管控評(píng)價(jià)考核指標(biāo)，去評(píng)估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標(biāo)準(zhǔn)及數(shù)據(jù)政策的執(zhí)行情況等。 規(guī)范了數(shù)據(jù)管控過(guò)程中，各個(gè)環(huán)節(jié)日常任務(wù)處理的運(yùn)作模式，例如數(shù)據(jù)

44、定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。 采用專門的技術(shù)平臺(tái)支撐管控流程的自動(dòng)化，發(fā)布管控組織制定的一些相關(guān)標(biāo)準(zhǔn)和規(guī)范，及時(shí)反映管控過(guò)程中存在的一些問(wèn)題等。管控綜合管理q標(biāo)準(zhǔn)/規(guī)范管理q流程管理q考核儀表盤(pán)q元數(shù)據(jù)管理q業(yè)務(wù)元數(shù)據(jù)管理q技術(shù)元數(shù)據(jù)管理q管理元數(shù)據(jù)分析q數(shù)據(jù)質(zhì)量管理q稽核規(guī)則管理q數(shù)據(jù)稽核q質(zhì)量報(bào)告q工具支撐組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控工具組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控工具這四個(gè)域相互作用、相互支撐，提供對(duì)各信息系統(tǒng)數(shù)據(jù)的管控。大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控組織l數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中

45、最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測(cè)正在進(jìn)行的數(shù)據(jù)管控行動(dòng)。尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測(cè)正在進(jìn)行的數(shù)據(jù)管控行動(dòng)。l數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個(gè)數(shù)據(jù)管控的成敗數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個(gè)數(shù)據(jù)管控的成敗的關(guān)鍵。的關(guān)鍵。l典型的數(shù)據(jù)管控組織如下所示：典型的數(shù)據(jù)管控組織如下所示：數(shù)據(jù)管控負(fù)責(zé)部門崗位角色數(shù)據(jù)管控主導(dǎo)方信息管理委員會(huì)信息管理委員會(huì) 數(shù)據(jù)標(biāo)準(zhǔn)管理員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)管控參與方業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)使用部門業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)擁有部門業(yè)務(wù)協(xié)調(diào)

46、人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理部門運(yùn)維組織實(shí)施項(xiàng)目組數(shù)據(jù)安全管理員數(shù)據(jù)管控經(jīng)理元數(shù)據(jù)管理員大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)管理l消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管理流程中，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作理流程中，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。l數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個(gè)部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個(gè)部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng)。標(biāo)準(zhǔn)管理的考評(píng)。數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)數(shù)據(jù)分類數(shù)據(jù)結(jié)構(gòu)關(guān)

47、鍵業(yè)務(wù)對(duì)象關(guān)鍵代碼數(shù)據(jù)維度代碼映射客戶類數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類數(shù)據(jù)標(biāo)準(zhǔn)。類數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng)定性考評(píng)定量考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)分析報(bào)告數(shù)據(jù)標(biāo)準(zhǔn)理念推廣歸檔系統(tǒng)ODS大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)質(zhì)量管理l數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量和質(zhì)量考評(píng)的目的考評(píng)的目的：v數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時(shí)，同時(shí)也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；v數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià)數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià)

48、v制定數(shù)據(jù)質(zhì)量問(wèn)題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題，實(shí)施相應(yīng)的措施，制定數(shù)據(jù)質(zhì)量問(wèn)題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題，實(shí)施相應(yīng)的措施，提升數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求業(yè)務(wù)規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)及時(shí)性要求數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量驗(yàn)證規(guī)則數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補(bǔ)錄手工修正自動(dòng)修正數(shù)據(jù)質(zhì)量考評(píng)數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報(bào)告大數(shù)據(jù)分析平臺(tái)總體架構(gòu)元數(shù)據(jù)管理l業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指

49、標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)數(shù)據(jù)進(jìn)行描述數(shù)據(jù)進(jìn)行描述l管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息的狀態(tài)信息l技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)安全管理l數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)管理和數(shù)據(jù)訪問(wèn)授權(quán)管理兩個(gè)部分：數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)管理和數(shù)據(jù)訪問(wèn)授權(quán)管理兩個(gè)部分：v數(shù)據(jù)安全分級(jí)：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策

50、，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中實(shí)數(shù)據(jù)安全分級(jí)：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中實(shí)施數(shù)據(jù)安全保護(hù)和訪問(wèn)提供數(shù)據(jù)安全控制的基礎(chǔ)。施數(shù)據(jù)安全保護(hù)和訪問(wèn)提供數(shù)據(jù)安全控制的基礎(chǔ)。v數(shù)據(jù)訪問(wèn)授權(quán)：數(shù)據(jù)訪問(wèn)授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問(wèn)的授權(quán)方法及流程，數(shù)據(jù)訪問(wèn)授權(quán)：數(shù)據(jù)訪問(wèn)授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問(wèn)的授權(quán)方法及流程，建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)和信息披露的安全。建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)和信息披露的安全。數(shù)據(jù)安全分級(jí)數(shù)據(jù)敏感度數(shù)據(jù)安全等級(jí)定義數(shù)據(jù)訪問(wèn)授權(quán)數(shù)據(jù)重要性數(shù)據(jù)使用需求

51、數(shù)據(jù)使用者權(quán)責(zé)數(shù)據(jù)訪問(wèn)授權(quán)規(guī)則安全技術(shù)大數(shù)據(jù)分析平臺(tái)總體架構(gòu)高階工作流程l業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程 v數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)認(rèn)責(zé)流程v數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標(biāo)體系數(shù)據(jù)治理考核指標(biāo)體系l數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程 v數(shù)據(jù)標(biāo)準(zhǔn)建立流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程v數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程l數(shù)據(jù)質(zhì)量管理管理高階流程數(shù)據(jù)質(zhì)量管理管理高階流程 數(shù)據(jù)質(zhì)量要求確定流程數(shù)據(jù)質(zhì)量要求確定流程l元數(shù)據(jù)管理高階流程元數(shù)據(jù)管理高階流程v元數(shù)據(jù)變更流程元數(shù)據(jù)變更流程l數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全管理管理高階流程v數(shù)據(jù)安全審批

52、流程數(shù)據(jù)安全審批流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會(huì)議協(xié)調(diào)會(huì)議考核流程考核流程大數(shù)據(jù)分析平臺(tái)總體架構(gòu)數(shù)據(jù)管控平臺(tái)l數(shù)據(jù)數(shù)據(jù)管控平臺(tái)從總體上來(lái)說(shuō)分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面，以數(shù)據(jù)層的數(shù)據(jù)管控平臺(tái)從總體上來(lái)說(shuō)分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫(kù)及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來(lái)源，通過(guò)應(yīng)用層的運(yùn)算處理，以不同的形式，不同的功能庫(kù)及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來(lái)源，通過(guò)應(yīng)用層的運(yùn)算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口在展現(xiàn)層提供用戶接口首頁(yè)標(biāo)準(zhǔn)管理主菜單指標(biāo)速遞待辦事項(xiàng)信息地圖標(biāo)準(zhǔn)瀏覽標(biāo)準(zhǔn)維護(hù)工作管

53、理流程管理績(jī)效指標(biāo)系統(tǒng)管理用戶管理權(quán)限管理規(guī)范管理數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)元數(shù)據(jù)管理元數(shù)據(jù)采集元數(shù)據(jù)知識(shí)庫(kù)元數(shù)據(jù)知識(shí)庫(kù)質(zhì)量管理規(guī)則配置質(zhì)量稽核庫(kù)質(zhì)量稽核庫(kù)數(shù)據(jù)數(shù)據(jù)層層應(yīng)用應(yīng)用層層展現(xiàn)展現(xiàn)層層大數(shù)據(jù)分析平臺(tái)總體產(chǎn)品框架非結(jié)構(gòu)化非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)管理分析平臺(tái)管理分析平臺(tái)（X86 MPP 集集群）群）京東業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)京東業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)計(jì)算平臺(tái)（貼源數(shù)據(jù)區(qū)基礎(chǔ)計(jì)算平臺(tái)（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）大數(shù)據(jù)區(qū)）（Hadoop集群集群+Hive）數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平

54、臺(tái)（自主開(kāi)發(fā)交換組件（自主開(kāi)發(fā)交換組件+NAS存儲(chǔ)）存儲(chǔ)）實(shí)時(shí)分析平臺(tái)實(shí)時(shí)分析平臺(tái)（內(nèi)存數(shù)據(jù)庫(kù)）（內(nèi)存數(shù)據(jù)庫(kù)）沙盤(pán)演練平臺(tái)沙盤(pán)演練平臺(tái)（Hadoop集群）集群）數(shù)據(jù)管控平臺(tái)數(shù)據(jù)管控平臺(tái)FTPSFTP/HTTP/APICopyfromloalQueue京東云數(shù)據(jù)推送平臺(tái)京東云數(shù)據(jù)推送平臺(tái)增值產(chǎn)品平臺(tái)增值產(chǎn)品平臺(tái)（ Hadoop集群）集群）歷史歸檔查詢平臺(tái)歷史歸檔查詢平臺(tái)（Hadoop集群集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺(tái)流程調(diào)度平臺(tái)議程大數(shù)據(jù)分析平臺(tái)綜述

55、大數(shù)據(jù)分析平臺(tái)總體架構(gòu)大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn)附錄：數(shù)據(jù)質(zhì)量管理平臺(tái)大數(shù)據(jù)分析平臺(tái)演進(jìn)路線以基礎(chǔ)平臺(tái)搭建為主，配合金融集團(tuán)初期業(yè)務(wù)開(kāi)展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險(xiǎn)管理和運(yùn)營(yíng)管理三方面開(kāi)展搭建大數(shù)據(jù)處理平臺(tái)和實(shí)時(shí)分析平臺(tái)，應(yīng)用方面開(kāi)展實(shí)時(shí)分析和數(shù)據(jù)產(chǎn)品封裝p開(kāi)展客戶信息管理、信用風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)p開(kāi)展貼源數(shù)據(jù)整合，初步建立企業(yè)級(jí)數(shù)據(jù)視圖，實(shí)現(xiàn)對(duì)管理分析類應(yīng)用和實(shí)時(shí)分析類應(yīng)用的支撐p規(guī)劃數(shù)據(jù)管控藍(lán)圖，初步實(shí)施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理2013年年2014年年2015年年2015年以后年以后對(duì)對(duì)企企業(yè)業(yè)價(jià)價(jià)值值的的創(chuàng)創(chuàng)造造應(yīng)應(yīng)管管技技業(yè)務(wù)分析框架業(yè)務(wù)分析框架基礎(chǔ)數(shù)據(jù)平臺(tái)基礎(chǔ)數(shù)據(jù)平

56、臺(tái)數(shù)據(jù)管控體系數(shù)據(jù)管控體系應(yīng)應(yīng)技技管管p全面開(kāi)展內(nèi)部管理分析、實(shí)時(shí)分析和沙盤(pán)演練應(yīng)用建設(shè)，初步展開(kāi)增值數(shù)據(jù)產(chǎn)品開(kāi)發(fā)工作p全面開(kāi)展大數(shù)據(jù)分析平臺(tái)建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平臺(tái)數(shù)據(jù)區(qū)建設(shè)p隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)化工作應(yīng)應(yīng)技技管管p深化分析體系，形成深度智能化業(yè)務(wù)分析p性能持續(xù)優(yōu)化、數(shù)據(jù)平臺(tái)持續(xù)完善、p持續(xù)深化數(shù)據(jù)管控體系，形成金融集團(tuán)企業(yè)級(jí)的數(shù)據(jù)管控體系應(yīng)應(yīng)技技管管一期一期2013.10當(dāng)前位置未來(lái)持續(xù)優(yōu)化提升階段第一階段第一階段第二階段第二階段第三階段第三階段大數(shù)據(jù)分析平臺(tái)演進(jìn)說(shuō)明基礎(chǔ)數(shù)據(jù)平臺(tái)階段劃分階段劃分建設(shè)內(nèi)容建設(shè)內(nèi)容預(yù)期效果預(yù)期效果第一階段第一階

57、段l搭建數(shù)據(jù)交換平臺(tái)，部署搭建數(shù)據(jù)交換平臺(tái)，部署NAS存儲(chǔ)集群，設(shè)計(jì)并實(shí)施數(shù)據(jù)庫(kù)交換存儲(chǔ)集群，設(shè)計(jì)并實(shí)施數(shù)據(jù)庫(kù)交換組件和數(shù)據(jù)區(qū)交換組件組件和數(shù)據(jù)區(qū)交換組件l搭建基礎(chǔ)計(jì)算平臺(tái)，搭建基礎(chǔ)計(jì)算平臺(tái)，設(shè)計(jì)并實(shí)施設(shè)計(jì)并實(shí)施貼源數(shù)據(jù)區(qū)，以貼源數(shù)據(jù)區(qū)，以T+1頻率整合商頻率整合商城和金融業(yè)務(wù)數(shù)據(jù)城和金融業(yè)務(wù)數(shù)據(jù)l搭建歷史歸檔查詢平臺(tái)，歸檔搭建歷史歸檔查詢平臺(tái)，歸檔商城和金融業(yè)務(wù)數(shù)據(jù)文件商城和金融業(yè)務(wù)數(shù)據(jù)文件l搭建內(nèi)部管理分析應(yīng)用平臺(tái)，部署搭建內(nèi)部管理分析應(yīng)用平臺(tái)，部署MPP集群和集群和BI分析應(yīng)用環(huán)境分析應(yīng)用環(huán)境l搭建實(shí)時(shí)分析平臺(tái)，部署內(nèi)存數(shù)據(jù)庫(kù)和實(shí)時(shí)搭建實(shí)時(shí)分析平臺(tái)，部署內(nèi)存數(shù)據(jù)庫(kù)和實(shí)時(shí)BI分析環(huán)境分析環(huán)

58、境l實(shí)現(xiàn)了數(shù)據(jù)平臺(tái)內(nèi)部個(gè)數(shù)據(jù)區(qū)之間實(shí)現(xiàn)了數(shù)據(jù)平臺(tái)內(nèi)部個(gè)數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺(tái)與外部系統(tǒng)間的雙向數(shù)、數(shù)據(jù)平臺(tái)與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸據(jù)傳輸l實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合合l實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理理l實(shí)現(xiàn)了內(nèi)部管理分析環(huán)境搭建實(shí)現(xiàn)了內(nèi)部管理分析環(huán)境搭建l實(shí)現(xiàn)實(shí)時(shí)分析環(huán)境搭建實(shí)現(xiàn)實(shí)時(shí)分析環(huán)境搭建第二階段第二階段l數(shù)據(jù)交換平臺(tái)增強(qiáng)和優(yōu)化，包括：大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施數(shù)據(jù)交換平臺(tái)增強(qiáng)和優(yōu)化，包括：大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施l基礎(chǔ)計(jì)算平臺(tái)增強(qiáng)，包括：基礎(chǔ)計(jì)算平臺(tái)增強(qiáng)，包括：引入更多的數(shù)據(jù)源，增強(qiáng)貼源數(shù)據(jù)區(qū)引入更多的數(shù)據(jù)源，增強(qiáng)貼源數(shù)據(jù)區(qū)

59、；設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計(jì)并實(shí)施設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計(jì)并實(shí)施大數(shù)據(jù)區(qū)，實(shí)現(xiàn)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理大數(shù)據(jù)區(qū)，實(shí)現(xiàn)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理l搭建沙盤(pán)演練平臺(tái)搭建沙盤(pán)演練平臺(tái)l實(shí)時(shí)分析平臺(tái)增強(qiáng)和優(yōu)化，包括：實(shí)時(shí)分析平臺(tái)增強(qiáng)和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源引入更多應(yīng)用及相關(guān)數(shù)據(jù)源l實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲(chǔ)、一次計(jì)實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲(chǔ)、一次計(jì)算、多次使用算、多次使用l建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境，建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境，實(shí)現(xiàn)了用戶自主用數(shù)實(shí)現(xiàn)了用戶自主用數(shù)l為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類分析用提供平臺(tái)為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類分

60、析用提供平臺(tái)l為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺(tái)臺(tái)l基礎(chǔ)計(jì)算平臺(tái)持續(xù)增強(qiáng)和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和基礎(chǔ)計(jì)算平臺(tái)持續(xù)增強(qiáng)和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理處理l搭建增值產(chǎn)品平臺(tái)，設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū)搭建增值產(chǎn)品平臺(tái)，設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū)l數(shù)據(jù)交換平臺(tái)、沙盤(pán)演練平臺(tái)、實(shí)時(shí)分析平臺(tái)進(jìn)一步增強(qiáng)和優(yōu)化數(shù)據(jù)交換平臺(tái)、沙盤(pán)演練平臺(tái)、實(shí)時(shí)分析平臺(tái)進(jìn)一步增強(qiáng)和優(yōu)化l數(shù)據(jù)平臺(tái)納入盡可能多的企業(yè)內(nèi)外數(shù)據(jù)平臺(tái)納入盡可能多的企業(yè)內(nèi)外部數(shù)據(jù)部數(shù)據(jù)l數(shù)據(jù)平臺(tái)以最優(yōu)的性能支持各類數(shù)數(shù)據(jù)平臺(tái)以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用據(jù)應(yīng)用大數(shù)據(jù)分析平臺(tái)演進(jìn)說(shuō)明數(shù)據(jù)管控階段劃分階段劃分