智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)建設(shè)和運(yùn)營(yíng)整體解決方案 智慧科技園區(qū)信息化管理平臺(tái)建設(shè)方案

智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)建設(shè)和運(yùn)營(yíng)整體解決方案議程2智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)演進(jìn)路線4智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)實(shí)施計(jì)劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃數(shù)據(jù)交易?等一等大數(shù)據(jù)創(chuàng)業(yè)、創(chuàng)新平臺(tái)，用“數(shù)據(jù)”但是要遷”,要把符合共享開放要求的委辦局?jǐn)?shù)據(jù)都集中(遷移)到1智慧科技園區(qū)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析基本的現(xiàn)狀基本的現(xiàn)狀存在的問題存在的問題利用基礎(chǔ)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)是未來一段時(shí)間的重點(diǎn)!通過數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)，智慧科技園區(qū)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái)，對(duì)各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測(cè)及分析，為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力統(tǒng)一制定目標(biāo)和分析模型多種格式報(bào)表BI力統(tǒng)一制定目標(biāo)和分析模型多種格式報(bào)表BI分析工具行+列的簡(jiǎn)單定義方式資產(chǎn)負(fù)候表公司1云數(shù)據(jù)推送平臺(tái)已實(shí)現(xiàn)了主要零售及金融業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來智慧科技園區(qū)數(shù)據(jù)平臺(tái)提統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式統(tǒng)一部署技術(shù)基礎(chǔ)集團(tuán)決策層集團(tuán)職能管控層POP系統(tǒng)POP系統(tǒng)各級(jí)業(yè)務(wù)操作層網(wǎng)絡(luò)數(shù)據(jù)、用戶數(shù)據(jù)、應(yīng)用數(shù)據(jù)的匯聚構(gòu)成了我們的“大數(shù)據(jù)”。這些結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)的處理和建模形成對(duì)用戶、服務(wù)、資源、終端等對(duì)象的洞察。這些洞察與市場(chǎng)營(yíng)銷、網(wǎng)采集、建模和應(yīng)用采集、建模和應(yīng)用提升網(wǎng)絡(luò)運(yùn)維效率古應(yīng)用數(shù)據(jù)內(nèi)容DPI網(wǎng)絡(luò)數(shù)據(jù)故障監(jiān)測(cè)運(yùn)營(yíng)改進(jìn)建模分析數(shù)據(jù)采集改善客戶滿意度創(chuàng)新商業(yè)模式改善市場(chǎng)運(yùn)營(yíng)效率用戶數(shù)據(jù)SocialmedaVideoAudioEmallTestsCDR/XDR個(gè)個(gè)價(jià)值大數(shù)據(jù)2大數(shù)據(jù)1通過數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中，確保智慧科技園區(qū)各級(jí)部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價(jià)值實(shí)現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的集2.加強(qiáng)業(yè)務(wù)協(xié)作中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級(jí)視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為企業(yè)級(jí)分析、交叉銷售提供基礎(chǔ)智慧科技園區(qū)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為金融業(yè)務(wù)創(chuàng)新(客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等)創(chuàng)造了有利條件通過數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測(cè)類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率從中長(zhǎng)期看，數(shù)據(jù)倉(cāng)庫(kù)對(duì)智慧科技園區(qū)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于企業(yè)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實(shí)用性B域數(shù)據(jù)以客戶關(guān)系、用戶行為、產(chǎn)品信息等為主，支撐客戶經(jīng)營(yíng)和產(chǎn)品營(yíng)銷等M域數(shù)據(jù)以財(cái)務(wù)、人力資源、供應(yīng)鏈和辦公信業(yè)務(wù)平臺(tái)IT系統(tǒng)業(yè)務(wù)平臺(tái)管道管道議程1智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)綜述3智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)演進(jìn)路線4智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)實(shí)施計(jì)劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃多租戶管理及統(tǒng)一調(diào)度多租戶管理及統(tǒng)一調(diào)度統(tǒng)一數(shù)據(jù)采集統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)源數(shù)據(jù)源應(yīng)用中心漏處理批量采集(云化批量采集(云化ETL)網(wǎng)絡(luò)爬蟲存儲(chǔ)與計(jì)算理數(shù)據(jù)管控層數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度層流程調(diào)度數(shù)據(jù)管控層數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度層流程調(diào)度監(jiān)控告警……歷史歸檔數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)待處理大數(shù)據(jù)處理后大數(shù)據(jù)主題數(shù)據(jù)區(qū)IT人IT人員實(shí)時(shí)數(shù)據(jù)查詢歷史數(shù)實(shí)時(shí)數(shù)據(jù)查詢歷史數(shù)據(jù)查詢內(nèi)部管理分析應(yīng)用集市數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)外部用戶業(yè)務(wù)沙盤演練數(shù)據(jù)增值產(chǎn)品業(yè)務(wù)沙盤演練沙盤演練數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)用戶訪問層數(shù)據(jù)應(yīng)用層算層數(shù)據(jù)交換層數(shù)據(jù)產(chǎn)生層傳輸組件是根據(jù)數(shù)據(jù)源存儲(chǔ)的不同分類而設(shè)計(jì)的，本質(zhì)是通過分析數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)庫(kù)的特點(diǎn)來針對(duì)性的設(shè)計(jì)工具，以追求卓越的性能數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)數(shù)據(jù)服務(wù)層件序區(qū)序區(qū)↓大數(shù)大數(shù)據(jù)科技園區(qū)系統(tǒng)智慧科技園區(qū)系統(tǒng) Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺(tái)臨時(shí)數(shù)Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù)區(qū)元數(shù)據(jù)e集團(tuán)數(shù)據(jù)交換平臺(tái)每日獲取運(yùn)輸局推送平臺(tái)提供的業(yè)務(wù)系統(tǒng)變據(jù)區(qū)數(shù)據(jù)平臺(tái)ETL數(shù)據(jù)處理程序區(qū)e數(shù)據(jù)平臺(tái)ETL加工處理程序(數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等)統(tǒng)一存儲(chǔ)在NAS集群指定目錄，各接口服務(wù)器通過文件數(shù)據(jù)平臺(tái)ETL數(shù)據(jù)處理程序區(qū)智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、、抵押品掃描件等●企業(yè)外部非結(jié)構(gòu)化如：微博、貼吧、論壇、用戶點(diǎn)擊流、用戶移動(dòng)位置等兩種模式實(shí)現(xiàn)下列錄十十源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件大據(jù)源API,或以網(wǎng)絡(luò)平臺(tái)爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)應(yīng)用場(chǎng)景應(yīng)用場(chǎng)景定時(shí)抽取用戶訪問日志，加載到數(shù)據(jù)平臺(tái)大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理,掃描用戶微博，抓取用戶微博內(nèi)容,社交圈信息，存入大數(shù)據(jù)區(qū) ●企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來源：●組件以實(shí)時(shí)和批量模式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集，調(diào)用●云數(shù)據(jù)推送平臺(tái)連接供應(yīng)鏈金融系統(tǒng)數(shù)據(jù)庫(kù)，分析供應(yīng)鏈金融MySQL數(shù)據(jù)庫(kù)日志，識(shí)別增量數(shù)據(jù)，存儲(chǔ)到金融平臺(tái)NAS存儲(chǔ)的指定目錄，金融平臺(tái)加載數(shù)據(jù)文件到數(shù)據(jù)平臺(tái)臨時(shí)區(qū)Hive表智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交據(jù)交驅(qū)的數(shù)類種數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)

沙盤數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)和主題數(shù)

大數(shù)據(jù)區(qū)到主題數(shù)據(jù)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到各個(gè)數(shù)據(jù)區(qū)數(shù)據(jù)歸檔十據(jù)交換換,統(tǒng)一將過期數(shù)據(jù)檔區(qū)批量數(shù)據(jù)處理工作流事情中SFOH事情中SFOH(數(shù)據(jù)庫(kù)交換組件)采臨時(shí)數(shù)整翼出臨時(shí)數(shù)整翼出貼源數(shù)據(jù)整合記錄級(jí)質(zhì)量檢查結(jié)構(gòu)化處理取貼散檢區(qū)數(shù)據(jù)數(shù)據(jù)追預(yù)計(jì)接事轟生成維襄處理主露髯區(qū)區(qū)元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)/導(dǎo)出-=R===-=*-=P--=------*2TZPZ--TTETE監(jiān)控流程優(yōu)化日志&審核跟蹤通知提醒流程調(diào)度服務(wù)日志管理摩在第清洗●批量數(shù)據(jù)處理由流程調(diào)度層部署的1.獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時(shí)數(shù)據(jù)區(qū)2.獲取企業(yè)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù),并進(jìn)行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)3.按照貼源數(shù)據(jù)模型整合數(shù)據(jù)(標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加)4.按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總5.數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)3.針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)3.針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合標(biāo)化簽整新(數(shù)件)數(shù)追加實(shí)實(shí)時(shí)數(shù)區(qū)流貼●實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技術(shù)構(gòu)建“數(shù)據(jù)流”●整個(gè)處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行1.通過數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)源統(tǒng)整庫(kù)統(tǒng)整轂平整輪整聯(lián)取整檢核女加裁整合實(shí)時(shí)毀據(jù)區(qū)樓樹頁(yè)并集集文本分詞理算繁喜用結(jié)化整時(shí)數(shù)據(jù)處理時(shí)數(shù)據(jù)處理元數(shù)據(jù)管理(元數(shù)據(jù)導(dǎo)/導(dǎo)出)協(xié)同管理圖例日志&審核跟蹤流程調(diào)度&質(zhì)量檢核任務(wù)調(diào)數(shù)據(jù)歸檔整件整件源數(shù)區(qū)主露掩區(qū)大數(shù)區(qū)集市數(shù)搜3.集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫(kù)提供的Hadoop集成技術(shù)(如：外部表)執(zhí)行歸檔歸檔數(shù)據(jù)處理工作流●數(shù)據(jù)歸檔的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)歸檔數(shù)據(jù)處理工作流●數(shù)據(jù)歸檔的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)●數(shù)據(jù)按照生命周期規(guī)劃存儲(chǔ)到歸檔區(qū)Hadoop集群,歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)●整個(gè)處理流程由流程調(diào)度層部署的自定義開發(fā)歸檔(數(shù)據(jù)區(qū)數(shù)據(jù)交換組件)歸檔歸檔流程調(diào)度服務(wù)流程調(diào)度服務(wù)數(shù)流智理度&質(zhì)量檢核理引度引擎器圖例執(zhí)行數(shù)據(jù)處理的ETL任務(wù)通知提醒協(xié)同管理(日志&審核跟蹤；據(jù)交換流程調(diào)度往霧大數(shù)據(jù)區(qū)協(xié)議主題機(jī)構(gòu)匯總數(shù)據(jù)計(jì)算層歷史歸檔數(shù)據(jù)區(qū)處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū) 不保存歷史智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層(續(xù))客戶管理財(cái)務(wù)管理風(fēng)險(xiǎn)管理大數(shù)據(jù)區(qū)協(xié)議主題數(shù)據(jù)計(jì)算層歷史歸檔數(shù)據(jù)區(qū)處理后大數(shù)據(jù)待處理大數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)區(qū)主題數(shù)機(jī)構(gòu)匯總據(jù)區(qū) 智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層(續(xù))大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)計(jì)處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)機(jī)構(gòu)匯總據(jù)區(qū)智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層(續(xù))實(shí)時(shí)數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)算層大數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)客戶匯總客戶主題賬戶匯總協(xié)議主題機(jī)構(gòu)匯總產(chǎn)品主題待處理大數(shù)據(jù)社交媒體用戶評(píng)價(jià)處理后大數(shù)據(jù)訪問日志零售數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)貼源數(shù)據(jù)區(qū) 智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層(續(xù))歷史歸檔數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)協(xié)議主題機(jī)構(gòu)匯總數(shù)據(jù)計(jì)處理后大數(shù)據(jù)待處理大數(shù)據(jù)主題數(shù)據(jù)區(qū) 主題明細(xì)數(shù)據(jù)公共匯總數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)主題明細(xì)數(shù)據(jù)公共匯總數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)集成層源系統(tǒng)數(shù)據(jù)文件實(shí)時(shí)數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件實(shí)時(shí)數(shù)據(jù)區(qū)操作型明細(xì)據(jù)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)POP主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)POP自營(yíng)數(shù)據(jù)大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財(cái)務(wù)審計(jì)數(shù)據(jù)財(cái)務(wù)研發(fā)數(shù)據(jù)金融業(yè)務(wù)數(shù)據(jù)集市數(shù)據(jù)區(qū)客戶管理集市主題數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)……集市高時(shí)效數(shù)據(jù)實(shí)驗(yàn)室數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)實(shí)驗(yàn)室數(shù)據(jù)大數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)應(yīng)用層●客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)●實(shí)時(shí)分析類應(yīng)用通常使用CEP前業(yè)務(wù)的發(fā)生(如：用戶交易、、ESB等技術(shù)實(shí)現(xiàn)用戶訪問日志),進(jìn)行實(shí)時(shí)查詢、分析的應(yīng)用歷史查詢類應(yīng)用●針對(duì)公檢法查詢需求、內(nèi)外部審計(jì)需求和最終用戶的歷史交易查詢需求，以貼源存儲(chǔ)的歸檔數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用●歷史查詢類應(yīng)用通常使用BI工具或自主開發(fā)實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)應(yīng)用沙盤演練類應(yīng)用●業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì)業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果●沙盤演練類應(yīng)用通常使用R語(yǔ)言在Hadoop分布式體系下實(shí)現(xiàn)●管理分析類應(yīng)用主要實(shí)現(xiàn)了集團(tuán)客戶管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大分析體系功能管理分析類應(yīng)用通常采用套裝軟件和BI工具(MicroStrategy等)實(shí)現(xiàn)●智慧科技園區(qū)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì)業(yè)務(wù)需求的理解或者對(duì)市場(chǎng)的判斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)價(jià)值，并封裝成商業(yè)產(chǎn)品●數(shù)據(jù)增值產(chǎn)品通常采用R語(yǔ)言和BI工具實(shí)現(xiàn)，面向企業(yè)內(nèi)外部用戶工作負(fù)載復(fù)雜度工作負(fù)載復(fù)雜度智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——平臺(tái)發(fā)展不同階段 動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)階段讓正確的事情發(fā)生!數(shù)據(jù)量增長(zhǎng)用戶數(shù)增長(zhǎng)查詢復(fù)雜度增長(zhǎng)ETL處理復(fù)雜度增長(zhǎng)預(yù)測(cè)為主階段操作為主階段什么正在發(fā)生?將會(huì)發(fā)生什么?分析為主階段分析為主階段為什么會(huì)發(fā)生學(xué)=N發(fā)生了什么大數(shù)據(jù)平臺(tái)發(fā)展階段劃分批量隨機(jī)查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動(dòng)態(tài)觸發(fā)□目前監(jiān)管機(jī)構(gòu)沒有明確要求□客戶單一視圖區(qū)公司客戶信息管理區(qū)個(gè)人客戶信息管理區(qū)同業(yè)客戶信息管理□目標(biāo)客戶搜索區(qū)重點(diǎn)客戶區(qū)關(guān)懷客戶區(qū)風(fēng)險(xiǎn)客戶區(qū)異動(dòng)客戶□客戶細(xì)分區(qū)個(gè)人客戶細(xì)分區(qū)公司客戶細(xì)分□客戶行為分析區(qū)客戶輪廓分析區(qū)產(chǎn)品交叉銷售分析區(qū)百分比分析區(qū)渠道偏好分析□營(yíng)銷活動(dòng)管理區(qū)營(yíng)銷活動(dòng)規(guī)劃區(qū)營(yíng)銷活動(dòng)定義區(qū)營(yíng)銷活動(dòng)蘋果□營(yíng)銷活動(dòng)自動(dòng)化區(qū)渠道接口與集成區(qū)流程自動(dòng)化□風(fēng)險(xiǎn)監(jiān)控報(bào)表/信息披露區(qū)流動(dòng)性報(bào)表區(qū)利率敏感性報(bào)表區(qū)資本充足率報(bào)表區(qū)……區(qū)市場(chǎng)風(fēng)險(xiǎn)暴露值理□信用風(fēng)險(xiǎn)區(qū)信用風(fēng)險(xiǎn)暴露值計(jì)算區(qū)信用風(fēng)險(xiǎn)控制口操作風(fēng)險(xiǎn)區(qū)異常交易預(yù)警區(qū)后督差錯(cuò)檢查□防欺詐/反洗錢區(qū)定義欺詐交易模型區(qū)可能性欺詐交易預(yù)警區(qū)欺詐交易分布分析□全面風(fēng)險(xiǎn)管理□領(lǐng)導(dǎo)管理駕駛艙□機(jī)構(gòu)績(jī)效考核□客戶經(jīng)理考核區(qū)客戶經(jīng)理工作量評(píng)估區(qū)客戶經(jīng)理服務(wù)客戶收□產(chǎn)品績(jī)效考核區(qū)供應(yīng)鏈金融業(yè)務(wù)區(qū)人人貸業(yè)務(wù)區(qū)保理業(yè)務(wù)區(qū)基金業(yè)務(wù)區(qū)其它中間業(yè)務(wù)區(qū)……□渠道成本與收益□總賬分析區(qū)資產(chǎn)負(fù)債表分析區(qū)損益表分析區(qū)現(xiàn)金流量表分析區(qū)財(cái)務(wù)指標(biāo)分析區(qū)機(jī)構(gòu)貢獻(xiàn)度區(qū)產(chǎn)品貢獻(xiàn)度區(qū)客戶細(xì)分貢獻(xiàn)度區(qū)渠道績(jī)效□資產(chǎn)負(fù)債分析區(qū)主要指標(biāo)報(bào)告，如：區(qū)頭寸報(bào)告區(qū)現(xiàn)金流報(bào)告區(qū)風(fēng)險(xiǎn)價(jià)值(VaR)計(jì)算□財(cái)務(wù)預(yù)算與計(jì)劃區(qū)財(cái)務(wù)預(yù)算區(qū)財(cái)務(wù)計(jì)劃執(zhí)行監(jiān)控析□預(yù)測(cè)與場(chǎng)景分析區(qū)業(yè)務(wù)規(guī)模預(yù)測(cè)區(qū)收益預(yù)測(cè)F章.M-決策層管理層業(yè)務(wù)人員數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)數(shù)據(jù)全生命周期與數(shù)據(jù)創(chuàng)建數(shù)據(jù)存儲(chǔ)>數(shù)據(jù)數(shù)據(jù)全生命周期與數(shù)據(jù)類型真實(shí)性定義技數(shù)據(jù)格式及時(shí)性定義業(yè)務(wù)元數(shù)據(jù)權(quán)限定義業(yè)務(wù)分類完整性定義管理元數(shù)據(jù)審計(jì)定義業(yè)務(wù)含義一致性定義組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控工具這四個(gè)域相互作用、相互支撐，提供對(duì)各信息系>明確了數(shù)據(jù)>通過建立一制定管控組織制定a數(shù)據(jù)管控委員會(huì)a數(shù)據(jù)認(rèn)責(zé)人a數(shù)據(jù)接入流程流程支撐流程支撐□標(biāo)準(zhǔn)(數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求具g考核儀表盤管控平臺(tái)工具>規(guī)范了數(shù)>采用專門的技術(shù)平臺(tái)支自動(dòng)化，發(fā)布程中存在的一MR1F人與55數(shù)據(jù)管控負(fù)責(zé)部門數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)使用部門數(shù)據(jù)擁有部門提員員元數(shù)理員員 ●消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管●數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個(gè)部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行E雙g●數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評(píng)的目的

數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時(shí)也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；

數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià)

制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實(shí)施相應(yīng)的措施數(shù)據(jù)質(zhì)量要求數(shù)據(jù)質(zhì)量要求數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)及時(shí)性要求標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量考評(píng)數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)補(bǔ)錄管理元數(shù)據(jù)度管理元數(shù)據(jù)度與E數(shù)智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——元數(shù)據(jù)管理●業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)數(shù)據(jù)進(jìn)行描述●管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息●技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述業(yè)務(wù)指標(biāo)數(shù)值業(yè)務(wù)指標(biāo)數(shù)值業(yè)務(wù)指標(biāo)定義指標(biāo)編號(hào)指標(biāo)名稱業(yè)務(wù)描述生成周期計(jì)算邏輯管理部門用戶信息業(yè)務(wù)指標(biāo)數(shù)據(jù)項(xiàng)技術(shù)字段定義字段描述數(shù)據(jù)類型數(shù)據(jù)長(zhǎng)度約束條件源數(shù)據(jù)讀取情況目標(biāo)數(shù)據(jù)加載情況報(bào)錯(cuò)信息運(yùn)行時(shí)間信息數(shù)據(jù)安全定義數(shù)據(jù)安全等級(jí)數(shù)據(jù)授權(quán)使用數(shù)據(jù)安全報(bào)告數(shù)據(jù)分類功能模塊應(yīng)用主題應(yīng)用部門參考數(shù)據(jù)定義數(shù)據(jù)編號(hào)數(shù)據(jù)名稱數(shù)據(jù)描述數(shù)據(jù)質(zhì)量定義業(yè)務(wù)檢查規(guī)則技術(shù)檢查規(guī)則數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)處理描述數(shù)據(jù)表定義表名稱表描述表創(chuàng)建人表創(chuàng)建日期表維護(hù)人表維護(hù)日期數(shù)據(jù)庫(kù)描述數(shù)據(jù)庫(kù)類型數(shù)據(jù)庫(kù)參數(shù)集業(yè)務(wù)應(yīng)用描述亞務(wù)應(yīng)用編號(hào)業(yè)務(wù)應(yīng)用名稱業(yè)務(wù)應(yīng)用目標(biāo)業(yè)務(wù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)度度與●數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)管理和數(shù)●數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)管理和數(shù)據(jù)訪問授權(quán)管理兩個(gè)部分：數(shù)據(jù)安全分級(jí)等級(jí)定義數(shù)據(jù)訪問授權(quán)評(píng)與數(shù)人開教Rt人開●業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程√數(shù)據(jù)治理考核流程√數(shù)據(jù)治理考核指標(biāo)體系●數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程●數(shù)據(jù)質(zhì)量管理管理高階流程●元數(shù)據(jù)管理高階流程●數(shù)據(jù)安全管理管理高階流程規(guī)則配置元數(shù)據(jù)采集標(biāo)準(zhǔn)維護(hù)標(biāo)準(zhǔn)瀏覽權(quán)限管理用戶管理規(guī)范管理規(guī)則配置元數(shù)據(jù)采集標(biāo)準(zhǔn)維護(hù)標(biāo)準(zhǔn)瀏覽權(quán)限管理用戶管理規(guī)范管理績(jī)效指標(biāo)流程管理信息地圖待辦事項(xiàng)指標(biāo)速遞主菜單層智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)——數(shù)據(jù)管控平臺(tái)●數(shù)據(jù)管控平臺(tái)從總體上來說分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫(kù)及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源，通過應(yīng)用層的運(yùn)算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面首頁(yè)工作管理系統(tǒng)管理標(biāo)準(zhǔn)管理元數(shù)據(jù)管理質(zhì)量管理層層數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)元數(shù)據(jù)知識(shí)庫(kù)質(zhì)量稽核庫(kù)流程調(diào)度平臺(tái)流程調(diào)度平臺(tái)歷史歸檔查詢平臺(tái))內(nèi)存數(shù)據(jù)庫(kù))數(shù)據(jù)管控平臺(tái)實(shí)時(shí)分析平臺(tái)智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體產(chǎn)品框架Distcp沙盤演練平臺(tái)增值產(chǎn)品平臺(tái)Distcp沙盤演練平臺(tái)增值產(chǎn)品平臺(tái)群)基礎(chǔ)計(jì)算平臺(tái)(貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū))數(shù)據(jù)交換平臺(tái)(自主開發(fā)交換組件+NAS存儲(chǔ))議程1智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)綜述2智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)演進(jìn)路線4智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)實(shí)施計(jì)劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃對(duì)企業(yè)價(jià)值的創(chuàng)造對(duì)企業(yè)價(jià)值的創(chuàng)造2013年以基礎(chǔ)平臺(tái)搭建為主，配合智慧科技園區(qū)初期業(yè)務(wù)開展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險(xiǎn)管理和運(yùn)營(yíng)管理三方面開展開展客戶信息管理、信用風(fēng)險(xiǎn)評(píng)應(yīng)級(jí)和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)開展貼源數(shù)據(jù)整合，初步建立企技業(yè)級(jí)數(shù)據(jù)視圖，實(shí)現(xiàn)對(duì)管理分析類應(yīng)用和實(shí)時(shí)分析類應(yīng)用的支撐管規(guī)劃數(shù)據(jù)管控藍(lán)圖，初步實(shí)施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理搭建大數(shù)據(jù)處理平臺(tái)和實(shí)時(shí)分析平臺(tái)，應(yīng)用方面開展實(shí)時(shí)分析和全面開展內(nèi)部管理分析、實(shí)時(shí)分析和沙盤演練應(yīng)用建設(shè)，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平臺(tái)數(shù)據(jù)區(qū)建設(shè)隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開展數(shù)據(jù)標(biāo)持續(xù)優(yōu)化提升階段應(yīng)比D管深化分析體系，形成深度智能化業(yè)務(wù)分析性能持續(xù)優(yōu)化、數(shù)據(jù)持續(xù)深化數(shù)據(jù)管控體系，形成智慧科技園區(qū)企業(yè)級(jí)的數(shù)據(jù)管控體系應(yīng)業(yè)務(wù)分析框架管數(shù)據(jù)管控體系第二階段第三階段第二階段2014年——2015年2014年——2015年智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)演進(jìn)說明——基礎(chǔ)數(shù)據(jù)平臺(tái)階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段●搭建數(shù)據(jù)交換平臺(tái)，部署NAS存儲(chǔ)集群，設(shè)計(jì)并實(shí)施數(shù)據(jù)庫(kù)交換組件和數(shù)據(jù)區(qū)交換組件●搭建基礎(chǔ)計(jì)算平臺(tái)，設(shè)計(jì)并實(shí)施貼源數(shù)據(jù)區(qū)，以T+1頻率整合科技園區(qū)和金融業(yè)務(wù)數(shù)據(jù)●搭建歷史歸檔查詢平臺(tái)，歸檔科技園區(qū)和金融業(yè)務(wù)數(shù)據(jù)文件●搭建內(nèi)部管理分析應(yīng)用平臺(tái)，部署MPP集群和BI分析應(yīng)用環(huán)境●搭建實(shí)時(shí)分析平臺(tái)，部署內(nèi)存數(shù)據(jù)庫(kù)和實(shí)時(shí)BI分析環(huán)境●實(shí)現(xiàn)了數(shù)據(jù)平臺(tái)內(nèi)部個(gè)數(shù)據(jù)區(qū)之間、輸●實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合●實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理●實(shí)現(xiàn)了內(nèi)部管理分析環(huán)境搭建●實(shí)現(xiàn)實(shí)時(shí)分析環(huán)境搭建第二階段●數(shù)據(jù)交換平臺(tái)增強(qiáng)和優(yōu)化，包括：大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施●基礎(chǔ)計(jì)算平臺(tái)增強(qiáng)，包括：引入更多的數(shù)據(jù)源，增強(qiáng)貼源數(shù)據(jù)區(qū);設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計(jì)并實(shí)施大數(shù)據(jù)區(qū)，實(shí)現(xiàn)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理●搭建沙盤演練平臺(tái)●實(shí)時(shí)分析平臺(tái)增強(qiáng)和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源、多次使用●建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境，實(shí)現(xiàn)了用戶自主用數(shù)●為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類分析用提供平臺(tái)●為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺(tái)第三階段●基礎(chǔ)計(jì)算平臺(tái)持續(xù)增強(qiáng)和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和●搭建增值產(chǎn)品平臺(tái)，設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū)●數(shù)據(jù)交換平臺(tái)、沙盤演練平臺(tái)、實(shí)時(shí)分析平臺(tái)進(jìn)一步增強(qiáng)和優(yōu)化●數(shù)據(jù)平臺(tái)納入盡可能多的企業(yè)內(nèi)外部數(shù)據(jù)●數(shù)據(jù)平臺(tái)以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段●分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍(lán)圖和路線圖設(shè)計(jì)數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計(jì)●梳理智慧科技園區(qū)大數(shù)據(jù)平臺(tái)ETL流程各環(huán)節(jié)的數(shù)據(jù)檢查規(guī)則、評(píng)價(jià)指標(biāo)、管控流程，并落地實(shí)施數(shù)據(jù)質(zhì)量管理系統(tǒng)●梳理智慧科技園區(qū)大數(shù)據(jù)平臺(tái)包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務(wù)、●同步智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)ETL建設(shè)，實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)●收集并整合了智慧科技園區(qū)所有技術(shù)元數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段●隨著更多數(shù)據(jù)源的引入，進(jìn)一步增強(qiáng)數(shù)據(jù)質(zhì)量管理系統(tǒng)●隨著更多數(shù)據(jù)源的引入、更多平臺(tái)的建立，梳理并整合更多技術(shù)元數(shù)據(jù)●梳理智慧科技園區(qū)大數(shù)據(jù)平臺(tái)包含的業(yè)務(wù)和管理類務(wù)指標(biāo)、業(yè)務(wù)定義等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)●開展基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)，基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、落地策略●完善了數(shù)據(jù)質(zhì)量管理體系，實(shí)現(xiàn)了問題及時(shí)發(fā)現(xiàn)、及時(shí)解決●實(shí)現(xiàn)了智慧科技園區(qū)全方位的元數(shù)據(jù)管理，打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系●為智慧科技園區(qū)數(shù)據(jù)平臺(tái)建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)第三階段●數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強(qiáng)●元數(shù)據(jù)管理持續(xù)優(yōu)化并增強(qiáng)●基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)逐步落地實(shí)施開展指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)基礎(chǔ)數(shù)抿標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、茨地管略●通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性得業(yè)務(wù)人員可以方便、有效的智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)演進(jìn)說明——應(yīng)用體系階段劃分建設(shè)內(nèi)容第一階段●開展客戶信息管理建設(shè)，設(shè)計(jì)并實(shí)施個(gè)人客戶和供應(yīng)商360°視圖、客戶目標(biāo)搜索、客戶細(xì)分等功能●開展風(fēng)險(xiǎn)管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)評(píng)級(jí)模型●開展運(yùn)營(yíng)管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)鏈金融、人人貸等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計(jì)分析●初步梳理實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，進(jìn)行高時(shí)效分析應(yīng)用試點(diǎn)●可以方便的對(duì)個(gè)人客戶和供應(yīng)商進(jìn)行分群,以及全方位信息查詢和展示●供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)等級(jí)評(píng)定●針對(duì)目前開展的業(yè)務(wù)進(jìn)行經(jīng)營(yíng)情況統(tǒng)計(jì)分析●搭建并驗(yàn)證高時(shí)效應(yīng)用體系第二階段●隨著智慧科技園區(qū)業(yè)務(wù)的展開，逐步開展內(nèi)部管理分析體系的建設(shè)，本階段重點(diǎn)為客戶關(guān)系管理、運(yùn)營(yíng)管理等●高級(jí)業(yè)務(wù)人員利用沙盤演練平臺(tái)進(jìn)行數(shù)據(jù)挖掘、預(yù)測(cè)和科學(xué)試驗(yàn)●進(jìn)一步樹立實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，深化開展高時(shí)效分析應(yīng)用●開始梳理市場(chǎng)上的數(shù)據(jù)應(yīng)用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品●通過內(nèi)部管理分析體系的建設(shè)、滿足了智慧科技園區(qū)日常經(jīng)營(yíng)管理、決策分析和進(jìn)一步提高價(jià)值創(chuàng)造力的需要●實(shí)現(xiàn)了業(yè)務(wù)人員自主用數(shù)●實(shí)現(xiàn)了高時(shí)效分析，與業(yè)務(wù)流程的整合●實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價(jià)值第三階段●隨著智慧科技園區(qū)業(yè)務(wù)的展開，進(jìn)一步完善內(nèi)部管理分析體系的建設(shè)，包括：市場(chǎng)風(fēng)險(xiǎn)管理、操作風(fēng)險(xiǎn)管理、財(cái)務(wù)管理等●收集實(shí)時(shí)分析需求，進(jìn)一步增強(qiáng)并優(yōu)化實(shí)時(shí)分析應(yīng)用體系●增值數(shù)據(jù)產(chǎn)品設(shè)計(jì)逐漸成為重點(diǎn)，數(shù)據(jù)分析師收集企業(yè)內(nèi)外部數(shù)據(jù)需求，設(shè)計(jì)更完善的增值數(shù)據(jù)產(chǎn)品●通過內(nèi)部管理分析應(yīng)用體系建設(shè)進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)協(xié)作與創(chuàng)新●通過實(shí)時(shí)分析應(yīng)用體系建設(shè)，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)業(yè)務(wù)系統(tǒng)的交互，與業(yè)務(wù)流程的融合●增值數(shù)據(jù)產(chǎn)品的開發(fā)進(jìn)一步發(fā)揮的數(shù)據(jù)平臺(tái)的數(shù)據(jù)價(jià)值議程1智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)綜述2智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)演進(jìn)路線4智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)實(shí)施計(jì)劃5智慧科技園區(qū)大數(shù)據(jù)治理規(guī)劃云數(shù)據(jù)推送乎臺(tái)云數(shù)據(jù)推送乎臺(tái)大數(shù)據(jù)區(qū).業(yè)象統(tǒng)交換件●管理分析平臺(tái)：由X86分析型數(shù)據(jù)庫(kù)集群、BI軟件1J2EE應(yīng)用構(gòu)成●實(shí)時(shí)分析平臺(tái)：由高檔X86服務(wù)器組成的集群，實(shí)現(xiàn)高時(shí)數(shù)據(jù)源06G-06G-(等售)人人貨系統(tǒng)人人貨系統(tǒng)供應(yīng)鎮(zhèn)金融系統(tǒng)-0GG+數(shù)據(jù)交換平臺(tái)基礎(chǔ)計(jì)算平臺(tái)實(shí)時(shí)分析平臺(tái)(數(shù)據(jù)服務(wù))管理分析平臺(tái)(數(shù)據(jù)服務(wù))流程調(diào)度平臺(tái)完數(shù)據(jù)酸務(wù)元數(shù)據(jù)采集完數(shù)據(jù)酸務(wù)元數(shù)據(jù)采集元數(shù)據(jù)管理]通用服務(wù)通用服務(wù)配冒/面名管理通知搜醒配冒/面名管理通知搜醒日志&審計(jì)管理分析&實(shí)時(shí)分析平臺(tái)(應(yīng)用服務(wù))用戶業(yè)務(wù)經(jīng)營(yíng)預(yù)測(cè)業(yè)務(wù)經(jīng)營(yíng)分析管理層用戶客戶360°視圖MicroStrategyWeb業(yè)務(wù)分析用戶加載服務(wù)器#1加載服務(wù)器#加載服務(wù)器#1加載服務(wù)器#4數(shù)據(jù)交換平臺(tái)一平臺(tái)邏輯架構(gòu) (HiveLoad)到臨時(shí)數(shù)據(jù)區(qū)，同時(shí)歸檔(金融智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)文件歸檔文件加載文件級(jí)檢核文件歸檔文件加載文件級(jí)檢核文件到達(dá)事件監(jiān)控文件到達(dá)事件監(jiān)控NAS集群集群：負(fù)載均衡服務(wù)器集群：負(fù)載均衡服務(wù)器云數(shù)據(jù)推送平臺(tái)運(yùn)維部門運(yùn)維部門數(shù)據(jù)交換平臺(tái)一參與方責(zé)任劃分智慧科技園區(qū)智慧科技園區(qū)研發(fā)部門時(shí)時(shí)通三新拉班淫業(yè)云垃市事在數(shù)據(jù)交換平臺(tái)一業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取實(shí)現(xiàn)方式●每張?jiān)聪到y(tǒng)表都對(duì)應(yīng)一個(gè)獨(dú)立的數(shù)據(jù)接口●傳輸方式●接口處理模式系統(tǒng)建立數(shù)系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口數(shù)據(jù)交換平臺(tái)一平臺(tái)部署架構(gòu)●數(shù)據(jù)交換平臺(tái)由8臺(tái)X86服務(wù)器和一個(gè)N

X86服務(wù)器按照功能分為2組，一組實(shí)現(xiàn)數(shù)據(jù)獲取，一組實(shí)現(xiàn)數(shù)據(jù)加載和歸檔◆NAS集群作為公共數(shù)據(jù)區(qū)，由8臺(tái)服務(wù)器共享訪問(讀寫)●負(fù)責(zé)源系統(tǒng)數(shù)據(jù)文件加載和歸檔●負(fù)責(zé)源系統(tǒng)數(shù)據(jù)文件加載和歸檔●每臺(tái)服務(wù)器負(fù)責(zé)多個(gè)源系統(tǒng)●支持按需擴(kuò)展/減少服務(wù)器●LVS1負(fù)載均衡●其它LVS服務(wù)器負(fù)責(zé)接收接口文件，寫入NAS集群目錄●支持按需擴(kuò)展減少服務(wù)器Pythonruntime按日期和源●部署數(shù)據(jù)交換平臺(tái)和流程調(diào)度平臺(tái)程序，各服務(wù)器通過文件，供交文件鏈接使用換平臺(tái)訪問換平臺(tái)訪問歷史歸檔數(shù)流程調(diào)度平臺(tái)一平臺(tái)邏輯架構(gòu)NAS平臺(tái)到數(shù)據(jù)集市生成理數(shù)據(jù)管管理蛋谷數(shù)覆裹戰(zhàn)維爨鑫身餐蓑黛虛基計(jì)墓谷主數(shù)攫酒點(diǎn)預(yù)試準(zhǔn)代籍辭葬奮數(shù)覆數(shù)尊出歷案計(jì)整舞盤計(jì)置臺(tái)特兇大授奔加載而流爨釋到事件墨云整推舉臺(tái)源暴整文本檢索山作流爨文裂事在控接匯總數(shù)據(jù)文本切分批量數(shù)據(jù)處理工作流數(shù)據(jù)質(zhì)量檢查文糟轉(zhuǎn)換轉(zhuǎn)換疆流程調(diào)度服務(wù)任務(wù)執(zhí)圖例理的ETL任務(wù)流程調(diào)度平臺(tái)一流程調(diào)度元數(shù)據(jù)

任務(wù)定義，包括任務(wù)名稱、描述、運(yùn)行服務(wù)器、運(yùn)行狀態(tài)、運(yùn)行時(shí)間、相關(guān)數(shù)據(jù)源等屬性

任務(wù)依賴，任務(wù)的執(zhí)行依賴與其他上游任務(wù)

任務(wù)觸發(fā)，任務(wù)成功執(zhí)行后觸發(fā)的下游任務(wù)

任務(wù)組，一組有相互關(guān)系的任務(wù)，全部完成后會(huì)觸發(fā)頭任務(wù)運(yùn)行…元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)導(dǎo)出元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)導(dǎo)出流程調(diào)度平臺(tái)一任務(wù)調(diào)度引擎●通過偵測(cè)器偵測(cè)事件，按照任務(wù)定義和任務(wù)依賴關(guān)系觸發(fā)任務(wù)運(yùn)行，觸發(fā)方式把主要包括

自動(dòng)觸發(fā)√定時(shí)觸發(fā)，按照預(yù)先定義的時(shí)間周期，如每日、每周、每月，或任何有規(guī)律的時(shí)間間隔執(zhí)行任務(wù)。目前可明確的任務(wù)主要是每月執(zhí)行的基礎(chǔ)計(jì)算平√事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務(wù)。如：數(shù)據(jù)文件到達(dá)指定目錄，會(huì)觸發(fā)數(shù)據(jù)加載任務(wù)。同樣，流程失敗也會(huì)觸發(fā)新的job,如錯(cuò)誤處理、√系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對(duì)特定范圍的數(shù)據(jù)進(jìn)行審計(jì)與驗(yàn)證、對(duì)特定范圍的數(shù)據(jù)進(jìn)行針對(duì)性很強(qiáng)的數(shù)據(jù)清洗、或者是對(duì)某流程失敗后的修復(fù)?！瘛衩總€(gè)要執(zhí)行的任務(wù)均由任務(wù)執(zhí)行代理啟動(dòng)運(yùn)行流程調(diào)度服務(wù)元數(shù)據(jù)管理元數(shù)據(jù)導(dǎo)/導(dǎo)出過濾單元2單元N流程抽取任務(wù)調(diào)度流程調(diào)度平臺(tái)一集群可靠性和可擴(kuò)展性高可用性流程調(diào)度集群接口調(diào)度#1基礎(chǔ)計(jì)算平臺(tái)調(diào)度#1接口調(diào)度#N基礎(chǔ)計(jì)算平臺(tái)調(diào)度#N擴(kuò)展能力管理分析平臺(tái)調(diào)度#1流程調(diào)度平臺(tái)一平臺(tái)部署架構(gòu)●流程調(diào)度平臺(tái)由八臺(tái)X86服務(wù)器構(gòu)成，服務(wù)器按照功能分為兩類

兩臺(tái)X86服務(wù)器部署MySQL數(shù)據(jù)庫(kù)集群，存儲(chǔ)流程調(diào)度元數(shù)據(jù),工作流不跨數(shù)據(jù)區(qū)●貼園區(qū)和匯總區(qū)工作

六臺(tái)X86服務(wù)器部署流程調(diào)度引擎，負(fù)責(zé)各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運(yùn)行貼源區(qū)調(diào)度服務(wù)器匯總區(qū)調(diào)度服務(wù)器MySQL主服務(wù)器MySQL從服務(wù)器基礎(chǔ)計(jì)算平臺(tái)一平臺(tái)邏輯架構(gòu)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)●基礎(chǔ)計(jì)算平臺(tái)基于Hadoop集群搭建●基礎(chǔ)計(jì)算平臺(tái)有三個(gè)數(shù)據(jù)區(qū)構(gòu)成基礎(chǔ)計(jì)算平臺(tái)一臨時(shí)數(shù)據(jù)區(qū)包含內(nèi)容智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)要整合的源系統(tǒng)，包括：POP、財(cái)務(wù)審計(jì)、財(cái)務(wù)研發(fā)、大物流數(shù)據(jù)部和移動(dòng)客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)。主要用途建立數(shù)據(jù)緩沖區(qū)，臨時(shí)存放從源系統(tǒng)抽取過來的增量/全量數(shù)據(jù)，支撐后續(xù)ELT處理。設(shè)計(jì)●數(shù)據(jù)庫(kù)設(shè)計(jì)原則●模型設(shè)計(jì)原則*物理模型與邏輯模型保持一致，每個(gè)實(shí)體對(duì)●歷史保留原則●數(shù)據(jù)庫(kù)設(shè)計(jì)原則●數(shù)據(jù)庫(kù)設(shè)計(jì)原則●模型設(shè)計(jì)原則原則●歷史保留原則基礎(chǔ)計(jì)算平臺(tái)一貼源數(shù)據(jù)區(qū)包含內(nèi)容與緩沖層相對(duì)應(yīng)，貼源整合層金融、網(wǎng)站交易、數(shù)據(jù)部和移動(dòng)客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)，所有數(shù)據(jù)保留歷史。主要用途作為整個(gè)數(shù)據(jù)平臺(tái)的基礎(chǔ)數(shù)據(jù)層，累計(jì)歷史，為主題層、集市層等數(shù)據(jù)區(qū)提供數(shù)據(jù)支撐?；A(chǔ)計(jì)算平臺(tái)一匯總數(shù)據(jù)區(qū)包含內(nèi)容針對(duì)客戶管理、風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)量統(tǒng)計(jì)設(shè)計(jì)明細(xì)數(shù)據(jù)進(jìn)行預(yù)匯總、預(yù)連接和預(yù)加工后的結(jié)主要用途對(duì)明細(xì)數(shù)據(jù)進(jìn)行預(yù)匯總、預(yù)連接和預(yù)加工，為應(yīng)用數(shù)據(jù)集市設(shè)計(jì)原則●數(shù)據(jù)庫(kù)設(shè)計(jì)原則·匯總數(shù)據(jù)區(qū)對(duì)應(yīng)獨(dú)立的Hive數(shù)據(jù)庫(kù)●模型設(shè)計(jì)原則*匯總層采用了逆范式寬表設(shè)計(jì)，某種程度上采用維度建模的方法模型設(shè)計(jì)首先需要根據(jù)業(yè)務(wù)和應(yīng)用的需要盡量包含更多的屬性和指標(biāo)，同時(shí)兼顧空間·匯總層需要針對(duì)維度數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理匯總層模型增加數(shù)據(jù)日期記錄歷史，建議根據(jù)數(shù)據(jù)日期建立分區(qū)●歷史保留原則不同實(shí)體采取不同的歷史保留策略建議以支持應(yīng)用為輸入，避免永久保留·過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時(shí)回遷基礎(chǔ)計(jì)算平臺(tái)一平臺(tái)部署架構(gòu)基礎(chǔ)計(jì)算平臺(tái)由73臺(tái)X86服務(wù)器構(gòu)成，3臺(tái)服務(wù)器作為Node,70臺(tái)服務(wù)器作為算集群JobTracker高可用性Node(Sry內(nèi)部互聯(lián)TaskTrackerNodeTaskTrackerNodeTaskTrackerNodeTaskTrackerNode服務(wù)器;戶戶管理分析平臺(tái)一平臺(tái)邏輯架構(gòu)●客戶信息管理，采用J2EE框架自主開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫(kù)集群●運(yùn)營(yíng)績(jī)效管理，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫(kù)集群●零售業(yè)務(wù)靈活分析，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于內(nèi)存數(shù)據(jù)庫(kù)集群HANABI應(yīng)用服務(wù)供應(yīng)鏈金融業(yè)務(wù)量統(tǒng)計(jì)分析基金業(yè)務(wù)量統(tǒng)計(jì)分析供應(yīng)鏈金融經(jīng)營(yíng)規(guī)模預(yù)測(cè)J2EE應(yīng)用服務(wù)WEB應(yīng)用Mobile應(yīng)用個(gè)人客戶目標(biāo)搜索企業(yè)客戶360視圖BI應(yīng)用門戶金融業(yè)務(wù)經(jīng)經(jīng)營(yíng)預(yù)測(cè)個(gè)性定制內(nèi)容管理內(nèi)存數(shù)據(jù)庫(kù)HANA實(shí)時(shí)分析集市分析型數(shù)據(jù)庫(kù)分析型數(shù)據(jù)庫(kù)WEB服務(wù)授權(quán)管理賬戶管理審計(jì)管理授權(quán)管理賬戶管理審計(jì)管理管理分析平臺(tái)一安全管理BI認(rèn)證管理安全管理員安全管理員安全管理員安全管理員企業(yè)客戶信息管理企業(yè)客戶信息管理營(yíng)分析金融業(yè)務(wù)規(guī)模預(yù)測(cè)息管理凝墻凝墻說明機(jī)機(jī)√基礎(chǔ)計(jì)算平臺(tái)，73臺(tái)服務(wù)器構(gòu)成的?集群務(wù)器務(wù)器務(wù)器?√數(shù)據(jù)交換平臺(tái)，5臺(tái)服務(wù)器與云數(shù)據(jù)推送平臺(tái)接口，數(shù)據(jù)獲取基礎(chǔ)計(jì)算平臺(tái)(Hadoop集TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器3歷史歸檔查詢集群)TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器3沙盤演練平臺(tái)(Hadoop集TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器3智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)一期硬件配置(續(xù))數(shù)據(jù)交換平臺(tái)數(shù)據(jù)接口服務(wù)器5流程調(diào)度&ETL平臺(tái)流程調(diào)度&ETL服務(wù)器7元數(shù)據(jù)服務(wù)器Hive元數(shù)據(jù)庫(kù)服務(wù)器2管理分析平臺(tái)數(shù)據(jù)集市服務(wù)器4內(nèi)存數(shù)據(jù)庫(kù)服務(wù)器422智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)一期硬件配置(續(xù))●光前交換機(jī)配置要求●NAS集群配置如下：類型軟件清單類型基礎(chǔ)計(jì)算平臺(tái)歷史歸檔查詢平臺(tái)實(shí)時(shí)分析平臺(tái)內(nèi)存沙盤演練平臺(tái)管理分析&實(shí)時(shí)分析平臺(tái)BI應(yīng)用服務(wù)器MicroStrategy9.3數(shù)據(jù)交換平臺(tái)流程調(diào)度&ETL平臺(tái)議程1智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)綜述2智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)總體架構(gòu)3智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)演進(jìn)路線4智慧科技園區(qū)大數(shù)據(jù)云平臺(tái)實(shí)施計(jì)劃理平臺(tái)以元信息模型為核心，由規(guī)則配置管理模塊、檢查分析報(bào)告生成模塊和分析報(bào)告展現(xiàn)模塊四部分量檢查過程的形式統(tǒng)一數(shù)據(jù)質(zhì)量檢查規(guī)則配置模塊作為Java數(shù)據(jù)質(zhì)量檢查規(guī)則配置模塊作為JavaWeb應(yīng)用部署在金融數(shù)據(jù)平臺(tái)Tomcat集群上，數(shù)據(jù)質(zhì)量管理員通過統(tǒng)一的用戶數(shù)據(jù)質(zhì)量管理元信息用戶數(shù)據(jù)質(zhì)量管理元信息獨(dú)立的Schema部署在決策分析報(bào)表平臺(tái)的數(shù)據(jù)質(zhì)量檢查規(guī)則執(zhí)行模塊作為多個(gè)ETL任Automation實(shí)現(xiàn)各個(gè)數(shù)據(jù)區(qū)技術(shù)和業(yè)務(wù)數(shù)據(jù)質(zhì)量檢查檢查規(guī)則執(zhí)行模塊分析報(bào)告生成模塊亞務(wù)規(guī)則月報(bào)亞務(wù)規(guī)則月報(bào)匯總?cè)請(qǐng)?bào)匯總?cè)請(qǐng)?bào)字段格式主鍵唯一業(yè)務(wù)系統(tǒng)參照完整業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量分析報(bào)告展現(xiàn)模塊作為JavaWeb應(yīng)用部署在金融數(shù)據(jù)平臺(tái)Tomcat集群上，用戶通過統(tǒng)一的Web服務(wù)訪問數(shù)據(jù)質(zhì)量分析報(bào)告生成模塊作為一個(gè)ETL任務(wù)部署在決策分析報(bào)表平臺(tái)ETL服務(wù)器上，由Automation工作流調(diào)度服務(wù)統(tǒng)一調(diào)度運(yùn)圖例士斷出化士斷出化事裹戰(zhàn)爨縫息鍵蓑黛議四作流變?cè)普麛y藍(lán)臺(tái)源暴數(shù)摩預(yù)點(diǎn)預(yù)算第章整燕計(jì)整臺(tái)特區(qū)平皇數(shù)覆乎點(diǎn)激婆希存便(NS薛)希加載文借檔數(shù)溫?cái)?shù)舊出大護(hù)加載抽取元數(shù)據(jù)導(dǎo)/導(dǎo)出往霧數(shù)據(jù)通知提醒數(shù)據(jù)歸檔流程優(yōu)化日志&審核跟蹤服務(wù)器上理過程中，設(shè)置4類檢查點(diǎn)作流統(tǒng)一調(diào)度執(zhí)行存入數(shù)據(jù)質(zhì)量管理資料庫(kù)區(qū)任務(wù)類型ETL任務(wù)——技術(shù)型檢查云數(shù)據(jù)推送平臺(tái)->金融數(shù)據(jù)交換平臺(tái)NAS存儲(chǔ)指定目錄執(zhí)行頻率每日?qǐng)?zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在ETL服務(wù)器上執(zhí)行檢查對(duì)象云數(shù)據(jù)推送平臺(tái)按照接口規(guī)范導(dǎo)出的業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)文件和控制文件檢查內(nèi)容接口文件是否存在，接口文件名稱是否正確，接口文件是否通過MD5校驗(yàn)實(shí)現(xiàn)技術(shù)成功閾值所有規(guī)則通過檢查依賴任務(wù)觸發(fā)任務(wù)數(shù)據(jù)加載任務(wù)類型ETL任務(wù)——技術(shù)型檢查臨時(shí)數(shù)據(jù)區(qū)->貼源整合數(shù)據(jù)區(qū)執(zhí)行頻率每日?qǐng)?zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對(duì)象云數(shù)據(jù)推送平臺(tái)按照接口規(guī)范導(dǎo)出的業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)檢查內(nèi)容實(shí)現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯(cuò)誤明細(xì)表依賴任務(wù)接口文件級(jí)規(guī)范性檢查任務(wù)觸發(fā)任務(wù)任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查貼源整合數(shù)據(jù)區(qū)->匯總數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對(duì)象匯總數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務(wù)邏輯檢查：通過對(duì)若干個(gè)匯總值/指標(biāo)值的運(yùn)算，來檢驗(yàn)各個(gè)匯總值/指標(biāo)間潛在的平衡或其他比較關(guān)系實(shí)現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯(cuò)誤明細(xì)表依賴任務(wù)貼源整合數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)集市數(shù)據(jù)區(qū)應(yīng)用數(shù)據(jù)生成任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫(kù)集群上執(zhí)行檢查對(duì)象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容實(shí)現(xiàn)技術(shù)成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯(cuò)誤明細(xì)表依賴任務(wù)匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務(wù)任務(wù)類型ETL任務(wù)——業(yè)務(wù)型檢查匯總數(shù)據(jù)區(qū)->應(yīng)用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應(yīng)用集市數(shù)據(jù)庫(kù)集群上執(zhí)行檢查對(duì)象應(yīng)用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務(wù)邏輯檢查：通過對(duì)若干個(gè)指標(biāo)值的運(yùn)算，來檢驗(yàn)各個(gè)指標(biāo)間潛在的平衡或其他比較數(shù)值檢查：主要是通過對(duì)單個(gè)指標(biāo)值的監(jiān)控來發(fā)現(xiàn)數(shù)據(jù)的異常、突變等情況波動(dòng)檢查：通過對(duì)單個(gè)指標(biāo)值一段時(shí)間內(nèi)的數(shù)值變化情況來檢查數(shù)據(jù)的波動(dòng)、變化情況一致性檢查：通過對(duì)兩個(gè)指標(biāo)按某幾個(gè)維度展開后的增減幅度來發(fā)現(xiàn)數(shù)據(jù)的波動(dòng)、變化情況實(shí)現(xiàn)技術(shù)成功閾值9