數(shù)據(jù)治理平臺(tái)建設(shè)方案

數(shù)據(jù)治理平臺(tái)建設(shè)方案

目錄CONTENT建設(shè)背景價(jià)值定位體系架構(gòu)核心能力數(shù)據(jù)亂象嚴(yán)重，數(shù)據(jù)治理迫在眉睫行業(yè)痛點(diǎn)數(shù)據(jù)分散，信息孤島嚴(yán)重，共享困難數(shù)據(jù)多樣化，缺乏統(tǒng)一標(biāo)準(zhǔn)，集成困難數(shù)據(jù)質(zhì)量差，數(shù)據(jù)可信度每況愈下數(shù)據(jù)資產(chǎn)的應(yīng)用未得到有效管理12345責(zé)任不明，出現(xiàn)問題，各部門相互推責(zé)數(shù)據(jù)安全問題日益嚴(yán)峻6不良數(shù)據(jù)治理導(dǎo)致的損失元數(shù)據(jù)不一致導(dǎo)致衛(wèi)星失敗：NASA，1999年，火星氣候探測(cè)器，任務(wù)失敗。因?yàn)榛鹦菤夂蛱綔y(cè)者號(hào)上的飛行系統(tǒng)軟件使用公制單位牛頓計(jì)算推進(jìn)器動(dòng)力，而地面人員輸入的方向校正量和推進(jìn)器參數(shù)則使用英制單位磅力，導(dǎo)致探測(cè)器進(jìn)入大氣層的高度有誤，最終瓦解碎裂。編碼不一致產(chǎn)生的ERP建設(shè)返工、工期拖延：國(guó)內(nèi)某大型企業(yè)實(shí)施SAP，SAPECC模塊公司代碼與BCS模塊貿(mào)易伙伴并行維護(hù)導(dǎo)致數(shù)據(jù)不一致，評(píng)估返工工作量>1000人天不良數(shù)據(jù)質(zhì)量導(dǎo)致的財(cái)務(wù)損失：根據(jù)數(shù)據(jù)質(zhì)量專家LarryEnglish的統(tǒng)計(jì)，截至2010年，不良數(shù)據(jù)質(zhì)量為122家知名機(jī)構(gòu)帶來(lái)的財(cái)務(wù)損失總計(jì)：$1,221,374,479,000數(shù)據(jù)引自《InformationQualityApplied》數(shù)據(jù)集中管控成為大勢(shì)所趨API數(shù)據(jù)倉(cāng)庫(kù)ODS層DW層DM層加工加工ERPMySQLExcle…TXT生產(chǎn)分析交易運(yùn)營(yíng)稽核稽核集成服務(wù)數(shù)據(jù)治理平臺(tái)鎖定管控內(nèi)容數(shù)據(jù)源、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、服務(wù)模塊，全過(guò)程的元數(shù)據(jù)管理、各個(gè)監(jiān)控環(huán)節(jié)，問題處理流程制定責(zé)任矩陣采集流程、稽核流程、加工流程、服務(wù)流程、問題處理流程，各個(gè)流程節(jié)點(diǎn)制定相關(guān)負(fù)責(zé)人，責(zé)任到人可視化管理實(shí)現(xiàn)顯現(xiàn)化的數(shù)據(jù)資產(chǎn)管理，對(duì)數(shù)據(jù)全生命周期的處理都有相應(yīng)的流程支撐，滿足流程界面化的配置與維護(hù)快速發(fā)現(xiàn)問題針對(duì)采集、加工、稽核、服務(wù)各個(gè)流程，進(jìn)行全方位實(shí)時(shí)的監(jiān)控，設(shè)告警定閥值，實(shí)現(xiàn)異常情況快速定位及時(shí)解決問題對(duì)不同的問題形成處理方案，對(duì)發(fā)現(xiàn)的異常問題能夠及時(shí)準(zhǔn)確閉環(huán)的進(jìn)行解決，同時(shí)解決過(guò)程可查看和跟蹤面向全業(yè)務(wù)服務(wù)數(shù)據(jù)倉(cāng)庫(kù)由面向分析業(yè)務(wù)的功能化平臺(tái)轉(zhuǎn)變成面向全業(yè)務(wù)域的服務(wù)化平臺(tái)轉(zhuǎn)型，數(shù)據(jù)治理平臺(tái)提供一體化服務(wù)支撐目錄CONTENT建設(shè)背景價(jià)值定位技術(shù)架構(gòu)核心能力競(jìng)品分析數(shù)據(jù)治理體系四要素組織架構(gòu)管理定義數(shù)據(jù)治理所需人員組織上的崗位和職責(zé)，從管理角度支撐數(shù)據(jù)治理工作的落地和執(zhí)行計(jì)劃、制度與標(biāo)準(zhǔn)規(guī)范基于國(guó)家、行業(yè)標(biāo)準(zhǔn)，定義企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)體系，包括數(shù)據(jù)標(biāo)準(zhǔn)、管理標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)等流程活動(dòng)與機(jī)制針對(duì)數(shù)據(jù)的使用與操作、數(shù)據(jù)權(quán)限的申請(qǐng)、數(shù)據(jù)問題的處理等，制定規(guī)范的審批管控流程技術(shù)平臺(tái)與工具利用技術(shù)手段，提供可視化的、智能化的平臺(tái)與工具幫助用戶實(shí)現(xiàn)簡(jiǎn)單、自動(dòng)化的數(shù)據(jù)治理人＋標(biāo)準(zhǔn)＋流程＋技術(shù)大數(shù)據(jù)治理體系數(shù)據(jù)治理平臺(tái)定位數(shù)據(jù)標(biāo)準(zhǔn)化企業(yè)級(jí)、行業(yè)級(jí)標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn)化業(yè)務(wù)字典標(biāo)準(zhǔn)化稽核規(guī)則標(biāo)準(zhǔn)化協(xié)同共享數(shù)據(jù)變化可及時(shí)得到全局性的體現(xiàn)數(shù)據(jù)權(quán)限安全應(yīng)用集中統(tǒng)一管理由分散到集中管理由不一致到統(tǒng)一數(shù)據(jù)質(zhì)量數(shù)據(jù)唯一性數(shù)據(jù)完整性數(shù)據(jù)準(zhǔn)確性運(yùn)營(yíng)監(jiān)控采集監(jiān)控稽核監(jiān)控加工監(jiān)控事前防范事中管控事后治理數(shù)據(jù)全生命周期管理評(píng)估及處理數(shù)據(jù)質(zhì)量問題數(shù)據(jù)加工問題數(shù)據(jù)采集問題數(shù)據(jù)治理平臺(tái)目標(biāo)數(shù)據(jù)治理平臺(tái)作為大數(shù)據(jù)運(yùn)營(yíng)服務(wù)平臺(tái)強(qiáng)有力的管理支撐，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管控和精細(xì)化管理，保障數(shù)據(jù)資產(chǎn)質(zhì)量，為數(shù)據(jù)平臺(tái)提供面向業(yè)務(wù)用戶服務(wù)的溝通橋梁，讓大數(shù)據(jù)變得業(yè)務(wù)化、可視化、易使用、易獲得、高質(zhì)量，促進(jìn)數(shù)據(jù)資產(chǎn)的價(jià)值創(chuàng)造。源數(shù)據(jù)（智能設(shè)備）源數(shù)據(jù)（業(yè)務(wù)系統(tǒng)）源數(shù)據(jù)（第三方數(shù)據(jù)）源數(shù)據(jù)（互聯(lián)網(wǎng)數(shù)據(jù)）…數(shù)據(jù)源層數(shù)據(jù)質(zhì)量管理數(shù)據(jù)服務(wù)數(shù)據(jù)采集（實(shí)時(shí)、非實(shí)時(shí)）東方國(guó)信大數(shù)據(jù)平臺(tái)數(shù)據(jù)模型管理元數(shù)據(jù)管理數(shù)據(jù)加工整合數(shù)據(jù)采集層數(shù)據(jù)處理層數(shù)據(jù)服務(wù)層外部創(chuàng)新應(yīng)用內(nèi)部分析應(yīng)用數(shù)應(yīng)用層大數(shù)據(jù)運(yùn)營(yíng)服務(wù)平臺(tái)數(shù)據(jù)質(zhì)量保障是基礎(chǔ)數(shù)據(jù)整合共享是手段數(shù)據(jù)應(yīng)用場(chǎng)景是載體數(shù)據(jù)價(jià)值創(chuàng)造是目標(biāo)數(shù)據(jù)采集收集是前提數(shù)據(jù)治理平臺(tái)設(shè)計(jì)理念大數(shù)據(jù)治理平臺(tái)數(shù)據(jù)建模平臺(tái)BDA元數(shù)據(jù)管理BMM數(shù)據(jù)質(zhì)量平臺(tái)BDQ數(shù)據(jù)集成平臺(tái)BDI數(shù)據(jù)服務(wù)平臺(tái)BDS利用大數(shù)據(jù)治理平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)全生命周期端到端透明化管控，實(shí)現(xiàn)“數(shù)據(jù)模型標(biāo)準(zhǔn)化、數(shù)據(jù)關(guān)系脈絡(luò)化、數(shù)據(jù)加工可視化、數(shù)據(jù)質(zhì)量度量化、數(shù)據(jù)服務(wù)自動(dòng)化”，全業(yè)務(wù)流程的實(shí)時(shí)監(jiān)控全業(yè)務(wù)流程實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)生產(chǎn)者數(shù)據(jù)開發(fā)者者數(shù)據(jù)使用者數(shù)據(jù)管理者大數(shù)據(jù)治理平臺(tái)數(shù)據(jù)生產(chǎn)數(shù)據(jù)質(zhì)量初審數(shù)據(jù)質(zhì)量績(jī)效執(zhí)行數(shù)據(jù)開發(fā)數(shù)據(jù)加工挖掘數(shù)據(jù)質(zhì)量績(jī)效評(píng)估數(shù)據(jù)使用數(shù)據(jù)統(tǒng)計(jì)分析數(shù)據(jù)質(zhì)量績(jī)效執(zhí)行數(shù)據(jù)管理數(shù)據(jù)安全保護(hù)數(shù)據(jù)質(zhì)量績(jī)效執(zhí)行用界面化、自動(dòng)化、自助化、智能化的大數(shù)據(jù)治理平臺(tái)找到數(shù)據(jù)、開發(fā)數(shù)據(jù)、治理數(shù)據(jù)、提供數(shù)據(jù)數(shù)據(jù)治理平臺(tái)價(jià)值目錄CONTENT建設(shè)背景價(jià)值定位技術(shù)架構(gòu)核心能力數(shù)據(jù)治理平臺(tái)技術(shù)架構(gòu)數(shù)據(jù)治理存儲(chǔ)庫(kù)數(shù)據(jù)治理存儲(chǔ)庫(kù)元模型庫(kù)工作流模型庫(kù)建模模型庫(kù)數(shù)據(jù)產(chǎn)品庫(kù)開發(fā)者使用者數(shù)據(jù)服務(wù)BDS接口管理中心數(shù)據(jù)產(chǎn)品數(shù)據(jù)中心元數(shù)據(jù)管理平臺(tái)BMM技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)建模BDA邏輯模型物理模型倉(cāng)庫(kù)模型模型對(duì)比落地發(fā)布數(shù)據(jù)集成平臺(tái)BDI任務(wù)代理設(shè)計(jì)工具數(shù)據(jù)流設(shè)計(jì)器工作流設(shè)計(jì)器任務(wù)調(diào)度器手動(dòng)執(zhí)行事件觸發(fā)計(jì)劃調(diào)度任務(wù)處理器Hadoop/MPP/oracle/spark…翻譯引擎數(shù)據(jù)質(zhì)量平臺(tái)BDQ規(guī)則配置規(guī)則翻譯執(zhí)行引擎稽核工單流程調(diào)度問題管理BPM工單流程流程審核報(bào)告生成反饋定時(shí)掃描檢測(cè)調(diào)度應(yīng)用物化數(shù)據(jù)計(jì)算引擎SPARK計(jì)算引擎HADOOP計(jì)算引擎MPP計(jì)算引擎問題庫(kù)稽核規(guī)則庫(kù)映射國(guó)內(nèi)唯一自主研發(fā)大數(shù)據(jù)治理平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)全生命周期端到端透明化管控。緊耦合：5款產(chǎn)品相互聯(lián)系，相輔相成，形成全面的數(shù)據(jù)治理一體化解決方案。松耦合：采用“組件化、微服務(wù)”的產(chǎn)品設(shè)計(jì)思想，每款產(chǎn)品可獨(dú)立部署。承建國(guó)內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺(tái)，已支撐：50197個(gè)數(shù)據(jù)模型，220746個(gè)元數(shù)據(jù)對(duì)象，日入庫(kù)2870億條數(shù)據(jù)，日稽核109988個(gè)任務(wù)，235個(gè)數(shù)據(jù)服務(wù)接口倉(cāng)庫(kù)各層與工具的對(duì)應(yīng)關(guān)系SRC接口層數(shù)據(jù)建模：接口模型元數(shù)據(jù)：接口對(duì)象、接口資源（FTP等）數(shù)據(jù)建模：數(shù)據(jù)庫(kù)模型（表、視圖）元數(shù)據(jù)：數(shù)據(jù)庫(kù)對(duì)象（表、視圖）數(shù)據(jù)庫(kù)資源對(duì)象數(shù)據(jù)交換：采集接口數(shù)據(jù)統(tǒng)一調(diào)度：采集任務(wù)調(diào)度數(shù)據(jù)質(zhì)量：稽核采集結(jié)果數(shù)據(jù)建模：數(shù)據(jù)庫(kù)模型（表、視圖）元數(shù)據(jù)：數(shù)據(jù)庫(kù)對(duì)象（表、視圖）數(shù)據(jù)庫(kù)資源對(duì)象云化ETL：各種加工數(shù)據(jù)質(zhì)量：稽核加工結(jié)果數(shù)據(jù)建模：數(shù)據(jù)庫(kù)模型（表、視圖）元數(shù)據(jù)：數(shù)據(jù)庫(kù)對(duì)象（表、視圖）數(shù)據(jù)庫(kù)資源對(duì)象云化ETL：各種加工數(shù)據(jù)質(zhì)量：稽核加工結(jié)果ODSDMDW數(shù)據(jù)服務(wù)：對(duì)外提供數(shù)據(jù)服務(wù)基于多租戶的云化應(yīng)用應(yīng)用共享、存儲(chǔ)共享applicationDBapplicationDBapplicationDB應(yīng)用隔離、存儲(chǔ)隔離application應(yīng)用共享、存儲(chǔ)隔離applicationDBDBDBDB應(yīng)用隔離：容器化方式部署，根據(jù)應(yīng)用的負(fù)載情況進(jìn)行相應(yīng)的集群動(dòng)態(tài)伸縮；基于租戶的并發(fā)要求，分配數(shù)量不等的應(yīng)用實(shí)例，并可動(dòng)態(tài)調(diào)整應(yīng)用實(shí)例所在容器的CPU、內(nèi)存資源，以達(dá)到個(gè)性化響應(yīng)支撐需求；數(shù)據(jù)隔離：變更表結(jié)構(gòu)，實(shí)現(xiàn)數(shù)據(jù)隔離與共享；用戶定制：租戶可根據(jù)自己的需要自行定制應(yīng)用程序；允許多個(gè)版本同時(shí)運(yùn)行；租戶管理：實(shí)現(xiàn)注冊(cè)、訂購(gòu)服務(wù)。數(shù)據(jù)庫(kù)租戶1數(shù)據(jù)租戶2數(shù)據(jù)租戶3數(shù)據(jù)……租戶N數(shù)據(jù)應(yīng)用層應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例負(fù)載均衡租戶數(shù)據(jù)分片、數(shù)據(jù)隔離基于容器部署，快速擴(kuò)展負(fù)載均衡，SLA約束數(shù)據(jù)治理平臺(tái)的應(yīng)用采用多租戶技術(shù)實(shí)現(xiàn)資源的共享和最大化利用，并保障各租戶之間數(shù)據(jù)的隔離，實(shí)現(xiàn)應(yīng)用一點(diǎn)部署，多點(diǎn)使用。目錄CONTENT建設(shè)背景價(jià)值定位技術(shù)架構(gòu)核心能力BDA－數(shù)據(jù)建模面向數(shù)據(jù)倉(cāng)庫(kù)模型標(biāo)準(zhǔn)化的數(shù)據(jù)建模工具BDA-標(biāo)準(zhǔn)化數(shù)據(jù)建模FileXMLBDI概念模型（需求分析）數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)模型管理模型落地定時(shí)掃描目前承建國(guó)內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺(tái)，已支撐：ODS層：約11880個(gè)模型DW層：約36040個(gè)模型DM層：約2277個(gè)模型數(shù)據(jù)建模邏輯模型設(shè)計(jì)模型比對(duì)模型物化邏輯模型規(guī)則數(shù)據(jù)字典物化規(guī)則獲取定義獲取定義ODS數(shù)據(jù)庫(kù)建模三階段概念數(shù)據(jù)模型：客戶交流；理解需求；形成實(shí)體邏輯數(shù)據(jù)模型：對(duì)實(shí)體進(jìn)行細(xì)化，細(xì)化成具體的表，豐富表結(jié)構(gòu)物理數(shù)據(jù)模型：在邏輯數(shù)據(jù)模型階段創(chuàng)建的各種數(shù)據(jù)庫(kù)對(duì)象生成相應(yīng)的SQL代碼，運(yùn)行來(lái)創(chuàng)建相應(yīng)具體數(shù)據(jù)庫(kù)對(duì)象統(tǒng)一規(guī)范數(shù)據(jù)庫(kù)模型建設(shè)實(shí)現(xiàn)自動(dòng)化的模型創(chuàng)建與模型復(fù)用，配合BDI工具實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)裝載BDA：提供可視化的建模及模型部署情況監(jiān)控的工具，定義通用數(shù)據(jù)實(shí)體和數(shù)據(jù)結(jié)構(gòu)，實(shí)現(xiàn)數(shù)據(jù)模型的標(biāo)準(zhǔn)化和一致性。并能夠提供貫穿數(shù)據(jù)的開發(fā)、部署、治理等各個(gè)階段的模型管理功能，記錄數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)的全過(guò)程。BDA核心能力1－可視化邏輯建模規(guī)則定義建立邏輯模型時(shí)，對(duì)結(jié)構(gòu)及屬性要進(jìn)行規(guī)范性約束，規(guī)則類型包括：結(jié)構(gòu)編碼規(guī)則、結(jié)構(gòu)名稱規(guī)則、結(jié)構(gòu)描述規(guī)則、屬性編碼規(guī)則及屬性名稱規(guī)則等。可視化邏輯模型創(chuàng)建提供可視化建模方式，可創(chuàng)建面板進(jìn)行邏輯模型設(shè)計(jì)。在操作面板中進(jìn)行可視化操作進(jìn)行邏輯模型編輯與關(guān)系創(chuàng)建。BDA核心能力2－物理建模數(shù)據(jù)字典建立字段類型映射關(guān)系，用于邏輯模型物化生成物理模型(表)時(shí)，結(jié)構(gòu)中每個(gè)字段的邏輯字段類型轉(zhuǎn)換成所選數(shù)據(jù)庫(kù)的物理字段類型。物化信息物化規(guī)則:針對(duì)本次物化的邏輯模型設(shè)置物化規(guī)則，主要包括基本信息和分區(qū)信息?；拘畔⒅饕ㄎ锘笪锢砟Ｐ痛鎯?chǔ)的位置（可物化到多個(gè)位置，實(shí)現(xiàn)模型復(fù)用）；分區(qū)信息則根據(jù)字段選擇不同的分區(qū)方式。BDA核心能力3－模型質(zhì)量監(jiān)控倉(cāng)庫(kù)模型在數(shù)據(jù)源列表選擇要監(jiān)控的元模型進(jìn)行忽略規(guī)則、定時(shí)掃描等的配置。差異對(duì)比以物理模型為基礎(chǔ)，對(duì)比物理模型與倉(cāng)庫(kù)模型的差異，達(dá)到模型部署質(zhì)量監(jiān)控的目的。BDI－數(shù)據(jù)集成面向海量多源異構(gòu)的可視化數(shù)據(jù)集成工具BDI－企業(yè)級(jí)數(shù)據(jù)集成服務(wù)平臺(tái)調(diào)度執(zhí)行器設(shè)計(jì)工具數(shù)據(jù)流設(shè)計(jì)器工作流設(shè)計(jì)器流程監(jiān)控運(yùn)行實(shí)時(shí)監(jiān)控異?；謴?fù)異常重入流程停止/暫停分布式計(jì)算框架資源管理映射工作流資源表執(zhí)行模式執(zhí)行控制執(zhí)行配置手動(dòng)執(zhí)行事件觸發(fā)計(jì)劃調(diào)度并發(fā)控制自動(dòng)重試本地執(zhí)行代理執(zhí)行集群執(zhí)行調(diào)度方式加工方式加工遷移自定義代理執(zhí)行器任務(wù)執(zhí)行器Hadoop/MPP/oracle/spark…翻譯引擎調(diào)度引擎配置信息執(zhí)行代理配置信息數(shù)據(jù)治理存儲(chǔ)庫(kù)獲取定義數(shù)據(jù)計(jì)算引擎獲取定義BDI企業(yè)級(jí)數(shù)據(jù)集成平臺(tái)，采用圖形化的數(shù)據(jù)流和工作流設(shè)計(jì)，分布式的數(shù)據(jù)處理和任務(wù)調(diào)度，將分散的、異構(gòu)數(shù)據(jù)源抽取，進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中。采集能力：多數(shù)據(jù)源和目標(biāo)支持，支持13+種數(shù)據(jù)庫(kù)類型，支持文本、Excel、XML、CSV等格式的文件類型。加工能力：封裝八大類轉(zhuǎn)換組件和近百個(gè)函數(shù)和參數(shù)調(diào)用規(guī)則，同時(shí)可調(diào)用外部的過(guò)程和程序，實(shí)現(xiàn)復(fù)雜的轉(zhuǎn)換邏輯。BDI核心能力1－跨地域多源異構(gòu)數(shù)據(jù)集成平臺(tái)提供支持各種數(shù)據(jù)庫(kù)、集群數(shù)據(jù)源的訪問支持，另外提供適配器供其他應(yīng)用程序使用，任意應(yīng)用程序均可以通過(guò)適配器與平臺(tái)交換數(shù)據(jù)。引擎使用不落地In-Memory架構(gòu)，提供高速的異構(gòu)數(shù)據(jù)抽取、轉(zhuǎn)換、加載。In-MemoryDataIntegrationEngineTextMSExcelOracleGreenPlumHadoopApplication基于Oracle原生OCI接口高速存取基于fdist分布式文件協(xié)議高速存取對(duì)于Hive、Hbase等均提供支持任意BI應(yīng)用利用Adaptor均可訪問多種格式的半結(jié)構(gòu)化數(shù)據(jù)基于POI直接訪問Excel表格數(shù)據(jù)BDI核心能力2－圖形化的數(shù)據(jù)流設(shè)計(jì)器數(shù)據(jù)流設(shè)計(jì)器提供了建立映射和映射組件的工具，這樣便可以指定如何在源和目標(biāo)之間移動(dòng)和轉(zhuǎn)換數(shù)據(jù)。在數(shù)據(jù)流設(shè)計(jì)器中可以創(chuàng)建源定義、目標(biāo)定義和轉(zhuǎn)換以建立映射?！皥D形化的操作界面，鼠標(biāo)拖拽式的使用，輕松實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的整合”表達(dá)式節(jié)點(diǎn)過(guò)濾節(jié)點(diǎn)匯總節(jié)點(diǎn)連接節(jié)點(diǎn)排序節(jié)點(diǎn)聯(lián)合節(jié)點(diǎn)TOP節(jié)點(diǎn)Pig節(jié)點(diǎn)

源目標(biāo)遷移映射加工映射BDI核心能力3－強(qiáng)大的數(shù)據(jù)轉(zhuǎn)換功能內(nèi)置豐富的轉(zhuǎn)換組件，封裝了近百個(gè)函數(shù)和參數(shù)調(diào)用規(guī)則，極大的提高了計(jì)算表達(dá)式的靈活性，同時(shí)可調(diào)用外部的過(guò)程和程序，實(shí)現(xiàn)復(fù)雜的轉(zhuǎn)換邏輯?！耙资褂?、易開發(fā)、易維護(hù)”BDI核心能力4－跨系統(tǒng)跨平臺(tái)的統(tǒng)一調(diào)度集中調(diào)度Spark、Hive、Pig、MRjob、存儲(chǔ)過(guò)程、shell等資源，支撐跨系統(tǒng)、跨應(yīng)用、跨語(yǔ)言的作業(yè)任務(wù)協(xié)同執(zhí)行，實(shí)現(xiàn)調(diào)度全局化、透明化。靈活的作業(yè)定義與調(diào)度策略：包括并行、串行、依賴、和干涉等方式資源自動(dòng)負(fù)載均衡，實(shí)現(xiàn)高效調(diào)度：按資源對(duì)任務(wù)調(diào)度分組、并發(fā)控制、優(yōu)先級(jí)動(dòng)態(tài)調(diào)整BDI核心能力5－自動(dòng)化的任務(wù)調(diào)度機(jī)制基于平臺(tái)中各類任務(wù)的要求，設(shè)置不同的任務(wù)規(guī)則，包括任務(wù)優(yōu)先級(jí)、任務(wù)調(diào)度機(jī)制、任務(wù)異常處理策略等，并應(yīng)用到任務(wù)的設(shè)計(jì)計(jì)劃和執(zhí)行調(diào)度中。任務(wù)調(diào)度機(jī)制－任務(wù)調(diào)度是面向任務(wù)對(duì)象的自動(dòng)化任務(wù)，按照時(shí)間觸發(fā)和事件請(qǐng)求方式觸發(fā)調(diào)度：1.時(shí)間觸發(fā)方式定時(shí)觸發(fā)。即根據(jù)設(shè)定的時(shí)間：年、月、日、小時(shí)、分鐘、秒以及各種組合等進(jìn)行任務(wù)調(diào)度；循環(huán)觸發(fā)。即指定時(shí)間段進(jìn)行任務(wù)的循環(huán)調(diào)度；間隔觸發(fā)。即指定兩個(gè)任務(wù)調(diào)度的間隔時(shí)間；2.事件請(qǐng)求方式前置依賴調(diào)度。前置依賴調(diào)度指某任務(wù)是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足。后置觸發(fā)調(diào)度。后置觸發(fā)調(diào)度即某任務(wù)執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來(lái)決定另一個(gè)節(jié)點(diǎn)是否執(zhí)行。該調(diào)度方式可支持在出現(xiàn)異常或故障時(shí)，進(jìn)行進(jìn)一步的問題探查分析。時(shí)間觸發(fā)方式的任務(wù)調(diào)度BDI核心能力6－節(jié)點(diǎn)級(jí)的實(shí)時(shí)監(jiān)控具備任務(wù)執(zhí)行日志監(jiān)控與問題告警功能，支持任務(wù)執(zhí)行結(jié)果、異常告警信息的可視化展現(xiàn)。使得用戶對(duì)于任務(wù)執(zhí)行過(guò)程中的各個(gè)階段都了如指掌，有效幫助用戶對(duì)異常任務(wù)進(jìn)行排查糾錯(cuò)。支持任務(wù)執(zhí)行過(guò)程監(jiān)控，監(jiān)控任務(wù)的執(zhí)行狀態(tài)、開始時(shí)間、結(jié)束時(shí)間、運(yùn)行時(shí)長(zhǎng)等信息。支持基于單個(gè)節(jié)點(diǎn)的監(jiān)控與控制，包括啟動(dòng)、暫停、繼續(xù)、取消等。支持任務(wù)執(zhí)行日志的管理和查詢功能。BDI應(yīng)用場(chǎng)景1－原始明細(xì)數(shù)據(jù)采集入庫(kù)Oracle外部數(shù)據(jù)源集團(tuán)總部生產(chǎn)業(yè)務(wù)財(cái)務(wù)……分子公司生產(chǎn)業(yè)務(wù)財(cái)務(wù)……數(shù)據(jù)源FTP接口機(jī)文本文件Excel文件XML文件……Mysql數(shù)據(jù)庫(kù)……DB2數(shù)據(jù)接口ODS層HDFSHive／Spark／MapReduceDW層DM層目標(biāo)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)適配器數(shù)據(jù)庫(kù)適配器Excel適配器文本適配器XML適配器資源管理……源／目標(biāo)映射／工作流設(shè)計(jì)器數(shù)據(jù)流設(shè)計(jì)器工作流設(shè)計(jì)器調(diào)度執(zhí)行器任務(wù)執(zhí)行器代理執(zhí)行器調(diào)度引擎配置信息執(zhí)行模式執(zhí)行控制執(zhí)行配置信息調(diào)度方式遷移映射流程監(jiān)控獲取定義獲取定義BDI數(shù)據(jù)抽取與裝載BDI數(shù)據(jù)采集：將數(shù)據(jù)源以全量／增量的方式抽取并裝載到數(shù)據(jù)倉(cāng)庫(kù)ODS明細(xì)沉淀層，把不同來(lái)源、格式、特點(diǎn)性質(zhì)的數(shù)據(jù)通過(guò)ETL過(guò)程，集中性存放，形成規(guī)范的數(shù)據(jù)存儲(chǔ)。目前承建國(guó)內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺(tái)，裝載能力：171個(gè)節(jié)點(diǎn)hadoop集群，采集69個(gè)數(shù)據(jù)源系統(tǒng)，對(duì)接1348個(gè)數(shù)據(jù)接口，2870億條記錄，日入庫(kù)數(shù)據(jù)量50TB，數(shù)據(jù)裝載速度5GB/s抽取裝載BDI應(yīng)用場(chǎng)景2－數(shù)據(jù)加工整合適配器數(shù)據(jù)庫(kù)適配器資源管理源／目標(biāo)映射／工作流設(shè)計(jì)器數(shù)據(jù)流設(shè)計(jì)器工作流設(shè)計(jì)器調(diào)度執(zhí)行器任務(wù)執(zhí)行器代理執(zhí)行器調(diào)度引擎配置信息執(zhí)行模式執(zhí)行控制執(zhí)行配置信息調(diào)度方式加工映射流程監(jiān)控獲取定義獲取定義DW層HDFSHive／Spark／MapReduceODS層DM層數(shù)據(jù)倉(cāng)庫(kù)即席查詢自助報(bào)表個(gè)性化定制交互式探索OLAP精準(zhǔn)營(yíng)銷平臺(tái)經(jīng)營(yíng)分析平臺(tái)……分析工具分析應(yīng)用MPP抽取加工加工BDI數(shù)據(jù)加工：DW匯總層基于hadoop的Hive／Spark／MapReduce等計(jì)算資源進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換等加工整合，形成多維立方體，最后加載到DM數(shù)據(jù)集市層。目前承建國(guó)內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺(tái)，處理能力：970個(gè)節(jié)點(diǎn)hadoop集群，10W+個(gè)復(fù)雜加工流程，800W＋個(gè)文件，日數(shù)據(jù)處理量20PB，數(shù)據(jù)處理速度100GB/s。

數(shù)據(jù)展現(xiàn)數(shù)據(jù)加工與整合裝載BMM－元數(shù)據(jù)管理面向企業(yè)海量數(shù)據(jù)資產(chǎn)業(yè)務(wù)化的元數(shù)據(jù)管理平臺(tái)掃描引擎執(zhí)行掃描規(guī)則引擎資源映射業(yè)務(wù)定義元數(shù)據(jù)對(duì)象BDI數(shù)據(jù)質(zhì)量元數(shù)據(jù)對(duì)象技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)發(fā)布第三方應(yīng)用數(shù)據(jù)治理存儲(chǔ)庫(kù)元模型庫(kù)工作流模型庫(kù)建模模型庫(kù)數(shù)據(jù)產(chǎn)品庫(kù)數(shù)據(jù)中心邏輯模型表……數(shù)據(jù)建模元數(shù)據(jù)對(duì)象表視圖存儲(chǔ)過(guò)程函數(shù)……元數(shù)據(jù)對(duì)象維度指標(biāo)數(shù)據(jù)加工、遷移、質(zhì)量檢測(cè)數(shù)據(jù)服務(wù)基礎(chǔ)功能應(yīng)用管理功能目錄管理版本管理流程管理權(quán)限管理數(shù)據(jù)地圖異常觀察變更時(shí)間軸元數(shù)據(jù)檢索血緣分析

BMM：目前國(guó)內(nèi)極少數(shù)支持全中文內(nèi)核元數(shù)據(jù)管理的產(chǎn)品之一，擁有自下而上的全部自主知識(shí)產(chǎn)權(quán)，元數(shù)據(jù)管理平臺(tái)獲取數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù)，將分散的元數(shù)據(jù)統(tǒng)一管理起來(lái)，為企業(yè)提供端到端的元數(shù)據(jù)服務(wù)圖形化的交互界面，支撐17種元模型對(duì)象，13＋種數(shù)據(jù)庫(kù)類型樹狀結(jié)構(gòu)的目錄管理完善的元數(shù)據(jù)版本管理靈活的用戶權(quán)限管理高效率的緩存策略支持批量的導(dǎo)入導(dǎo)出基于流程的變更審批緩存管理導(dǎo)入導(dǎo)出管理全文檢索異常觀察BMM－端到端的元數(shù)據(jù)管理平臺(tái)BMM核心能力1－實(shí)時(shí)的元數(shù)據(jù)自動(dòng)獲取元數(shù)據(jù)的獲取管理包括自動(dòng)掃描獲取、系統(tǒng)手工錄入、批量導(dǎo)入三種方式。自動(dòng)掃描獲取通過(guò)元數(shù)據(jù)獲取適配器（系統(tǒng)具備或定制研發(fā)）自動(dòng)解析元數(shù)據(jù)信息，比如數(shù)據(jù)倉(cāng)庫(kù)中的表、視圖、過(guò)程、列等元數(shù)據(jù)信息可通過(guò)自動(dòng)掃描獲得系統(tǒng)手工錄入系統(tǒng)支持通過(guò)手工錄入的方式對(duì)元數(shù)據(jù)進(jìn)行錄入，錄入信息包括元數(shù)據(jù)的基本屬性信息及元數(shù)據(jù)結(jié)構(gòu)信息批量導(dǎo)入系統(tǒng)支持通過(guò)使用標(biāo)準(zhǔn)模板編制的元數(shù)據(jù)信息文件在系統(tǒng)中的批量導(dǎo)入，為元數(shù)據(jù)的獲取提供了便捷途徑BMM核心能力2－清晰的血緣關(guān)系追溯血緣關(guān)系是元數(shù)據(jù)重要應(yīng)用之一，展示表，視圖，過(guò)程之間的關(guān)系，表和指標(biāo)間的關(guān)系。對(duì)于展示的元數(shù)據(jù)血緣關(guān)系圖中，各節(jié)點(diǎn)元數(shù)據(jù)均支持元數(shù)據(jù)信息查看及進(jìn)一步鉆取各節(jié)點(diǎn)的血緣關(guān)系。血緣關(guān)系的數(shù)據(jù)來(lái)源支持：通過(guò)解析存儲(chǔ)過(guò)程注釋的方式；支持通過(guò)BDI流程自動(dòng)生成的方式；支持通過(guò)配置表的方式BMM核心能力3－企業(yè)級(jí)的統(tǒng)一全景視圖數(shù)據(jù)地圖是元數(shù)據(jù)信息的全景視圖，描述所有元數(shù)據(jù)對(duì)象的血緣關(guān)系，所處層級(jí)覆蓋范圍由ODS->DWA->DWD->DM層。全面呈現(xiàn)了數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)之間的關(guān)系。BMM核心能力4－快速精確的全文檢索元數(shù)據(jù)管理的數(shù)據(jù)信息龐大復(fù)雜，通過(guò)全文檢索功能可以迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，為海量數(shù)據(jù)分析提供更快、更正確的查詢處理、更好的數(shù)據(jù)質(zhì)量、更易使用的操作接口等。通過(guò)全文檢索獲得的元數(shù)據(jù)范圍，系統(tǒng)提供分類訪問形式，可查看檢索范圍內(nèi)元數(shù)據(jù)的明細(xì)信息。BMM核心能力5－全面的異常元數(shù)據(jù)監(jiān)控

元數(shù)據(jù)異常信息觀察：通過(guò)對(duì)異常規(guī)則的配置，系統(tǒng)自動(dòng)監(jiān)測(cè)出異常的信息分類；展現(xiàn)出異常信息的分布情況和異常分類情況以及異常明細(xì)情況。BMM核心能力6－完整的元數(shù)據(jù)變更記錄元數(shù)據(jù)變更時(shí)間軸，以時(shí)間線條的形式提供元數(shù)據(jù)變更信息記錄，將元數(shù)據(jù)的變更情況以更為直觀的形式體現(xiàn)。同時(shí)，變更內(nèi)容描述支持對(duì)變更元數(shù)據(jù)的鏈接分析，查看變更元數(shù)據(jù)的具體變更情況。記錄倉(cāng)庫(kù)中的數(shù)據(jù)表、函數(shù)、視圖、存儲(chǔ)過(guò)程；雙擊新增或修改內(nèi)容可展現(xiàn)實(shí)體在倉(cāng)庫(kù)中的數(shù)據(jù)結(jié)構(gòu)、歸屬用戶、所屬層級(jí)、創(chuàng)建時(shí)間等；記錄應(yīng)用元數(shù)據(jù)、指標(biāo)體系新增或修改的指標(biāo)；雙擊指標(biāo)可展現(xiàn)指標(biāo)定義、口徑、來(lái)源、發(fā)布時(shí)間等信息；記錄項(xiàng)目中涉及的接口規(guī)范、模型規(guī)范等；雙擊規(guī)范可顯示規(guī)范發(fā)布時(shí)間、涉及層級(jí)、規(guī)范屬性等；實(shí)體指標(biāo)規(guī)范BMM核心能力7－靈活易擴(kuò)展的對(duì)外服務(wù)接口元數(shù)據(jù)的信息應(yīng)用是企業(yè)數(shù)據(jù)信息價(jià)值的重要體現(xiàn)。產(chǎn)品以WEBSERVICE方式提供多類元數(shù)據(jù)訪問接口，供各類應(yīng)用或系統(tǒng)調(diào)用實(shí)現(xiàn)信息服務(wù)。數(shù)據(jù)倉(cāng)庫(kù)BMM應(yīng)用場(chǎng)景－數(shù)據(jù)倉(cāng)庫(kù)全生命周期的元數(shù)據(jù)管理數(shù)據(jù)源數(shù)據(jù)源應(yīng)用應(yīng)用ODS層DW層DM層采集服務(wù)加工加工接口規(guī)范數(shù)據(jù)源FTP信息數(shù)據(jù)上傳時(shí)間窗文件命名信息文件分包信息文件存放路徑硬件資源信息接口協(xié)議信息接口數(shù)據(jù)模型接口稽核規(guī)則硬件資源信息倉(cāng)庫(kù)對(duì)象及其ETL信息數(shù)據(jù)模型血緣關(guān)系數(shù)據(jù)樣例對(duì)象稽核規(guī)則硬件資源信息集市對(duì)象及其ETL信息數(shù)據(jù)模型血緣關(guān)系數(shù)據(jù)樣例對(duì)象稽核規(guī)則集市對(duì)象與應(yīng)用的關(guān)系對(duì)外服務(wù)產(chǎn)品信息數(shù)據(jù)分析應(yīng)用信息指標(biāo)體系應(yīng)用指標(biāo)信息應(yīng)用與指標(biāo)的關(guān)系數(shù)據(jù)源信息數(shù)據(jù)采集信息數(shù)據(jù)加工信息數(shù)據(jù)集市信息應(yīng)用信息元數(shù)據(jù)對(duì)象版本管理權(quán)限管理緩存管理流程管理導(dǎo)入導(dǎo)出管理目錄管理基礎(chǔ)管理應(yīng)用管理變更時(shí)間軸對(duì)外接口異常觀察關(guān)聯(lián)分析血緣分析全文檢索數(shù)據(jù)地圖元數(shù)據(jù)管理平臺(tái)貫穿數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)“流動(dòng)”的全過(guò)程，對(duì)數(shù)據(jù)資源進(jìn)行識(shí)別、描述和追蹤，形成數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)統(tǒng)一視圖，實(shí)現(xiàn)元數(shù)據(jù)全生命周期的一站式管理。元數(shù)據(jù)管理內(nèi)容包括：數(shù)據(jù)源信息數(shù)據(jù)采集信息數(shù)據(jù)加工信息數(shù)據(jù)集市信息應(yīng)用信息自動(dòng)掃描／系統(tǒng)錄入、批量導(dǎo)入／數(shù)據(jù)建模目前承建國(guó)內(nèi)規(guī)模最大的數(shù)據(jù)治理平臺(tái)，元數(shù)據(jù)管理能力：220746個(gè)元數(shù)據(jù)對(duì)象，全文檢索秒級(jí)響應(yīng)能力BDQ－數(shù)據(jù)質(zhì)量面向數(shù)據(jù)資產(chǎn)全生命周期質(zhì)量保證的監(jiān)管平臺(tái)BDQ－全方位的數(shù)據(jù)質(zhì)量平臺(tái)稽核規(guī)則配置規(guī)則翻譯規(guī)則執(zhí)行結(jié)果生成問題管理稽核工單流程調(diào)度元數(shù)據(jù)對(duì)象管理資源表存儲(chǔ)庫(kù)稽核規(guī)則庫(kù)問題存儲(chǔ)庫(kù)元模型庫(kù)BDI流程調(diào)度BPM工單流程數(shù)據(jù)中心空值校驗(yàn)重復(fù)校驗(yàn)格式校驗(yàn)參照校驗(yàn)波動(dòng)校驗(yàn)邏輯校驗(yàn)一致性校驗(yàn)自定義校驗(yàn)關(guān)系校驗(yàn)BDQ：東方國(guó)信自主研發(fā)的數(shù)據(jù)質(zhì)量平臺(tái)提供企業(yè)級(jí)范圍的數(shù)據(jù)質(zhì)量管理流程與方法論，實(shí)現(xiàn)數(shù)據(jù)全生命周期的質(zhì)量監(jiān)控與質(zhì)量稽核，保障數(shù)據(jù)的完整性、準(zhǔn)確性、一致性、及時(shí)性等。全圖形化規(guī)則配置界面九大類稽核規(guī)則，支持稽核規(guī)則和稽核流程可視化配置。自動(dòng)化的稽核任務(wù)執(zhí)行結(jié)合BDI實(shí)現(xiàn)稽核任務(wù)的設(shè)計(jì)與配置，基于調(diào)度的觸發(fā)機(jī)制，實(shí)現(xiàn)任務(wù)的自動(dòng)化執(zhí)行問題處理流程化針對(duì)稽核出的數(shù)據(jù)質(zhì)量問題，系統(tǒng)會(huì)自動(dòng)根據(jù)錯(cuò)誤分類自動(dòng)生成問題處理工單BDQ核心能力1－可視化的配置與自動(dòng)化的執(zhí)行配置管理：規(guī)則配置：提供針對(duì)表、視圖、文件等的規(guī)則配置功能；任務(wù)配置：根據(jù)稽核對(duì)象的業(yè)務(wù)特性動(dòng)態(tài)配置稽核任務(wù)信息，一個(gè)邏輯稽核對(duì)象規(guī)則可以配置在多個(gè)物理稽核對(duì)象上面。執(zhí)行管理：規(guī)則引擎：對(duì)稽核規(guī)則進(jìn)行翻譯，將上述配置規(guī)則翻譯為與稽核對(duì)象匹配的程序語(yǔ)言。任務(wù)調(diào)度：稽核流程與數(shù)據(jù)加工流程相結(jié)合，通過(guò)BDI工具配置稽核任務(wù)、設(shè)計(jì)稽核流程。通過(guò)流程調(diào)度執(zhí)行稽核任務(wù)。支持單點(diǎn)輪詢調(diào)度，流程式輪詢調(diào)度BDQ核心能力2－全流程的數(shù)據(jù)質(zhì)量監(jiān)控對(duì)數(shù)據(jù)質(zhì)量稽核任務(wù)執(zhí)行情況、稽核問題生成、處理、流程的執(zhí)行情況的監(jiān)控，針對(duì)稽核對(duì)象所處層級(jí)、稽核賬期等進(jìn)行分類監(jiān)控。BDQ核心能力3－明細(xì)化的稽核問題管理對(duì)所有生成的稽核問題提供列表展示，并提供相應(yīng)的查詢、高級(jí)查詢（按照稽核對(duì)象所處層級(jí)目錄、以及所屬地域、賬期等進(jìn)行高級(jí)查詢）等功能。BDQ核心能力4－直觀的稽核結(jié)果分析稽核問題以列表形式展現(xiàn)，記錄稽核的時(shí)間、周期、異常數(shù)據(jù)源，不同程度的問題通過(guò)不同顏色體現(xiàn)；維護(hù)人員通過(guò)此界面查看、搜索所有的數(shù)據(jù)質(zhì)量問題；數(shù)據(jù)源接口人通過(guò)此界面查看、檢索本域的數(shù)據(jù)質(zhì)量問題，包括具體的規(guī)則配置內(nèi)容及稽核腳本，異常數(shù)據(jù)樣例雙擊查看詳細(xì)稽核規(guī)則，異常數(shù)據(jù)樣例，稽核腳本根據(jù)稽核問題結(jié)果，生成問題異常工單，描述異常內(nèi)容。自定義問題處理流程，流程驅(qū)動(dòng)問題工單處理。BDQ核心能力5－工單化的異常問題處理對(duì)系統(tǒng)中的的申告或稽核問題以工單形式呈現(xiàn)，直觀展示待辦工單、已解決工單、未解決工單、掛起工單的情況，以及工單的詳細(xì)情況；工單一旦生成，將觸發(fā)其對(duì)應(yīng)的處理流程進(jìn)行申告或問題處理；BDQ核心能力6－便捷的工單管理定期生成數(shù)據(jù)質(zhì)量分析報(bào)告，對(duì)數(shù)據(jù)稽核及數(shù)據(jù)處理結(jié)果進(jìn)行綜合評(píng)估，通過(guò)評(píng)估定位數(shù)據(jù)問題，確保數(shù)據(jù)的可用性智能產(chǎn)生數(shù)據(jù)評(píng)估結(jié)果實(shí)時(shí)展示錯(cuò)誤數(shù)據(jù)及時(shí)反饋數(shù)據(jù)進(jìn)展情況

數(shù)據(jù)錯(cuò)誤精確定位BDQ核心能力7－綜合性的數(shù)據(jù)質(zhì)量報(bào)告BDQ應(yīng)用－數(shù)據(jù)處理全過(guò)程的質(zhì)量稽核數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用應(yīng)用ODS層DW層DM層稽核規(guī)則配置元數(shù)據(jù)對(duì)象管理資源表視圖空值校驗(yàn)重復(fù)校驗(yàn)格式校驗(yàn)參照校驗(yàn)波動(dòng)校驗(yàn)邏輯校驗(yàn)一致性校驗(yàn)自定義校驗(yàn)關(guān)系校驗(yàn)規(guī)則翻譯規(guī)則執(zhí)行BDI流程調(diào)度稽核結(jié)果稽核監(jiān)控稽核問題管理稽核異常工單數(shù)據(jù)質(zhì)量報(bào)告（日?qǐng)?bào)、月報(bào)）自定義表單流程設(shè)置BPM流程管理稽核工單配置采集服務(wù)加工加工稽核稽核稽核質(zhì)管處審批人全圖形化配置界面，簡(jiǎn)化稽核操作和配置數(shù)據(jù)質(zhì)量平臺(tái)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)處理全過(guò)程的質(zhì)量監(jiān)控與質(zhì)量稽核，規(guī)避數(shù)據(jù)問題，提高數(shù)據(jù)質(zhì)量，讓數(shù)據(jù)變得更好。針對(duì)異常問題，自動(dòng)生成工單，實(shí)現(xiàn)稽核問題的流程化管理建立數(shù)據(jù)質(zhì)量考評(píng)制度，綜合評(píng)估數(shù)據(jù)稽核及問題處理結(jié)果，定期生成數(shù)據(jù)質(zhì)量評(píng)估報(bào)告稽核能力：日處理109988個(gè)稽核任務(wù)，4779個(gè)稽核規(guī)則，1370個(gè)問題工單質(zhì)量報(bào)告：日?qǐng)?bào)告：

69份，月報(bào)告：31份

BDS－數(shù)據(jù)服務(wù)面向數(shù)據(jù)中心對(duì)外開放和價(jià)值創(chuàng)造的服務(wù)創(chuàng)新平臺(tái)BDS－統(tǒng)一化數(shù)據(jù)服務(wù)產(chǎn)品服務(wù)中心發(fā)布規(guī)則配置映射規(guī)則樣例數(shù)目配置脫敏規(guī)則流程監(jiān)控任務(wù)實(shí)例調(diào)度流程實(shí)例產(chǎn)品發(fā)布審核管理產(chǎn)品服務(wù)申請(qǐng)任務(wù)定義規(guī)則配置流程觸發(fā)方式產(chǎn)品交付方式其他配置獲取定義流程調(diào)度使用者提供者審核反饋反饋產(chǎn)品列表數(shù)據(jù)產(chǎn)品標(biāo)簽產(chǎn)品ETL數(shù)據(jù)中心數(shù)據(jù)服務(wù)執(zhí)行數(shù)據(jù)裝載數(shù)據(jù)建模模型創(chuàng)建BDS：數(shù)據(jù)服務(wù)指基于數(shù)據(jù)倉(cāng)庫(kù)的全量數(shù)據(jù)，通過(guò)加工整合，形成標(biāo)準(zhǔn)化數(shù)據(jù)產(chǎn)品，以實(shí)時(shí)、非實(shí)時(shí)的方式統(tǒng)一對(duì)外提供數(shù)據(jù)服務(wù)。數(shù)據(jù)服務(wù)平臺(tái)可實(shí)現(xiàn)產(chǎn)品申請(qǐng)、定義、審核、發(fā)布