數(shù)據(jù)治理平臺統(tǒng)簡介課件

國家開發(fā)銀行

數(shù)據(jù)治理平臺系統(tǒng)簡介

2008年11月

數(shù)據(jù)治理項(xiàng)目組

國家開發(fā)銀行數(shù)據(jù)治理平臺系統(tǒng)簡介2008年11月數(shù)據(jù)議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

2數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)建設(shè)背景

?

數(shù)據(jù)平臺一期已構(gòu)建完成并投入使用，所面臨的問題：

?????數(shù)據(jù)標(biāo)準(zhǔn)缺乏結(jié)構(gòu)化管理

源數(shù)據(jù)變化造成數(shù)據(jù)平臺數(shù)據(jù)混亂

對數(shù)據(jù)平臺數(shù)據(jù)問題如何快速定位原因？

如何有效監(jiān)控和改善數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量？

。。。

?建設(shè)一個(gè)完整的數(shù)據(jù)治理平臺，作為數(shù)據(jù)平臺的管控系統(tǒng)，從制度、標(biāo)準(zhǔn)、監(jiān)控、流程幾個(gè)方面提升開行的數(shù)據(jù)信息管理能力，解決目前所面臨的數(shù)據(jù)標(biāo)準(zhǔn)問題、數(shù)據(jù)質(zhì)量問題、元數(shù)據(jù)管理問題和數(shù)據(jù)服務(wù)問題。

3數(shù)據(jù)治理平臺項(xiàng)目組

建設(shè)背景?數(shù)據(jù)平臺一期已構(gòu)建完成并投入使用，所面臨的問題項(xiàng)目目標(biāo)

圍繞國開行數(shù)據(jù)平臺建設(shè)，提供針對數(shù)據(jù)生命周期的管控機(jī)制，體現(xiàn)為以下幾個(gè)出發(fā)點(diǎn)：

?

數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化--規(guī)范化管理構(gòu)成數(shù)據(jù)平臺的業(yè)務(wù)和技術(shù)基礎(chǔ)設(shè)施，包括數(shù)據(jù)管控制度與流程規(guī)范文檔、信息項(xiàng)定義等。

?

數(shù)據(jù)關(guān)系脈絡(luò)化--實(shí)現(xiàn)對數(shù)據(jù)間流轉(zhuǎn)、依賴關(guān)系的影響和血緣分析。

?

數(shù)據(jù)質(zhì)量度量化—全方位管理數(shù)據(jù)平臺的數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)可定義的數(shù)據(jù)質(zhì)量檢核和維度分析，以及問題跟蹤。

?

數(shù)據(jù)服務(wù)電子化--為數(shù)據(jù)平臺提供面向業(yè)務(wù)用戶的服務(wù)溝通渠道。

4數(shù)據(jù)治理平臺項(xiàng)目組

項(xiàng)目目標(biāo)圍繞國開行數(shù)據(jù)平臺建設(shè)，提供針對數(shù)據(jù)生命數(shù)據(jù)治理平臺構(gòu)成與定位

數(shù)據(jù)服務(wù)

分析類應(yīng)用系統(tǒng)

提供平臺溝通渠道

數(shù)據(jù)提供

數(shù)據(jù)平臺

數(shù)據(jù)集市

管理會計(jì)

核心業(yè)務(wù)系統(tǒng)

信貸業(yè)務(wù)系統(tǒng)

信用風(fēng)險(xiǎn)管理系統(tǒng)

風(fēng)險(xiǎn)

數(shù)據(jù)流

管理平臺數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量

管理

數(shù)據(jù)抽取

SchemasODS管理行內(nèi)數(shù)據(jù)標(biāo)準(zhǔn)

…系統(tǒng)

管理平臺元數(shù)據(jù)，進(jìn)行數(shù)據(jù)影響、血緣分析

5數(shù)據(jù)標(biāo)準(zhǔn)

元數(shù)據(jù)管理

數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)治理平臺構(gòu)成與定位數(shù)據(jù)服務(wù)分析類應(yīng)用系統(tǒng)提供

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)標(biāo)準(zhǔn)

?

查詢數(shù)據(jù)標(biāo)準(zhǔn)，以開發(fā)符合數(shù)據(jù)標(biāo)準(zhǔn)的應(yīng)用

?

提交標(biāo)準(zhǔn)代碼比對文檔

應(yīng)用開發(fā)者

?

維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)

?

制訂、發(fā)布標(biāo)準(zhǔn)

?

應(yīng)用系統(tǒng)代碼標(biāo)準(zhǔn)比對

?

查詢數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，反饋建議

數(shù)據(jù)標(biāo)準(zhǔn)子系統(tǒng)

數(shù)據(jù)標(biāo)準(zhǔn)管理員

?

提出數(shù)據(jù)標(biāo)準(zhǔn)需求申請

業(yè)務(wù)部門

6數(shù)據(jù)服務(wù)

數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)標(biāo)準(zhǔn)?查詢數(shù)據(jù)標(biāo)準(zhǔn)，以開發(fā)符

對數(shù)據(jù)平臺業(yè)務(wù)的支持—元數(shù)據(jù)

數(shù)據(jù)平臺

數(shù)據(jù)源系統(tǒng)

數(shù)據(jù)抽取

?

查詢數(shù)據(jù)平臺相關(guān)元數(shù)應(yīng)用開發(fā)者

據(jù)，為開發(fā)應(yīng)用提供參考

元數(shù)據(jù)管理員

元數(shù)據(jù)子系統(tǒng)

?

數(shù)據(jù)變更影響分析

?

數(shù)據(jù)問題血緣分析

?

數(shù)據(jù)變更影響評估申請

數(shù)據(jù)服務(wù)

7數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持—元數(shù)據(jù)數(shù)據(jù)平臺數(shù)據(jù)源系統(tǒng)數(shù)據(jù)抽

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)質(zhì)量

?

針對數(shù)據(jù)質(zhì)量問題提出完善建議

應(yīng)用開發(fā)者

?

定義檢核需求與規(guī)則

?

分析數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量

?

發(fā)現(xiàn)、發(fā)布數(shù)據(jù)檢核問題

業(yè)務(wù)部門

?

了解本機(jī)構(gòu)特定系統(tǒng)數(shù)據(jù)質(zhì)量

?

提出業(yè)務(wù)數(shù)據(jù)質(zhì)量檢核需求

數(shù)據(jù)質(zhì)量檢核

數(shù)據(jù)質(zhì)量管理員

8數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)質(zhì)量?針對數(shù)據(jù)質(zhì)量問題提

對數(shù)據(jù)平臺業(yè)務(wù)的支持-數(shù)據(jù)服務(wù)

?數(shù)據(jù)平臺服務(wù)申請

應(yīng)用開發(fā)者

?

提供數(shù)據(jù)平臺服務(wù)

?

數(shù)據(jù)平臺服務(wù)申請

?

與數(shù)據(jù)平臺有效溝通

業(yè)務(wù)部門

數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)單管理員

9數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持-數(shù)據(jù)服務(wù)?數(shù)據(jù)平臺服務(wù)申請應(yīng)數(shù)據(jù)治理相關(guān)系統(tǒng)關(guān)系

數(shù)據(jù)治理平臺

登錄認(rèn)證

AD(目錄)系統(tǒng)

單點(diǎn)登錄與角色管理

統(tǒng)一認(rèn)證與用戶管理模塊

執(zhí)行檢核

數(shù)據(jù)服務(wù)子系統(tǒng)

數(shù)據(jù)質(zhì)量管理子系統(tǒng)

提供檢核系統(tǒng)元數(shù)據(jù)

提供庫表結(jié)構(gòu)元數(shù)據(jù)

數(shù)據(jù)平臺

用戶與機(jī)構(gòu)信息同步

統(tǒng)一用戶管理系統(tǒng)

元數(shù)據(jù)子系統(tǒng)

數(shù)據(jù)標(biāo)準(zhǔn)子系統(tǒng)

提供標(biāo)準(zhǔn)相關(guān)元數(shù)據(jù)

10數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)治理相關(guān)系統(tǒng)關(guān)系數(shù)據(jù)治理平臺登錄認(rèn)證AD(目錄議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

11數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)

客戶層表現(xiàn)層業(yè)務(wù)層Import

Export集成層資源層DatabaseOperationEngineObjectsRelationAnalysisEngineORMHibernate外部數(shù)據(jù)<<Config.xml>>XML文本EXCEL應(yīng)用系統(tǒng)Management&ControlSecurityTask/TransLogDriver&AdapterWebBrowserHTML/AJAX/HTTPExtJSInterfaceListsSerializeJDBCODSDataMartUA12數(shù)據(jù)治理平臺項(xiàng)目組

客戶層表現(xiàn)層業(yè)務(wù)層ImportExport集成層資源層D議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

13數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)功能需求

?

管理全行數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)和規(guī)范，提供數(shù)據(jù)標(biāo)準(zhǔn)的查詢與反饋等功能。

功能定義

數(shù)據(jù)標(biāo)準(zhǔn)文檔管理

數(shù)據(jù)標(biāo)準(zhǔn)文檔制訂

數(shù)據(jù)標(biāo)準(zhǔn)文檔發(fā)布

數(shù)據(jù)標(biāo)準(zhǔn)文檔版本管理

數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)管理

標(biāo)準(zhǔn)代碼定義

主數(shù)據(jù)定義

數(shù)據(jù)標(biāo)準(zhǔn)查詢與反饋

數(shù)據(jù)標(biāo)準(zhǔn)文檔查詢與反饋

數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)查詢

應(yīng)用代碼標(biāo)準(zhǔn)符合性檢查

新應(yīng)用開發(fā)者將本應(yīng)用代碼與標(biāo)準(zhǔn)代碼進(jìn)行匹配，提交系統(tǒng)檢查

維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)公共代碼。

維護(hù)主數(shù)據(jù)標(biāo)準(zhǔn)

維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)文檔類信息

對數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)文檔進(jìn)行發(fā)布管理

對數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)文檔的歷史版本信息提供查看功能。

14數(shù)據(jù)治理平臺項(xiàng)目組

功能需求?管理全行數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)和規(guī)范，提供數(shù)據(jù)標(biāo)準(zhǔn)的查應(yīng)用界面

15數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面15數(shù)據(jù)治理平臺項(xiàng)目組應(yīng)用界面

?數(shù)據(jù)標(biāo)準(zhǔn)文檔管理

?

數(shù)據(jù)標(biāo)準(zhǔn)制訂

?

數(shù)據(jù)標(biāo)準(zhǔn)導(dǎo)入

?

數(shù)據(jù)標(biāo)準(zhǔn)文檔

版本管理

16數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)標(biāo)準(zhǔn)文檔管理?數(shù)據(jù)標(biāo)準(zhǔn)制訂?數(shù)據(jù)標(biāo)應(yīng)用界面

?數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)管理

?公共代碼管理

?

數(shù)據(jù)標(biāo)準(zhǔn)管理

17數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)管理?公共代碼管理?數(shù)據(jù)標(biāo)應(yīng)用界面

?

數(shù)據(jù)標(biāo)準(zhǔn)反饋意見

?

查看反饋意見

?

反饋意見

18數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)標(biāo)準(zhǔn)反饋意見?查看反饋意見?反饋邏輯架構(gòu)

19數(shù)據(jù)治理平臺項(xiàng)目組

邏輯架構(gòu)19數(shù)據(jù)治理平臺項(xiàng)目組議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

20數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)功能需求

?

對源系統(tǒng)、數(shù)據(jù)平臺以及數(shù)據(jù)治理項(xiàng)目中的相關(guān)的技術(shù)、業(yè)務(wù)元數(shù)據(jù)進(jìn)行統(tǒng)一的歸集管理，實(shí)現(xiàn)數(shù)據(jù)間的血緣分析和影響分析。

功能定義

完成情況

技術(shù)元數(shù)據(jù)

源系統(tǒng)數(shù)據(jù)結(jié)構(gòu)定義

主數(shù)據(jù)ER模型

數(shù)據(jù)與映射關(guān)系定義

數(shù)據(jù)影響與血緣分析

數(shù)據(jù)變化對比分析

業(yè)務(wù)元數(shù)據(jù)

代碼定義

報(bào)表表頭定義

報(bào)表指標(biāo)定義

報(bào)表指標(biāo)勾稽關(guān)系分析

定義數(shù)據(jù)平臺公共代碼及其與源系統(tǒng)代碼的關(guān)系。

定義數(shù)據(jù)平臺業(yè)務(wù)報(bào)表的構(gòu)成元素與結(jié)構(gòu)。

定義數(shù)據(jù)平臺業(yè)務(wù)報(bào)表中指標(biāo)的計(jì)算規(guī)則。

已完成

已完成

已完成

導(dǎo)入源系統(tǒng)數(shù)據(jù)字典，并以系統(tǒng)-表-字段的層級關(guān)系展現(xiàn)已完成

各級數(shù)據(jù)關(guān)系。

導(dǎo)入主數(shù)據(jù)ERwin模型，解析生成模型各層級關(guān)系。

已完成

定義數(shù)據(jù)平臺各部分，以及源系統(tǒng)間的數(shù)據(jù)關(guān)聯(lián)映射關(guān)系。已完成

依賴所定義的數(shù)據(jù)平臺各部分，以及源系統(tǒng)間的數(shù)據(jù)映射已完成

關(guān)系，圖形化展現(xiàn)數(shù)據(jù)變化影響和數(shù)據(jù)問題溯源。

針對元數(shù)據(jù)不同版本進(jìn)行差異部分識別與比較。

已完成

定義數(shù)據(jù)平臺業(yè)務(wù)報(bào)表中指標(biāo)間的依賴關(guān)系，并進(jìn)行影響已完成

與血緣分析。

21數(shù)據(jù)治理平臺項(xiàng)目組

功能需求?對源系統(tǒng)、數(shù)據(jù)平臺以及數(shù)據(jù)治理項(xiàng)目中的相關(guān)的技功能需求

功能定義

系統(tǒng)管理

完成情況

元數(shù)據(jù)手動采集

手工上傳元數(shù)據(jù)定義文件

已完成

提供針對不同目標(biāo)應(yīng)用的適配器，實(shí)現(xiàn)定時(shí)的自已完成，但需數(shù)據(jù)平元數(shù)據(jù)自動采集

動采集

臺提供采集支持，接口方式尚需確定。

版本管理

提供元數(shù)據(jù)定版、批量定版、版本回溯的功能

已完成

訪問控制管理

提供針對元數(shù)據(jù)細(xì)節(jié)操作的訪問控制

已完成

22數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義系統(tǒng)管理完成情況元數(shù)據(jù)手動采集手應(yīng)用界面

23數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面23數(shù)據(jù)治理平臺項(xiàng)目組應(yīng)用界面

?

業(yè)務(wù)元數(shù)據(jù)

報(bào)表清單

?

報(bào)表表頭

報(bào)表表樣導(dǎo)出

報(bào)表表頭定義

24數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?業(yè)務(wù)元數(shù)據(jù)報(bào)表清單?報(bào)表表頭報(bào)表表樣應(yīng)用界面

?

業(yè)務(wù)元數(shù)據(jù)

?

報(bào)表指標(biāo)

查看指標(biāo)相關(guān)ER圖

25數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?業(yè)務(wù)元數(shù)據(jù)?報(bào)表指標(biāo)查看指標(biāo)相關(guān)ER圖應(yīng)用界面

?

技術(shù)元數(shù)據(jù)

?

影響分析

26數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?技術(shù)元數(shù)據(jù)?影響分析26數(shù)據(jù)治理平臺邏輯結(jié)構(gòu)

27數(shù)據(jù)治理平臺項(xiàng)目組

邏輯結(jié)構(gòu)27數(shù)據(jù)治理平臺項(xiàng)目組采集適配器

??

元數(shù)據(jù)采集適配器是一種驅(qū)動和解析器，用來接收、解析各種不用類型數(shù)據(jù)源的數(shù)據(jù)，將有效的元數(shù)據(jù)存入模型，并建立關(guān)系。

在本期項(xiàng)目中，元數(shù)據(jù)管理系統(tǒng)的接口提供以下幾種適配器：庫表結(jié)構(gòu)適配器、PowerCenter適配器、E/RWin適配器、數(shù)據(jù)平臺血脈分析適配器、指標(biāo)適配器、代碼適配器、表頭適配器等。

數(shù)據(jù)平臺數(shù)據(jù)模型數(shù)據(jù)集市存儲過程存儲過程數(shù)據(jù)模型應(yīng)用表頭指標(biāo)代碼E/RWin模型元數(shù)據(jù)ETLPowerCenterMapping文件接口區(qū)文本文件XML文件EXCEL文件元數(shù)據(jù)管理平臺

圖例：采集流適配器數(shù)據(jù)庫解析流數(shù)據(jù)流28數(shù)據(jù)治理平臺項(xiàng)目組

采集適配器??元數(shù)據(jù)采集適配器是一種驅(qū)動和解析器，用來接元數(shù)據(jù)存儲結(jié)構(gòu)

?元數(shù)據(jù)存儲模型層包括兩部分內(nèi)容：

?元模型定義，即通過XML實(shí)現(xiàn)對象、對象關(guān)系及對象行為等的定義。

?元數(shù)據(jù)實(shí)例存儲，元數(shù)據(jù)實(shí)例存儲到關(guān)系數(shù)據(jù)庫中。

XML定義模型對象屬性對象行為對象定義對象關(guān)系實(shí)例關(guān)系實(shí)例屬性值所屬對象<pi>編號<pi>實(shí)例編號所屬實(shí)例<pi>對象<pi><pi>對象關(guān)系<pi>順序超過的屬性<pi>目標(biāo)對象<pi>屬性1打散/縱向

存儲屬性<pi>值目標(biāo)實(shí)例<pi>屬性2<pi>屬性3屬性4屬性5屬性629數(shù)據(jù)治理平臺項(xiàng)目組

元數(shù)據(jù)存儲結(jié)構(gòu)?元數(shù)據(jù)存儲模型層包括兩部分內(nèi)容：?元模議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

30數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)目標(biāo)

?

根據(jù)“數(shù)據(jù)質(zhì)量檢核管理辦法”中PDCA方法論，基于現(xiàn)有數(shù)據(jù)平臺，對其上數(shù)據(jù)進(jìn)行全質(zhì)量生命周期的管理，包括質(zhì)量問題的定義、檢核監(jiān)控、發(fā)現(xiàn)分析、跟蹤反饋。

?

檢核需求

?

檢核指標(biāo)

檢核對象

檢核調(diào)度

收集需求

分析規(guī)則

規(guī)則庫

?

修正

數(shù)據(jù)質(zhì)量

知識庫

?

檢核調(diào)度

管理

問題數(shù)據(jù)

執(zhí)行

數(shù)據(jù)質(zhì)量

問題管理

數(shù)據(jù)質(zhì)量

檢核分析

數(shù)據(jù)質(zhì)量

趨勢分析

31?

數(shù)據(jù)治理平臺項(xiàng)目組

系統(tǒng)目標(biāo)?根據(jù)“數(shù)據(jù)質(zhì)量檢核管理辦法”中PDCA方法論，數(shù)據(jù)質(zhì)量度量分類

大類

細(xì)類

正確性

唯一性檢查

非空檢查

類型檢查

格式檢查

值域檢查

代碼檢查

指標(biāo)標(biāo)準(zhǔn)偏差檢查

數(shù)據(jù)集市指標(biāo)準(zhǔn)確性檢查

完整性

外鍵約束檢查

一致性

業(yè)務(wù)規(guī)則檢查

及時(shí)性

數(shù)據(jù)平臺數(shù)據(jù)生成及時(shí)性檢查

32數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)質(zhì)量度量分類大類細(xì)類正確性唯一性檢查非空檢查功能需求

功能定義

數(shù)據(jù)質(zhì)量檢核定義

完成情況

對納入數(shù)據(jù)質(zhì)量管理需求的系統(tǒng)、數(shù)據(jù)表納入檢已完成

核范圍，并定義相關(guān)信息

按數(shù)據(jù)質(zhì)量度量標(biāo)準(zhǔn)，為各類檢核指標(biāo)定義相關(guān)檢核指標(biāo)與規(guī)則定義

已完成

屬性和數(shù)據(jù)檢查規(guī)則。

為數(shù)據(jù)質(zhì)量檢核指標(biāo)類和業(yè)務(wù)方案定義靈活的檢檢核調(diào)度策略定義

已完成

核策略

檢核系統(tǒng)定義

數(shù)據(jù)質(zhì)量檢核執(zhí)行

檢核控制引擎

檢核執(zhí)行處理器

調(diào)度符合執(zhí)行策略數(shù)據(jù)質(zhì)量檢核指標(biāo)，并分派給已完成

對應(yīng)的處理器

對數(shù)據(jù)質(zhì)量檢核指標(biāo)執(zhí)行特定于其指標(biāo)類的檢查已完成

程序

33數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義數(shù)據(jù)質(zhì)量檢核定義完成情況對納入數(shù)據(jù)功能需求

功能定義

數(shù)據(jù)質(zhì)量檢核分析

對數(shù)據(jù)質(zhì)量檢核的結(jié)果按機(jī)構(gòu)、系統(tǒng)、數(shù)據(jù)質(zhì)量問題三個(gè)維度進(jìn)行分布分析

對數(shù)據(jù)質(zhì)量檢核的結(jié)果按時(shí)間維度分析，判斷問題趨勢分析

質(zhì)量改善情況

對同一檢核指標(biāo)的不同批次進(jìn)行對比，分析質(zhì)檢核指標(biāo)批次對比

量改善情況

檢核執(zhí)行報(bào)告

對特定日期的檢核結(jié)果，形成統(tǒng)計(jì)報(bào)表

問題分布分析

數(shù)據(jù)質(zhì)量問題管理

問題發(fā)現(xiàn)

問題發(fā)布

問題處理

問題歸檔

數(shù)據(jù)質(zhì)量知識管理

知識庫維護(hù)

知識庫查詢

歸集數(shù)據(jù)質(zhì)量的特定問題，以及特定的解決方案，形成知識信息

查詢數(shù)據(jù)質(zhì)量知識信息

查詢符合特定條件的數(shù)據(jù)質(zhì)量檢核問題

將需處理的數(shù)據(jù)質(zhì)量檢核問題歸集到一個(gè)問題單，并發(fā)布給特定的機(jī)構(gòu)

跟蹤問題單的處理情況

對處理完結(jié)的問題單進(jìn)行歸檔處理

完成情況

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

34數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義數(shù)據(jù)質(zhì)量檢核分析對數(shù)據(jù)質(zhì)量檢核的結(jié)果應(yīng)用界面

?

檢核系統(tǒng)管理

35數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?檢核系統(tǒng)管理35數(shù)據(jù)治理平臺項(xiàng)目組應(yīng)用界面

?

檢核指標(biāo)管理

?

主鍵唯一

36數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?檢核指標(biāo)管理?主鍵唯一36數(shù)據(jù)治理平應(yīng)用界面

?

檢核調(diào)度策略管理

?

業(yè)務(wù)解決方案

37數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?檢核調(diào)度策略管理?業(yè)務(wù)解決方案37數(shù)應(yīng)用界面

?

數(shù)據(jù)質(zhì)量檢核分析

?

批次對比分析

?

問題分布分析

38數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)質(zhì)量檢核分析?批次對比分析?問題應(yīng)用界面

?

數(shù)據(jù)質(zhì)量問題管理

?

問題發(fā)現(xiàn)

39數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)質(zhì)量問題管理?問題發(fā)現(xiàn)39數(shù)據(jù)治邏輯結(jié)構(gòu)

?三個(gè)層面：

?定義層：定義作為系統(tǒng)功能的核心-數(shù)據(jù)質(zhì)量檢核，所需使用對象、指標(biāo)、調(diào)度策略等配置信息；

?執(zhí)行層：使用已定義的檢核配置信息，對數(shù)據(jù)平臺數(shù)據(jù)進(jìn)行檢核；

?分析層：對檢核執(zhí)行結(jié)果進(jìn)行定量、定性的分析與處理。?前后端：

?前端：用戶使用基于操作界面的應(yīng)用程序進(jìn)行交互式的檢核信息定義、檢核結(jié)果分析等功能；

?后端：系統(tǒng)根據(jù)檢核策略在后臺自動執(zhí)行，無需與用戶交互。

40數(shù)據(jù)治理平臺項(xiàng)目組

邏輯結(jié)構(gòu)?三個(gè)層面：?定義層：定義作為系統(tǒng)功能的核心-數(shù)檢核調(diào)度與分派

41數(shù)據(jù)治理平臺項(xiàng)目組

檢核調(diào)度與分派41數(shù)據(jù)治理平臺項(xiàng)目組檢核規(guī)則處理器類別

固定

存儲過程：固定SQL簡單

固定Java程序

復(fù)雜

存儲過程：自定義SQL自定義Groovy規(guī)則腳本

自定義

42

數(shù)據(jù)治理平臺項(xiàng)目組

檢核規(guī)則處理器類別固定存儲過程：固定SQL簡單固Groovy腳本示例

packagegroovyimportjava.sql.Connectionimportjava.sql.ResultSetimportgroovy.sql.Sqlimportcn.cdb.backend.RuleHandler

/***@author馬春宇2008-11-11*/publicclassexampleGroovyRuleHandlerextendsRuleHandler{

//groovy數(shù)據(jù)庫執(zhí)行句柄

defsql_DQDB,sql_DPDBvoidinit(longKPP_BH,Connection[]CONNS){super.init(KPP_BH,CONNS)sql_DQDB=newSql(conns[0])sql_DPDB=newSql(conns[1])}

//該方法目標(biāo)：定義掃描檢核目標(biāo)表的SQL語句。

//sqlHead=selectt0.rowidasDQMS_rowid,t0.ContNoasDQMS_logicalPK,t0.*fromODS_EFF.CDBCT_CONT_INFOt0;privateStringgetSqlScanTarTable(StringsqlHead){StringsqlScanTarTable;StringcusClause;//--自定義部分--開始

cusClause=where(t0.TranSourCounisnullortrim(t0.TranSourCoun)='')andt0.data_end_date='99999999';//--自定義部分--結(jié)束

sqlScanTarTable=sqlHead+cusClause;returnsqlScanTarTable;}

//該方法目標(biāo)：描述對單記錄的檢核規(guī)則,如是問題記錄則返回false，否則返回trueprivatebooleanexeSingleRecCheck(ResultSetrs){booleansuccFlag=false;//--自定義部分--開始

StringCredStatNo;CredStatNo=rs.getString(CredStatNo);defit=sql_DPDB.firstRow(selectLoanTypefromODS_EFF.CDBPJ_STAT_INFOwhereCredStatNo=?,[CredStatNo])if(it.LoanTypein[51,52,53,54])succFlag=true;//--自定義部分--結(jié)束

returnsuccFlag;}}

43數(shù)據(jù)治理平臺項(xiàng)目組

Groovy腳本示例packagegroovyimp采用技術(shù)

?

前端

?基于ExtAjax、Spring、hibernate技術(shù)實(shí)現(xiàn)：

–檢核配置定義

–數(shù)據(jù)質(zhì)量問題管理

–知識庫管理

–數(shù)據(jù)質(zhì)量對比分析、檢核報(bào)告

–系統(tǒng)管理

?基于Cognos報(bào)表系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)質(zhì)量分布與趨勢分析

?后端

?基于Java、多線程技術(shù)實(shí)現(xiàn)檢核調(diào)度與分派

?基于數(shù)據(jù)庫JobSchedule、存儲過程實(shí)現(xiàn)存儲過程檢核策略?基于Groovy腳本技術(shù)實(shí)現(xiàn)復(fù)雜自定義檢核規(guī)則的執(zhí)行

44數(shù)據(jù)治理平臺項(xiàng)目組

采用技術(shù)?前端?基于ExtAjax、Spring、h議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

45數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)平臺服務(wù)單流程

流程定義

數(shù)據(jù)服務(wù)申請

新建申請

提交申請

申請方（包括業(yè)務(wù)部門或外包公司）

?

?

數(shù)據(jù)標(biāo)準(zhǔn)處

服務(wù)提供方（數(shù)據(jù)處或平臺實(shí)施商）

數(shù)據(jù)服務(wù)審核

審核申請

服務(wù)創(chuàng)建與分配

數(shù)據(jù)服務(wù)實(shí)施

任務(wù)創(chuàng)建

任務(wù)執(zhí)行

任務(wù)簽收

服務(wù)驗(yàn)收

服務(wù)歸檔

周期性服務(wù)

新建服務(wù)實(shí)例

?

?

?

?

?

?

?

?

?

?

46數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)平臺服務(wù)單流程流程定義數(shù)據(jù)服務(wù)申請新建申請?zhí)峤还δ苄枨?/p>

功能定義

完成情況

數(shù)據(jù)服務(wù)申請

維護(hù)申請

提交申請

數(shù)據(jù)服務(wù)審核

審核申請

服務(wù)創(chuàng)建與分配

數(shù)據(jù)服務(wù)實(shí)施

任務(wù)創(chuàng)建

任務(wù)執(zhí)行

任務(wù)簽收

服務(wù)驗(yàn)收

服務(wù)歸檔

事件管理

周期性服務(wù)

新建服務(wù)實(shí)例

服務(wù)提供者為服務(wù)分解任務(wù)

已完成

服務(wù)提供者填寫任務(wù)執(zhí)行情況

已完成

服務(wù)申請者對單個(gè)任務(wù)，選擇簽收或拒絕

已完成

服務(wù)申請者、數(shù)據(jù)服務(wù)管理員驗(yàn)收服務(wù)

已完成

已驗(yàn)收的服務(wù)歸檔

已完成

對服務(wù)處理過程中的事件進(jìn)行管理

已完成

對周期性服務(wù)，提供特定的處理

提供通用論壇功能

已完成

已完成

數(shù)據(jù)服務(wù)管理員審核服務(wù)申請

已完成

數(shù)據(jù)服務(wù)管理員創(chuàng)建服務(wù)實(shí)例，并分配給已完成

指定的服務(wù)提供者

服務(wù)申請者新增、維護(hù)服務(wù)申請

服務(wù)申請者提交服務(wù)申請

已完成

已完成

數(shù)據(jù)平臺論壇

47數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義完成情況數(shù)據(jù)服務(wù)申請維護(hù)申請?zhí)峤还δ芙缑?/p>

?

數(shù)據(jù)服務(wù)審核

?

審核申請

?

服務(wù)分配

48數(shù)據(jù)治理平臺項(xiàng)目組

功能界面?數(shù)據(jù)服務(wù)審核?審核申請?服務(wù)分配4功能界面

?

數(shù)據(jù)服務(wù)實(shí)施

?

任務(wù)創(chuàng)建

?

任務(wù)簽收

?

服務(wù)驗(yàn)收

49數(shù)據(jù)治理平臺項(xiàng)目組

功能界面?數(shù)據(jù)服務(wù)實(shí)施?任務(wù)創(chuàng)建?任務(wù)簽收?邏輯結(jié)構(gòu)

控制層邏輯

數(shù)據(jù)訪問::服務(wù)數(shù)據(jù)訪問+取得需要當(dāng)天創(chuàng)建的服務(wù)列表()+保存服務(wù)()控制::數(shù)據(jù)處+獲取服務(wù)對象()+歸檔服務(wù)()+取得申請()+保存申請()業(yè)務(wù)+保存任務(wù)實(shí)例()+取得任務(wù)實(shí)例()+取得周期服務(wù)列表()+取得活躍服務(wù)列表()控制::數(shù)據(jù)申請人+查詢歷史服務(wù)()+獲取附件()控制::控制器控制::服務(wù)管理+刪除附件()+創(chuàng)建周期服務(wù)實(shí)例()+獲取附件列表()+創(chuàng)建單次服務(wù)():單次服務(wù)+創(chuàng)建周期服務(wù)():周期服務(wù)+取得需周期服務(wù)列表()+數(shù)據(jù)處驗(yàn)收()控制::實(shí)施方+主申請審批通過()+拒絕主申請()+通過增補(bǔ)申請()+中止服務(wù)()+通過簽收()+拒絕簽收()+增補(bǔ)申請()控制::時(shí)間任務(wù)+記錄進(jìn)度()+數(shù)據(jù)申請人驗(yàn)收()+新建任務(wù)()+取得催辦列表()控制::文件控制+取得事件列表()+取得周期服務(wù)列表()+保存文件()+取得活躍服務(wù)列表()+獲取文件()+查詢歷史服務(wù)()+刪除文件()+取得服務(wù)()+取得歷史服務(wù)()+上傳附件()控制::事件中斷器控制::催辦中斷器+獲取附件()+刪除附件()+獲取附件列表()+處理事件()+處理催辦信息()<<代理>><<代理>>數(shù)據(jù)訪問::歸檔服務(wù)數(shù)據(jù)訪問spring::事件服務(wù)代理spring::催辦服務(wù)代理+保存歸檔實(shí)例()+取得歷史服務(wù)()

業(yè)務(wù)實(shí)體關(guān)系

審批-審批人:String歸檔服務(wù)實(shí)例-審批結(jié)果:String-評估結(jié)果:String+創(chuàng)建歸檔服務(wù)()+建立審批():審批1事件1-操作:String-操作人:String申請-操作對象:String-申請信息:String+創(chuàng)建事件()-申請時(shí)間:Date0..*1申請狀態(tài)1+創(chuàng)建申請()0..*+修改申請()服務(wù)0..*催辦事項(xiàng)+通過申請()-服務(wù)號碼:String-提醒內(nèi)容:String+拒絕申請()1-服務(wù)提供時(shí)間:Date-反饋時(shí)間:Date1-被提醒人:String+生成催辦信息()0..*-申請方:String1-實(shí)施方:String-狀態(tài):String任務(wù)+設(shè)置服務(wù)號()-任務(wù)名稱:String+創(chuàng)建服務(wù)()-任務(wù)描述:String+申請審批通過()-解決方案:String+拒絕主申請()10..*-預(yù)計(jì)工作量:Long+設(shè)立實(shí)施方()+創(chuàng)建任務(wù)()1+中止服務(wù)()+取得任務(wù)實(shí)例()+增補(bǔ)申請()+數(shù)據(jù)申請人驗(yàn)收()+新建任務(wù)()+保存附件記錄()周期服務(wù)0..11-時(shí)間間隔:Integer-間隔單位:周期單位附件-周期開始時(shí)間:Integer1-數(shù)據(jù)處活躍服務(wù)實(shí)例-文件名:String+創(chuàng)建活躍服務(wù)實(shí)例()-實(shí)例號:String-物理文件名:String+計(jì)算下次生成日期()驗(yàn)收-服務(wù)開始時(shí)間:Date-上傳人:String+創(chuàng)建周期服務(wù)()-驗(yàn)收人:String-服務(wù)結(jié)束時(shí)間:Date10..*-上傳日期:Date-驗(yàn)收單位:String+創(chuàng)建任務(wù)實(shí)例(in任務(wù)列表)-附件說明:String-驗(yàn)收意見:String+創(chuàng)建服務(wù)實(shí)例()+創(chuàng)建附件()-驗(yàn)收時(shí)間:Date+獲取文件地址()周期單位+創(chuàng)建驗(yàn)收()11任務(wù)實(shí)例+計(jì)算周期時(shí)間()-數(shù)據(jù)申請人1-完成度:Long-處理人:String-狀態(tài):String簽收-任務(wù)開始時(shí)間:Date-簽收人:String服務(wù)號生成器-任務(wù)結(jié)束時(shí)間:Date-簽收單位:String-最新服務(wù)號:Long0..*+創(chuàng)建任務(wù)實(shí)例()1-簽收意見:String-服務(wù)日期:Date+通過簽收()1-簽收日期:Date+拒絕簽收()+取得服務(wù)號()+創(chuàng)建簽收()+申請簽收()+記錄進(jìn)度()50數(shù)據(jù)治理平臺項(xiàng)目組

邏輯結(jié)構(gòu)控制層邏輯數(shù)據(jù)訪問::服務(wù)數(shù)據(jù)訪問+取得需要當(dāng)天統(tǒng)一認(rèn)證與用戶管理模塊

?

實(shí)現(xiàn)數(shù)據(jù)治理平臺四個(gè)子系統(tǒng)的單點(diǎn)登錄，及統(tǒng)一的用戶和角色管理。

功能定義

完成情況

單點(diǎn)登錄與認(rèn)證

AD認(rèn)證

單點(diǎn)登錄

用戶與機(jī)構(gòu)同步

全量同步

增量同步

用戶注冊

用戶管理

用戶角色分配

角色定義與授權(quán)

提供從“統(tǒng)一用戶管理系統(tǒng)”的用戶和機(jī)構(gòu)數(shù)據(jù)全量同步

提供從“統(tǒng)一用戶管理系統(tǒng)”的用戶和機(jī)構(gòu)數(shù)據(jù)每日增量同步

提供非行內(nèi)用戶的注冊功能

提供非行內(nèi)用戶的用戶信息維護(hù)功能

為用戶分配系統(tǒng)角色

平臺系統(tǒng)角色管理與平臺級授權(quán)

已完成

已完成

已完成

已完成

已完成

已完成

提供平臺統(tǒng)一的到AD目錄的認(rèn)證

在平臺各子系統(tǒng)間提供單點(diǎn)登錄功能

已完成

已完成

51數(shù)據(jù)治理平臺項(xiàng)目組

統(tǒng)一認(rèn)證與用戶管理模塊?實(shí)現(xiàn)數(shù)據(jù)治理平臺四個(gè)子系統(tǒng)的單點(diǎn)議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

52數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)用戶訪問

?

保持用戶身份

?

單點(diǎn)登錄

?

驗(yàn)證用戶身份

?

訪問

?

用戶認(rèn)證

?

登入

?

訪問子系統(tǒng)

?

平臺主控界面

平臺子系統(tǒng)

?

進(jìn)入子系統(tǒng)

?

用戶信息獲取

53數(shù)據(jù)治理平臺項(xiàng)目組

用戶訪問?保持用戶身份?單點(diǎn)登錄?驗(yàn)證用戶身份實(shí)現(xiàn)邏輯

?單點(diǎn)登錄

54?行內(nèi)用戶統(tǒng)一管理

?全量

?增量

統(tǒng)一登陸平臺(UAP)調(diào)用WebService統(tǒng)一用戶管理系統(tǒng)返回xml數(shù)據(jù)數(shù)據(jù)治理平臺項(xiàng)目組

實(shí)現(xiàn)邏輯?單點(diǎn)登錄54?行內(nèi)用戶統(tǒng)一管理?全量

謝！55數(shù)據(jù)治理平臺項(xiàng)目組謝

謝！55數(shù)據(jù)治理平臺項(xiàng)目組謝

國家開發(fā)銀行

數(shù)據(jù)治理平臺系統(tǒng)簡介

2008年11月

數(shù)據(jù)治理項(xiàng)目組

國家開發(fā)銀行數(shù)據(jù)治理平臺系統(tǒng)簡介2008年11月數(shù)據(jù)議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

2數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)建設(shè)背景

?

數(shù)據(jù)平臺一期已構(gòu)建完成并投入使用，所面臨的問題：

?????數(shù)據(jù)標(biāo)準(zhǔn)缺乏結(jié)構(gòu)化管理

源數(shù)據(jù)變化造成數(shù)據(jù)平臺數(shù)據(jù)混亂

對數(shù)據(jù)平臺數(shù)據(jù)問題如何快速定位原因？

如何有效監(jiān)控和改善數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量？

。。。

?建設(shè)一個(gè)完整的數(shù)據(jù)治理平臺，作為數(shù)據(jù)平臺的管控系統(tǒng)，從制度、標(biāo)準(zhǔn)、監(jiān)控、流程幾個(gè)方面提升開行的數(shù)據(jù)信息管理能力，解決目前所面臨的數(shù)據(jù)標(biāo)準(zhǔn)問題、數(shù)據(jù)質(zhì)量問題、元數(shù)據(jù)管理問題和數(shù)據(jù)服務(wù)問題。

3數(shù)據(jù)治理平臺項(xiàng)目組

建設(shè)背景?數(shù)據(jù)平臺一期已構(gòu)建完成并投入使用，所面臨的問題項(xiàng)目目標(biāo)

圍繞國開行數(shù)據(jù)平臺建設(shè)，提供針對數(shù)據(jù)生命周期的管控機(jī)制，體現(xiàn)為以下幾個(gè)出發(fā)點(diǎn)：

?

數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化--規(guī)范化管理構(gòu)成數(shù)據(jù)平臺的業(yè)務(wù)和技術(shù)基礎(chǔ)設(shè)施，包括數(shù)據(jù)管控制度與流程規(guī)范文檔、信息項(xiàng)定義等。

?

數(shù)據(jù)關(guān)系脈絡(luò)化--實(shí)現(xiàn)對數(shù)據(jù)間流轉(zhuǎn)、依賴關(guān)系的影響和血緣分析。

?

數(shù)據(jù)質(zhì)量度量化—全方位管理數(shù)據(jù)平臺的數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)可定義的數(shù)據(jù)質(zhì)量檢核和維度分析，以及問題跟蹤。

?

數(shù)據(jù)服務(wù)電子化--為數(shù)據(jù)平臺提供面向業(yè)務(wù)用戶的服務(wù)溝通渠道。

4數(shù)據(jù)治理平臺項(xiàng)目組

項(xiàng)目目標(biāo)圍繞國開行數(shù)據(jù)平臺建設(shè)，提供針對數(shù)據(jù)生命數(shù)據(jù)治理平臺構(gòu)成與定位

數(shù)據(jù)服務(wù)

分析類應(yīng)用系統(tǒng)

提供平臺溝通渠道

數(shù)據(jù)提供

數(shù)據(jù)平臺

數(shù)據(jù)集市

管理會計(jì)

核心業(yè)務(wù)系統(tǒng)

信貸業(yè)務(wù)系統(tǒng)

信用風(fēng)險(xiǎn)管理系統(tǒng)

風(fēng)險(xiǎn)

數(shù)據(jù)流

管理平臺數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量

管理

數(shù)據(jù)抽取

SchemasODS管理行內(nèi)數(shù)據(jù)標(biāo)準(zhǔn)

…系統(tǒng)

管理平臺元數(shù)據(jù)，進(jìn)行數(shù)據(jù)影響、血緣分析

5數(shù)據(jù)標(biāo)準(zhǔn)

元數(shù)據(jù)管理

數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)治理平臺構(gòu)成與定位數(shù)據(jù)服務(wù)分析類應(yīng)用系統(tǒng)提供

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)標(biāo)準(zhǔn)

?

查詢數(shù)據(jù)標(biāo)準(zhǔn)，以開發(fā)符合數(shù)據(jù)標(biāo)準(zhǔn)的應(yīng)用

?

提交標(biāo)準(zhǔn)代碼比對文檔

應(yīng)用開發(fā)者

?

維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)

?

制訂、發(fā)布標(biāo)準(zhǔn)

?

應(yīng)用系統(tǒng)代碼標(biāo)準(zhǔn)比對

?

查詢數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，反饋建議

數(shù)據(jù)標(biāo)準(zhǔn)子系統(tǒng)

數(shù)據(jù)標(biāo)準(zhǔn)管理員

?

提出數(shù)據(jù)標(biāo)準(zhǔn)需求申請

業(yè)務(wù)部門

6數(shù)據(jù)服務(wù)

數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)標(biāo)準(zhǔn)?查詢數(shù)據(jù)標(biāo)準(zhǔn)，以開發(fā)符

對數(shù)據(jù)平臺業(yè)務(wù)的支持—元數(shù)據(jù)

數(shù)據(jù)平臺

數(shù)據(jù)源系統(tǒng)

數(shù)據(jù)抽取

?

查詢數(shù)據(jù)平臺相關(guān)元數(shù)應(yīng)用開發(fā)者

據(jù)，為開發(fā)應(yīng)用提供參考

元數(shù)據(jù)管理員

元數(shù)據(jù)子系統(tǒng)

?

數(shù)據(jù)變更影響分析

?

數(shù)據(jù)問題血緣分析

?

數(shù)據(jù)變更影響評估申請

數(shù)據(jù)服務(wù)

7數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持—元數(shù)據(jù)數(shù)據(jù)平臺數(shù)據(jù)源系統(tǒng)數(shù)據(jù)抽

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)質(zhì)量

?

針對數(shù)據(jù)質(zhì)量問題提出完善建議

應(yīng)用開發(fā)者

?

定義檢核需求與規(guī)則

?

分析數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量

?

發(fā)現(xiàn)、發(fā)布數(shù)據(jù)檢核問題

業(yè)務(wù)部門

?

了解本機(jī)構(gòu)特定系統(tǒng)數(shù)據(jù)質(zhì)量

?

提出業(yè)務(wù)數(shù)據(jù)質(zhì)量檢核需求

數(shù)據(jù)質(zhì)量檢核

數(shù)據(jù)質(zhì)量管理員

8數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持—數(shù)據(jù)質(zhì)量?針對數(shù)據(jù)質(zhì)量問題提

對數(shù)據(jù)平臺業(yè)務(wù)的支持-數(shù)據(jù)服務(wù)

?數(shù)據(jù)平臺服務(wù)申請

應(yīng)用開發(fā)者

?

提供數(shù)據(jù)平臺服務(wù)

?

數(shù)據(jù)平臺服務(wù)申請

?

與數(shù)據(jù)平臺有效溝通

業(yè)務(wù)部門

數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)單管理員

9數(shù)據(jù)治理平臺項(xiàng)目組

對數(shù)據(jù)平臺業(yè)務(wù)的支持-數(shù)據(jù)服務(wù)?數(shù)據(jù)平臺服務(wù)申請應(yīng)數(shù)據(jù)治理相關(guān)系統(tǒng)關(guān)系

數(shù)據(jù)治理平臺

登錄認(rèn)證

AD(目錄)系統(tǒng)

單點(diǎn)登錄與角色管理

統(tǒng)一認(rèn)證與用戶管理模塊

執(zhí)行檢核

數(shù)據(jù)服務(wù)子系統(tǒng)

數(shù)據(jù)質(zhì)量管理子系統(tǒng)

提供檢核系統(tǒng)元數(shù)據(jù)

提供庫表結(jié)構(gòu)元數(shù)據(jù)

數(shù)據(jù)平臺

用戶與機(jī)構(gòu)信息同步

統(tǒng)一用戶管理系統(tǒng)

元數(shù)據(jù)子系統(tǒng)

數(shù)據(jù)標(biāo)準(zhǔn)子系統(tǒng)

提供標(biāo)準(zhǔn)相關(guān)元數(shù)據(jù)

10數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)治理相關(guān)系統(tǒng)關(guān)系數(shù)據(jù)治理平臺登錄認(rèn)證AD(目錄議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

11數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)

客戶層表現(xiàn)層業(yè)務(wù)層Import

Export集成層資源層DatabaseOperationEngineObjectsRelationAnalysisEngineORMHibernate外部數(shù)據(jù)<<Config.xml>>XML文本EXCEL應(yīng)用系統(tǒng)Management&ControlSecurityTask/TransLogDriver&AdapterWebBrowserHTML/AJAX/HTTPExtJSInterfaceListsSerializeJDBCODSDataMartUA12數(shù)據(jù)治理平臺項(xiàng)目組

客戶層表現(xiàn)層業(yè)務(wù)層ImportExport集成層資源層D議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

13數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)功能需求

?

管理全行數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)和規(guī)范，提供數(shù)據(jù)標(biāo)準(zhǔn)的查詢與反饋等功能。

功能定義

數(shù)據(jù)標(biāo)準(zhǔn)文檔管理

數(shù)據(jù)標(biāo)準(zhǔn)文檔制訂

數(shù)據(jù)標(biāo)準(zhǔn)文檔發(fā)布

數(shù)據(jù)標(biāo)準(zhǔn)文檔版本管理

數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)管理

標(biāo)準(zhǔn)代碼定義

主數(shù)據(jù)定義

數(shù)據(jù)標(biāo)準(zhǔn)查詢與反饋

數(shù)據(jù)標(biāo)準(zhǔn)文檔查詢與反饋

數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)查詢

應(yīng)用代碼標(biāo)準(zhǔn)符合性檢查

新應(yīng)用開發(fā)者將本應(yīng)用代碼與標(biāo)準(zhǔn)代碼進(jìn)行匹配，提交系統(tǒng)檢查

維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)公共代碼。

維護(hù)主數(shù)據(jù)標(biāo)準(zhǔn)

維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)文檔類信息

對數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)文檔進(jìn)行發(fā)布管理

對數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)文檔的歷史版本信息提供查看功能。

14數(shù)據(jù)治理平臺項(xiàng)目組

功能需求?管理全行數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)和規(guī)范，提供數(shù)據(jù)標(biāo)準(zhǔn)的查應(yīng)用界面

15數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面15數(shù)據(jù)治理平臺項(xiàng)目組應(yīng)用界面

?數(shù)據(jù)標(biāo)準(zhǔn)文檔管理

?

數(shù)據(jù)標(biāo)準(zhǔn)制訂

?

數(shù)據(jù)標(biāo)準(zhǔn)導(dǎo)入

?

數(shù)據(jù)標(biāo)準(zhǔn)文檔

版本管理

16數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)標(biāo)準(zhǔn)文檔管理?數(shù)據(jù)標(biāo)準(zhǔn)制訂?數(shù)據(jù)標(biāo)應(yīng)用界面

?數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)管理

?公共代碼管理

?

數(shù)據(jù)標(biāo)準(zhǔn)管理

17數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)管理?公共代碼管理?數(shù)據(jù)標(biāo)應(yīng)用界面

?

數(shù)據(jù)標(biāo)準(zhǔn)反饋意見

?

查看反饋意見

?

反饋意見

18數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)標(biāo)準(zhǔn)反饋意見?查看反饋意見?反饋邏輯架構(gòu)

19數(shù)據(jù)治理平臺項(xiàng)目組

邏輯架構(gòu)19數(shù)據(jù)治理平臺項(xiàng)目組議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

20數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)功能需求

?

對源系統(tǒng)、數(shù)據(jù)平臺以及數(shù)據(jù)治理項(xiàng)目中的相關(guān)的技術(shù)、業(yè)務(wù)元數(shù)據(jù)進(jìn)行統(tǒng)一的歸集管理，實(shí)現(xiàn)數(shù)據(jù)間的血緣分析和影響分析。

功能定義

完成情況

技術(shù)元數(shù)據(jù)

源系統(tǒng)數(shù)據(jù)結(jié)構(gòu)定義

主數(shù)據(jù)ER模型

數(shù)據(jù)與映射關(guān)系定義

數(shù)據(jù)影響與血緣分析

數(shù)據(jù)變化對比分析

業(yè)務(wù)元數(shù)據(jù)

代碼定義

報(bào)表表頭定義

報(bào)表指標(biāo)定義

報(bào)表指標(biāo)勾稽關(guān)系分析

定義數(shù)據(jù)平臺公共代碼及其與源系統(tǒng)代碼的關(guān)系。

定義數(shù)據(jù)平臺業(yè)務(wù)報(bào)表的構(gòu)成元素與結(jié)構(gòu)。

定義數(shù)據(jù)平臺業(yè)務(wù)報(bào)表中指標(biāo)的計(jì)算規(guī)則。

已完成

已完成

已完成

導(dǎo)入源系統(tǒng)數(shù)據(jù)字典，并以系統(tǒng)-表-字段的層級關(guān)系展現(xiàn)已完成

各級數(shù)據(jù)關(guān)系。

導(dǎo)入主數(shù)據(jù)ERwin模型，解析生成模型各層級關(guān)系。

已完成

定義數(shù)據(jù)平臺各部分，以及源系統(tǒng)間的數(shù)據(jù)關(guān)聯(lián)映射關(guān)系。已完成

依賴所定義的數(shù)據(jù)平臺各部分，以及源系統(tǒng)間的數(shù)據(jù)映射已完成

關(guān)系，圖形化展現(xiàn)數(shù)據(jù)變化影響和數(shù)據(jù)問題溯源。

針對元數(shù)據(jù)不同版本進(jìn)行差異部分識別與比較。

已完成

定義數(shù)據(jù)平臺業(yè)務(wù)報(bào)表中指標(biāo)間的依賴關(guān)系，并進(jìn)行影響已完成

與血緣分析。

21數(shù)據(jù)治理平臺項(xiàng)目組

功能需求?對源系統(tǒng)、數(shù)據(jù)平臺以及數(shù)據(jù)治理項(xiàng)目中的相關(guān)的技功能需求

功能定義

系統(tǒng)管理

完成情況

元數(shù)據(jù)手動采集

手工上傳元數(shù)據(jù)定義文件

已完成

提供針對不同目標(biāo)應(yīng)用的適配器，實(shí)現(xiàn)定時(shí)的自已完成，但需數(shù)據(jù)平元數(shù)據(jù)自動采集

動采集

臺提供采集支持，接口方式尚需確定。

版本管理

提供元數(shù)據(jù)定版、批量定版、版本回溯的功能

已完成

訪問控制管理

提供針對元數(shù)據(jù)細(xì)節(jié)操作的訪問控制

已完成

22數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義系統(tǒng)管理完成情況元數(shù)據(jù)手動采集手應(yīng)用界面

23數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面23數(shù)據(jù)治理平臺項(xiàng)目組應(yīng)用界面

?

業(yè)務(wù)元數(shù)據(jù)

報(bào)表清單

?

報(bào)表表頭

報(bào)表表樣導(dǎo)出

報(bào)表表頭定義

24數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?業(yè)務(wù)元數(shù)據(jù)報(bào)表清單?報(bào)表表頭報(bào)表表樣應(yīng)用界面

?

業(yè)務(wù)元數(shù)據(jù)

?

報(bào)表指標(biāo)

查看指標(biāo)相關(guān)ER圖

25數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?業(yè)務(wù)元數(shù)據(jù)?報(bào)表指標(biāo)查看指標(biāo)相關(guān)ER圖應(yīng)用界面

?

技術(shù)元數(shù)據(jù)

?

影響分析

26數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?技術(shù)元數(shù)據(jù)?影響分析26數(shù)據(jù)治理平臺邏輯結(jié)構(gòu)

27數(shù)據(jù)治理平臺項(xiàng)目組

邏輯結(jié)構(gòu)27數(shù)據(jù)治理平臺項(xiàng)目組采集適配器

??

元數(shù)據(jù)采集適配器是一種驅(qū)動和解析器，用來接收、解析各種不用類型數(shù)據(jù)源的數(shù)據(jù)，將有效的元數(shù)據(jù)存入模型，并建立關(guān)系。

在本期項(xiàng)目中，元數(shù)據(jù)管理系統(tǒng)的接口提供以下幾種適配器：庫表結(jié)構(gòu)適配器、PowerCenter適配器、E/RWin適配器、數(shù)據(jù)平臺血脈分析適配器、指標(biāo)適配器、代碼適配器、表頭適配器等。

數(shù)據(jù)平臺數(shù)據(jù)模型數(shù)據(jù)集市存儲過程存儲過程數(shù)據(jù)模型應(yīng)用表頭指標(biāo)代碼E/RWin模型元數(shù)據(jù)ETLPowerCenterMapping文件接口區(qū)文本文件XML文件EXCEL文件元數(shù)據(jù)管理平臺

圖例：采集流適配器數(shù)據(jù)庫解析流數(shù)據(jù)流28數(shù)據(jù)治理平臺項(xiàng)目組

采集適配器??元數(shù)據(jù)采集適配器是一種驅(qū)動和解析器，用來接元數(shù)據(jù)存儲結(jié)構(gòu)

?元數(shù)據(jù)存儲模型層包括兩部分內(nèi)容：

?元模型定義，即通過XML實(shí)現(xiàn)對象、對象關(guān)系及對象行為等的定義。

?元數(shù)據(jù)實(shí)例存儲，元數(shù)據(jù)實(shí)例存儲到關(guān)系數(shù)據(jù)庫中。

XML定義模型對象屬性對象行為對象定義對象關(guān)系實(shí)例關(guān)系實(shí)例屬性值所屬對象<pi>編號<pi>實(shí)例編號所屬實(shí)例<pi>對象<pi><pi>對象關(guān)系<pi>順序超過的屬性<pi>目標(biāo)對象<pi>屬性1打散/縱向

存儲屬性<pi>值目標(biāo)實(shí)例<pi>屬性2<pi>屬性3屬性4屬性5屬性629數(shù)據(jù)治理平臺項(xiàng)目組

元數(shù)據(jù)存儲結(jié)構(gòu)?元數(shù)據(jù)存儲模型層包括兩部分內(nèi)容：?元模議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

30數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)目標(biāo)

?

根據(jù)“數(shù)據(jù)質(zhì)量檢核管理辦法”中PDCA方法論，基于現(xiàn)有數(shù)據(jù)平臺，對其上數(shù)據(jù)進(jìn)行全質(zhì)量生命周期的管理，包括質(zhì)量問題的定義、檢核監(jiān)控、發(fā)現(xiàn)分析、跟蹤反饋。

?

檢核需求

?

檢核指標(biāo)

檢核對象

檢核調(diào)度

收集需求

分析規(guī)則

規(guī)則庫

?

修正

數(shù)據(jù)質(zhì)量

知識庫

?

檢核調(diào)度

管理

問題數(shù)據(jù)

執(zhí)行

數(shù)據(jù)質(zhì)量

問題管理

數(shù)據(jù)質(zhì)量

檢核分析

數(shù)據(jù)質(zhì)量

趨勢分析

31?

數(shù)據(jù)治理平臺項(xiàng)目組

系統(tǒng)目標(biāo)?根據(jù)“數(shù)據(jù)質(zhì)量檢核管理辦法”中PDCA方法論，數(shù)據(jù)質(zhì)量度量分類

大類

細(xì)類

正確性

唯一性檢查

非空檢查

類型檢查

格式檢查

值域檢查

代碼檢查

指標(biāo)標(biāo)準(zhǔn)偏差檢查

數(shù)據(jù)集市指標(biāo)準(zhǔn)確性檢查

完整性

外鍵約束檢查

一致性

業(yè)務(wù)規(guī)則檢查

及時(shí)性

數(shù)據(jù)平臺數(shù)據(jù)生成及時(shí)性檢查

32數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)質(zhì)量度量分類大類細(xì)類正確性唯一性檢查非空檢查功能需求

功能定義

數(shù)據(jù)質(zhì)量檢核定義

完成情況

對納入數(shù)據(jù)質(zhì)量管理需求的系統(tǒng)、數(shù)據(jù)表納入檢已完成

核范圍，并定義相關(guān)信息

按數(shù)據(jù)質(zhì)量度量標(biāo)準(zhǔn)，為各類檢核指標(biāo)定義相關(guān)檢核指標(biāo)與規(guī)則定義

已完成

屬性和數(shù)據(jù)檢查規(guī)則。

為數(shù)據(jù)質(zhì)量檢核指標(biāo)類和業(yè)務(wù)方案定義靈活的檢檢核調(diào)度策略定義

已完成

核策略

檢核系統(tǒng)定義

數(shù)據(jù)質(zhì)量檢核執(zhí)行

檢核控制引擎

檢核執(zhí)行處理器

調(diào)度符合執(zhí)行策略數(shù)據(jù)質(zhì)量檢核指標(biāo)，并分派給已完成

對應(yīng)的處理器

對數(shù)據(jù)質(zhì)量檢核指標(biāo)執(zhí)行特定于其指標(biāo)類的檢查已完成

程序

33數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義數(shù)據(jù)質(zhì)量檢核定義完成情況對納入數(shù)據(jù)功能需求

功能定義

數(shù)據(jù)質(zhì)量檢核分析

對數(shù)據(jù)質(zhì)量檢核的結(jié)果按機(jī)構(gòu)、系統(tǒng)、數(shù)據(jù)質(zhì)量問題三個(gè)維度進(jìn)行分布分析

對數(shù)據(jù)質(zhì)量檢核的結(jié)果按時(shí)間維度分析，判斷問題趨勢分析

質(zhì)量改善情況

對同一檢核指標(biāo)的不同批次進(jìn)行對比，分析質(zhì)檢核指標(biāo)批次對比

量改善情況

檢核執(zhí)行報(bào)告

對特定日期的檢核結(jié)果，形成統(tǒng)計(jì)報(bào)表

問題分布分析

數(shù)據(jù)質(zhì)量問題管理

問題發(fā)現(xiàn)

問題發(fā)布

問題處理

問題歸檔

數(shù)據(jù)質(zhì)量知識管理

知識庫維護(hù)

知識庫查詢

歸集數(shù)據(jù)質(zhì)量的特定問題，以及特定的解決方案，形成知識信息

查詢數(shù)據(jù)質(zhì)量知識信息

查詢符合特定條件的數(shù)據(jù)質(zhì)量檢核問題

將需處理的數(shù)據(jù)質(zhì)量檢核問題歸集到一個(gè)問題單，并發(fā)布給特定的機(jī)構(gòu)

跟蹤問題單的處理情況

對處理完結(jié)的問題單進(jìn)行歸檔處理

完成情況

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

已完成

34數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義數(shù)據(jù)質(zhì)量檢核分析對數(shù)據(jù)質(zhì)量檢核的結(jié)果應(yīng)用界面

?

檢核系統(tǒng)管理

35數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?檢核系統(tǒng)管理35數(shù)據(jù)治理平臺項(xiàng)目組應(yīng)用界面

?

檢核指標(biāo)管理

?

主鍵唯一

36數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?檢核指標(biāo)管理?主鍵唯一36數(shù)據(jù)治理平應(yīng)用界面

?

檢核調(diào)度策略管理

?

業(yè)務(wù)解決方案

37數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?檢核調(diào)度策略管理?業(yè)務(wù)解決方案37數(shù)應(yīng)用界面

?

數(shù)據(jù)質(zhì)量檢核分析

?

批次對比分析

?

問題分布分析

38數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)質(zhì)量檢核分析?批次對比分析?問題應(yīng)用界面

?

數(shù)據(jù)質(zhì)量問題管理

?

問題發(fā)現(xiàn)

39數(shù)據(jù)治理平臺項(xiàng)目組

應(yīng)用界面?數(shù)據(jù)質(zhì)量問題管理?問題發(fā)現(xiàn)39數(shù)據(jù)治邏輯結(jié)構(gòu)

?三個(gè)層面：

?定義層：定義作為系統(tǒng)功能的核心-數(shù)據(jù)質(zhì)量檢核，所需使用對象、指標(biāo)、調(diào)度策略等配置信息；

?執(zhí)行層：使用已定義的檢核配置信息，對數(shù)據(jù)平臺數(shù)據(jù)進(jìn)行檢核；

?分析層：對檢核執(zhí)行結(jié)果進(jìn)行定量、定性的分析與處理。?前后端：

?前端：用戶使用基于操作界面的應(yīng)用程序進(jìn)行交互式的檢核信息定義、檢核結(jié)果分析等功能；

?后端：系統(tǒng)根據(jù)檢核策略在后臺自動執(zhí)行，無需與用戶交互。

40數(shù)據(jù)治理平臺項(xiàng)目組

邏輯結(jié)構(gòu)?三個(gè)層面：?定義層：定義作為系統(tǒng)功能的核心-數(shù)檢核調(diào)度與分派

41數(shù)據(jù)治理平臺項(xiàng)目組

檢核調(diào)度與分派41數(shù)據(jù)治理平臺項(xiàng)目組檢核規(guī)則處理器類別

固定

存儲過程：固定SQL簡單

固定Java程序

復(fù)雜

存儲過程：自定義SQL自定義Groovy規(guī)則腳本

自定義

42

數(shù)據(jù)治理平臺項(xiàng)目組

檢核規(guī)則處理器類別固定存儲過程：固定SQL簡單固Groovy腳本示例

packagegroovyimportjava.sql.Connectionimportjava.sql.ResultSetimportgroovy.sql.Sqlimportcn.cdb.backend.RuleHandler

/***@author馬春宇2008-11-11*/publicclassexampleGroovyRuleHandlerextendsRuleHandler{

//groovy數(shù)據(jù)庫執(zhí)行句柄

defsql_DQDB,sql_DPDBvoidinit(longKPP_BH,Connection[]CONNS){super.init(KPP_BH,CONNS)sql_DQDB=newSql(conns[0])sql_DPDB=newSql(conns[1])}

//該方法目標(biāo)：定義掃描檢核目標(biāo)表的SQL語句。

//sqlHead=selectt0.rowidasDQMS_rowid,t0.ContNoasDQMS_logicalPK,t0.*fromODS_EFF.CDBCT_CONT_INFOt0;privateStringgetSqlScanTarTable(StringsqlHead){StringsqlScanTarTable;StringcusClause;//--自定義部分--開始

cusClause=where(t0.TranSourCounisnullortrim(t0.TranSourCoun)='')andt0.data_end_date='99999999';//--自定義部分--結(jié)束

sqlScanTarTable=sqlHead+cusClause;returnsqlScanTarTable;}

//該方法目標(biāo)：描述對單記錄的檢核規(guī)則,如是問題記錄則返回false，否則返回trueprivatebooleanexeSingleRecCheck(ResultSetrs){booleansuccFlag=false;//--自定義部分--開始

StringCredStatNo;CredStatNo=rs.getString(CredStatNo);defit=sql_DPDB.firstRow(selectLoanTypefromODS_EFF.CDBPJ_STAT_INFOwhereCredStatNo=?,[CredStatNo])if(it.LoanTypein[51,52,53,54])succFlag=true;//--自定義部分--結(jié)束

returnsuccFlag;}}

43數(shù)據(jù)治理平臺項(xiàng)目組

Groovy腳本示例packagegroovyimp采用技術(shù)

?

前端

?基于ExtAjax、Spring、hibernate技術(shù)實(shí)現(xiàn)：

–檢核配置定義

–數(shù)據(jù)質(zhì)量問題管理

–知識庫管理

–數(shù)據(jù)質(zhì)量對比分析、檢核報(bào)告

–系統(tǒng)管理

?基于Cognos報(bào)表系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)質(zhì)量分布與趨勢分析

?后端

?基于Java、多線程技術(shù)實(shí)現(xiàn)檢核調(diào)度與分派

?基于數(shù)據(jù)庫JobSchedule、存儲過程實(shí)現(xiàn)存儲過程檢核策略?基于Groovy腳本技術(shù)實(shí)現(xiàn)復(fù)雜自定義檢核規(guī)則的執(zhí)行

44數(shù)據(jù)治理平臺項(xiàng)目組

采用技術(shù)?前端?基于ExtAjax、Spring、h議題

1.系統(tǒng)目標(biāo)與定位

2.技術(shù)實(shí)現(xiàn)架構(gòu)

3.數(shù)據(jù)標(biāo)準(zhǔn)管理子系統(tǒng)

4.元數(shù)據(jù)管理子系統(tǒng)

5.數(shù)據(jù)質(zhì)量管理子系統(tǒng)

6.數(shù)據(jù)服務(wù)子系統(tǒng)

7.統(tǒng)一認(rèn)證與用戶管理模塊

45數(shù)據(jù)治理平臺項(xiàng)目組

議題1.系統(tǒng)目標(biāo)與定位2.技術(shù)實(shí)現(xiàn)架構(gòu)3.數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)平臺服務(wù)單流程

流程定義

數(shù)據(jù)服務(wù)申請

新建申請

提交申請

申請方（包括業(yè)務(wù)部門或外包公司）

?

?

數(shù)據(jù)標(biāo)準(zhǔn)處

服務(wù)提供方（數(shù)據(jù)處或平臺實(shí)施商）

數(shù)據(jù)服務(wù)審核

審核申請

服務(wù)創(chuàng)建與分配

數(shù)據(jù)服務(wù)實(shí)施

任務(wù)創(chuàng)建

任務(wù)執(zhí)行

任務(wù)簽收

服務(wù)驗(yàn)收

服務(wù)歸檔

周期性服務(wù)

新建服務(wù)實(shí)例

?

?

?

?

?

?

?

?

?

?

46數(shù)據(jù)治理平臺項(xiàng)目組

數(shù)據(jù)平臺服務(wù)單流程流程定義數(shù)據(jù)服務(wù)申請新建申請?zhí)峤还δ苄枨?/p>

功能定義

完成情況

數(shù)據(jù)服務(wù)申請

維護(hù)申請

提交申請

數(shù)據(jù)服務(wù)審核

審核申請

服務(wù)創(chuàng)建與分配

數(shù)據(jù)服務(wù)實(shí)施

任務(wù)創(chuàng)建

任務(wù)執(zhí)行

任務(wù)簽收

服務(wù)驗(yàn)收

服務(wù)歸檔

事件管理

周期性服務(wù)

新建服務(wù)實(shí)例

服務(wù)提供者為服務(wù)分解任務(wù)

已完成

服務(wù)提供者填寫任務(wù)執(zhí)行情況

已完成

服務(wù)申請者對單個(gè)任務(wù)，選擇簽收或拒絕

已完成

服務(wù)申請者、數(shù)據(jù)服務(wù)管理員驗(yàn)收服務(wù)

已完成

已驗(yàn)收的服務(wù)歸檔

已完成

對服務(wù)處理過程中的事件進(jìn)行管理

已完成

對周期性服務(wù)，提供特定的處理

提供通用論壇功能

已完成

已完成

數(shù)據(jù)服務(wù)管理員審核服務(wù)申請

已完成

數(shù)據(jù)服務(wù)管理員創(chuàng)建服務(wù)實(shí)例，并分配給已完成

指定的服務(wù)提供者

服務(wù)申請者新增、維護(hù)服務(wù)申請

服務(wù)申請者提交服務(wù)申請

已完成

已完成

數(shù)據(jù)平臺論壇

47數(shù)據(jù)治理平臺項(xiàng)目組

功能需求功能定義完成情況數(shù)據(jù)服務(wù)申請維護(hù)申請?zhí)峤还δ芙缑?/p>

?

數(shù)據(jù)服務(wù)審核

?

審核申請

?

服務(wù)分配

48數(shù)據(jù)治理平臺項(xiàng)目組

功能界面?數(shù)據(jù)服務(wù)審核?審核申請?服務(wù)分配4功能界面

?

數(shù)據(jù)服務(wù)實(shí)施

?

任務(wù)創(chuàng)建

?

任務(wù)簽收

?

服務(wù)驗(yàn)收

49數(shù)據(jù)治理平臺項(xiàng)目組

功能界面?數(shù)據(jù)服務(wù)實(shí)施?任務(wù)創(chuàng)建?任務(wù)簽收?邏輯結(jié)構(gòu)

控制層邏輯

數(shù)據(jù)訪問::服務(wù)數(shù)據(jù)訪問+取得需要當(dāng)天創(chuàng)建的服務(wù)列表()+保存服務(wù)()控制::數(shù)據(jù)處+獲取服務(wù)對象()+歸檔服務(wù)()+取得申請()+保存申請()業(yè)務(wù)+保存任務(wù)實(shí)例()+取得任務(wù)實(shí)例()+取得周期服務(wù)列表()+取得活躍服務(wù)列表()控制::數(shù)據(jù)申請人+查詢歷史服務(wù)()+獲取附件()控制::控制器控制::服務(wù)管理+刪除附件()+創(chuàng)建周期服務(wù)實(shí)例()+獲取附件列表()+創(chuàng)建單次服務(wù)():單次服務(wù)+創(chuàng)建周期服務(wù)():周期服務(wù)+取得需周期服務(wù)列表(