ODS數(shù)據(jù)服務(wù)平臺介紹課件

1、ODS數(shù)據(jù)平臺介紹中國人壽股份有限公司信息技術(shù)部統(tǒng)計信息項目組8/4/20221第1頁，共18頁。主要內(nèi)容1、數(shù)據(jù)平臺的功能2、數(shù)據(jù)平臺的建設(shè)原則3、數(shù)據(jù)平臺數(shù)據(jù)平臺建設(shè)使用技術(shù)4、ODS表命名規(guī)則5、Basedb數(shù)據(jù)結(jié)構(gòu)設(shè)計要點8/4/20222第2頁，共18頁。數(shù)據(jù)平臺兩大功能1、提供數(shù)據(jù)服務(wù)增量層（INCR層），存放生產(chǎn)庫的存量數(shù)據(jù)，以此作為所有外圍系統(tǒng)的數(shù)據(jù)接口，提供數(shù)據(jù)級服務(wù)。2、提供信息服務(wù)ODS層（BaseDB與CubeDB）BaseDB存放融合的基于操作級的數(shù)據(jù)，而CubeDB是基于BaseDB的匯總數(shù)據(jù)，以此提供數(shù)據(jù)查詢與數(shù)據(jù)的統(tǒng)計。ODS層只存放與統(tǒng)計相關(guān)的數(shù)據(jù)。增量層的數(shù)

2、據(jù)范圍ODS層的數(shù)據(jù)范圍 8/4/20223第3頁，共18頁。保監(jiān)會報表、總部快報等Call Center、省級數(shù)據(jù)接口DTS調(diào)度抽取DTS調(diào)度抽取Trigger抽取增量及全表抽取CBPS 8版年金系統(tǒng)AMIS財務(wù)系統(tǒng)鏡像庫鏡像庫增量數(shù)據(jù)庫增量數(shù)據(jù)庫SQL Server數(shù)據(jù)庫INFORMIX數(shù)據(jù)庫省級ODS數(shù)據(jù)庫SQL Server數(shù)據(jù)庫CBPS 7版總部匯總層總部ODS數(shù)據(jù)庫未確定數(shù)據(jù)庫總分傳輸省級匯總層DTS調(diào)度抽取SQL Server數(shù)據(jù)庫8/4/20224第4頁，共18頁。層次間的數(shù)據(jù)導(dǎo)向1、增量層（INCR）是生產(chǎn)系統(tǒng)的同構(gòu)層，并且是邏輯集中的。有幾類業(yè)務(wù)系統(tǒng)就有幾個增量數(shù)據(jù)庫。 2

3、、BaseDB對同構(gòu)層數(shù)據(jù)進行了集成和融合，但它還是基于操作型數(shù)據(jù)的3、CubeDB對數(shù)據(jù)進行了抽象和加工，它并不是基于操作型數(shù)據(jù)的。主要是針對前臺的報表應(yīng)用建立統(tǒng)計模型。不同層之間的數(shù)據(jù)特點決定了它們的應(yīng)用方向。如：1、增量層適合于作為數(shù)據(jù)供應(yīng)池2、BaseDB除了作為CubeDB的數(shù)據(jù)匯總來源外，還可提供數(shù)據(jù)查詢使用3、而CubeDB適合于報表生成和數(shù)據(jù)分析8/4/20225第5頁，共18頁。目前應(yīng)用基于數(shù)據(jù)服務(wù)的應(yīng)用有：Call Center、電子商務(wù)，以及后期的再保數(shù)據(jù)接口，他們將從增量層獲取數(shù)據(jù)基于信息服務(wù)的應(yīng)用有：中介統(tǒng)計平臺、保監(jiān)會報表系統(tǒng)以及每日業(yè)務(wù)快報、廣東省報表中心等，他們

4、均從ODS層獲取數(shù)據(jù)（即基礎(chǔ)數(shù)據(jù)來源于BaseDB，經(jīng)過匯總，產(chǎn)生CubeDB中的事實表數(shù)據(jù)）.8/4/20226第6頁，共18頁。數(shù)據(jù)平臺建設(shè)的幾點原則1、整個架構(gòu)基于PC服務(wù)器當(dāng)前多層次的架構(gòu)適合于多個PC服務(wù)器的聯(lián)合工作。如果采用小型機架構(gòu)，存在下列問題：1）數(shù)據(jù)平臺龐大的數(shù)據(jù)以及復(fù)雜的層次結(jié)構(gòu)，將要求獨占小型機資源，這對于各省的硬件設(shè)備，難以支撐。2）如果把數(shù)據(jù)平臺的各層都架構(gòu)在小型機上，那么應(yīng)用上難以達(dá)到平衡，應(yīng)用間效率的互相影響和牽制會相對突出。而采用PC服務(wù)器方式，由于PC服務(wù)器成本低，我們可以通過多臺PC服務(wù)器的聯(lián)合工作，獲得有效的性能。未來設(shè)備采用：使用64位的PC服務(wù)器高速

5、磁盤存儲設(shè)備，將會給數(shù)據(jù)平臺提供堅實的基礎(chǔ)。8/4/20227第7頁，共18頁。數(shù)據(jù)平臺建設(shè)的幾點原則2、基于微軟平臺與微軟技術(shù)微軟平臺的集成性和方便快捷是顯而易見的。數(shù)據(jù)庫采用SQLSERVER，在SQLSERVER中，集成了如下服務(wù)：數(shù)據(jù)庫平臺、報表工具（Reporting Services）、ETL工具（DTS）、分析平臺（Analysis Services）以及復(fù)制工具（Replicaiotn Services），而且許多BI工具都是很有名的。應(yīng)用前端基于.NET平臺，在微軟平臺上，采用.NET技術(shù)一定優(yōu)越于JAVA。除非我們要在UNIX平臺上建立應(yīng)用，否則，采用JAVA是舍簡取繁。

6、8/4/20228第8頁，共18頁。數(shù)據(jù)平臺建設(shè)的幾點原則3、采用Trigger方式提供軌跡數(shù)據(jù)由于各個生產(chǎn)庫在設(shè)計階段，都未充分考慮到軌跡數(shù)據(jù)的記錄，所以采用Trigger方式，是目前唯一可行的方案。這樣，才能保證數(shù)據(jù)平臺的數(shù)據(jù)與生產(chǎn)庫之間的一一對應(yīng)。否則，你費盡心力，也難以作到雙方的數(shù)據(jù)一致性。 8/4/20229第9頁，共18頁。數(shù)據(jù)平臺建設(shè)的幾點原則4、增量層作為生產(chǎn)庫的同構(gòu)層，并作為數(shù)據(jù)供應(yīng)池增量層與生產(chǎn)庫是完全的同構(gòu)關(guān)系，有多少種生產(chǎn)庫，就有多少個增量庫，目前數(shù)據(jù)平臺中設(shè)計好的增量庫有：CBPS7版增量庫（INCRDB）、CBPS8版增量庫（INCRV8）、AMIS增量庫（INCR

7、AM）、年金增量庫（INCRNJ）以及投連萬能增量庫（INCRUL）。目前增量層中的數(shù)據(jù)已擴充成全量數(shù)據(jù)。這一層是為外圍系統(tǒng)而生的。主要是考慮到對CALLCENTER與再保系統(tǒng)的深度支持。8/4/202210第10頁，共18頁。數(shù)據(jù)平臺建設(shè)的幾點原則5、BaseDB保存集成的、經(jīng)過融合的、基于操作型的數(shù)據(jù)如果直接在增量層上架構(gòu)統(tǒng)計應(yīng)用，會存在許多的不便，因為增量層中的數(shù)據(jù)是非集成的，一項統(tǒng)計可能要跨越多個數(shù)據(jù)庫，同時，數(shù)據(jù)是非融合的，一項統(tǒng)計可能要基于不同的數(shù)據(jù)庫進行復(fù)雜的定制。而基于BaseDB，可以在很大程度上避免這些復(fù)雜性。但同時，BaseDB中的數(shù)據(jù)還是基于操作型的數(shù)據(jù)，并未進行太多的

8、抽象，這樣帶來的優(yōu)點是：1）我們可以有效減少ETL的復(fù)雜性2）提高了ETL的效率。也正因為BaseDB是操作型數(shù)據(jù)，所以我們需要CubeDB層對基于統(tǒng)計的數(shù)據(jù)進行抽象加工。8/4/202211第11頁，共18頁。數(shù)據(jù)平臺建設(shè)使用技術(shù)操作系統(tǒng) 數(shù)據(jù)庫ETL工具前端應(yīng)用調(diào)度方案 數(shù)據(jù)庫引擎Windows Server 2000，未來希望采用Windows Server 2003 SQL Server 2000，未來希望采用SQL Server 2005 DTS，屬于SQL Server 2000自帶。 JAVA和ASP、ASP.NET 由VB程序開發(fā)的管理維護平臺實現(xiàn) 對生產(chǎn)庫（INFORMIX）

9、的訪問使用ODBC引擎，應(yīng)用上采用JDBC或ADO引擎 8/4/202212第12頁，共18頁。ODS表命名規(guī)則A類表保單類表B類表收付費類表 C類表客戶類表包括A01長險保單表，A04基金險保單表，A05短險保單表，A02基本要約表、A03子要約表、A11長險被保人表、A12基金險被保人表、A13短險被保人等表。主鍵合并包括B01實收表，B02實付表，B03應(yīng)收表，B04應(yīng)付表、B05帳戶表、B06財務(wù)應(yīng)收備份表、B07財務(wù)應(yīng)付備份表。主鍵合并包括C01客戶主表，C02個人客戶信息表、C03團體客戶信息表、C04聯(lián)系方式關(guān)聯(lián)表、C05聯(lián)系方式列表。主鍵合并D類表保全類表目前暫不抽取E類表理賠

10、類表包括：E01理賠申請表、E02賠付理算表、E03索賠被保人表。主鍵合并T類表AMIS類表包括T01營銷員基本信息表，T02營銷員自然狀況表，T03傭金明細(xì)信息表，T11營銷員流動情況，T29代理人資格證，T50機構(gòu)定義表等H類表匯總層的表命名L類表、M類表、N類表留給省一級使用8/4/202213第13頁，共18頁。BaseDB中的冗余字段BaseDB中許多表都設(shè)計了冗余字段，它主要作用是：1、減少表間關(guān)聯(lián)，提高匯總速度。2、降低不同業(yè)務(wù)系統(tǒng)之間的差異性。大部分冗余字段都采用雙向更新方式，以保證冗余字段的值不會被遺漏。8/4/202214第14頁，共18頁。A類表的冗余字段許多信息在7版中存在，但8版中把保單信息分布在幾張表中，所以我們在抽取8版數(shù)據(jù)時，生成了相關(guān)字段的信息。原則如下：1、一對一的表，直接更新2、一對多的表，SUM更新或首條記錄更新8/4/202215第15頁，共18頁。B類表的冗余字段B類表的冗余字段，大部分是從保單表更新得到。但在8版中，由于生成保單的置后現(xiàn)象（即回執(zhí)問題）。所以在未找到保單記錄的情況下，我們通過投保單信息（A31）與投保要約信息表（A32）來更新B類表的相關(guān)字段。8/4/202216第16頁，共18頁。C類表的處理當(dāng)生