ngcbs2.0-332swd ods技術(shù)驗證項解決方案v0

1、：NGCBS2.0-332號：0.1級：文檔版 本密系統(tǒng)升級工程ODS 技術(shù)驗證項解決方案山東省信息科技部本文檔由信息科技部所有。信息科技部，任何和個人不得以摘抄、本文檔的部分或全部，并以傳播。1并行數(shù)據(jù)庫技術(shù) DB2 DPF1.1 技術(shù)驗證背景說明當(dāng)前的 ODS 系統(tǒng)中，采用了數(shù)據(jù)表分區(qū)技術(shù)，但是整個系統(tǒng)中只有一個數(shù)據(jù)庫引擎。由于當(dāng)前山東農(nóng)信的數(shù)據(jù)倉庫尚在建設(shè)過程中，ODS 就需要保存海量的數(shù)據(jù)。面對大批量的數(shù)據(jù)加載、轉(zhuǎn)換和查詢，單個數(shù)據(jù)庫引擎已明顯顯示出了處理性能的不足。隨著農(nóng)信業(yè)務(wù)的不斷發(fā)展，數(shù)據(jù)量還將劇增，單純依靠對 ODS 系統(tǒng)增加 CPU、內(nèi)存等橫向擴(kuò)展方式，成本較高，且容易遭遇上

2、限。為解決當(dāng)前處理性能瓶頸問題，系統(tǒng)的擴(kuò)展性，ODS 系統(tǒng)可以通過并行數(shù)據(jù)庫技術(shù)來提高自身性能。通過 DB2 數(shù)據(jù)庫提供的數(shù)據(jù)庫分區(qū)功能 DPF(Data Partitioning feature)可以支持大規(guī)模的數(shù)據(jù)處理。由于 DB2 數(shù)據(jù)庫分區(qū)采用的是 Share-nothing 體系結(jié)構(gòu)，每個分區(qū)都具有自己獨立的內(nèi)存、CPU、磁盤等資源，具有單獨處理任務(wù)的能力，可以通過增加數(shù)據(jù)庫分區(qū)（又稱為數(shù)據(jù)庫節(jié)點）進(jìn)行線性擴(kuò)展，不僅擴(kuò)展性較好，又可通過并發(fā)提高性能和效率。1.2 環(huán)境需求及環(huán)境搭建進(jìn)行 DB2 DPF 的技術(shù)驗證，需要在其他環(huán)境條件相同的情況下，對比傳統(tǒng) DB2 服務(wù)器和DB2 DP

3、F 服務(wù)器。其中，操作系統(tǒng)采用 AIX 7 版本，數(shù)據(jù)庫采用 DB2 10 版本，服務(wù)器均需要至少 500GB 的可用數(shù)據(jù)庫空間。針對 DB2 DPF 服務(wù)器，需要配置至少 8 個數(shù)據(jù)庫節(jié)點。測試環(huán)境要求如下表所示：表 1.2-1 DB2 DPF 性能測試環(huán)境1.3 技術(shù)驗證步驟主要驗證 3 個場景下有 DPF 和無 DPF 的性能情況：數(shù)據(jù)加載（空表數(shù)據(jù)加載、現(xiàn)有數(shù)據(jù)表數(shù)據(jù)加載）數(shù)據(jù)導(dǎo)出（指定日期、指定法人）服務(wù)器操作系統(tǒng)數(shù)據(jù)庫可用數(shù)據(jù)庫空間其他說明傳統(tǒng) DB2 服務(wù)器AIX 7DB2 10500G/DB2 DPF 服務(wù)器AIX 7DB2 10500G至少配置8 個數(shù)據(jù)庫節(jié)點數(shù)據(jù)轉(zhuǎn)換每個場景

4、下，通過控制加載數(shù)據(jù)量、表中數(shù)等變量條件，進(jìn)行多組比對試驗。具體的性能比對說明如下：表 1.3-1 DB2 DPF 性能測試對比1.4 技術(shù)驗證結(jié)果說明使用 DPF 的數(shù)據(jù)庫預(yù)期表現(xiàn)應(yīng)優(yōu)于未使用 DPF 的數(shù)據(jù)庫，可以通過上表中的倍數(shù)看到具體的情況。除了性能的外，采用 DB2 DPF 數(shù)據(jù)庫還將提高 ODS 系統(tǒng)的可擴(kuò)展性，有效避免硬件可能存在的上限。因此，將在目標(biāo) ODS 中使用 DB2 DPF 并行數(shù)據(jù)庫技術(shù)。場景描述數(shù)據(jù)量DB2（無 DPF）DB2 DPF倍數(shù)數(shù)據(jù)表中加載數(shù)據(jù)加載數(shù) 200 萬條數(shù)據(jù)表中加載數(shù)據(jù)加載數(shù) 1000 萬條向現(xiàn)有數(shù)據(jù)表中加載數(shù)據(jù)表中已有數(shù) 4800 萬條加載數(shù)

5、200 萬條向現(xiàn)有數(shù)據(jù)表中加載數(shù)據(jù)表中已有數(shù) 2.4 億條加載數(shù) 1000 萬條從 2 年交易明細(xì)中導(dǎo)出1 天的交易明細(xì)表中已有數(shù) 4800 萬條從 2 年交易明細(xì)中導(dǎo)出1 天的交易明細(xì)表中已有數(shù) 2.4 億條從賬戶歷史表中導(dǎo)出指定日期的數(shù)據(jù)從賬戶歷史表中導(dǎo)出指定日期的數(shù)據(jù)從客戶表中導(dǎo)出指定法人的數(shù)據(jù)從客戶表中導(dǎo)出指定法人的數(shù)據(jù)在驗證不通過的情況下，將考慮在無 DPF 情況下數(shù)據(jù)庫橫向擴(kuò)展的能力及數(shù)據(jù)處理的需求和問題程度，權(quán)衡是否使用 DB2 DPF 對數(shù)據(jù)庫進(jìn)行改造。2分布式文件系統(tǒng)（HDFS）保存歷史交易明細(xì)2.1 技術(shù)驗證背景說明由于農(nóng)信的快速發(fā)展，業(yè)務(wù)量不斷增長，歷史交易明細(xì)的保存周期

6、不斷增長，導(dǎo)致了ODS 的數(shù)據(jù)量劇增，對 ODS 的性能及容量已造成了巨大影響，下游系統(tǒng)對 ODS 數(shù)據(jù)的使用也因此受到波及?，F(xiàn)有的架構(gòu)中，對 ODS 系統(tǒng)的擴(kuò)展主要是通過硬件（包括和服務(wù)器）擴(kuò)展來實現(xiàn)，根據(jù)當(dāng)前數(shù)據(jù)的增量和增幅，對 ODS 的系統(tǒng)成本造成了極大的負(fù)擔(dān)。由于歷史交易明細(xì)數(shù)據(jù)量大，但是結(jié)構(gòu)和內(nèi)容相對穩(wěn)定，可以利用分布式文件系統(tǒng)（HDFS）支持超大數(shù)據(jù)量，保證使用性能的同時成本相對低廉的特點，來保存歷史交易明細(xì)。2.2 環(huán)境需求及環(huán)境搭建為進(jìn)行該技術(shù)驗證項，需要確保每條大小為 2KB 的情況下，HDFS 與 DB2 至少能保存 5 億條。具體要求如下：圖 2.2-1 HDFS 與D

7、B2 性能測試環(huán)境測試環(huán)境配置與搭建的方案，需要 HDFS的負(fù)責(zé)廠商配合提供。2.3 技術(shù)驗證步驟主要驗證 2 個場景下使用 HDFS 與使用關(guān)系型數(shù)據(jù)庫（DB2）的性能情況：批量加載聯(lián)機(jī)（單用戶、并發(fā)）每個場景下，通過控制加載數(shù)、表中數(shù)，進(jìn)行多組比對試驗。具體的性能比對說明如下：表 2.3-1 HDFS 與DB2 性能測試對比服務(wù)器操作系統(tǒng)其他說明DB2 DPF 服務(wù)器AIX 7至少能夠保存 5 億條，每條大小 2KBHDFS 服務(wù)器/2.4 技術(shù)驗證結(jié)果說明分布式文件系統(tǒng)（HDFS）的表現(xiàn)應(yīng)整體優(yōu)于 DB2 數(shù)據(jù)庫，且成本相較 DB2 的硬件擴(kuò)展較為低廉，適合保存不斷增長的海量歷史交易明細(xì)數(shù)據(jù)，可以在目標(biāo) ODS 中使用該技術(shù)。如果 HDFS 的表現(xiàn)才測試中較 DB2 交叉，需衡 DB2 的硬件擴(kuò)展成本與數(shù)據(jù)量增長情況，再確認(rèn)是否要使用 HDFS 對歷史交易明細(xì)數(shù)據(jù)的進(jìn)行改造。場景描述數(shù)據(jù)量DB2HDFS向數(shù)據(jù)表中批量加載交易明細(xì)數(shù)據(jù)表中已有數(shù) 1 億條記錄加載數(shù) 400 萬條向數(shù)據(jù)表中批量加載交易明細(xì)數(shù)據(jù)表中已有數(shù) 5 億條記錄加載數(shù) 2000 萬條單個用戶聯(lián)機(jī)表中已有數(shù) 1