德陽銀行數(shù)據(jù)倉庫項(xiàng)目環(huán)境物理架構(gòu) _草稿

1、IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組德陽銀行企業(yè)級數(shù)據(jù)倉庫項(xiàng)目物理架構(gòu)設(shè)計(jì) 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組議程1.開發(fā)、測試物理環(huán)境介紹2.生產(chǎn)物理環(huán)境介紹3.整體物理架構(gòu)方案4.物理架構(gòu)詳細(xì)設(shè)計(jì)（系統(tǒng)層）5.軟件物理架構(gòu)詳細(xì)設(shè)計(jì) 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組數(shù)據(jù)倉庫開發(fā)、測試硬件環(huán)境一覽 2012 IBM Corporation分類類型配置Profile數(shù)量是否可擴(kuò)展用途說明開發(fā)測試環(huán)境主機(jī)P55A8C*32G網(wǎng)卡數(shù)量4個(gè)4臺(tái)是,CPU 可擴(kuò)展一倍開發(fā)、測試數(shù)據(jù)庫服務(wù)器各一臺(tái)， (ETL,Cognos，WAS) 開發(fā)、測試

2、服務(wù)器各一臺(tái)，共4臺(tái)存儲(chǔ)環(huán)境存儲(chǔ)DS8600裸盤容量：450G * 12 = 5.4T12塊裸盤是，容量至少可擴(kuò)展一倍數(shù)據(jù)倉庫開發(fā)測試數(shù)據(jù)庫數(shù)據(jù)存放（8 塊裸盤）；數(shù)據(jù)倉庫ETL 文件系統(tǒng)（4塊裸盤）； 其他應(yīng)用系統(tǒng)數(shù)據(jù)；使用Raid5 方式劃分；劃分需要遵循DB2架構(gòu)師規(guī)劃IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組議程1.開發(fā)、測試物理環(huán)境介紹2.生產(chǎn)物理環(huán)境介紹3.整體物理架構(gòu)方案4.物理架構(gòu)詳細(xì)設(shè)計(jì)（系統(tǒng)層）5.軟件物理架構(gòu)詳細(xì)設(shè)計(jì) 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組數(shù)據(jù)倉庫生產(chǎn)硬件環(huán)境一覽 2012 IBM Corporation分類類型配置Profile數(shù)量是否可

3、擴(kuò)展用途說明生產(chǎn)環(huán)境主機(jī)P75016C*64GFC卡數(shù)量4*8Gb網(wǎng)卡數(shù)量4個(gè)2臺(tái)是,CPU 可擴(kuò)展一倍數(shù)據(jù)倉庫生產(chǎn)數(shù)據(jù)庫服務(wù)器主機(jī)P55A8C*32GFC卡數(shù)量4*8Gb網(wǎng)卡數(shù)量4個(gè)2臺(tái)是,CPU 可擴(kuò)展一倍ETL 服務(wù)器應(yīng)用服務(wù)器Cognos存儲(chǔ)環(huán)境存儲(chǔ)DS8600裸盤容量：450G * 12 = 5.4T12塊裸盤是，容量至少可擴(kuò)展一倍數(shù)據(jù)倉庫生產(chǎn)數(shù)據(jù)庫數(shù)據(jù)存放（8塊裸盤）；數(shù)據(jù)倉庫ETL 文件系統(tǒng)（4塊裸盤）；其他應(yīng)用系統(tǒng)數(shù)據(jù)；使用Raid5 方式劃分；劃分需要遵循DB2架構(gòu)師規(guī)劃IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組議程1.開發(fā)、測試物理環(huán)境介紹2.生產(chǎn)物理環(huán)境介紹3.整體物理架構(gòu)方案4.物理

4、架構(gòu)詳細(xì)設(shè)計(jì)（系統(tǒng)層）5.軟件物理架構(gòu)詳細(xì)設(shè)計(jì) 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組生產(chǎn)環(huán)境整體架構(gòu)方案如下：晚器行白是問查 2012 IBM CorporationBI報(bào)表服務(wù)器+ ETL服務(wù)器Infosphere WarehouseCognos/DataStage(多分區(qū)DB2數(shù)據(jù)庫)Web應(yīng)用服務(wù)器（集群）數(shù)據(jù)庫服務(wù)器HTTP/WASP55A AP55A BP750AP750B備份/系統(tǒng)監(jiān)控服務(wù)器8CPU8CPU16CPUHA16CPUTSM/ITM32G MEM32G MEM64G MEM64G MEMPC ServerHA2CPU4G MEMDB2 I

5、nterconnect利用已有PC Server上服務(wù)主要進(jìn)ETL處理，SAN交換機(jī)SAN交換機(jī)天主要用戶訪報(bào)表或詢數(shù)據(jù)DS8600磁盤陣列DS8600磁盤陣列IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組生產(chǎn)環(huán)境應(yīng)用和ETL服務(wù)器：DataStage 配置方案Cognos/Was/Http Server 配置方案P55A A8CPU32G MEMP55A B8CPU32G MEM 2012 IBM CorporationDataStage服務(wù)器（集群）DataStage服務(wù)器（集群） 主節(jié)點(diǎn)Web應(yīng)用服務(wù)器（集群） Cognos服務(wù)器（集群） HTTP/WAS/CognosWeb應(yīng)用服務(wù)器（集群） Cogno

6、s服務(wù)器（集群） HTTP/WAS/Cognos主節(jié)點(diǎn)IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組數(shù)倉一期生產(chǎn)環(huán)境高可用性（HA)在本階段內(nèi)高可用性包括： DB2 集群，兩臺(tái)P750 ETL server 和cognos Server，兩臺(tái)P55AInfosphere Warehouse (多分區(qū)DB2數(shù)據(jù)庫) 數(shù)據(jù)庫服務(wù)器P750B16CPU64G MEMP750A16CPU64G MEMHAHAP55A A8CPU32G MEMP55A B8CPU32G MEM 2012 IBM Corporation說明：DB2 共8個(gè)分區(qū)，每臺(tái)機(jī)器各4個(gè)。若有一臺(tái)主機(jī)發(fā)生問題，把其4個(gè)分區(qū)的資源通過AIX主機(jī)HA 功

7、能切換到另外一臺(tái)主機(jī)，并啟動(dòng)后，對外服務(wù)。DataStage服務(wù)器（集群）DataStage服務(wù)器（集群） 主節(jié)點(diǎn)Web應(yīng)用服務(wù)器（集群）Cognos服務(wù)器（集群）HTTP/WAS/CognosWeb應(yīng)用服務(wù)器（集群） Cognos服務(wù)器（集群）HTTP/WAS/Cognos主節(jié)點(diǎn)IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組多分區(qū)數(shù)據(jù)庫對存儲(chǔ)要求多分區(qū)數(shù)據(jù)庫DB2 采用的是Share-nothing 架構(gòu)，同時(shí)對規(guī)劃DB2 多分區(qū)數(shù)據(jù)庫時(shí)遵守IBM BCU 規(guī)劃，以期獲得最佳性能。在BCU 實(shí)踐理論中，每一個(gè)數(shù)據(jù)庫分區(qū)最好對應(yīng)一個(gè)相應(yīng)的獨(dú)立Raid組，以提高I/O 性能并減少磁盤資源爭搶和沖突。當(dāng)前數(shù)據(jù)庫規(guī)劃

8、是8個(gè)數(shù)據(jù)庫分區(qū)，因而需要使用8個(gè)raid 組。DB2 多分區(qū)搭建在兩臺(tái)P750上，做負(fù)載均衡。并且分區(qū)之間有數(shù)據(jù)交換因而兩臺(tái)物理機(jī)之間的較高的網(wǎng)絡(luò)交換需求。鑒于當(dāng)前P750 有4個(gè)網(wǎng)卡，每個(gè)有兩個(gè)Port，可以考慮兩個(gè)網(wǎng)卡雙雙綁定做成一個(gè)channel，以提高網(wǎng)絡(luò)性能。 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組生產(chǎn)環(huán)境配置幾點(diǎn)說明 兩臺(tái)P55A Datastage，cognos，Was 都安裝在這兩服務(wù)器上 兩臺(tái)750 AIX 考慮到做DB2 做集群，兩臺(tái)P750 之間有數(shù)據(jù)交互，建議通過雙網(wǎng)卡綁定做成一個(gè)channel 提高網(wǎng)絡(luò)效率 當(dāng)前已經(jīng)綁定做成了一個(gè)cha

9、nnel DS8600 提供給DB2 服務(wù)器、ETL服務(wù)器和Congnos服務(wù)器盡可能多的Raid 組以期提高I/O. 提供8個(gè)raid 組使用。其中6個(gè)是給DB2 Server， 另外2個(gè)給ETL Server和Cognos Server Raid 間不進(jìn)行條帶化，劃分的LUN不宜過大，建議不能超過200G DB2 多分區(qū)數(shù)據(jù)庫表空間使用的LV 不進(jìn)行條帶化 其他件系統(tǒng)使用的LV進(jìn)行條帶化 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組議程1.開發(fā)、測試物理環(huán)境介紹2.生產(chǎn)物理環(huán)境介紹3.整體物理架構(gòu)方案4.物理架構(gòu)詳細(xì)設(shè)計(jì)（系統(tǒng)層）5.軟件物理架構(gòu)詳細(xì)設(shè)計(jì) 2012

10、IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組生產(chǎn)環(huán)境命名規(guī)范 主機(jī) AIX P750兩臺(tái)主機(jī)名分別為：DWDB1、DWDB2網(wǎng)絡(luò)地址后綴盡量與主機(jī)名后綴序號保持一致用戶和用戶組 系統(tǒng)ID 的創(chuàng)建按照應(yīng)用使用進(jìn)行分類規(guī)劃 主機(jī)AIX P55A ETL Server， App server Cognos 兩臺(tái)主機(jī)名分別為：DWETL1,DWETL2 網(wǎng)絡(luò)地址后綴盡量與主機(jī)名后綴序號保持一致 用戶和用戶組 系統(tǒng)ID 的創(chuàng)建按照應(yīng)用使用進(jìn)行分類規(guī)劃 存儲(chǔ)存儲(chǔ)的VG,LV,文件系統(tǒng)等均按照使用用途進(jìn)行劃分。參照開發(fā)測試環(huán)境命名規(guī)范 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)

11、倉庫項(xiàng)目組議程1.開發(fā)、測試物理環(huán)境介紹2.生產(chǎn)物理環(huán)境介紹3.整體物理架構(gòu)方案4.物理架構(gòu)詳細(xì)設(shè)計(jì)（系統(tǒng)層）5.軟件物理架構(gòu)詳細(xì)設(shè)計(jì) 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組軟件應(yīng)用環(huán)境整體部署圖 2012 IBM CorporationETL ServerInformationIS 資料庫Server資料庫存儲(chǔ)WAS7.0EDW/ODS數(shù)據(jù)庫DB2Cognos資料庫存儲(chǔ)Cognos資料庫WAS 集群WAS 7.0IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組數(shù)據(jù)庫規(guī)劃注意事項(xiàng)按照HA標(biāo)準(zhǔn)進(jìn)行安裝配置表空間 采用文件系統(tǒng) 數(shù)據(jù)表空間全部用32K Page Size 用戶臨時(shí)表空間和

12、數(shù)據(jù)表空間跨相同的分區(qū)（防止數(shù)據(jù)分區(qū)偏差） 創(chuàng)建單分區(qū)用戶臨時(shí)表空間 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組DB2 數(shù)據(jù)庫-資料庫數(shù)據(jù)庫空間規(guī)劃，P55A主機(jī)30G30G文件系統(tǒng)存放在vgdw00上 2012 IBM Corporation/cginst/isinstDB2DB2Cognos資料庫Information Server資料庫IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組DB2 數(shù)據(jù)庫-數(shù)據(jù)庫表空間劃分單分區(qū)用戶臨時(shí)表空間TS_SGL_USR_TMP系統(tǒng)編目表空間syscatspace單分區(qū)用戶數(shù)據(jù)表空間TS_SGLBPU0BPU1BPU2BPU3BPU4BPU5BPU

13、6BPU7SDPGIBMCATGROUPIBMTEMPGROUP系統(tǒng)臨時(shí)表空間TS_SYS_TMPPDPGODS表空間TS_ODSSSA表空間TS_SSASOR表空間TS_SOR匯總區(qū)表空間TS_SMYDM表空間TS_DM多分區(qū)用戶臨時(shí)表空間TS_USR_TMP 2012 IBM CorporationIBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組DB2 數(shù)據(jù)庫-中)DB空間規(guī)劃（數(shù)據(jù)庫備份需要的空間不包含在如下規(guī)劃 2012 IBM Corporation名稱分區(qū)數(shù)量單個(gè)大小總共擴(kuò)展冗余ODS表空間TS_ODS6100G600GSSA表空間TS_SSA660G360GSOR表空間TS_SOR660G360G匯

14、總區(qū)表空間TS_SMY680G480GDM表空間TS_DM6100G600G多分區(qū)用戶臨時(shí)表空間TS_USR_TMP620G120G系統(tǒng)臨時(shí)表空間TS_SYS_TMP820G160G單分區(qū)大小450 G單節(jié)點(diǎn)表空間TS_SGL1200G200G單節(jié)點(diǎn)用戶臨時(shí)表空間TS_SGL_USR_TMP120G20G實(shí)例目錄和編目空間120G20G數(shù)據(jù)庫操作臨時(shí)空間1300G300G總共3220G(磁盤空間3.6T)IBM德陽銀行數(shù)據(jù)倉庫項(xiàng)目組應(yīng)用軟件-ETL 和應(yīng)用服務(wù)器Cognos 存儲(chǔ)容量使用規(guī)劃800G300G300G100G文件系統(tǒng)：1， /opt/IBM 40G文件系統(tǒng)：1， /home/cognos 50G2，/cogdata 250G文件系統(tǒng)：1， /d