數(shù)據(jù)處理和存儲系統(tǒng)建設(shè)方案

1、1數(shù)據(jù)處理和存儲系統(tǒng)建設(shè)方案1.1設(shè)計方案通過采用成熟的數(shù)據(jù)庫技術(shù)、元數(shù)據(jù)技術(shù)和數(shù)據(jù)存儲技術(shù)，建立數(shù)據(jù)資源管理服務(wù)平臺，滿足海量數(shù)據(jù)的存儲管理要求；整合系統(tǒng)資源，避免或減少重復(fù)建設(shè)，降低數(shù)據(jù)管理成本；整合數(shù)據(jù)資源，保證數(shù)據(jù)的完整性和一致性；通過安全機制及數(shù)據(jù)備份，保證數(shù)據(jù)的安全性。數(shù)據(jù)是系統(tǒng)的核心和靈魂。按照數(shù)據(jù)組織結(jié)構(gòu)的不同可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；從數(shù)據(jù)的時間屬性看，數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)；按照數(shù)據(jù)生命周期的角度數(shù)據(jù)可歸于：數(shù)據(jù)采集區(qū)、數(shù)據(jù)存儲區(qū)、數(shù)據(jù)管理區(qū)和數(shù)據(jù)服務(wù)區(qū)幾個數(shù)據(jù)分區(qū)。通過對本項目總體建設(shè)內(nèi)容的深入分析和理解，對本項目數(shù)據(jù)庫總體數(shù)據(jù)架構(gòu)設(shè)計如下圖所示：數(shù)據(jù)服務(wù)區(qū)數(shù)

2、據(jù)綜合新旬?dāng)?shù)據(jù)分類共享蟾跟蹤統(tǒng)計分析反饋服務(wù)數(shù)據(jù)管理區(qū)數(shù)據(jù)權(quán)限管理數(shù)據(jù)更新登數(shù)幡分?jǐn)?shù)據(jù)監(jiān)控數(shù)據(jù)存儲區(qū)基礎(chǔ)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)眸業(yè)務(wù)管理庫分析數(shù)據(jù)庫系統(tǒng)管理庫數(shù)據(jù)采集區(qū)訪問授權(quán)數(shù)據(jù)收集敬據(jù)處理數(shù)據(jù)存儲數(shù)據(jù)交換本系統(tǒng)數(shù)據(jù)庫體系結(jié)構(gòu)主要由數(shù)據(jù)釆集區(qū)、數(shù)據(jù)存儲區(qū)、數(shù)據(jù)管理區(qū)、數(shù)據(jù)服務(wù)區(qū)等組成。1、數(shù)據(jù)釆集區(qū)主要包括：訪問授權(quán)、數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)交換2、數(shù)據(jù)存儲區(qū)主要包括：基礎(chǔ)數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫、業(yè)務(wù)管理庫、分析數(shù)據(jù)庫、系統(tǒng)管理庫。3、數(shù)據(jù)管理區(qū)主要包括：數(shù)據(jù)權(quán)限管理、數(shù)據(jù)更新、元數(shù)據(jù)管理、數(shù)據(jù)備份、數(shù)據(jù)監(jiān)控。4、數(shù)據(jù)服務(wù)區(qū)主要包括：數(shù)據(jù)綜合查詢、數(shù)據(jù)分類共享、數(shù)據(jù)跟蹤反饋、統(tǒng)計分析服務(wù)。1.

3、2存儲資源規(guī)劃1、核心oracle數(shù)據(jù)庫服務(wù)器用于金保內(nèi)網(wǎng)運行工傷保險核心業(yè)務(wù)系統(tǒng)，為了保證性能及數(shù)據(jù)安全，需要做雙機RAC以及數(shù)據(jù)庫備份。需要服務(wù)器三臺，存儲一臺。以煤炭社保為例，當(dāng)前參保約10萬人，15年數(shù)據(jù)文件約為3G,19年為20G,年增長4.25G；全區(qū)12個盟市，參保人數(shù)以4.5倍煤炭計算，每個盟市當(dāng)前基礎(chǔ)數(shù)據(jù)約為：90G；當(dāng)前存量數(shù)據(jù)約為：12*90+20=1100G；全區(qū)每年增量數(shù)據(jù)約為：4.25+12*4.25*4.5=234G,未來三年數(shù)據(jù)將達到：1100G+234*3=1.8T.以上為純數(shù)據(jù)文件，考慮到索引文件，存儲數(shù)據(jù)庫備份文件，至少應(yīng)分配5T硬盤空間。硬件要求：CPU

4、：4顆IntelXeonE7-4830V4系列處理器；內(nèi)存：32GBDDR4RDIMM內(nèi)存；網(wǎng)絡(luò)控制器：4個千兆網(wǎng)卡(電口)，1個雙端口萬兆網(wǎng)卡(光口)SAS硬盤2塊(300G/塊)；緩存：128GB,集群模式最大支持512GB緩存；硬盤：SAS硬盤5TB,至少能擴展到30T；最大支持硬盤數(shù)量3000；主機接口：配置8個IGblSCSI接口,配置8個8GbFC接口控最大可擴展32個主機接口；2、征繳數(shù)據(jù)同步前置機oracle用于同各盟市當(dāng)前的征繳系統(tǒng)做數(shù)據(jù)對接。各盟市將征繳數(shù)據(jù)通過goldengate同步至該數(shù)據(jù)庫，然后同步程序讀取該數(shù)據(jù)庫;不同盟市創(chuàng)建不同用戶，要求內(nèi)存不能少于64GB。硬件

5、要求：CPU：4顆IntelXeonE7-4830V4系列處理器；內(nèi)存：64GBDDR4RDIMM內(nèi)存；網(wǎng)絡(luò)控制器：4個千兆網(wǎng)卡(電口)，1個雙端口萬兆網(wǎng)卡(光口)硬盤：SAS硬盤1TB,至少能擴展到5T；3、網(wǎng)報oracle數(shù)據(jù)庫服務(wù)器用于提供外網(wǎng)運行的應(yīng)用的數(shù)據(jù)存儲，為了保證性能及數(shù)據(jù)安全,需要做雙機RAC以及數(shù)據(jù)庫備份。需要服務(wù)器三臺，存儲一臺。操作系統(tǒng)占用1GB內(nèi)存，數(shù)據(jù)庫管理系統(tǒng)約占用1GB,數(shù)據(jù)庫SGA分配為1GB,聯(lián)機事務(wù)處理消耗約占用1.2GB。一個數(shù)據(jù)庫實例系統(tǒng)所需內(nèi)存容量為：1GB+1GB+1GB+約1.2GB84.2GB。加上操作系統(tǒng)等所需要的內(nèi)存，內(nèi)存總需求在14G左右

6、。硬件要求：CPU：4顆IntelXeonE7-4830V4系列處理器；內(nèi)存：32GBDDR4RDIMM內(nèi)存；網(wǎng)絡(luò)控制器：4個千兆網(wǎng)卡(電口)，1個雙端口萬兆網(wǎng)卡(光口)SAS硬盤2塊(300G/塊)；4、另備一臺用于備份數(shù)據(jù)庫，同其他系統(tǒng)對接，支持其他程序等。硬件要求：CPU：4顆IntelXeonE7-4830V4系列處理器；內(nèi)存：32GBDDR4RDIMM內(nèi)存；網(wǎng)絡(luò)控制器：4個千兆網(wǎng)卡(電口)，1個雙端口萬兆網(wǎng)卡(光口)硬盤：SAS硬盤5TB,至少能擴展到30T；5、電子檔案服務(wù)器用于存放業(yè)務(wù)產(chǎn)生的電子檔案。當(dāng)前煤炭電子材料約為0.9T,每年增長約為0.1T,以上面得出的4.5倍關(guān)系計算，當(dāng)前各盟市存量電子材料約為：0.9*4.5*12+0.9=49.5,考慮到未來三年增量數(shù)據(jù)：49.5+0.l*4.5*13=55.35T。硬件要求：CPU：E5-2603V4*2內(nèi)存：16GBDDR4RDIMM內(nèi)存硬盤：60TSSD,要求能隨時擴展6、電子檔案服務(wù)器備份機器用于電子檔案物理文件的備份。當(dāng)前煤炭電子材料約為0.9T,每年增長約為0.1T,以上面得出的4.5倍關(guān)系計算，當(dāng)前各盟市存量電子材料約為：0.