金融領域存儲方案設計說明

1、.專業(yè)整理 .金融領域存儲方案設計殷擎俞彥琪. 學習幫手 .專業(yè)整理 .近年來計算機網(wǎng)絡信息系統(tǒng)在社會生產(chǎn)和生活中發(fā)揮著越來越大的作用?；谟嬎銠C技術(shù)的網(wǎng)絡信息系統(tǒng)在很大程度上改變了社會對信息的處理能力，因而得到了廣泛的應用。對于金融企業(yè)來說，信息的高度共享、數(shù)據(jù)的安全可靠是系統(tǒng)建設中優(yōu)先考慮的問題，基于此 ，建設高性能的數(shù)據(jù)存儲網(wǎng)絡意義重大。第一章 領域介紹和數(shù)據(jù)存儲需求分析1.1 領域介紹“十八大 ”提出將金融改革列為未來十年發(fā)展的重中之重，中國主要金融企業(yè)也都制定了“十二五 ”發(fā)展規(guī)劃 ，將依靠構(gòu)建智慧型的數(shù)據(jù)分析體系（ MIS ）充分挖掘業(yè)務規(guī)律，以支持業(yè)務創(chuàng)新與服務創(chuàng)新。從未來發(fā)展看

2、，中國金融行業(yè)在“十二五 ”時期將重點實現(xiàn)發(fā)展方式轉(zhuǎn)型 ：一，中國金融行業(yè)將建立全面的風險管理體制，向嚴監(jiān)管轉(zhuǎn)型；二，從粗放式管理向精細化管理轉(zhuǎn)型，信息化重點也將從業(yè)務信息化向管理信息化轉(zhuǎn)變；三，從 “利潤為中心”和 “保單為中心 ”向 “客戶為中心 ”轉(zhuǎn)型 。 由此，未來幾年中國金融行業(yè)的IT 投資規(guī)模將會持續(xù)增長 。1.2 數(shù)據(jù)存儲需求分析金融大數(shù)據(jù)需要可擴展性開放架構(gòu)做支撐。 大數(shù)據(jù)量必然要求金融企業(yè)IT 基礎設施更易于數(shù)據(jù)的整合與集中 、擴展與伸縮 ，以及管理與維護，同時還必須具備良好的可靠性、可控性 、安全性。. 學習幫手 .專業(yè)整理 .大數(shù)據(jù)在加強風險管控、精細化管理 、業(yè)務創(chuàng)新等

3、業(yè)務轉(zhuǎn)型中將起到重要作用。首先 ，大數(shù)據(jù)能夠加強風險的可審性和管理力度，支持業(yè)務的精細化管理。當前中國銀行業(yè)利率市場化改革已經(jīng)起步，利率市場化必然會對銀行業(yè)提出精細化管理的新要求。其次 ，大數(shù)據(jù)支持服務創(chuàng)新，能夠更好地實現(xiàn)“以客戶為中心”理念 ，通過對客戶消費行為模式進行分析（比如事件關聯(lián)性分析）， 提高客戶轉(zhuǎn)化率，開發(fā)出不同的產(chǎn)品以滿足不同客戶的市場需求 ，實現(xiàn)差異化競爭。在高頻金融交易、小額信貸 、精準營銷等領域加速推進。目前大數(shù)據(jù)應用已經(jīng)在金融業(yè)逐步推開 ，并取得了良好的效果，形成了一些較為典型的業(yè)務類型，如高頻金融交易、小額信貸 、精準營銷等 。 高頻金融交易的主要特點是實時性要求高和

4、數(shù)據(jù)規(guī)模大。最后 ，大數(shù)據(jù)在金融機構(gòu)的精準營銷方面也有著巨大的價值?；谝陨闲枨?，金融行業(yè)對于大數(shù)據(jù)的存儲和應用有著很大的需求。災備需求銀行業(yè)已經(jīng)基本完成了省級業(yè)務和數(shù)據(jù)的大集中，具備了比較強的容災能力，但各地分行存儲備份系統(tǒng)還需要進一步加強。一旦全國這個數(shù)據(jù)中心發(fā)生災難事件，那么全國范圍內(nèi)的分支機構(gòu)和開戶企業(yè)、個人都將失去自己的存款記錄、貸款記錄 ，不能開展業(yè)務，這樣的影響不是在一個市、一個省 ，而是在全國的范圍，后果難以想象 。? 國外一些發(fā)達國家，如：美國 ，在銀行業(yè)的存儲網(wǎng)絡建設上起步早，早在上個世紀 70年代就有災難備份的概念和服務。在信息技術(shù)發(fā)達的歐美國家均對銀行在保證數(shù)據(jù)完整性及

5、業(yè)務連續(xù)性的責任上作出了明確的規(guī)定，在新加坡 、中國香港金融管理局也對災難備份提出了要求，由此可見銀行業(yè)數(shù)據(jù)的安全存儲對于銀行的生存至關重要。? 由于使用ATM 機取款和刷卡消費越來越普及，這就要求銀行必須 保證 24X7 的. 學習幫手 .專業(yè)整理 .不間斷運行 ，以滿足超大量用戶的實時訪問，一旦宕機或者系統(tǒng)發(fā)生故障，不僅嚴重影響銀行業(yè)務的運營，更將嚴重影響客戶滿意度。所以建議租用網(wǎng)絡存儲空間，保證您 24X7 的在線服務 。? 目前 ，銀行缺乏足夠的網(wǎng)絡維護人員。因此 ，高效的網(wǎng)絡存儲建設十分必要。構(gòu)建網(wǎng)絡式存儲 ，避免了巨大的額外支出，大大提高了存儲系統(tǒng)的利用率。具體需求1、應用數(shù)據(jù)的全

6、自動備份：減少系統(tǒng)管理員的工作量；增加備份效率 、壓縮備份時間 ；使數(shù)據(jù)備份工作形成制度化、科學化 ；消除備份過程因操作不當導致的嚴重損失；聲稱遠程保留的為災難恢復目的的介質(zhì)。2、對介質(zhì)的有效管理：增加軟件對介質(zhì)存儲的限制，防止讀寫操作錯誤；保留介質(zhì)內(nèi)容的電子記錄 ；對數(shù)據(jù)形成分門別類的介質(zhì)存儲，使數(shù)據(jù)管理更加細致、科學 ；自動校驗介質(zhì)，確保介質(zhì)上的數(shù)據(jù)安全無誤。3、實現(xiàn)數(shù)據(jù)的集中管理：按備份服務器形成數(shù)據(jù)中心，對各種應用系統(tǒng)及其他信息數(shù)據(jù)形成集中的備份，減少每個應用業(yè)務人員的工作負擔，免除客戶端備份的投資；形成數(shù)據(jù)管理策略 ，保證數(shù)據(jù)的安全性。4、實現(xiàn)數(shù)據(jù)的自動恢復：業(yè)務人員可容易地自動恢復

7、文件的誤刪除；維護人員可以自動恢復損壞的整個文件系統(tǒng)。. 學習幫手 .專業(yè)整理 .5、建立歷史數(shù)據(jù)歸檔：保留大量歷史數(shù)據(jù)到電子介質(zhì)，為商業(yè)競爭和企業(yè)發(fā)展保留第一手分析和歷史資料；有規(guī)范地歸檔 ，清除系統(tǒng)中被占用的空間以保證主機處于運行狀態(tài)。6、實現(xiàn)數(shù)據(jù)的分級存儲管理（ HSM ）。7、防毒安全備份管理。第二章 數(shù)據(jù)特點分析和數(shù)據(jù)訪問特點2.1 數(shù)據(jù)特點分析1、及時性有效性2、準確性可靠性3、連續(xù)性可擴性4、開放性多功能性5、安全性保密性2.2 數(shù)據(jù)訪問特點快速增長的金融行業(yè)不光面臨著市場變化快，產(chǎn)品更新快 、營銷策略變化快、業(yè)務運作變化快等挑戰(zhàn)，還面臨這信息安全存儲和及時訪問、信息的集中化存儲

8、 信息存儲整合、. 學習幫手 .專業(yè)整理 .信息和數(shù)據(jù)的有效備份、及時的恢復 、信息和數(shù)據(jù)的歸檔等技術(shù)應用層面的難題。相比其他行業(yè)，他們要在一個集中的點上，管理全國乃至全球極大的交易數(shù)據(jù)需要瞬間數(shù)據(jù)訪問 、高安全性和異地存儲等功能，金融機構(gòu)對于災后恢復時間的容忍度是所有行業(yè)中最小的 。第三章 存儲系統(tǒng)設計3.1 磁盤選擇選用 DELL MD3600f磁盤陣列其規(guī)格為3.5 英寸- 7,200 RPM近線 SAS 硬盤 ，容量規(guī)格為2 TB接口類型因為采用近線SAS 硬盤 ，所以其接口為串行SCSI 接口 。. 學習幫手 .專業(yè)整理 .盤塊個數(shù)由于 該領域某單位或企業(yè)當前實際數(shù)據(jù)量為2TB，預計

9、該系統(tǒng)的數(shù)據(jù)每年增長量是30%按未來 5 年的需求設計 ，所以五年后數(shù)據(jù)量增加到2*(1+30%)5=7.5TB?？紤]到此項目我們考慮使用RAID10 存儲，所以應增加磁盤數(shù)量 ，所以數(shù)據(jù)量增到7.5*2=15TB所以此處在只考慮存儲數(shù)據(jù)，而不考慮業(yè)務連續(xù)性設計方案的情況下，應購買 MD3600f的數(shù)量為8 個3.2 選擇 RAID 級別3.2.1 RAID10 和 RAID5比較RAID10 和 RAID5 對比 ，這里拿同樣多驅(qū)動器的磁盤來做對比(4個相同的磁盤)，RAID5 可以選擇 3D+1P 的 RAID 方案， RAID10 則可以選擇 2D+2D的 RAID 方案 。從讀寫性能比

10、較 ，讀方面兩者差異不大，但在寫性能方面 ， RAID5的寫代價為 4，而RAID10 寫代價只有2 ，寫性能角度 RAID10 要好于 RAID5.從安全性角度考慮 ， RAID10 的安全性高于 RAID5 。比如當盤1 損壞時 ，對于 RAID10 ，只有當盤 1 對應的鏡象盤損壞，才導致 RAID 失效 。 但是對于 RAID5 ，剩下的 3 塊盤中 ，任何一塊盤故障 ，都將導致 RAID 失效 ， 在恢復的時候 ， RAID10 恢復的速度也快于RAID5 。要求較高的空間利用率，對安全性要求不是特別高 、大文件存儲的系統(tǒng)采用RAID 5 比較好 。 相反，安全性要求很高 ，不計成本

11、 ，小數(shù)據(jù)量頻繁寫入的系統(tǒng)采用RAID10 的方式比較好 。 此處 RAID10 更加貼近于金融數(shù)據(jù)的存儲，因為金融服務類領域小數(shù)據(jù)量頻繁寫. 學習幫手 .專業(yè)整理 .入，而且其數(shù)據(jù)對安全性的要求更高。綜上：選擇 RAID103.3 網(wǎng)絡存儲架構(gòu)選擇介紹SAN （ Storage Area Network存儲局域網(wǎng)絡）采用光纖通道（ Fibre Channel ）技術(shù)通過光纖通道交換機連接存儲陣列和服務器主機，建立專用于數(shù)據(jù)存儲的區(qū)域網(wǎng)絡。在 iSCSI 出現(xiàn)以后 ，用以 IP 技術(shù)搭建的存儲區(qū)域網(wǎng)絡應運而生。以光纖搭建的存儲網(wǎng)絡是FC SAN，以 iSCSI 技術(shù)搭建的存儲網(wǎng)絡叫IP SAN

12、 。 IP SAN 基于十分成熟的以太網(wǎng)技術(shù)，使用標準的 TCP/IP 協(xié)議，數(shù)據(jù)在以太網(wǎng)上進行傳輸。新建立的 SAN 不但可以連接光纖通道設備，而且可以連接SCSI設備 ，這樣保護了用戶以前的投資 。數(shù)據(jù)的可靠性和安全性在實際應用中十分重要。 在 SAN 中可以采用雙環(huán)的方式，建立存儲設備和計算機之間的多條通路，提高了數(shù)據(jù)的可用性；建立虛擬專用網(wǎng)絡可以提高數(shù)據(jù)的可靠性和安全性；同時在SAN 中也可以通過建立雙機容錯、多機集群 ，實現(xiàn) RAID 校驗等方式進一步保證數(shù)據(jù)的安全性和作業(yè)的連續(xù)性。的優(yōu)缺點1.采用光纖通道（ FibreChannel ）技術(shù) ，通過光纖通道交換機連接存儲陣列和服務器

13、主機，建立專用于數(shù)據(jù)存儲的局域網(wǎng)絡。. 學習幫手 .專業(yè)整理 .2.專用存儲網(wǎng)絡協(xié)議，傳輸速率高且穩(wěn)定性好，高擴展性 ，配置靈活 。3.熱插拔性 、高速帶寬 、遠程連接 、連接設備數(shù)量大。4.成本高 ，不能提供跨平臺文件共享。與 FC-SAN 的比較1 ）數(shù)據(jù)傳輸性能方面的比較在實際的對比測試中表明在同樣的1Gbps的光纖鏈路 （FC）與 1Gbps的千兆以太網(wǎng)（IP）中進行數(shù)據(jù)傳輸時， FC 的實際利用率在70%80% 左右 ，最高可達90% ；而在千兆以太網(wǎng)中 ，其實際利用率平均在20% 左右 ，最高也只能達到30% 左右 。 在以太網(wǎng)中并不能提供針對存儲大數(shù)據(jù)量以及I/O應用中所需要的好

14、的性能。這也是在存儲局域網(wǎng)設計之初沒有考慮IP 存儲的原因 ，雖然 TCP/IP 傳輸協(xié)議的出現(xiàn)較FCP 傳輸協(xié)議出現(xiàn)得早。2 ）存儲設備的結(jié)構(gòu)比較一般來說 IP-SAN 存儲設備的磁盤控制器不是采用FC-SAN 存儲設備中的硬件RAID 芯片 + 中央處理器的結(jié)構(gòu) ，而是每個磁盤柜中分為多個磁盤組 ，而每個磁盤組有一個微處理芯片控制所有的磁盤 RAID 操作 （采用軟件計算 ，效率較低 ）和 RAID 組的管理操作 。這樣一來 ，每一次磁盤 I/O 操作都將經(jīng)過 IP-SAN 存儲內(nèi)置的一個類似交換機的設備從前端眾多的主機端口中讀取或?qū)懭霐?shù)據(jù) ，而這些操作都是基于 IP 交換協(xié)議 ，其協(xié)議本

15、身就要求每一. 學習幫手 .專業(yè)整理 .個微處理芯片工作時需要大容量的緩存來支持數(shù)據(jù)包隊列的排隊操作，具有海量存儲的時候，不可能所有的數(shù)據(jù)均載入到系統(tǒng)緩存中這個時候就需要大量的磁盤I/O 操作來查找數(shù)據(jù)，而 IP-SAN 存儲所采用的 SATA 磁盤在這一塊性能非常弱，而且還涉及到一個在 IP 網(wǎng)絡上流動的 ISCSI 數(shù)據(jù)向 ATA 格式數(shù)據(jù)轉(zhuǎn)化的效率損失問題。 也就是說 IP-SAN 存儲存在一個緩存 Cache 到磁盤的數(shù)據(jù) I/O 和數(shù)據(jù)處理瓶頸 。而采用 FC 磁盤的 FC-SAN 存儲設備就不存在這樣的問題。 通過 2 條甚至 4 條冗余的后端光纖磁盤通道 ，可以獲得一個非常高的磁

16、盤讀寫帶寬，而且 FCP 的磁盤讀寫協(xié)議不存在一個數(shù)據(jù)格式轉(zhuǎn)換的問題 ，因為他們內(nèi)部采用的都是SCSI 協(xié)議傳輸 ，避免了效率的損失 。而且 FC-SAN 存儲設備由于光纖交換和數(shù)據(jù)傳輸?shù)母咝?，并不需要很大的緩存就能夠獲得一個好的數(shù)據(jù)命中率和讀寫性能，一般 2Gb 或者 4Gb 即可滿足要求 。 另外由于具備專門的硬件 RAID 校驗控制芯片 ，所以磁盤 RAID 性能將比軟件RAID 性能好很多 ，并且可靠性更好 。3.）從存儲能夠相應的并發(fā)操作能力來看從應用上來說，相對于IP-SAN ， FC-SAN 可以承接更多的并發(fā)訪問用戶數(shù)。當并發(fā)訪問 Storage 的用戶數(shù)不多的情況時 ， F

17、C-SAN 對比 IP-SAN 二者性能相差無幾 。 但一旦當外接用戶數(shù)呈大規(guī)模增長趨勢時 ， FC-SAN 就顯示出其在穩(wěn)定 、安全以及高性能傳輸率等方面的優(yōu)勢 ，不會像 IP-SAN 由于自身傳輸帶寬的瓶頸而導致整個系統(tǒng)的被拖垮。面對大規(guī)模并發(fā)訪問 ，無論是從外接用戶數(shù)規(guī)模來說還是從傳輸性能和穩(wěn)定性來說， FC-SAN 都有著IP-SAN 不可比擬的優(yōu)勢。綜上：. 學習幫手 .專業(yè)整理 .選擇 FCSAN ，由于金融服務業(yè)數(shù)據(jù)并發(fā)性強，且數(shù)據(jù)價值量大，采用 IPSAN 無法滿足對于速度 、并發(fā)性 、安全性的要求，相比之下 ， FCSAN 使得數(shù)據(jù)傳輸過程受外界影響小，對大規(guī)模數(shù)據(jù)請求也可以

18、快速響應，滿足金融服務領域要求，所以選擇FCSAN.存儲架構(gòu)設計圖示第四章 業(yè)務連續(xù)性保障設計 ，給出備份及恢復方案4.1 方案選擇選擇 “兩地三中心 ”的方案策略 。. 學習幫手 .專業(yè)整理 .首先消除單點故障. 學習幫手 .專業(yè)整理 .根據(jù)國家要求以及銀行業(yè)災備標準選擇RPO/RTO. 學習幫手 .專業(yè)整理 .此項目設計采取本地備份與遠程備份相結(jié)合的策略同城災備場景中采用FC SAN 實現(xiàn)數(shù)據(jù)同步復制，可以達到PRO=0 ， RTO 較小，因為采取光纖通道 ，數(shù)據(jù)傳輸速度快，可以盡快恢復數(shù)據(jù)。異地災備場景中采用FCIP 技術(shù)，此技術(shù)是的可以封裝本地FC SAN 的協(xié)議包 ，從而可在 IP

19、上傳輸 ，遠程則有一FCIP 網(wǎng)關 ，將包轉(zhuǎn)換成FC 協(xié)議包 ，此處選擇PRO=0.5 hours，RTO=2 hours 。所以可以滿足兩地三中心的要求。4.2 本地備份基于 FC SAN 的網(wǎng)絡容災架構(gòu)圖對應的備份和恢復方案從上圖中可以看到，備份恢復管理服務器處于主SAN 的應用服務器與容災SAN 的應用. 學習幫手 .專業(yè)整理 .服務器之間 。 其功能主要有以下兩點。數(shù)據(jù)備份 ：當主 SAN 所屬的磁盤數(shù)據(jù)改變時，主應用服務器給備份恢復管理服務器發(fā)出備份命令，然后備份恢復管理服務器給主SAN 發(fā)送備份指令 ，同時給容災應用服務器發(fā)出接收指令。主 SAN 收到備份指令后，通過 FC 備份通

20、道把改變了的數(shù)據(jù)傳輸?shù)饺轂腟AN 中，然后再存儲在容災SAN 所述的磁盤上 。 備份恢復管理服務器的加入，使得在備份數(shù)據(jù)時主應用服務器不再從事備份工作，而只是提供備份數(shù)據(jù)信息。整個備份工作帶來的負載從主應用服務器上剝離 ，備份恢復管理服務器完成了整個的備份數(shù)據(jù)傳輸過程。從而避免了備份數(shù)據(jù)流對正常 LAN 應用的影響 ，解決了在進行備份工作時業(yè)務網(wǎng)絡數(shù)據(jù)擁塞的問題。其備份的流程如下圖所示 。數(shù)據(jù)恢復 ：當主 SAN 所屬的磁盤中的數(shù)據(jù)遭到破壞時，主應用服務器給備份恢復管理服務器發(fā)出恢復命令 。 然后備份恢復管理服務器再把恢復命令傳遞給容災應用服務器，接著容災應用服務器發(fā)送確認信息給備份恢復管理服

21、務器。備份恢復管理服務器收到確認信息后，向容災 SAN 發(fā)恢復指令 ，然后容災 SAN 通過 FC 恢復通道把備份數(shù)據(jù)傳送給主SAN ，如此就完. 學習幫手 .專業(yè)整理 .成了數(shù)據(jù)的恢復。其恢復流程如下圖所示。4.3 遠程備份架構(gòu)圖對應的備份和恢復方案采用異步備份，即定時同步更新兩地的數(shù)據(jù)。由于此前我們確定的RPO=0.5hours ，所以每隔半個小時定時更新遠程數(shù)據(jù)。. 學習幫手 .專業(yè)整理 .恢復方案 ，本地 FC SAN 發(fā)出恢復請求，通過 IP 網(wǎng)絡傳遞給遠程FC SAN ，遠程備份響應請求 ，發(fā)出數(shù)據(jù)傳輸信號，本地接收信號后，準備接收數(shù)據(jù) 。 遠程將數(shù)據(jù)打包通過IP 傳輸給本地存儲陣列。采用 FCIP 的好處綜合了光纖與IP 的好處 ，保存了光纖網(wǎng)低延遲、高可靠性的優(yōu)點，又利用的IP 網(wǎng)絡對于傳輸距離的優(yōu)勢，解決了 F