金融企業(yè)分布式存儲(chǔ)技術(shù)方案設(shè)計(jì)

1、 金融企業(yè)分布式存儲(chǔ)方案設(shè)計(jì) 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc66555476 金融企業(yè)分布式存儲(chǔ)方案設(shè)計(jì) PAGEREF _Toc66555476 h 1 HYPERLINK l _Toc66555477 1、項(xiàng)目概述 PAGEREF _Toc66555477 h 3 HYPERLINK l _Toc66555478 1.1 項(xiàng)目背景 PAGEREF _Toc66555478 h 3 HYPERLINK l _Toc66555479 1.2 項(xiàng)目需求 PAGEREF _Toc66555479 h 3 HYPERLINK l _Toc66555480 2

2、、架構(gòu)設(shè)計(jì) PAGEREF _Toc66555480 h 5 HYPERLINK l _Toc66555481 2.1 硬件平臺(tái) PAGEREF _Toc66555481 h 5 HYPERLINK l _Toc66555482 2.2 總體架構(gòu)設(shè)計(jì) PAGEREF _Toc66555482 h 6 HYPERLINK l _Toc66555483 2.3 兩種部署方式 PAGEREF _Toc66555483 h 7 HYPERLINK l _Toc66555484 3、網(wǎng)絡(luò)設(shè)計(jì)方案 PAGEREF _Toc66555484 h 9 HYPERLINK l _Toc66555485 3.1

3、在機(jī)架式服務(wù)器上使用組網(wǎng)方案 PAGEREF _Toc66555485 h 9 HYPERLINK l _Toc66555486 3.2 在刀片服務(wù)器上使用組網(wǎng)方案 PAGEREF _Toc66555486 h 10【摘要】本文分析了金融行業(yè)機(jī)構(gòu)對(duì)于核心存儲(chǔ)的需求、采用分布式存儲(chǔ)方案的架構(gòu)設(shè)計(jì)、網(wǎng)絡(luò)設(shè)計(jì)。1、項(xiàng)目概述1.1 項(xiàng)目背景目前我司所處的金融行業(yè)也正處于技術(shù)更新?lián)Q代變革的時(shí)代，傳統(tǒng)依托于大小機(jī)的各種系統(tǒng)逐漸過渡到云端，X86架構(gòu)逐漸成為趨勢(shì)與主流，以各大銀行為代表的金融行業(yè)開始逐漸采用虛擬化與云計(jì)算技術(shù)來構(gòu)建IT系統(tǒng)，提升IT系統(tǒng)的資源利用率。計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)之間的協(xié)調(diào)聯(lián)動(dòng)，構(gòu)建了一個(gè)

4、完整的云平臺(tái)生態(tài)環(huán)境；傳統(tǒng)的集中式存儲(chǔ)由于穩(wěn)定可靠，一度成為金融機(jī)構(gòu)在建設(shè)IT系統(tǒng)時(shí)候的首要選擇。然而，在新時(shí)代，新技術(shù)以及新需求的背景下，傳統(tǒng)SAN在企業(yè)基礎(chǔ)設(shè)施池化、云化中面臨了很多問題：存儲(chǔ)資源彈性問題：多業(yè)務(wù)負(fù)載、資源的動(dòng)態(tài)需求變化存儲(chǔ)擴(kuò)展的問題：共享、擴(kuò)展面臨了諸多的瓶頸和問題（機(jī)頭、前后端網(wǎng)絡(luò)、CPU/Cache與HDD不同步問題）形態(tài)和實(shí)施的成本、復(fù)雜性問題：獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)，建設(shè)成本高、實(shí)施復(fù)雜（初始實(shí)施、擴(kuò)減容等）容錯(cuò)和可靠性問題：大規(guī)模集群中容忍的故障域問題（跨機(jī)柜、跨機(jī)房），硬盤重建時(shí)間長(zhǎng)問題針對(duì)上述問題，近些年來新興的基于X86平臺(tái)的分布式存儲(chǔ)系統(tǒng)滿足了業(yè)務(wù)平臺(tái)日益增長(zhǎng)的

5、存儲(chǔ)需求，為業(yè)務(wù)平臺(tái)提供高安全性、高可靠性、高可用性和開放性的存儲(chǔ)服務(wù)。基于X86平臺(tái)的分布式存儲(chǔ)系統(tǒng)基于分布式處理技術(shù)、虛擬化技術(shù)和集群技術(shù)實(shí)現(xiàn)，作為云計(jì)算資源池存儲(chǔ)資源池的一部分，為計(jì)算資源池提供高速、可靠、安全的塊存儲(chǔ)服務(wù)。1.2 項(xiàng)目需求在大數(shù)據(jù)時(shí)代背景下，金融行業(yè)各個(gè)企業(yè)逐漸地將這些理念融合到自身業(yè)務(wù)發(fā)展之中，并加以創(chuàng)新，期望通過借助大數(shù)據(jù)的能力，更加深入了解客戶，控制風(fēng)險(xiǎn)。金融行業(yè)機(jī)構(gòu)繼續(xù)推進(jìn)互聯(lián)網(wǎng)金融戰(zhàn)略，探索互聯(lián)網(wǎng)金融為銀行卡數(shù)據(jù)挖掘、遠(yuǎn)程開戶、虛擬卡發(fā)行等業(yè)務(wù)帶來的新機(jī)遇，并結(jié)合市場(chǎng)需求和新興技術(shù)推出網(wǎng)購一鍵支付、互聯(lián)網(wǎng)跨行智能收付平臺(tái)、云POS等新興支付服務(wù)和產(chǎn)品。一直以來

6、金融行業(yè)機(jī)構(gòu)對(duì)于數(shù)據(jù)中心的核心存儲(chǔ)的基本要求卻一直很明確：1、高性能移動(dòng)支付業(yè)務(wù)正走在高速發(fā)展的道路上，在過去幾年乃至未來幾年必定會(huì)是產(chǎn)業(yè)各方競(jìng)爭(zhēng)的焦點(diǎn)。從2015年初一直到2016年帶二季度，據(jù)統(tǒng)計(jì)全國第三方支付市場(chǎng)規(guī)模一直保持著季度間20%以上的增長(zhǎng)速度。在具體業(yè)務(wù)場(chǎng)景中，每秒的交易筆數(shù)也在穩(wěn)步增長(zhǎng)，尤其是在某些特定的節(jié)假日或者品牌促銷日中，會(huì)迎來交易業(yè)務(wù)的高峰。從企業(yè)角度衡量，后端交易系統(tǒng)為了保證業(yè)務(wù)的穩(wěn)定運(yùn)行，勢(shì)必需要對(duì)存儲(chǔ)系統(tǒng)提出高性能、高帶寬的嚴(yán)格要求。面對(duì)超大規(guī)模的數(shù)據(jù)請(qǐng)求和節(jié)點(diǎn)數(shù)，存儲(chǔ)系統(tǒng)應(yīng)該有能力進(jìn)行高效的均衡負(fù)載，充分發(fā)揮空閑節(jié)點(diǎn)的資源保障存儲(chǔ)服務(wù)質(zhì)量，提高系統(tǒng)的運(yùn)行效能；

7、并根據(jù)存儲(chǔ)設(shè)備的性能為業(yè)務(wù)選擇合適的存儲(chǔ)資源，對(duì)業(yè)務(wù)進(jìn)行依據(jù)服務(wù)等級(jí)協(xié)議（SLA）進(jìn)行多層次自動(dòng)負(fù)載均衡和調(diào)度。2、高可靠性對(duì)于金融行業(yè)機(jī)構(gòu)來說，數(shù)據(jù)安全永遠(yuǎn)排在所有需求的首位。金融行業(yè)數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)首先應(yīng)該具備的就是高可靠性。存儲(chǔ)系統(tǒng)自身因該具有一定的容災(zāi)備份的能力，包括多副本存儲(chǔ)、增量備份、實(shí)時(shí)快照、數(shù)據(jù)復(fù)制、數(shù)據(jù)遷移以及無條件的數(shù)據(jù)恢復(fù)能力。甚至于隨著數(shù)據(jù)增長(zhǎng)，存儲(chǔ)規(guī)模擴(kuò)大到一定程度的時(shí)候，很難在一個(gè)數(shù)據(jù)中心內(nèi)進(jìn)行資源管理，存儲(chǔ)系統(tǒng)應(yīng)該能夠提供跨數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)服務(wù)，并支持跨域訪問、異地容災(zāi)備份、異地雙活等能力。新的存儲(chǔ)系統(tǒng)的高可靠性同時(shí)也應(yīng)該體現(xiàn)在能夠提供租戶和業(yè)務(wù)的隔離，以及億

8、用戶外單位、以業(yè)務(wù)為單位、以存儲(chǔ)硬件為單位的數(shù)據(jù)隔離策略上，通過豐富的管理策略，進(jìn)一步保證數(shù)據(jù)安全，為數(shù)據(jù)中心的長(zhǎng)久無錯(cuò)運(yùn)行保駕護(hù)航。3、擴(kuò)容方便面對(duì)互聯(lián)網(wǎng)金融和普惠金融的發(fā)展，現(xiàn)有的數(shù)據(jù)中心無法像以前一樣預(yù)估資源的消耗，因而，沒有辦法保證一次性采購足夠的存儲(chǔ)，從另一個(gè)角度來說，預(yù)估采購會(huì)造成資源的階段性冗余和浪費(fèi)。在存儲(chǔ)設(shè)備的使用過程中，任何企業(yè)不可避免的會(huì)遇到調(diào)整存儲(chǔ)資源池的需求。要求存儲(chǔ)資源池根據(jù)業(yè)務(wù)的需求增加或者減少存儲(chǔ)設(shè)備并且會(huì)要求在調(diào)整的過程中，盡量減少對(duì)業(yè)務(wù)的影響，即業(yè)務(wù)不能被中斷。因而一個(gè)支持平滑擴(kuò)容，無需中斷業(yè)務(wù)即可無縫擴(kuò)展的存儲(chǔ)架構(gòu)是現(xiàn)有背景下所急需的。基于X86的分布式存

9、儲(chǔ)系統(tǒng)能夠針對(duì)業(yè)務(wù)進(jìn)行專業(yè)化的策略管理的新型存儲(chǔ)系統(tǒng)，例如根據(jù)業(yè)務(wù)的變化彈性配額、根據(jù)業(yè)務(wù)量的變化彈性存儲(chǔ)性能擴(kuò)展等；提供對(duì)租戶和業(yè)務(wù)的隔離以及以用戶為單位、以業(yè)務(wù)為單位、以存儲(chǔ)容器為單位的數(shù)據(jù)隔離。4、存儲(chǔ)系統(tǒng)的通用性強(qiáng)系統(tǒng)要支持自動(dòng)對(duì)硬件資源的部署、優(yōu)化和管理，將各類存儲(chǔ)資源進(jìn)行靈活的配置，實(shí)現(xiàn)應(yīng)用按需求（容量、性能、QoS、SLA等）進(jìn)行分配。同時(shí)可以對(duì)外提供豐富的標(biāo)準(zhǔn)接口，如文件系統(tǒng)接口（NFS、CIFS）、塊接口（iSCIS、FC）或者對(duì)象接口（S3、SWIFT）；對(duì)內(nèi)能夠提供標(biāo)準(zhǔn)的管理接口進(jìn)行配置，通過策略服務(wù)滿足應(yīng)用和客戶所需的存儲(chǔ)資源，無需人工干預(yù)。由于之前存儲(chǔ)系統(tǒng)緊耦合的原因

10、，造成了現(xiàn)有數(shù)據(jù)中內(nèi)部常常出現(xiàn)多廠家不同型號(hào)的存儲(chǔ)設(shè)備共存的現(xiàn)象，這些存儲(chǔ)設(shè)備之間往往沒有通用的接口，并且存在技術(shù)壁壘，維保服務(wù)需要獨(dú)立采購?；赬86架構(gòu)的分布式存儲(chǔ)系統(tǒng)使得用戶在通用硬件設(shè)備和上層軟件服務(wù)的選擇上更自主、范圍更廣。同時(shí)新存儲(chǔ)系統(tǒng)應(yīng)該支持自動(dòng)化簡(jiǎn)化異構(gòu)存儲(chǔ)設(shè)備快速接入和統(tǒng)一管理，對(duì)數(shù)據(jù)中心內(nèi)部的存儲(chǔ)資源實(shí)施一致的策略。將傳統(tǒng)的不同廠家、不同型號(hào)的存儲(chǔ)產(chǎn)品利用起來，節(jié)約資源。5、存儲(chǔ)系統(tǒng)應(yīng)該方便部署、易于管理傳統(tǒng)存儲(chǔ)系統(tǒng)在建設(shè)過程中在，需要配置交換機(jī)、劃分LUN、配置主機(jī)組、映射、識(shí)別、多路徑聚合等多步操作，十分麻煩；新的存儲(chǔ)系統(tǒng)應(yīng)該將簡(jiǎn)化運(yùn)維的理念貫徹實(shí)施，具有簡(jiǎn)化部署的功能

11、，并且在日常管理和錯(cuò)誤處理方面能夠?qū)崿F(xiàn)自動(dòng)化，例如當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，系統(tǒng)能夠自動(dòng)將數(shù)據(jù)復(fù)制到健康節(jié)點(diǎn)，重新進(jìn)行負(fù)載均衡，整個(gè)過程無需人工參與。存儲(chǔ)系統(tǒng)應(yīng)該為管理人員提供全面的存儲(chǔ)可視化，深入洞悉存儲(chǔ)與應(yīng)用的關(guān)系，為存儲(chǔ)可能出現(xiàn)的問題和趨勢(shì)以及對(duì)存儲(chǔ)資源的優(yōu)化與使用進(jìn)行報(bào)告和預(yù)警。智能化的采集和分析，使得存儲(chǔ)資源被更加高效地利用。例如對(duì)存儲(chǔ)IOPS、存儲(chǔ)吞吐量以及存儲(chǔ)容量的使用進(jìn)行動(dòng)態(tài)的監(jiān)測(cè)和預(yù)測(cè)，方便管理人員對(duì)存儲(chǔ)現(xiàn)有情況進(jìn)行了解和及時(shí)對(duì)未來存儲(chǔ)的擴(kuò)容進(jìn)行規(guī)劃。2、架構(gòu)設(shè)計(jì)2016年底，我司計(jì)劃在創(chuàng)新研究環(huán)境中引入分布式存儲(chǔ)技術(shù)，并為OpenStack私有云平臺(tái)提供服務(wù)，計(jì)算存儲(chǔ)耦合聯(lián)動(dòng)，

12、實(shí)現(xiàn)整體架構(gòu)上的分布式。一期項(xiàng)目規(guī)模為6個(gè)節(jié)點(diǎn)，采用3副本，共提供80T的存儲(chǔ)空間，主要業(yè)務(wù)租戶為創(chuàng)新研究所需的虛擬機(jī)。2.1 硬件平臺(tái)2.1.1 存儲(chǔ)服務(wù)器選型本次項(xiàng)目服務(wù)器的詳細(xì)配置如下：2.2 總體架構(gòu)設(shè)計(jì)分布式云存儲(chǔ)系統(tǒng)的核心是統(tǒng)一管理存儲(chǔ)資源，面向云平臺(tái)，提供多樣化的數(shù)據(jù)服務(wù)。分布式云存儲(chǔ)系統(tǒng)將應(yīng)用與底層存儲(chǔ)解耦，不依賴于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定。在未來數(shù)據(jù)中心全面轉(zhuǎn)型，整體上云的過程中，實(shí)現(xiàn)存儲(chǔ)與計(jì)算、網(wǎng)絡(luò)資源的聯(lián)動(dòng)，順應(yīng)數(shù)據(jù)價(jià)值鏈向服務(wù)轉(zhuǎn)移。圖 2-1 分布式云存儲(chǔ)系統(tǒng)架構(gòu)示意圖分布式云存儲(chǔ)系統(tǒng)主要由基于分布式架構(gòu)的分布式存儲(chǔ)系統(tǒng)和輕量化異構(gòu)存儲(chǔ)統(tǒng)一管理組件構(gòu)成。基于分布式架構(gòu)的

13、分布式存儲(chǔ)運(yùn)行在標(biāo)準(zhǔn)的X86服務(wù)器之上，利用虛擬化技術(shù)，將集群中的存儲(chǔ)資源虛擬化為存儲(chǔ)池，并向上提供塊設(shè)備、文件和對(duì)象存儲(chǔ)服務(wù)。同時(shí)，分布式存儲(chǔ)具有高性能，能夠輕松應(yīng)對(duì)各類高負(fù)載管理的要求，其中包括業(yè)務(wù)關(guān)鍵型應(yīng)用與核心業(yè)務(wù)系統(tǒng)；多副本及強(qiáng)一致性技術(shù)的應(yīng)用提供高可用特性；極強(qiáng)的橫向擴(kuò)展能力則為業(yè)務(wù)擴(kuò)張帶來的管理維護(hù)提供了極大的靈活性和便利。輕量化異構(gòu)存儲(chǔ)統(tǒng)一管理組件實(shí)現(xiàn)了分布式存儲(chǔ)和集中式存儲(chǔ)的統(tǒng)一自動(dòng)化管理，分布式分布式存儲(chǔ)通過面向存儲(chǔ)統(tǒng)一管理組件開放存儲(chǔ)系統(tǒng)的控制接口，實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的監(jiān)控與運(yùn)維。通過開放的接口，異構(gòu)存儲(chǔ)統(tǒng)一管理組件可以實(shí)現(xiàn)分布式存儲(chǔ)系統(tǒng)的資源劃分與服務(wù)編排，并對(duì)集中式存儲(chǔ)設(shè)備

14、劃分基于不同QoS策略的虛擬卷服務(wù)于云平臺(tái)，實(shí)現(xiàn)與計(jì)算、網(wǎng)絡(luò)的聯(lián)動(dòng)。2.3 兩種部署方式在實(shí)際部署中，依據(jù)計(jì)算資源與存儲(chǔ)資源是否集中，分布式存儲(chǔ)可以采用兩種部署方式，分別為超融合部署方式與分離式部署方式。超融合方式與分離式方式最大的區(qū)別就是超融合在分離式的基礎(chǔ)上，還包含了計(jì)算，并通過內(nèi)部網(wǎng)絡(luò)實(shí)現(xiàn)了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的融合。若使用超融合的部署方式，則虛擬機(jī)和分布式存儲(chǔ)系統(tǒng)均運(yùn)行在相同的物理機(jī)上。典型情況如下圖所示。若使用分離部署的方式，則運(yùn)行虛擬機(jī)的服務(wù)器和存儲(chǔ)系統(tǒng)服務(wù)端位于不同的物理機(jī)。典型情況如下圖所示。經(jīng)過對(duì)比，顯而易見，由于同時(shí)占有計(jì)算和存儲(chǔ)資源以及網(wǎng)絡(luò)帶寬，超融合部署方式在順序讀取與隨機(jī)

15、讀取的場(chǎng)景下，性能上明顯有顯著的衰減。在超融合部署方式的理念下。計(jì)算和存儲(chǔ)會(huì)爭(zhēng)搶CPU/內(nèi)存/網(wǎng)絡(luò)等物理資源，而且計(jì)算和存儲(chǔ)又相互依賴，一旦一方資源需求驟升就是導(dǎo)致另一方資源枯竭，進(jìn)而影響性能并在整個(gè)基礎(chǔ)架構(gòu)中產(chǎn)生漣漪效應(yīng)。其次超融合部署方式在集群規(guī)模較大后，網(wǎng)絡(luò)、硬盤、服務(wù)器發(fā)生故障的概率都會(huì)增大，數(shù)據(jù)重刪、壓縮、加密糾刪碼等功能都用軟件實(shí)現(xiàn)，故障的自修復(fù)和數(shù)據(jù)功能實(shí)現(xiàn)都會(huì)消耗一定的系統(tǒng)資源，導(dǎo)致性能下降和抖動(dòng)。具體兩種部署方案在高可靠、性能、易擴(kuò)展性、彈性以及易管理等方面的對(duì)比如下：結(jié)合業(yè)務(wù)需求與特點(diǎn)，兩種部署方式針對(duì)的應(yīng)用場(chǎng)景如下：3、網(wǎng)絡(luò)設(shè)計(jì)方案3.1 在機(jī)架式服務(wù)器上使用組網(wǎng)方案3.

16、1.1 單柜10GE組網(wǎng)說明：1、服務(wù)器上默認(rèn)配置一塊2x10GE的網(wǎng)卡，分別與兩臺(tái)10GE交換機(jī)連接，兩個(gè)網(wǎng)口做bond，缺省為負(fù)載分擔(dān)規(guī)模2、服務(wù)器的BMC 網(wǎng)口與一臺(tái)GE交換機(jī)連接，GE交換機(jī)上行兩個(gè)GE線纜分別與兩個(gè)10GE交換機(jī)連接3、10GE交換機(jī)下行承擔(dān)內(nèi)部管理、存儲(chǔ)、業(yè)務(wù)平面，10GE上行對(duì)接客戶網(wǎng)絡(luò)，默認(rèn)提供4x10GE，兩臺(tái)10GE交換機(jī)堆疊3.1.2 單柜Infinite Band存儲(chǔ)組網(wǎng)說明：1、服務(wù)器上默認(rèn)配置一塊2x10GE的網(wǎng)卡，分別與兩臺(tái)10GE交換機(jī)連接，兩個(gè)網(wǎng)口做bond，缺省為源目的IP和Port負(fù)荷分擔(dān)模式，對(duì)應(yīng)的交換機(jī)端口配置eth-trunk2、服務(wù)

17、器的BMC 網(wǎng)口與一臺(tái)GE交換機(jī)連接，GE交換機(jī)上行兩個(gè)GE線纜分別與兩個(gè)10GE交換機(jī)連接，對(duì)應(yīng)端口做eth-trunk3、10GE交換機(jī)下行承擔(dān)內(nèi)部管理、業(yè)務(wù)平面網(wǎng)絡(luò)連接，10GE上行對(duì)接客戶網(wǎng)絡(luò)，默認(rèn)提供4x10GE，兩臺(tái)10GE交換機(jī)堆疊4、每臺(tái)服務(wù)器上的兩個(gè)Infinite Band網(wǎng)口分別與兩臺(tái)Infinite Band交換機(jī)連接，兩臺(tái)Infinite Band交換機(jī)之間6根線互連，Infinite Band網(wǎng)口承擔(dān)存儲(chǔ)平面的通信6、后續(xù)擴(kuò)容需要增加10GE匯聚交換機(jī)和Infinite Band主干交換機(jī)3.2 在刀片服務(wù)器上使用組網(wǎng)方案3.2.1 虛擬化10GE 刀片服務(wù)器組網(wǎng)說明：1、每個(gè)刀片配置1個(gè)2x10GE端口的iNIC網(wǎng)卡或普通10GE網(wǎng)卡；2、每個(gè)機(jī)框使用XCUB交換板，通過基本框自級(jí)