云計(jì)算平臺(tái)工程計(jì)算資源池

1、云計(jì)算平臺(tái)工程計(jì)算資源池計(jì)算資源池架構(gòu)服務(wù)器虛擬化技術(shù)很好地解決了傳統(tǒng)服務(wù)器系統(tǒng)建設(shè)的問(wèn)題，通過(guò)提高物理服務(wù)器利用率大幅度消減物理服務(wù)器購(gòu)置需求、數(shù)量和運(yùn)營(yíng)成本；通過(guò)利用服務(wù)器虛擬化中CPU、內(nèi)存、I0資源的動(dòng)態(tài)調(diào)整能力實(shí)現(xiàn)對(duì)業(yè)務(wù)應(yīng)用資源需求的動(dòng)態(tài)響應(yīng)，提升業(yè)務(wù)應(yīng)用的服務(wù)質(zhì)量；通過(guò)在線虛擬機(jī)遷移實(shí)現(xiàn)更高的可用性和可靠性以及各種基于資源優(yōu)化或節(jié)能減排策略的跨物理服務(wù)器的調(diào)度等等。因此，服務(wù)器虛擬化技術(shù)是新一代數(shù)據(jù)中心最理想的解決方案。服務(wù)器虛擬化架構(gòu)設(shè)計(jì)是服務(wù)器虛擬化技術(shù)運(yùn)用的核心，直接決定了整個(gè)服務(wù)器資源體系對(duì)應(yīng)用系統(tǒng)的承載能力、運(yùn)行效率以及可靠性。XX云計(jì)算資源池由機(jī)架式服務(wù)器、刀片服務(wù)器構(gòu)

2、成；刀片服務(wù)器通過(guò)服務(wù)器虛擬化部署一般業(yè)務(wù)系統(tǒng)和web應(yīng)用系統(tǒng)。 機(jī)架式服務(wù)器用于部署管理平臺(tái)和高負(fù)載數(shù)據(jù)庫(kù)服務(wù)器等。服務(wù)器虛擬化架構(gòu)圖如下所示：圖 11：XXMPLS VPN分區(qū)示意圖應(yīng)用系統(tǒng)分析經(jīng)前期需求調(diào)研分析，根據(jù)業(yè)務(wù)特點(diǎn)將XX平臺(tái)所承載的應(yīng)用系統(tǒng)分為大訪問(wèn)量應(yīng)用系統(tǒng)、大計(jì)算量應(yīng)用系統(tǒng)、大數(shù)據(jù)量應(yīng)用系統(tǒng)三類。大訪問(wèn)量應(yīng)用系統(tǒng)大訪問(wèn)量應(yīng)用系統(tǒng)如政府門戶網(wǎng)站、氣象查詢等web類應(yīng)用系統(tǒng)，這類應(yīng)用的特點(diǎn)是業(yè)務(wù)邏輯簡(jiǎn)單，不同業(yè)務(wù)請(qǐng)求互不關(guān)聯(lián)，但請(qǐng)求的并發(fā)量根據(jù)業(yè)務(wù)特點(diǎn)不同可能很大，如水利信息網(wǎng)在災(zāi)害天氣下訪問(wèn)量將劇增。大訪問(wèn)量應(yīng)用系統(tǒng)要求對(duì)大量互不關(guān)聯(lián)的并發(fā)請(qǐng)求進(jìn)行快速響應(yīng)。這種情況下，需要應(yīng)

3、用服務(wù)器有足夠數(shù)量的線程響應(yīng)請(qǐng)求，而單個(gè)線程計(jì)算量不大，因而對(duì)單個(gè)CPU處理性能要求不高，可通過(guò)提供足夠CPU用服務(wù)器數(shù)量來(lái)滿足需求。XX云計(jì)算平臺(tái)通過(guò)虛擬化技術(shù)為大訪問(wèn)量應(yīng)用系統(tǒng)部署是大小配置的虛擬機(jī)作為應(yīng)用服務(wù)器，多應(yīng)用服務(wù)器工作在負(fù)載均衡模式，提升用戶使用體驗(yàn)。大訪問(wèn)量應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)庫(kù)要求不高，配置一般虛擬機(jī)即可滿足要求。大計(jì)算量應(yīng)用系統(tǒng) 大計(jì)算量應(yīng)用系統(tǒng)如數(shù)字城管、GIS地理信息系統(tǒng)等復(fù)雜信息處理系統(tǒng)，這樣應(yīng)用的特點(diǎn)是計(jì)算量較大、運(yùn)算復(fù)雜、內(nèi)存需求大，對(duì)服務(wù)器計(jì)算性能要求高。建議配置單一高性能虛擬服務(wù)器。大計(jì)算量應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)庫(kù)要求不高，配置一般虛擬機(jī)即可滿足要求。大數(shù)據(jù)量應(yīng)用系統(tǒng) 大

4、計(jì)算量應(yīng)用系統(tǒng)流動(dòng)人口管理、社保管理系統(tǒng)等。根據(jù)數(shù)據(jù)庫(kù)儲(chǔ)存模式不同，可分為文件型和數(shù)據(jù)庫(kù)的系統(tǒng)。 數(shù)據(jù)庫(kù)型大量數(shù)據(jù)量應(yīng)用系統(tǒng)要求較高性能數(shù)據(jù)庫(kù)服務(wù)器。建議配置強(qiáng)大的數(shù)據(jù)庫(kù)服務(wù)器，提供足夠的CPU、Memory及IO性能來(lái)處理大量的數(shù)據(jù)，根據(jù)應(yīng)用系統(tǒng)重要級(jí)別，數(shù)據(jù)庫(kù)服務(wù)器可以選用虛擬物理器或物理服務(wù)器，應(yīng)用服務(wù)器業(yè)務(wù)邏輯簡(jiǎn)單，對(duì)配置要求不高，配置 虛擬機(jī)即可滿足要求。 文件型大數(shù)據(jù)兩應(yīng)用系統(tǒng)基礎(chǔ)數(shù)據(jù)量大，通過(guò)傳統(tǒng)的集中儲(chǔ)存方式，存儲(chǔ)并發(fā)讀寫IO能力無(wú)法滿足計(jì)算資源要求，建議通過(guò)并行計(jì)算模型實(shí)現(xiàn)。根據(jù)業(yè)務(wù)計(jì)算特點(diǎn)，服務(wù)器可靈活選擇虛擬機(jī)或物理服務(wù)器。計(jì)算資源池建議配置與選型建議計(jì)算資源池建議配置

5、經(jīng)咨詢H3C、IBM、HP、微軟、紅帽、VMware等行業(yè)主流云計(jì)算常商，云計(jì)算平臺(tái)的建設(shè)，從避免浪費(fèi)和規(guī)模效應(yīng)的角度考慮，最佳實(shí)踐經(jīng)驗(yàn)是從50臺(tái)物理服務(wù)器的規(guī)模開始建設(shè)，然后根據(jù)實(shí)際業(yè)務(wù)發(fā)展情況按需擴(kuò)容、滾動(dòng)建設(shè)。本期工程以XX單位XX的實(shí)際情況為基礎(chǔ)參照行業(yè)主流云計(jì)算廠商的建議進(jìn)行設(shè)計(jì)考慮?？紤]不同業(yè)務(wù)系統(tǒng)的負(fù)載差異，本期工程同時(shí)配置刀片服務(wù)器和機(jī)架式服務(wù)器。 參考各廠商建議，用作WEB服務(wù)器時(shí)，一臺(tái)物理服務(wù)器最多可以虛擬12臺(tái)虛擬機(jī)；用作應(yīng)用服務(wù)器時(shí)，一臺(tái)物料服務(wù)器最多可以虛擬7臺(tái)虛擬機(jī).。本工程，刀片服務(wù)器按照每臺(tái)虛擬10臺(tái)虛擬機(jī)，刀片服務(wù)器虛擬化后的虛擬機(jī)建議部署一般web/應(yīng)用服務(wù)

6、器；高性能服務(wù)器按照每臺(tái)虛擬8臺(tái)虛擬機(jī)，高性能服務(wù)器虛擬化后的虛擬機(jī)建議部署重載應(yīng)用/數(shù)據(jù)庫(kù)服務(wù)器。 統(tǒng)籌考慮不同應(yīng)用系統(tǒng)對(duì)硬件資源的需求差異，建議配置刀片服務(wù)器XX套，2路機(jī)架式服務(wù)器X臺(tái)，4路機(jī)架式服務(wù)器XX臺(tái)。 其中X臺(tái)2路機(jī)架式服務(wù)器用于云計(jì)算管理平臺(tái)，X臺(tái)4路機(jī)架式服務(wù)器作為測(cè)試服務(wù)器（計(jì)劃用來(lái)支持各類移動(dòng)辦公等移動(dòng)應(yīng)用，統(tǒng)一納入XX單位信息中心監(jiān)控管理）。計(jì)算資源池刀片服務(wù)器和4路機(jī)架式服務(wù)器組成，其中XX臺(tái)刀片服務(wù)器可以虛擬化為XXX臺(tái)虛擬機(jī)，XX臺(tái)高性能機(jī)架式服務(wù)器可以虛擬化XXX臺(tái)虛擬機(jī)，平臺(tái)共計(jì)XXX臺(tái)虛擬機(jī)。 一般應(yīng)用系統(tǒng)需要web服務(wù)器、應(yīng)用服務(wù)器各2臺(tái)，采用應(yīng)用負(fù)載均

7、衡做集群，數(shù)據(jù)庫(kù)服務(wù)器2臺(tái)做互備，共需6臺(tái)虛擬機(jī)。對(duì)于大型數(shù)量應(yīng)用，大型數(shù)據(jù)庫(kù)可直接部署在高性能物理服務(wù)器，通過(guò)多實(shí)例共享面向不同業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)庫(kù)管理平臺(tái)服務(wù)，則需4臺(tái)虛擬機(jī)和共享使用兩臺(tái)物理服務(wù)器。 按此測(cè)算，本期建設(shè)規(guī)模在滿足50個(gè)部門50套應(yīng)用系統(tǒng)需求之外還能有一定的冗余，冗余的資源可以用于安裝數(shù)據(jù)備份軟件、目錄服務(wù)器、安全軟件等平臺(tái)相關(guān)軟件外，同時(shí)作為備用資源。今后還可以視實(shí)際需求增加計(jì)算資源，同步配套建設(shè)網(wǎng)絡(luò)資源、存儲(chǔ)資源及信息安全設(shè)備等，按照需擴(kuò)容、滾動(dòng)建設(shè)的方式滿足省直部門的需求。 本期新增計(jì)算資源配置如下圖表所示： 此外，每臺(tái)物理服務(wù)器要求配置不少于3個(gè)千兆以太網(wǎng)電口，分別用

8、于虛擬化平臺(tái)管理口、應(yīng)用系統(tǒng)對(duì)外提供服務(wù)、連接NAS 存儲(chǔ)設(shè)備。 未來(lái)實(shí)際應(yīng)用中，還將根據(jù)各廳局的復(fù)雜性，比如高吞吐量、高計(jì)算、高訪問(wèn)量類業(yè)務(wù)系統(tǒng)對(duì)計(jì)算資源的需要進(jìn)行調(diào)整。服務(wù)器選型建議 宿主機(jī)服務(wù)器架構(gòu)是虛擬化架構(gòu)的關(guān)鍵組件，也是服務(wù)器整合比例和成本分析的重要變量。宿主機(jī)服務(wù)器處理大量整合服務(wù)器的工作負(fù)載的能力會(huì)提高整合比例并有助于提供滿足需要的成本收益，以下提供二種宿主機(jī)服務(wù)器的參考架構(gòu)。 宿主服務(wù)器的系統(tǒng)架構(gòu)是指對(duì)服務(wù)器硬件自身的一般分類，例如包括機(jī)架式服務(wù)器、刀片式服務(wù)器。在選在系統(tǒng)架構(gòu)時(shí)，首先要考慮的原則是每個(gè)宿主機(jī)將運(yùn)行包含多種負(fù)載的多個(gè)客戶機(jī)。處理器、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)能力以及高速

9、的I/O和低延遲都很關(guān)鍵，重要的是要保證這些分類中的每一個(gè)宿主機(jī)服務(wù)器能夠提供所需要滿足的處理能力。 A）標(biāo)準(zhǔn)機(jī)架式服務(wù)器最常見的系統(tǒng)架構(gòu)是標(biāo)準(zhǔn)機(jī)架式服務(wù)器。典型的是2U或4U的型號(hào)，這些服務(wù)器一般包含2到4個(gè)CPU插座，2到8個(gè)PCIE或PCIX插槽，4到6個(gè)硬盤托架。由于其在2和4個(gè)插座服務(wù)器商品中的低成本，以及通過(guò)增加網(wǎng)卡和HBA插槽提供與生俱來(lái)的可擴(kuò)展性，機(jī)架式服務(wù)器是虛擬宿主機(jī)服務(wù)器的最佳選擇。B）刀片式服務(wù)器隨著對(duì)能力和服務(wù)器密度不斷增加的需求，刀片式服務(wù)器在普及程度和能力上都獲得了顯著的提高。在選擇刀片服務(wù)器時(shí)，需要考慮刀片式架構(gòu)中的每個(gè)刀片所包含CPU數(shù)及最大內(nèi)存。對(duì)于每個(gè)宿主

10、機(jī)服務(wù)器用于支持一定數(shù)量的客戶機(jī)所需的網(wǎng)絡(luò)和存儲(chǔ)I/O必須加以仔細(xì)考慮，以保證刀片上運(yùn)行的每個(gè)宿主機(jī)服務(wù)器和刀片底盤自身能夠提供支持。計(jì)算資源池部署應(yīng)用服務(wù)器部署應(yīng)用服務(wù)器可部署在虛擬機(jī)系統(tǒng)（VM）和物理PC服務(wù)器。當(dāng)應(yīng)用服務(wù)器負(fù)載接近單臺(tái)物理服務(wù)器性能時(shí)，可直接部署于物理服務(wù)器，一般應(yīng)用服務(wù)器部署在虛擬機(jī)上。根據(jù)應(yīng)用系統(tǒng)的可用性要求等級(jí)不同，在虛擬機(jī)上實(shí)現(xiàn)高可用的方式有以下三種，虛擬機(jī)熱遷移，虛擬機(jī)HA，物理機(jī)HA。虛擬機(jī)熱遷移用于滿足計(jì)劃內(nèi)停機(jī)維護(hù)操作。當(dāng)服務(wù)器需要停機(jī)執(zhí)行維護(hù)操作時(shí)，可通過(guò)虛擬機(jī)熱遷移功能，將某一物理服務(wù)器上的虛擬機(jī)動(dòng)態(tài)遷移至另一物理服務(wù)器。動(dòng)態(tài)遷移過(guò)程，業(yè)務(wù)不中斷，不影

11、響用戶的正常訪問(wèn)。虛擬機(jī)HA用于滿足一般應(yīng)用服務(wù)器計(jì)劃外宕機(jī)。當(dāng)發(fā)生服務(wù)器故障時(shí)，通過(guò)虛擬機(jī)HA，虛擬機(jī)可在其他的物理服務(wù)器上自動(dòng)重啟，實(shí)現(xiàn)故障轉(zhuǎn)移。此過(guò)程會(huì)引起短暫業(yè)務(wù)中斷，業(yè)務(wù)中斷時(shí)間由虛擬機(jī)操作系統(tǒng)在另一物理服務(wù)器上啟動(dòng)的時(shí)間及應(yīng)用系統(tǒng)啟動(dòng)的時(shí)間決定。通過(guò)虛擬機(jī)HA比傳統(tǒng)群集較少一半的服務(wù)器數(shù)量，在保證了一定高可用的同時(shí)提高資源利用率。對(duì)于直接 部署在物理服務(wù)器的應(yīng)用系統(tǒng)，可通過(guò)高可用群集軟件提供可用性保證。在windows系統(tǒng)可配置MSCS群集，在redhat Linux操作系統(tǒng)可配置VCS群集。通過(guò)部署高可用群集，在確保在物理服務(wù)器故障或應(yīng)用故障時(shí)，進(jìn)行快速的故障轉(zhuǎn)移，減小并消除業(yè)務(wù)

12、中斷帶來(lái)的負(fù)面影響。為了能夠提供具有更高可擴(kuò)展性和可靠性的應(yīng)用平臺(tái)，并能夠在服務(wù)器集群中只能地分配負(fù)載，從而確?？蛻糇畲笙薅鹊匕l(fā)揮其應(yīng)用服務(wù)器投資價(jià)值，結(jié)合硬件負(fù)載均衡設(shè)備，為部署在應(yīng)用服務(wù)器上的服務(wù)和應(yīng)用提供最佳的可擴(kuò)展性和性能。關(guān)鍵數(shù)據(jù)庫(kù)部署數(shù)據(jù)庫(kù)服務(wù)區(qū)作為業(yè)務(wù)系統(tǒng)的數(shù)據(jù)處理平臺(tái)，對(duì)服務(wù)區(qū)的I /O處理能力、內(nèi)存、CPU等有較高要求的，建議采用高性能機(jī)架式服務(wù)器部署，不同的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)可通過(guò)多實(shí)例進(jìn)行共享同一物理服務(wù)區(qū)群集。對(duì)服務(wù)器性能要求一般的數(shù)據(jù)庫(kù)管理系統(tǒng)可部署在虛擬機(jī)上。數(shù)據(jù)庫(kù)服務(wù)器做業(yè)務(wù)系統(tǒng)的核心節(jié)點(diǎn)，為了保障其的高可用性，建議至少使用2臺(tái)物理服務(wù)器或2臺(tái)虛擬機(jī)做HA。部署虛擬機(jī)

13、上數(shù)據(jù)庫(kù)管理系統(tǒng)可通過(guò)Application HA保證其高可用；部署于物理服務(wù)器的數(shù)據(jù)庫(kù)管理系統(tǒng)可通過(guò)VCS、MSCS或數(shù)據(jù)庫(kù)管理系統(tǒng)自帶群集軟件（RAC）實(shí)現(xiàn)其高可用。虛擬化軟件選型分析目前主流虛擬化平臺(tái)（Hypervisor）主要有以下四種，分別是VMware vSphere、MicroSoft Hyper-V、KVM和Xen。其中KVM和Xen為開源產(chǎn)品。目前部分廠商根據(jù)開源Xen開發(fā)出自己的虛擬平臺(tái)，如 Critix公司的 XenServer。 從虛擬化軟件的成熟度來(lái)看，VMware經(jīng)多年的市場(chǎng)經(jīng)驗(yàn)，產(chǎn)品成熟穩(wěn)定、功能也最為強(qiáng)大。開源KVM、開源XEN來(lái)源于開源社區(qū)，功能單一；基于開源

14、Xen的Citrix XenServer，其功能、穩(wěn)定性、可靠性優(yōu)于開源Xen。 XX虛擬化平臺(tái)的建設(shè)充分考慮產(chǎn)品的成熟性、穩(wěn)定性和開放性。通過(guò)以上比較分析，VMware產(chǎn)品成熟、功能完善，為目前虛擬化市場(chǎng)的主流產(chǎn)品，但其采購(gòu)成本較高；基本開源Xen的部分國(guó)產(chǎn)產(chǎn)品功能不及VMware，但具有更好的性價(jià)比，作為國(guó)產(chǎn)虛擬化平臺(tái)，其安全性也更有保證。充分考慮技術(shù)成熟度和開放性，本項(xiàng)目建議配置VmwareXX套、國(guó)產(chǎn)開源虛擬化軟件XXX套，建成一個(gè)穩(wěn)定、開放、支持異構(gòu)的基礎(chǔ)虛擬化平臺(tái)。 當(dāng)前關(guān)鍵應(yīng)用建議部署在成熟穩(wěn)定的VMware虛擬化平臺(tái)上，非關(guān)鍵應(yīng)用及測(cè)試環(huán)境可部署于國(guó)產(chǎn)開源虛擬化平臺(tái)上。隨著國(guó)產(chǎn)

15、虛擬化平臺(tái)的逐步成熟，在后續(xù)擴(kuò)容中將逐步減少VMware在XX云計(jì)算平臺(tái)的比重。虛擬化管理平臺(tái) 本期計(jì)算資源池采用X86服務(wù)器，虛擬化平臺(tái)管理軟件需實(shí)現(xiàn)高可用性、動(dòng)態(tài)遷移，對(duì)整個(gè)應(yīng)用架構(gòu)實(shí)現(xiàn)統(tǒng)一的安全控制和權(quán)限管理。 目前X86虛擬化平臺(tái)管理軟件主要有兩大類： 一類為虛擬化平臺(tái)原廠提供的。如VMware虛擬化管理平臺(tái)VMware vCenter、Citrix XenServer虛擬化管理平臺(tái)Xen Center、Hyper-V虛擬化管理平臺(tái)Azure，Redhat KTM管理平臺(tái)redhat RHEVM的。各廠商的虛擬化管理平臺(tái)均可較好地管理自家虛擬化平臺(tái)，管理平臺(tái)開放必要的API接口。但是各

16、個(gè)廠商均只能管理自己的Hypervisor，不能管理其它廠商的Hypervisor。 另一類是由第三方廠商提供的。如移動(dòng)大云等，這等虛擬化平臺(tái)管理軟件的優(yōu)點(diǎn)是可以實(shí)現(xiàn)多家虛擬化平臺(tái)的統(tǒng)一管理，但在專用性方面不如各原廠提供的管理軟件。容災(zāi)方案說(shuō)明根據(jù)設(shè)計(jì)原則分布實(shí)現(xiàn)云平臺(tái)系統(tǒng)的容災(zāi)方案：1、第一步實(shí)現(xiàn)云平臺(tái)存儲(chǔ)級(jí)容災(zāi)系統(tǒng)，通過(guò)新購(gòu)虛擬存儲(chǔ)網(wǎng)關(guān)，整合現(xiàn)有異構(gòu)SAN存儲(chǔ)資源池，存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)存儲(chǔ)虛擬化功能，并可滿足數(shù)據(jù)遷移、容災(zāi)等功能，實(shí)現(xiàn)容災(zāi)。該步驟實(shí)現(xiàn)又可分為兩步走，即先建立同城同步容災(zāi)，再建立城際兩地三中心的容災(zāi)。在容災(zāi)中心新購(gòu)買一套虛擬存儲(chǔ)網(wǎng)關(guān)，容災(zāi)中心的存儲(chǔ)設(shè)備可以與生產(chǎn)中心同構(gòu)或異構(gòu)，通過(guò)光纖交換機(jī)構(gòu)成一個(gè)基于存儲(chǔ)區(qū)域網(wǎng)(SAN)的基礎(chǔ)架構(gòu)平臺(tái)。不僅提供容災(zāi)系統(tǒng)使用，也是容災(zāi)中心的統(tǒng)一SAN平臺(tái)。在容災(zāi)中心存儲(chǔ)上按照生產(chǎn)中心實(shí)際存儲(chǔ)部署情況，依照存儲(chǔ)性能相同的原則進(jìn)行存儲(chǔ)設(shè)備的邏輯劃分，每臺(tái)存儲(chǔ)設(shè)備分別連接到2臺(tái)光纖交換機(jī)上，這久保證了存儲(chǔ)設(shè)備在整個(gè)鏈路上冗余、不存在單點(diǎn)故障。在同城容災(zāi)方案中通過(guò)虛擬存儲(chǔ)網(wǎng)關(guān)同步復(fù)制技術(shù)，由虛擬存儲(chǔ)網(wǎng)關(guān)將生產(chǎn)中心的數(shù)據(jù)實(shí)時(shí)復(fù)制到容災(zāi)中心，確保生產(chǎn)中心的各種數(shù)據(jù)能同步復(fù)制到容災(zāi)中心的存儲(chǔ)上。在兩地三中心或兩站地城際容災(zāi)方案中通過(guò)虛擬存儲(chǔ)網(wǎng)關(guān)異步復(fù)制技術(shù)，準(zhǔn)時(shí)將生產(chǎn)中心數(shù)據(jù)復(fù)制到容災(zāi)中心，災(zāi)難發(fā)生時(shí)僅涉及數(shù)十