朝陽教育城域網(wǎng)應(yīng)用虛擬化建設(shè)項目深化設(shè)計方案1 .5-圖文

朝陽教育城域網(wǎng)應(yīng)用虛擬化建設(shè)項目深化設(shè)計方案承建單位:北京北控電信通科技發(fā)展有限公司地址:北京市海淀區(qū)花園路13號院網(wǎng)商世紀(jì)商務(wù)樓3層電話:010-********日期:二零零九年九月目錄第一章設(shè)計方案(31.1項目概述(31.2設(shè)計目標(biāo)(31.3設(shè)計原則(31.4總體方案設(shè)計概述(5第二章各子系統(tǒng)詳細(xì)設(shè)計方案(82.1.服務(wù)器系統(tǒng)的深化設(shè)計方案(82.1.1.IBM設(shè)備的升級(82.1.2.HP服務(wù)器的規(guī)劃設(shè)計(132.1.3.HP服務(wù)器安裝位置圖(132.1.4.刀片服務(wù)器結(jié)構(gòu)示意圖(152.2.存儲系統(tǒng)擴容實施計劃(162.2.1.擴容硬件安裝(192.2.2.新增DAE識別(222.2.3.新增光纖交換機接入SAN(222.2.4.新增存儲空間劃分(292.2.5.主機連接存儲(332.2.6.新增存儲空間的管理(332.2.7.存儲升級規(guī)劃(342.2.8.CX4-480擴容步驟(372.3.虛擬機系統(tǒng)的深化設(shè)計方案(392.3.1.ESX3.5升級方案(392.3.2.新服務(wù)器部署深化設(shè)計方案(412.4.接入網(wǎng)絡(luò)系統(tǒng)的深化設(shè)計(492.4.1.以太網(wǎng)10Gbps平滑接入(492.4.2.防火墻配置策略(50第三章培訓(xùn)深化方案(513.1VMWARE培訓(xùn)(513.1.1培訓(xùn)目標(biāo)(513.1.2培訓(xùn)對象(513.1.3培訓(xùn)規(guī)劃(513.1.4VMware培訓(xùn)目錄(523.1.5服務(wù)器及存儲設(shè)備設(shè)備原廠操作培訓(xùn)(54第一章設(shè)計方案1.1項目概述在朝陽區(qū)教委VMware服務(wù)器虛擬化項目實施過程中,細(xì)化實現(xiàn)步驟,以及使朝陽區(qū)教委相關(guān)項目人員對實際安裝、操作、維護VMware虛擬基礎(chǔ)架構(gòu)軟件有所了解。1.2設(shè)計目標(biāo)本方案設(shè)計目標(biāo),可以歸納為如下五點:1、采用最成熟和完善的虛擬化技術(shù),不片面追求性能和價格,以基礎(chǔ)架構(gòu)的高可用性和可靠性為重;2、應(yīng)用業(yè)務(wù)數(shù)據(jù)集中存儲、集中備份,使用專業(yè)的數(shù)據(jù)備份恢復(fù)軟件,為隨時可能出現(xiàn)的災(zāi)難做好數(shù)據(jù)恢復(fù)準(zhǔn)備;3、數(shù)據(jù)庫服務(wù)器建議使用成熟穩(wěn)定的高性能服務(wù)器,并做好雙機實現(xiàn)的準(zhǔn)備;4、搭建虛擬架構(gòu)的服務(wù)器使用較大的內(nèi)存和多核處理器;5、成本控制方面,建議選擇易于擴展的虛擬架構(gòu),做好按需擴展的準(zhǔn)備;1.3設(shè)計原則對于整個系統(tǒng)的構(gòu)建,我們的理念是希望設(shè)計成一個具備以下特點的系統(tǒng):先進(jìn)性方案中的各個部分應(yīng)推薦符合當(dāng)代信息技術(shù)發(fā)展形勢,既體現(xiàn)先進(jìn)技術(shù)又比較成熟,并且是各個領(lǐng)域公認(rèn)的領(lǐng)先產(chǎn)品。系統(tǒng)方案應(yīng)滿足未來各種應(yīng)用系統(tǒng)對存儲備份中心的要求,提供統(tǒng)一平臺的服務(wù);對平臺軟件選擇必須具備先進(jìn)性,以及提供針對各種已有數(shù)據(jù)源的接口支持。高度可用隨著未來更多系統(tǒng)的廣泛使用,存儲備份中心需要提供更高級別的穩(wěn)定服務(wù),并具備當(dāng)異常或災(zāi)難發(fā)生時的快速恢復(fù)機制。系統(tǒng)穩(wěn)定性和可靠性直接關(guān)系到網(wǎng)管系統(tǒng)應(yīng)用能否正常運行。因此在系統(tǒng)設(shè)計中,高可靠性至關(guān)重要。高度可擴展整個數(shù)據(jù)中心系統(tǒng)應(yīng)當(dāng)具備極強的靈活性。為了適應(yīng)整個應(yīng)用的未來變化,現(xiàn)在搭建的IT基礎(chǔ)架構(gòu)。必須具備高可擴展性和靈活的資源調(diào)配。包括虛擬計算資源、協(xié)同計算、虛擬存儲池、數(shù)據(jù)生命周期管理、數(shù)據(jù)歸檔、存儲系統(tǒng)管理、系統(tǒng)容災(zāi)等一系列的技術(shù)實現(xiàn)方式,為適應(yīng)未來應(yīng)用開發(fā)和擴展,奠定堅實的基礎(chǔ)。完善的數(shù)據(jù)保護機制通過信息生命周期戰(zhàn)略,將數(shù)據(jù)進(jìn)行分層存儲和保護,可以將特別重要的數(shù)據(jù)存儲在一級光纖存儲陣列上,將次重要的數(shù)據(jù)和過期的數(shù)據(jù)存儲到二級SATA存儲設(shè)備上,這樣不僅可以提高主存儲系統(tǒng)的性能和利用率,也降低了總體的投資成本。數(shù)據(jù)安全性在數(shù)據(jù)保密、安全措施上采取較縝密的權(quán)限與加密管理,以保證系統(tǒng)和數(shù)據(jù)的安全。平滑過渡系統(tǒng)的建設(shè)是逐步完善的過程,本次系統(tǒng)的建設(shè)應(yīng)保障相關(guān)各系統(tǒng)的穩(wěn)定,在工程割接時平滑過渡,不應(yīng)影響到最終客戶的使用。易于管理建立一套易于管理的IT基礎(chǔ)架構(gòu),用戶可以通過一個終端管理整個數(shù)據(jù)中心的所有IT資源,及時發(fā)現(xiàn)計算機系統(tǒng)運行中的問題或者潛在的危險,使整個數(shù)據(jù)中心處于一個運行良好的狀態(tài)中。高性價比對于本系統(tǒng),雖然要使用先進(jìn)的技術(shù)和產(chǎn)品來搭建底層的平臺,但我們要通過良好的設(shè)計和選擇為用戶降低投資成本,對于目前已有的建設(shè),我們要盡量使其物盡其能,以降低整個系統(tǒng)的TCO(總體擁有成本。1.4總體方案設(shè)計概述目前中心機房所有功能網(wǎng)絡(luò)區(qū)塊直接接入核心層,核心層由兩臺CiscoCatalyst6509交換機組成。兩臺分別配置一塊SUP720-3B引擎、一塊4口萬兆接口(XENPAK插槽板、一塊24口千兆(SFP插槽接口板。萬兆接口用于核心互聯(lián),以及與大流量服務(wù)器區(qū)及關(guān)鍵服務(wù)器區(qū)核心設(shè)備互聯(lián);千兆接口用于滿足其它功能區(qū)上聯(lián)核心層。大流量服務(wù)器核心交換設(shè)備使用華為QuidwayS8512來擔(dān)當(dāng)。利用本交換機配置的兩個萬兆接口,分別連接兩臺核心交換機,組成冗余萬兆主干,滿足本區(qū)數(shù)據(jù)傳輸需求;本交換機已配置48個10/100/1000Mbps接口,滿足本區(qū)服務(wù)器接入需求。關(guān)鍵服務(wù)器區(qū)核心交換設(shè)備使用CiscoCatalyst6506,通過兩個萬兆接口上聯(lián)核心層;并擴展防火墻模塊(FWSM,提供關(guān)鍵服務(wù)器區(qū)的網(wǎng)絡(luò)安全控制。本次項目對CiscoCatalyst6506進(jìn)行改造,通過增加WS-X6708-10G-3C模塊滿足刀片服務(wù)器10Gbps的接入。同時本次項目還要對中心機房現(xiàn)有的4臺IBMX346,6臺IBMX3650和現(xiàn)有的4臺虛擬化系統(tǒng)的IBM3850M2ESX服務(wù)器進(jìn)行硬件上的升級。同時4臺虛擬化系統(tǒng)的ESX服務(wù)器進(jìn)行虛擬化軟件升級后,與新增刀片機BL680c作為本次虛擬化系統(tǒng)的一個集群。系統(tǒng)結(jié)構(gòu)如下圖所示:EMCCX-480CESXVMVMVMVMVMVirtualCenterClient圖形終端ESXVMVMVMVMVM刀片服務(wù)器系統(tǒng):為兩套刀片服務(wù)器系統(tǒng)。每套系統(tǒng)包括:12臺刀片服務(wù)器BL460c(每臺BL460c內(nèi)存為16GB;雙核類型為E5504的CPU;2*2.5"雙端口72GBSAS熱插拔硬盤,2臺刀片服務(wù)器BL680c(每臺BL680c內(nèi)存為32GB,四核類型為E7430的CPU,2*2.5"雙端口72GBSAS熱插拔硬盤。每套刀片服務(wù)器機箱上LAN網(wǎng)絡(luò)接口配備為:兩臺Cisco1/10GbE3125X交換機,每臺交換機上配有兩個Cisco10GBASE-CX4X2模塊。同時每套刀片機箱上配有兩塊連接SAN網(wǎng)絡(luò)的直通模塊。磁盤陣列系統(tǒng):通過對客戶的實際應(yīng)用環(huán)境調(diào)研,朝陽信息中心在2008年虛擬化建設(shè)項目中采用了一臺EMCCX4-480,本次項目實施我們將對原有EMC設(shè)備存儲空間進(jìn)行升級。我們將增加2個磁盤柜,每個磁盤柜中配15*300G的SAS盤。兩個磁盤柜通過RAID6后,使整體存儲達(dá)到7.3T的實際應(yīng)用。在SAN網(wǎng)絡(luò)里,我們將增加兩臺DS-C9134AP-K9光纖交換機,每臺交換機將32個SFP端口全部激活,同時還要激活1個10Gbps的端口。兩臺DS-C9134AP-K9分別連接到EMCCX4-480的兩個通道中,達(dá)到冗余的連接方式。以太網(wǎng)絡(luò)的連接系統(tǒng):信息中心原服務(wù)器網(wǎng)絡(luò)接入設(shè)備為一臺WS-C6506,此次項目對接入交換機進(jìn)行升級。我們將增配一塊WS-X6708-10G-3C接口板和四塊Cisco10GBASE-CX4X2模塊。虛擬機系統(tǒng):本次訂購的28臺HP刀片機作為本次虛擬化系統(tǒng)的ESX,刀片機安裝的是vSphere4.0。VCenter控制臺現(xiàn)在使用的是一臺IBMx346服務(wù)器,IP地址為58.132.8.80,即是VC也是LicenseServer。在VC里有兩個集群,同時管理著IBM3850M2和HP刀片服務(wù)器。整體的連接方式是這樣的:LAN網(wǎng)絡(luò)端:每套刀片服務(wù)器機箱C7000上配備兩臺Cisco3125X刀片式接入交換機,每臺Cisco3125X上配有兩塊Cisco10GBASE-CX4X2萬兆銅纜模塊;升級后的WS-C6506增加一塊8口WS-X6708-10G-3C萬兆接口板,同時接口板上也配有四塊Cisco10GBASE-CX4X2萬兆銅纜模塊。每臺刀片交換機上的萬兆接口通過15米的萬兆銅纜CAB-INF-26G-15連接到接入交換機WS-C6506的WS-X6708-10G-3C的接口板上,從而使服務(wù)器接入到中心網(wǎng)絡(luò)。如上圖所示。SAN網(wǎng)絡(luò)端:由于每臺刀片機上都配有一塊雙端口的HBA卡,所以每臺刀片機箱C7000上配有兩塊16端口4GbFCSAN直通模塊,通過多模光纖跳線,每臺刀片機箱C7000上的兩塊直通模塊分別連接不同的光纖交換機DS-C9134AP-K9,從而達(dá)到冗余的連接方式。由于EMCCX-480為雙驅(qū)動器,每個驅(qū)動器上有兩個4Gb/s光纖通道,每一個驅(qū)動器通過兩條多模光纖跳線分別連接不同的光纖交換機DS-C9134AP-K9,從而達(dá)到存儲的冗余連接鏈路。如上圖所示。同時,兩套服務(wù)器系統(tǒng)中每臺刀片服務(wù)器上都安裝配置VMware第四代虛擬架構(gòu)套件-VMWAREVSPHERE?4.0企業(yè)版軟件,用于在單個物理服務(wù)器實體上,利用HP服務(wù)器強大的處理能力,生成多個虛擬服務(wù)器,而每一個虛擬服務(wù)器,從功能、性能和操作方式上等同于傳統(tǒng)的單臺物理服務(wù)器,在每個虛擬服務(wù)器上,再安裝配置相關(guān)的Windows或Linux操作系統(tǒng),進(jìn)而再安裝應(yīng)用軟件,這樣以前的每個物理服務(wù)器就變身成為VMwarevSphere?4.0服務(wù)器上的虛擬機,從而大大提高資源利用率,降低成本,增強了系統(tǒng)和應(yīng)用的可用性,提高系統(tǒng)的靈活性和快速響應(yīng),完美的實現(xiàn)了服務(wù)器虛擬架構(gòu)的整合。實際安裝中可以根據(jù)客戶服務(wù)器現(xiàn)有條件及運行狀況,充分利用原有服務(wù)器的資源,只要能達(dá)到與我們建議的服務(wù)器類似的容量、性能(如添加內(nèi)存等方式即可滿足作為ESXServer的要求。在具體實現(xiàn)中,為了實現(xiàn)數(shù)據(jù)的集中存儲、集中備份以及充分利用VMware虛擬架構(gòu)中虛擬機可動態(tài)在線從一臺物理服務(wù)器遷移到另一臺物理服務(wù)器上的特性等,我們已經(jīng)建議使用有冗余配置的光纖交換機標(biāo)準(zhǔn)的SAN集中存儲架構(gòu),由VMware虛擬架構(gòu)套件生產(chǎn)出來的虛擬機的封裝文件都存放在SAN存儲陣列上。通過共享的SAN存儲架構(gòu),可以最大化的發(fā)揮虛擬架構(gòu)的優(yōu)勢,進(jìn)行在線地遷移正在運行的虛擬機(VMwareVMotion,進(jìn)行動態(tài)的資源管理(VMwareDRS,和集中的基于虛擬機快照技術(shù)的LanFree的整合備份(VMwareVCB等,而且為以后的容災(zāi)提供擴展性和打下基礎(chǔ)。為了集中管理和監(jiān)控虛擬機、實現(xiàn)自動化以及簡化資源調(diào)配,對物理服務(wù)器及其上的虛擬服務(wù)器進(jìn)行統(tǒng)一的管理。仍然保持將VC布署在一臺獨立的物理服務(wù)器上,這樣可以保證VC的運行“不受當(dāng)對虛擬化后的物理機器進(jìn)行操作時的影響”。新升級后的虛擬機可以直接掛載到VC上,從而達(dá)到直接管理的目的。第二章各子系統(tǒng)詳細(xì)設(shè)計方案2.1.服務(wù)器系統(tǒng)的深化設(shè)計方案本次工程要對4臺IBMX346服務(wù)器,6臺IBMX3650服務(wù)器和4臺IBM3850M2服務(wù)器進(jìn)行升級。4臺IBMX346為閑置的服務(wù)器,目前沒有任何應(yīng)用,現(xiàn)有配置也比較少。6臺IBMX3650服務(wù)器現(xiàn)在承擔(dān)著機房里的一些應(yīng)用,主要是放在大流量服務(wù)器區(qū)和關(guān)鍵應(yīng)用服務(wù)器區(qū)。4臺IBM3850M2服務(wù)器為信息中心現(xiàn)有的虛擬化系統(tǒng)的ESX服務(wù)器。朝陽教育城域網(wǎng)應(yīng)用虛擬化建設(shè)項目深化設(shè)計方案北控電信通科技發(fā)展有限公司升級前各服務(wù)器的狀態(tài)如下:-9-朝陽教育城域網(wǎng)應(yīng)用虛擬化建設(shè)項目深化設(shè)計方案北控電信通科技發(fā)展有限公司本次工程要對上述的14臺服務(wù)器進(jìn)行升級:根據(jù)現(xiàn)場探勘需要升級的4臺閑置的IBMX346服務(wù)器升級的內(nèi)容比較多,需要每臺機器都要增加CPU,7KRAID控制器,2*1G內(nèi)存和46GSCSI硬盤。4臺閑置的IBMX346服務(wù)器每臺都有1顆3.2GHZ的CPU,需要升級后的服務(wù)器每臺要包含兩顆CPU。投標(biāo)時購買的CPU為3.0GHZ,則升級時需要將4臺閑置的IBMX346服務(wù)器的3.2GHZ的CPU合并。最終升級后4臺IBMX346服務(wù)器其中兩臺(產(chǎn)品序列號為:99AVEKL和99AVLZX為雙3.2GHZCPU的服務(wù)器(0621/0698為1組,0113/0788為1組,兩臺(產(chǎn)品序列號為:99AVEMA和99AVBTW為雙3.0GHZCPU的服務(wù)器(0460/0283為1組,0351/0085為1組。序列號為99AVLZX和99AVBTW的服務(wù)器升級后為5塊146G的SAS盤,其余的兩臺為6塊146G的SAS盤。所有的服務(wù)器升級后都有7KServerRAID。升級后的服務(wù)器安裝放置在第PC3-4號機柜中,目前尚沒有任何應(yīng)用,沒有連接到中心機房的局域網(wǎng)中。升級后的服務(wù)器安裝微軟操作系統(tǒng),進(jìn)行系統(tǒng)和硬件的穩(wěn)定化測試。(具體配置見下附表6臺IBMX3650服務(wù)器現(xiàn)在承擔(dān)著機房里的一些應(yīng)用,主要是放在大流量服務(wù)器區(qū)和關(guān)鍵應(yīng)用服務(wù)器區(qū)。本次升級對IBMX3650進(jìn)行內(nèi)存、硬盤的升級。由于現(xiàn)有數(shù)據(jù)量比較大,升級后硬盤肯定由原有的RAID1變換成RAID5分區(qū),這樣勢必會造成數(shù)據(jù)的丟失。為了保證數(shù)據(jù)的完整和安全性,我們對其中4臺機器(37-6,37-7,31-1,31-2只對升級后的硬盤做RAID,原有的硬盤數(shù)據(jù)不變。而對另2臺機器(39-6,35-5采取重要數(shù)據(jù)備份以后新舊硬盤重新整合做RAID。待升級機器加電測試通過后,再將數(shù)據(jù)回遷。4臺IBM3850M2服務(wù)器為信息中心現(xiàn)有的虛擬化系統(tǒng)的ESX服務(wù)器。本次升級只對服務(wù)器的內(nèi)存進(jìn)行升級。在升級之前將待升級的服務(wù)器上的應(yīng)用Vmotion到下一臺ESX服務(wù)器上,待升級完畢,加電測試成功后,再將應(yīng)用Vmotion回來。升級后的產(chǎn)品將由原有的虛擬化系統(tǒng)中劃分出來,規(guī)劃到本次虛擬化系統(tǒng)集群系統(tǒng)中,形成新的HA系統(tǒng)。升級后各服務(wù)器的狀態(tài)如下:-11-根據(jù)對現(xiàn)場機房環(huán)境的調(diào)研,以及甲方對設(shè)備環(huán)境的要求,做出如下機柜結(jié)構(gòu)設(shè)計:1.升級后的4臺IBMX346(2U/臺服務(wù)器布置在PC3-4號機柜中,與原有的2臺IBMX366(4U/臺服務(wù)器在同一機柜中,4臺IBMX346(2U/臺服務(wù)器分別排34-1至34-4號位置,1個KVM液晶套件(1U/臺。服務(wù)器之間有1U的差,以便區(qū)別。3.原則上,為了通風(fēng)散熱考慮,每臺設(shè)備之間留1U的空隙。由機柜距底10公分處開始安裝機器。4.機柜分布示意圖如下機機34圖1:機柜結(jié)構(gòu)示意圖經(jīng)現(xiàn)場測量HP刀片機機箱的尺寸比第二排機柜的規(guī)格尺寸大,所以新到服務(wù)器只能安裝在機房第三排或第四排的黑色機柜中,經(jīng)現(xiàn)場勘查,第PC3-3號機柜和第PC3-8號機柜安裝刀片的條件是最合適的。所以我們建議將PC3-3號機柜中的4臺服務(wù)器遷移到PC2-2號機柜中;將PC3-8號機柜中原有設(shè)備上移。每套刀片安裝時距底部20公分,這樣有利于機器的散熱。2.1.根據(jù)對現(xiàn)場機房環(huán)境的調(diào)研,以及甲方對設(shè)備環(huán)境的要求,做出如下機柜結(jié)構(gòu)設(shè)計:1.將PC3-3號機柜中的設(shè)備移到PC2-2號機柜中。機機機機21機機機機機PC3-3機機機機機機機機機PC2-2機機機機2.兩套刀片服務(wù)器分別布置在機房第PC3-3、PC3-8號兩臺42U機柜里面。3.第PC3-3號機柜布置一套HP刀片服務(wù)器,兩臺CISCO光纖交換機MDS9134。4.第38號機柜布置一套HP刀片服務(wù)器,將機柜中原有的虛擬備份設(shè)備和網(wǎng)絡(luò)設(shè)備向上移動,新的HP服務(wù)器和原有設(shè)備之間3個U來區(qū)分。5.為了通風(fēng)散熱考慮,刀片服務(wù)器布置離機柜底座20公分處高。6.機柜PC3-3和機柜PC3-8中的刀片服務(wù)器都是為虛擬化擴容用途;其中升級后的3850M2(7141QXE作為本項目所涉及的虛擬化平臺服務(wù)器群成員。7.機柜分布示意圖如下:圖3:機柜結(jié)構(gòu)示意圖2.1.4.刀片服務(wù)器結(jié)構(gòu)示意圖刀片機前面板圖:刀片機后面版圖2.2.存儲系統(tǒng)擴容實施計劃朝陽教育信息中心原有存儲CX4-480,硬盤總數(shù)為46塊,其中400GB光纖硬盤有6塊,1TBSATAⅡ硬盤有40塊。本次擴容30塊300GB15K光纖硬盤,并且以RAID6的方式為新ESXServer提供存儲空間?，F(xiàn)有系統(tǒng)概況:HPDL680G5刀片機HPC7000刀片機箱電源模塊HPDL460G6刀片機刀片機電源指示燈SAS300GFC磁盤HPC7000風(fēng)扇CISCO3125forHP刀片交換機HPC7000HBA卡直通模塊HP刀片機管理模塊HPC7000電源HPC7000HBA卡直通模塊CISCO3125forHP刀片交換機現(xiàn)在SAN網(wǎng)絡(luò)拓?fù)?升級前的中心機房SAN網(wǎng)絡(luò)工作環(huán)境包括:虛擬化網(wǎng)絡(luò)服務(wù)器端原有6臺IBMX3850M2作為前期虛擬化系統(tǒng)的ESX主機,名稱為CHY-ESX1至CHY-ESX6。SAN網(wǎng)絡(luò)包括兩臺EMCDS5000B光纖交換機,6臺ESX主機通過多模光纖分別與兩臺光纖交換機EMCDS5000B相連。兩臺光纖交換機EMCDS5000B通過四條多模光纖分別與EMCCX-480的兩個主機頭SPA0,SPA1,SPB0,SPB1相連,達(dá)到冗余的鏈路。擴容后SAN網(wǎng)絡(luò)拓?fù)?中心機房升級后的SAN網(wǎng)絡(luò)工作環(huán)境增加了28臺HP刀片服務(wù)器(其中四臺HPBL680G5和二十四臺BL460G6作為本次虛擬化系統(tǒng)的ESX主機,名稱為CHY-ESX7至CHY-ESX34。SAN網(wǎng)絡(luò)增加了包括兩臺CISCODS-C9134AP-K9光纖交換機,命名為MDS9134-1和MDS9134-2。這28臺刀片ESX主機通過多模光纖分別與兩臺光纖交換機DS-C9134AP-K9相連。MDS9134-1光纖交換機第9端口與第25端口分別與CX-480的SPA03,SPB03相連,MDS9134-21光纖交換機第9端口與第25端口分別與CX-480的SPA13,SPB13相連,達(dá)到冗余的鏈路。CX4-480體系結(jié)構(gòu)示意圖:CX4-480后端連接示意圖:擴容后的CX4-480后端總線連接設(shè)計圖:原有存儲系統(tǒng)安裝了4個DAE,每個DAE占用了一條總線。每條總線上都運行著相應(yīng)的業(yè)務(wù),為了安全起見,我們這期工程只能在原有的總線方式上擴展新的DAE。新到的兩個光纖DAE連接到第3個DAE的擴展口上,走BUS2。根據(jù)后期計劃采購的設(shè)備,新進(jìn)的3個SATADAE連接在其他總線上(BUS0,BUS1,BUS3;新進(jìn)的4個FCDAE及未來將要擴充的FCDAE通過第6個DAE來擴展,獨自占用BUS2。CX4-480DAE前端結(jié)構(gòu)圖:CX4-480后端:每一個DAE上都有一個磁盤存儲模塊總線(環(huán)路,每一個磁盤存儲模塊總線都對應(yīng)一個地址指示符,當(dāng)加載操作系統(tǒng)時,存儲處理器將對總線ID進(jìn)行初始化。存儲模塊(DAE地址在安裝時進(jìn)行設(shè)置。磁盤模塊ID自左向右進(jìn)行編號(以單元前面的視角為準(zhǔn),并且在整個存儲系統(tǒng)中是連續(xù)的:存儲磁盤柜0包含模塊0-14;存儲磁盤柜1包含模塊15-29;存儲磁盤柜2包含30-44等,因此新增的DAE上的磁盤存儲磁盤柜總線地址指示符必須修改,數(shù)值不能為0。用NST工具中的硬件添加向?qū)瓿尚略鲇布淖R別工作。2.2.前期EMC存儲系統(tǒng)包含了兩臺EMCDS5000B光纖交換機與CX4-480相連形成了SAN光纖網(wǎng)絡(luò),這兩臺光纖交換機的管理IP地址都為10.77.77.77,本次項目新采購的光纖交換機的安裝在機柜PC3-3中,并連接CX4-480上的SP端口,以及新增的主機FC接口,光纖交換機分別命名為MDS9134-1和MDS9134-2,安裝位置如上述圖例。兩臺交換機的用戶名都為:admin,密碼為:!QAZ2wsx。為了便于管理和統(tǒng)一,MDS9134-1的管理IP地址為10.77.77.10,MDS9134-2的管理IP地址為10.77.77.11,與原有一期的EMC光纖交換機的管理地址劃分在同一個網(wǎng)段里,同時便于管理。光纖交換機的配置方法可以采用WEB圖形界面配置形式也可以同過命令行的方式進(jìn)行配置。通過IE界面登陸到交換機的管理界面中,對相應(yīng)的主機光纖和EMC存儲劃到一個ZONE里,創(chuàng)建一個NewZone,名稱和EMCDS5000B中的ZONE的名稱相統(tǒng)一,然后進(jìn)行綁定。按照每個光纖卡的一個端口為一個zone的原則配置zoning。由于刀片服務(wù)器的HBA卡模塊為雙端口,所以每一組光纖直通模塊的端口對應(yīng)在不同的交換機上,達(dá)到冗余的狀態(tài)。每一臺光纖交換機DS-C9134AP-K9激活1個10Gbps端口,兩臺光纖交換機通過多模萬兆光纖跳線級聯(lián)實現(xiàn)端口的最大化。SAN系統(tǒng)的線路圖如下:EMCCX-480C刀片服務(wù)器光纖直通模塊與光纖交換機對應(yīng)列表關(guān)系如下:-24--25--26-刀片服務(wù)器光纖直通模塊與光纖交換機對應(yīng)端口圖例:注:由于HPBL680c服務(wù)器尺寸為全高,其占用C7000第9、第10槽位,在9、10槽位HBA卡端口為空,故由第11槽位開始編號-27--28-通過IE瀏覽器,輸入EMCCX-480C原有管理IP地址192.168.0.60/61,進(jìn)入NavispereManager登陸到管理界面。2.2.4.1.創(chuàng)建RAIDgrouppool首先在同一個RAID組中不能使用不同類型的磁盤(如:FCDRIVER和SATA不能混用在同一個RAID組中;其次,同一個磁盤陣列中可以混合使用不同類型的RAID組。在存儲系統(tǒng)名稱圖標(biāo)上,點擊鼠標(biāo)右鍵點擊鼠標(biāo)右鍵,選擇createstoragePool如下圖在RAIDGroupParameters欄中選擇RAIDGroupID和RAIDGroup包含的磁盤數(shù)量,本次存儲設(shè)備新增30塊300G光纖盤,每一個DAE包含15塊光纖盤,共兩個DAE。因為采用RAID6方式劃分RAIDGroup,即12+2為一個RAIDGroup組,同時每個RAIDGroup還有一個HotSpare,所以每個DAE中包含可用的12塊光纖盤。將12塊盤為一個單位劃分為一個RAIDGroup,因此可用的24塊光纖盤劃分兩個RAIDGroup,即每個DAE對應(yīng)一個RAIDGroup,分別命名為RAIDGroup5和RAIDGroup6。在”SupportedRAIDType”選擇RAID6單擊”Manual”進(jìn)行手工選盤(如下示意圖所示,要將一個DAE的盤放入一個RAIDGroup中。將每個DAE中的磁盤應(yīng)用到相應(yīng)的的RAIDGroup中,最后點擊Apply。RAIDGroup就建立完成(如下示意圖所示。RAIDGroup實際配置情況如下2.2.7.1所描述。2.2.4.2.綁定Lun。每個lun在同一時間只能被一個SP管理。在存儲系統(tǒng)名字上點擊鼠標(biāo)右鍵,選擇CREATELUN。在RAIDType欄中選擇RAID類型,這里我們選擇RAID6的方式,同時在StoragePoolfornewLUN欄中選擇新LUN所屬得RAIDGroup。同時保證EnableReadCache,EnableWritecache選擇筐被選中。根據(jù)NumberofLUNstoBind根據(jù)實際需要來選擇,這里選擇4。如下示意圖所示:選擇RAID6,選擇創(chuàng)建LUN大小和數(shù)量選擇SPA或SPB2.2.4.3.配置HotSpare(熱備盤將每個DAE的最后一個盤作為熱備盤,劃為單獨的一個RadiGroup。在”bindLun”的過程中,將”RAIDType”選擇為”HotSpare”就可以。2.2.5.1.創(chuàng)建Storagegroup創(chuàng)建Storagegroup決定一個LUN能夠被哪些主機訪問。在存儲系統(tǒng)名稱上點擊鼠標(biāo)右鍵,選擇CreateStorageGroup如下圖:選擇相應(yīng)的主機和LUN,以建立兩者之間的約束關(guān)系。加入主機到storagegroup中,點擊StorageGroup前的+,在storagegroupname上點擊鼠標(biāo)右鍵,選擇屬性,再選擇host標(biāo)簽,具體實施步驟按照竣工實施文檔為準(zhǔn)。LUN與主機的對應(yīng)關(guān)系如2.2.7.2小節(jié)描述。EMC陣列兼容不同RAID類型,即原有40塊SATA盤的RAID5與新建30塊FC盤RAID6在NaviManager管理界面中統(tǒng)一管理。EMCCX4-480,通過SPA/SPB的兩個網(wǎng)絡(luò)管理端口,進(jìn)行管理。新接的2個磁盤柜,統(tǒng)一通過NaviManager管理界面進(jìn)行管理。所以新接磁盤柜的數(shù)據(jù)訪問,通過CX4-480的控制器SPA/SPB統(tǒng)一進(jìn)行訪問控制。當(dāng)ESX4Server重新啟動或重新掃描主機總線適配器時,系統(tǒng)將會自動注冊CLARiiON存儲系統(tǒng)。原有EMC設(shè)備沒有購買POWERPATH軟件,所以在我們用到VMWare軟件自己的光纖鏈路管理功能。VMware光纖鏈路管理與PowerPath的區(qū)別是前者同時只有兩條鏈路是Active的,如果現(xiàn)有的Active鏈路出現(xiàn)故障,則啟用另外兩條鏈路,而后者是四條鏈路都是Active的。基于目前的EMCCX4-480存儲空間不足的情況,在此次虛擬化項目上,朝陽區(qū)教委又新購了30塊300G容量的光纖盤,用于存儲空間的擴容。為了達(dá)到最佳的使用效果,考慮到數(shù)據(jù)保護以及空間分配等因素,采用以下方案進(jìn)行規(guī)劃存儲空間。新采購的30塊光纖盤,在RAID規(guī)劃上,我們采用RAID6方式,EMC實現(xiàn)上闡述如下:從數(shù)據(jù)安全性上考慮,建議配置二塊熱備盤。因為RAID6每一個RAID組需要二塊盤做校驗,盤數(shù)只能是偶數(shù),而且最多只支持16塊盤。同是每個RAIDGroup組需要兩塊奇偶校驗盤,即12+2一個RAIDGroup組,一個HotSpare。綜合上述考慮,所以決定將可用的24塊盤做成2個RAIDGroup組。在命名規(guī)則上,延用之前RAID組的命名,新建的RAID組分別為RAIDGroup5和RAIDGroup6,詳細(xì)見下圖所示:在邏輯卷劃分方面,建議采用單個LUN最大配置,即2TB。做完RAID6以后,這兩個RAIDGroup組可用空間各為3.2TB。在LUN的劃分上,每個RAID組分為兩個LUN,一個容量為2TB,另一個容量為1.2TB。每一個LUN的可用空間為實際容量減去512B,可忽略不計的。同RAID組的命名規(guī)則一樣,新建的4個LUN的命名為FCstorage8,FCstorage9,FCstorage10,FCstorage11。這4個LUN注冊給四臺BL680G5和六臺IBMX3850M2,供這些高性能的服務(wù)器使用使用。LUN劃分狀況如下:,對于數(shù)據(jù)的規(guī)劃,將之前存儲在SATA盤中高IO的虛擬機數(shù)據(jù)遷移到FC盤的中存儲運行,充分發(fā)揮FC盤的性能,以保證虛擬機的性能,本次高性能的四臺BL680G5和六臺IBM3850M2數(shù)據(jù)存儲在新到的FC盤上。對于應(yīng)用數(shù)據(jù)穩(wěn)定,資源比較穩(wěn)定的虛擬機的數(shù)據(jù),二十四臺BL460G6對于數(shù)據(jù)的要求略低的我們建議存儲在前期采購的SATA盤中存儲。由于之前的6臺IBMX3850M2主機的命名為chy-esx1~6,所以新建的28臺刀片的命名延續(xù)之前的命名規(guī)則,即從chy-esx7~34。其中chy-esx7~10為BL680G4,chy-esx11~34為BL460G6。由于FC存儲的空間有限,而高性能的四臺BL680G5和六臺IBM3850M2所能提供的虛擬機數(shù)量又比較多。為了降低存儲的壓力,于ESX與存儲的連接方案為,十臺高性能的ESX服務(wù)器對所有的LUN都可訪問,而二十四臺BL460G6僅可訪問原有的STAT存儲空間。ESX主機對存儲LUN的訪問表如下:由于這次采購的刀片服務(wù)器有兩個型號,其中四臺為四顆四核CPU,32G內(nèi)存的DL680G5,另外二十四臺為兩顆四核CPU,16G內(nèi)存的DL460G6刀片。在規(guī)劃時,單獨將四臺配置較高的刀片服務(wù)器以及升級后的IBM3850M2ESXServers劃在一個集群里,以供對性能要求高的虛擬機使用,其余的二十四臺DL460G6劃分在另一個集群中。2.3.虛擬機系統(tǒng)的深化設(shè)計方案本方案主要涉及功能方面的重點內(nèi)容,包括:虛擬基礎(chǔ)架構(gòu)系統(tǒng)管理、安全、部署以及VMotion、HA、DRS、FT等功能。除此之外,還要對現(xiàn)在的ESX3.5升級到最新版本的vSphere4.0。本次設(shè)計方案對朝陽區(qū)教委VMware服務(wù)器虛擬化項目實施過程中,細(xì)化實現(xiàn)步驟,以及使朝陽區(qū)教委相關(guān)項目人員對實際安裝、操作、維護VMware虛擬基礎(chǔ)架構(gòu)軟件有所了解。1:現(xiàn)有四臺IBMX3850M2服務(wù)器用作VMwareESXServer宿主機,配置分別為4*Intel7330CPU(2.4GHz,6ML2,4核;16G內(nèi)存;4*146GSAS硬盤(2.5寸,10000轉(zhuǎn);2*千兆以太網(wǎng);Combo光驅(qū);2*4GB光纖卡;雙電源。每臺ESX服務(wù)器都通過光纖通道連接到EMCCX480存儲上。2:這四臺ESX服務(wù)器安裝的是VI3.5的版本,由于后期要新上28臺刀片服務(wù)器,用作虛擬化平臺,這28臺服務(wù)器安裝的是vSphere4.0,為了把之前的四臺ESXServer與新增加的28臺服務(wù)器整合到一起,所以需要升級現(xiàn)有的四臺ESXServer3.5到VsphereEsx4.0。1:準(zhǔn)備ESX4.0.ISO和VsphereVC4.0.ISO兩個安裝文件,并刻錄DVD光盤(文件>700M只能刻錄DVD光盤,準(zhǔn)備VMware-converter-4.0.1客戶端遷移文件.VMwareConverter是一款能將物理電腦系統(tǒng)、VMware其他版本虛擬機鏡像或第三方虛擬機鏡像轉(zhuǎn)化為一個虛擬機映像文件的工具,而且生成的映像可以在該公司的VMware虛擬機軟件中使用。2:把現(xiàn)有的EMC與新增加的32ESXServer存儲接入到同一個SAN網(wǎng)絡(luò)中,并在存儲上注冊配置每一臺ESXServer,使存儲上的LUN,對每一臺主機都可見。3:利用VMotion,把要升級的ESXServer上的虛擬機遷移到其它ESX主機上,然后升級ESXServer.4:升級VMwareLicense,由于ESX3.5和ESX4.0認(rèn)證許可不同,重新配置License。ESX3.5利用文件認(rèn)證,ESX4.0是通過序列號認(rèn)證。1:通過Vsphereclinet進(jìn)入升級的主機,關(guān)閉所有虛擬機,將主機置于維護模式。2:在程序中打開Vmwarevspherehostupdareutility,在主機列表中選擇要升級的主機,如果沒有找到要升級的主機,需要添加升級的主機IP地址,選中升級的主機IP,點擊升級主機,輸入升級主機的管理員密碼和帳號,進(jìn)行升級直到完成。3:升級完成后重新啟動服務(wù)器,啟動虛擬主機,并對每臺虛擬主機升級VMWARETOOS。測試服務(wù)器能正常使用。VirtualCenterServer4.0能管理ESXSERVER3.5及更低的版本,反之不行.所以在升級ESX后,要升級安裝VCenter4.0。需要注意的是LICENSE文件能通過LICENSESERVER下發(fā),否則不行,我們有兩個支持3.5的LICENSE文件,其中一個文件中有一個VC和兩個ESX的認(rèn)證,另一個是單機的沒有聚合,前者行后者就不行,升級到4.0后都改為序列號,就可以統(tǒng)一管理了。VCenter,現(xiàn)在使用的是一臺IBMe346服務(wù)器,IP地址為192.168.8.80,即是VC也是LicenseServer.在VC里有兩個集群,同時管理著IBM3850M2和HP刀片服務(wù)器。利用VirtualCenter,通過一個單一的界面管理整個虛擬基礎(chǔ)架構(gòu)。利用清單面板,查看ESXServer主機和虛擬機的層級結(jié)構(gòu)。通過這一部分的實施,可以更好地理解如何對虛擬基礎(chǔ)架構(gòu)進(jìn)行組織,從而實現(xiàn)更加便捷的管理。對于運行VirtualCenterManagementServer的Windows系統(tǒng),其系統(tǒng)管理員會自動獲得VirtualCenter的管理員權(quán)限。VirtualCenter管理員可以通過訪問ActiveDirectory或者域控制器,將權(quán)限授予其他用戶,還可以通過訪問本機的Windows用戶和組,將權(quán)限授予其他用戶。配置用戶權(quán)限的目的,是在于根據(jù)不同的用戶,制定不同的操作級別,以確保虛擬平臺的正常運行,防止誤操作等帶來的影響。由于在VCenter上的每一個操作對虛擬機的影響都很大,所以出于安全的考慮,要針對不同的用戶,分配不同的權(quán)限。在VCenter里分為管理員,虛擬機用戶數(shù)據(jù)存儲等用戶。比如:針對朝陽數(shù)據(jù)中心和管理員,分配給其數(shù)據(jù)中心的管理員權(quán)限,此權(quán)限可以針對虛擬機數(shù)據(jù)中心里所有的集群,以及ESX主機,虛擬機,都有最高的權(quán)限。而普通的虛擬機用戶,可以只分配給他只讀或虛擬機管理員權(quán)限,這樣,當(dāng)虛擬機用戶通過vSphereClient登錄到VCenter后,只能看到得到授權(quán)的虛擬機。對于分配權(quán)限的用戶,可以使用VCenter的本地用戶,也可以使用域用戶.這兩種用戶在VCenter里都是普通用戶,只是提供身份認(rèn)證所需的用戶名和密碼,而權(quán)限是靠在VCenter里的權(quán)限設(shè)置來授權(quán)。為了評估部署新服務(wù)器,并重新部署現(xiàn)有服務(wù)器的可能性,例如,在災(zāi)難恢復(fù)的情況下。?創(chuàng)建虛擬機模板?從模板部署?克隆虛擬機?映像定制核心交換機CiscoCatalyst6506目前已有58.132.9.*和58.132.10.*兩個網(wǎng)段,所以ESXServer有跨網(wǎng)段的需求。刀片服務(wù)器ESXServer若按12:1的整合比來計算,目前四臺性能比較高的DL680C可以提供8臺虛擬機,另外二十四臺DL460C刀片服務(wù)器,可以提供288臺虛擬機,加上之前的6臺X3850M2可以提供的72臺虛擬機,總共可以提供408臺虛擬機,供業(yè)務(wù)部門使用。在網(wǎng)絡(luò)規(guī)劃方面,將二十四臺BL460cG6刀片服務(wù)器作為一個集群,四臺DL680G5和六臺IBM3850M2作為一個集群。其中二十四臺BL460cG6的集群中,每個刀片有兩塊網(wǎng)卡。關(guān)于虛擬機劃分VLan方面,所有VLan的劃分都是在物理交換機上來做。在虛擬交換機上,根據(jù)不同的VLan,創(chuàng)建不同的端口組,然后在端口組上指定VLan號,與物理交換機上的VLan對應(yīng)。基于虛擬機跨網(wǎng)段的需求考慮,將BL460G6刀片機兩塊網(wǎng)卡的其中一塊網(wǎng)卡上連到Trank口,滿足跨VLan的要求。另外一塊網(wǎng)卡作為服務(wù)控制口和VMKernel用于虛擬機VMotion動態(tài)遷移遷移口。而針對于四塊網(wǎng)卡的BL680G5刀片服務(wù)器,,解決跨網(wǎng)段的方法是將第一塊網(wǎng)卡上連到Trank口,另外二個網(wǎng)卡進(jìn)行綁定,做成Teaming的方式,進(jìn)行與交換機的連接,實現(xiàn)網(wǎng)絡(luò)負(fù)載均衡,以及鏈路冗余。因為每臺服務(wù)器上連的交換機都是萬兆的交換機,所以基本上每臺ESXServer上的虛擬機,都能滿足網(wǎng)絡(luò)高IO的需求。為了保證高網(wǎng)絡(luò)IO虛擬機的需求,可以制定一條DRS策略,使相同高網(wǎng)絡(luò)IO需求的虛擬機,分散到不同的ESXServer上運行,以保障網(wǎng)絡(luò)高IO需求?？紤]到某些虛擬機需要使用F5作網(wǎng)絡(luò)負(fù)載的要求,把4臺DL680G5刀片機剩下的一塊網(wǎng)卡連接到F5,把需要做網(wǎng)絡(luò)負(fù)載的虛擬機放在其上運行。DL680G4刀片機第一塊網(wǎng)卡:上連Trank口,滿足虛擬機跨VLAN需求。第二塊網(wǎng)卡:上連F5設(shè)備,滿足虛擬機網(wǎng)絡(luò)負(fù)載的需求。第三、四塊網(wǎng)卡:創(chuàng)建三個虛擬機端口組,第一個端口組分配給不路網(wǎng)段的虛擬機使用。每二個端口組為管理端口組,第三個端口組為VMKenel端口組,用于遷移網(wǎng)絡(luò)。由于平常管理端口組的網(wǎng)絡(luò)流量并不多,跟遷移網(wǎng)絡(luò)競爭網(wǎng)絡(luò)資源的機會很少。如果把這兩塊網(wǎng)卡分開,那么無論是管理網(wǎng)絡(luò)還是遷移網(wǎng)絡(luò),都沒有做負(fù)載和鏈路冗余的考慮,就提高了風(fēng)險點。HP刀片服務(wù)器所有的網(wǎng)卡都是平均地連接到兩個Cisco3125交換機,然后每個3125交換機通過一個萬兆銅纜與Cisco6506相連。由于這個特性,決定每個刀片歸屬于同一個Cisco3125的所有網(wǎng)卡,只能是相同的端口。另外,同是Trunk口的兩塊網(wǎng)卡,無法實現(xiàn)Teaming的功能。基于上述考慮,在網(wǎng)絡(luò)規(guī)劃方面,將其中一根Cisco3125上連的萬兆銅纜連接到Cisco6506上的Trunk網(wǎng)口。那么與其相連的刀片服務(wù)器的網(wǎng)口為Trunk口,滿足跨網(wǎng)段的需求。考慮到虛擬機要使用58.132.97.*和58.132.100.*這兩個網(wǎng)段,將所有的刀片服務(wù)器的管理網(wǎng)口,使用內(nèi)部IP進(jìn)行連接。即將另外一個Cisco萬兆銅纜連接到Cisco6506的VLan12,此VLan為192.168.12.*的內(nèi)部IP。將此網(wǎng)段的網(wǎng)卡設(shè)置為Teaming方式,作為ServiceConsole和VMotion端口使用。詳細(xì)見下圖:VMotion是VMwareVirtualCenter中一項關(guān)鍵的數(shù)據(jù)遷移技術(shù)。利用VMotion,可以簡化實現(xiàn)業(yè)務(wù)連續(xù)性的方法,提高服務(wù)器的利用率,整合基礎(chǔ)架構(gòu),并且擁有成本效益更高的高可用性和災(zāi)難恢復(fù)解決方案。在本次深化設(shè)計方案里執(zhí)行冷遷移的測試用例(將當(dāng)前沒有正在運行的虛擬機從一臺主機遷移到另一臺主機。利用VMotion手動