解決方案數(shù)據(jù)中心vm虛擬化最佳實踐開局配置指導書1.0nxpowerlite

1、解決方案數(shù)據(jù)中心VM虛擬化最佳實踐開局配置指導書擬制 Prepared by評審人 Reviewed by批準Approved by測試中心解決方案測試部Date日期 Date日期 Date日期2009-03-31杭州通信技術Hangzhou H3C Technologies Co.,.文檔ID密級ity level數(shù)據(jù)中心VM虛擬化配置指導書公開文檔狀態(tài)Sus共64頁 Total 64pagesRelease1.00ReviRecord 模板修訂Date日期Revi Ver修訂版本Sec No.章節(jié)Change Description修改描述Author作者2009-03-311.00初稿完

2、成馬目錄1解決方案簡介51.1解決方案需求分析52數(shù)據(jù)中心VM虛擬化解決方案配置說明53數(shù)據(jù)中心VM虛擬化局限性54數(shù)據(jù)中心VM虛擬化使用注意事項65數(shù)據(jù)中心VM虛擬化組網(wǎng)實現(xiàn)65.1最佳實踐解決方案組圖65.2配置說明95.2.1匯聚層75配置95.2.2接入層55EI配置105.2.3VM安裝和基本配置145.2.4VM center連接管理ESX165.2.5配置ESX連接設備185.2.6設置ESX器235.2.7設置ESX業(yè)務網(wǎng)絡組Vportgroup，為vm提供對外的網(wǎng)絡接口235.2.8增加虛擬機vm265.3組網(wǎng)適用性說明285.4vm功能應用說明285.4.1vmotion2

3、85.4.2HA29圖目錄 Table of Pic圖1 數(shù)據(jù)中心VM虛擬化組網(wǎng)1雙網(wǎng)卡6圖2 S75E+55EI+服務器四網(wǎng)卡組合（單VSWITCH）7圖3 S75E+55EI+服務器四網(wǎng)卡組合（雙VSWITCH）8圖4 S75E+55EI堆疊聚合+服務器四網(wǎng)卡組合（雙VSWITCH）91解決方案簡介1.1解決方案需求分析隨著數(shù)據(jù)中心的大力發(fā)展，對服務器虛擬化的需求不斷增加：1、整合資源：將一個物理服務器作為多個服務器使用；2、提高可靠性：在不同物理服務器間實現(xiàn)備份、業(yè)務不中斷遷移。VMware結(jié)合lsw的配合可以很方便地實現(xiàn)上述兩個目標?？梢杂?種組網(wǎng)模式實現(xiàn)：組網(wǎng) 1：對外業(yè)務/管理網(wǎng)共

4、用二網(wǎng)卡，分別主備模式上行到 2 個接入 lsw。組網(wǎng) 2：四網(wǎng)卡部署模式，對外業(yè)務/管理網(wǎng)分別主備模式上行到 2 個接入 lsw。組網(wǎng) 3：四網(wǎng)卡部署模式，在組網(wǎng) 2 基礎上讓 vm 增加一個虛擬網(wǎng)卡連接到管理網(wǎng)為用戶提供業(yè)務。組網(wǎng) 4：四網(wǎng)卡部署模式，在組網(wǎng) 3 基礎上將上行兩個 lsw 堆疊作為一個設備上行，并聚合 esx 的兩個上行接口。2數(shù)據(jù)中心 VM 虛擬化解決方案配置說明1.接入層設備S55EI，匯聚設備S75E相關命令的詳細說明請參見相關產(chǎn)品令手冊和配置手冊。2.數(shù)據(jù)中心VM虛擬化最佳實踐解決方案，根據(jù)業(yè)務/管理網(wǎng)是否共用、VM是否為內(nèi)部用戶提供業(yè)務的不同分為4組網(wǎng)，組網(wǎng)簡單集

5、中，便于管理。3數(shù)據(jù)中心 VM 虛擬化局限性1.端口聚合組網(wǎng)不能配合VM使用，負載分擔由VMWARE以vm為進行。2.堆疊組網(wǎng)不能配合VM使用信標檢測。3.HA切換是冷切換，業(yè)務的恢復需要系統(tǒng)管理員。4.由熱遷移或ftp等業(yè)務引起esx和vm內(nèi)存升高，但業(yè)務停止后下降非常緩慢，15分鐘后降到日常穩(wěn)定情況；其他詳見測試。4數(shù)據(jù)中心 VM 虛擬化使用注意事項其他偶發(fā)性問題詳見測試說明。5數(shù)據(jù)中心 VM 虛擬化組網(wǎng)實現(xiàn)5.1最佳實踐解決方案組圖圖1 數(shù)據(jù)中心 VM 虛擬化組網(wǎng) 1雙網(wǎng)卡組網(wǎng)1ESX服務器雙網(wǎng)卡部署，NIC Teaming為主備模式：1、75為交換機，啟三層接口，55EI為接入交換機，

6、服務器二層接入；2、ESX 1 和2 的VM Network以VMNIC1網(wǎng)卡為主，VMNIC2為備；3、Service console /VM kernel以VMNIC2網(wǎng)卡為主，VMNIC1為備。圖2 S75E+55EI+服務器四網(wǎng)卡組合（單 Vswitch）組網(wǎng)2ESX服務器 4 網(wǎng)卡部署，NIC Teaming為主備/雙活模式：1、75為交換機，啟三層接口，55EI為接入交換機，服務器二層接入；2、ESX服務器1上的VM1和VM2以VMNIC1網(wǎng)卡為主，VMNIC3為備；3、ESX服務器2上的VM2和VM4以VMNIC3網(wǎng)卡為主，VMNIC1為備份；4、ESX服務器 1和2 的Serv

7、ice console都優(yōu)先走VMNIC2網(wǎng)卡，VMNIC4為備份；5、ESX服務器 1和2 的VM kernel都優(yōu)先走VMNIC4網(wǎng)卡，VMNIC2為備份；圖3 S75E+55EI+服務器四網(wǎng)卡組合（雙 Vswitch）組網(wǎng)3ESX服務器 4 網(wǎng)卡部署，NIC Teaming為主備/雙活模式，使用2個虛擬LSW：1、75為交換機，啟三層接口，55EI為接入交換機，服務器二層接入；2、ESX服務器1上的VM1和VM2以VMNIC1網(wǎng)卡為主，VMNIC3為備；3、ESX服務器2上的VM2和VM4以VMNIC3網(wǎng)卡為主，VMNIC1為備份；4、ESX服務器 1和2 的Service consol

8、e都優(yōu)先走VMNIC2網(wǎng)卡，VMNIC4為備份；5、ESX服務器 1和2 的VM kernel都優(yōu)先走VMNIC4網(wǎng)卡，VMNIC2為備份；6、VM提供兩塊虛擬網(wǎng)卡上連兩個Vswitch，分別提供兩個不同的業(yè)務；圖4 S75E+55EI 堆疊聚合+服務器四網(wǎng)卡組合（雙 Vswitch）組網(wǎng)4ESX服務器 4 網(wǎng)卡部署，NIC Teaming為主備/雙活模式，使用2個虛擬LSW，上層接入2個LSW堆疊作為一個邏輯LSW：1、55EI為接入交換機啟用堆疊特性，服務器二層聚合接入；2、接入交換機為兩臺堆疊交換機；3、服務器 1 和2 的VM都走VMNIC1和VMNIC2，兩網(wǎng)卡配置為聚合鏈路；4、服

9、務器 1 和2 的Service console和VM kernel都走VMNIC3和VMNIC4，兩網(wǎng)卡配置為聚合鏈路；5.2配置說明5.2.1 匯聚層 75 配置配置說明：本組網(wǎng)中有2臺接入設備：7506E。75作為上層匯聚和網(wǎng)關，配置3層接口，啟用STP協(xié)議，將對應的接劃入特定的VLAN，兩個75配置基本一致。對外業(yè)務網(wǎng)使用vlan10:/24網(wǎng)段，網(wǎng)關54；管理網(wǎng)使用vlan20:/24網(wǎng)段，網(wǎng)關20。#/啟用STPstp instance 0 root primary#/設置兩個75之間的聚合口erface Bridge-Aggregation1port link-type trun

10、kport trunk permit vll#erface GigabitEthernet2/0/1portlink-type trunkporttrunk permit vllportlink-aggregation group 1erface GigabitEthernet2/0/2port link-type trunkport trunk permit vllport link-aggregation group 1# /下行連接接入層LSW的接口上配置Trunk模式erface GigabitEthernet2/0/3port link-type trunkport trunk pe

11、rmit vlan 1 10 20 30erface GigabitEthernet2/0/4port link-type trunkport trunk permit vlan 1 10 20 30#/配置外部業(yè)務用戶接入的接口，使能相應的業(yè)務VLANerface GigabitEthernet2/0/15port acs vlan 10#/配置網(wǎng)關erface Vlan-erface10ip address 54 erface Vlan-erface20ip address 20 5.2.2 接入層 55EI 配置配置說明：本組網(wǎng)中有2臺接入設備：S55EI。 S55EI作為接入交換機，2

12、層連接各設備和服務器，啟用STP協(xié)議，將對應的接劃入特定的VLAN，兩個55配置基本一致；對于組網(wǎng)4，設置堆疊。組網(wǎng)13：除了堆疊，基本配置類似組網(wǎng)4組網(wǎng)4：#/啟用STPstp enable#/堆疊，兩個55EI插上后插板，連接堆疊口，分別在兩個s55上下發(fā)如下配置#S55-1irf member 1 renumber 1irf member 1 irf-port 2 port 2#S55-2irf member 1 renumber 2irf member 1 irf-port 1 port 1#堆疊實現(xiàn)后，顯示如下，此時可把兩個55作為一個交換機對待55EI-1dis irf confi

13、gurationMemberIDNewIDIRF-Port1IRF-Port2*111disable+22disable2* indicates the device is the master.+ indicates the device through which the user logs in.#配置vcenter的管理接erface GigabitEthernet1/0/14port acs vlan 20#/配置Vcenter控制pc的接erface GigabitEthernet2/0/31port acs vlan 20#/配置設備ix1000的連接口，4口聚合，允許業(yè)務vla

14、n10，管理vlan20erface GigabitEthernet1/0/29port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/30port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/31port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/32port acs vlan 20port link-aggregation gro

15、up 1#/配置ESX 100.61的兩個業(yè)務口erface GigabitEthernet1/0/17port link-type trunkport trunk permit vlan 1 10erface GigabitEthernet2/0/13port link-type trunkport trunk permit vlan 1 10#/配置ESX 100.71的兩個業(yè)務口erface GigabitEthernet1/0/15port link-type trunkport trunk permit vlan 1 10erface GigabitEthernet2/0/16por

16、t link-type trunkport trunk permit vlan 1 10#/配置ESX 100.71的兩個管理口erface GigabitEthernet1/0/36port link-type trunkport trunk permit vlan 1 20erface GigabitEthernet2/0/30port link-type trunkport trunk permit vlan 1 20#/配置ESX 100.61的兩個管理口erface GigabitEthernet1/0/33port link-type trunkport trunk permit

17、vlan 1 20erface GigabitEthernet2/0/32port link-type trunkport trunk permit vlan 1 20#/55EI-1 上行連接75eerface GigabitEthernet1/0/1port link-type trunkport trunk permit vlan 1 10 20erface GigabitEthernet1/0/2port link-type trunkport trunk permit vlan 1 10 20#/55EI-2 上行連接75eerface GigabitEthernet2/0/14po

18、rt link-type trunkport trunk permit vlan 1 10#erface GigabitEthernet2/0/15port link-type trunkport trunk permit vlan 1 105.2.3 VM 安裝和基本配置1. ESX安裝說明：1、 當前配套驗證版本就是ESX 3.5，如果是ESX 3i 3.5，則控制界面特別簡單，很多功能無法使用，連接設備的一些必要配置也可能無法設置。2、 有資料檢測CD Media，目的：看盤上由網(wǎng)上DOWN下來的安裝文件是否缺東西，是否可安裝。但是，如果選擇檢測，時間比較長，且可能裝不上：檢測后進入一個

19、狀態(tài)（有相關esx提示的界面，但提示的space/tab/f11等各操作按鈕都沒有反應）。選擇測CD Media也可以正常通過。3、 安裝過程簡單不需要什么處理，可以都按默認提示的網(wǎng)卡、磁盤等進行安裝。過程中按提示設置網(wǎng)卡IP、掩碼、ROOT用戶的、時區(qū)等。類似windows的安裝過程，這里的網(wǎng)卡IP是管理IP，為后面Vcenter連接管理用，比如設置為1。4、 安裝完成后，按提示ALT+F1進入linux的配置管理終端，用ei修改/etc/hosts文件，增加host（其他需要互為HA的ESX服務器主機）的地址信息，為后期HA功能的配置做準備，比如：1esx2. VCenter安裝1、 安裝

20、設置sqlserver2000，確保server和agent已經(jīng)啟動，并設置odbc連接2、 解壓縮VMware-VIMSetup-2.5.0-104265.rar后用autorun.exe安裝vcenter默認選擇安裝全部的組件，選擇事先設好的sql server2000 odbc連接，會出現(xiàn)如下提示。確認后安裝界面進入license界面，在提示如下后，可以繼續(xù)往下安裝，注意此時無法選擇evaluate模式，安裝完成后可以設置評估版；如果選擇如下模式，會提示驗證失敗且不能往下走3. 安裝完成后設置license：打開vcenter后，使用windows的administrator用戶名和口令

21、登陸5.2.4 VM center 連接管理 ESX1. 創(chuàng)建數(shù)據(jù)中心2. 創(chuàng)建CLUST，設置啟用HA和DRSDRS：自動管理vm的資源分配和起始歸屬，可設置為手動/半自動/自動3種模式HA：集群管理，設置如下：3. 添加esx主機如果連接成功，會有如下提示過程中會提示啟用HA錯誤，可能是ESX的hosts文件未配置，或配置后需要重起ESX使其生效。從ESX的配置 選項卡 已獲的功能看，標明是不的。但不影響實際的評估使用。4. 管理網(wǎng)絡配置組網(wǎng)1：業(yè)務網(wǎng)和管理網(wǎng)共用物理網(wǎng)卡在組網(wǎng)1中，設置業(yè)務網(wǎng)和管理網(wǎng)共用同一塊物理網(wǎng)卡，上層lsw設置trunk模式，允許業(yè)務網(wǎng)和管理網(wǎng)兩個不同的vlan接口

22、通過，這個配置為了保證實施過程的順利，需要遵循一定的配置順序：先用acs口連接管理網(wǎng)，配置好虛擬交換機上兩塊網(wǎng)卡的模式之后再轉(zhuǎn)為trunk模式。如果提前配置好lsw的接口為trunk業(yè)務口和管理口，再添加兩塊物理網(wǎng)卡到同一個vlsw，會使得該esx的管理接口不通，無法作進一步的nicTeaming的active/standby模式配置，問題解決的操作順序1、down掉非consol網(wǎng)卡的交換機接口，將對應的交換機接口配置為acs模式，連接esx。2、esx綁定雙網(wǎng)卡，配置對應虛擬網(wǎng)卡的vlan和對應的物理網(wǎng)卡主備模式。3、配置上行交換機，將其對應接口配置為TRUNK模式。5.2.5 配置 ES

23、X 連接設備1. 設置ESX連接網(wǎng)絡選擇ESX的配置/添加網(wǎng)絡連接在安裝時已經(jīng)配置了基本的ServiConsol，還需要增加VMKernel，以通過ipSan方式連接設備可以選擇與ServiConsol控制網(wǎng)在一個虛擬交換機上，也可以單獨使用一個虛擬交換機。在這里，選擇與ServiConsol共用一個虛擬交換機上的兩塊物理網(wǎng)卡vmnic2/vmnic3，并分別為各自的主備（ServiConsol以vmnic2為主，vmnic3為備，而VMKernel以vmnic3為主，vmnic2為備）或雙active模式。vmnic2/vmnic3分別上行兩個物理交換機。設置VMKernel的vlan、ip

24、，注意選擇“將此端口用于vmotion”檢查設置DNS2. 配置ESX的適配器：選擇ESX的配置/適配器通過屬性配置啟用iSCSI，然后配置名稱，在動態(tài)發(fā)現(xiàn)頁添加設備的ip地址，后面的chap認證可以不配3. 配置設備ix10001、 管理網(wǎng)絡連接：將一臺pc與設備的管理口直連，通過串口（設置波特率為115200）登陸ix1000，設置ix的管理ip地址。如果網(wǎng)絡連接不上，可能是配置IP地址后需要重起下。具體參見Neocean IX1000網(wǎng)絡產(chǎn)品開局指導書等手冊。例如：IX1000-1:/ # ifconfig eth0 8/242、 通過IE圖形化管理IX：通過管理pc的IE瀏覽器ix10

25、00的管理口ip，系統(tǒng)顯示虛擬機和Neocean NeoStor 控制臺的包，完畢后會自動啟動Neocean NeoStor 控制臺3、 添加設備，使用Root用戶，默認passwd。4、 設置IX的業(yè)務網(wǎng)絡：綁定4個G口，設置業(yè)務ip5、 通過RAID管理設置可用的磁盤NeoStor 服務器名”選擇“RAID 管理 ”，查看磁盤的在位信息及是否已初始化（磁盤必須初始化后才能創(chuàng)建陣列），在RAIDConsole中選擇 Disk/Initialize 菜單或直接創(chuàng)建陣列。然后在ix的NeoStor重新掃描可以見到。再將其屬性從“未分配”更改為“虛擬設備”6、 添加san資源：邏輯資源/SAN資源

26、/創(chuàng)建7、 將ESX設置為自己的一個san客戶端，并添加，分配前面創(chuàng)建的SAN資源。注意：配置ix1000的san客戶端，名稱要與esx上的一樣才可以讓ESX連接成功。4. ESX連接IX1000：重新掃描，看到目標變?yōu)?5.2.6 設置 ESX器1. 添加設備2. 設置vm將要安裝的操作系統(tǒng)安裝文件，如win2003.isovcenter的/數(shù)據(jù)，選擇設備的數(shù)據(jù)盤ix1000，右鍵菜單打開數(shù)據(jù)瀏覽器，如下，將win2003.iso上傳在的數(shù)據(jù)盤上，為后面創(chuàng)建vm設備并安裝vm的操作系統(tǒng)作準備。5.2.7 設置 ESX 業(yè)務網(wǎng)絡組 Vportgroup，為 vm 提供對外的網(wǎng)絡接口配置類似VM

27、 Kernel的設置，此時不需要選擇使能vmotion，如果要讓vm能同時連通兩個網(wǎng)絡，為兩個網(wǎng)絡的用戶提供服務，需要為其設置兩個網(wǎng)卡，此時需要增加兩個VMnetwork。VM network可以不與VM Kernel在同一個虛擬交換機上，注意設置VM network的vlan，使得該vlan與上層交換機的trunk 或acs的vlan設置一致，以保證2層連通性。1. 多物理網(wǎng)卡VM nicTeaming配置說明對于組網(wǎng)2，是4塊網(wǎng)卡，通過設置ESX主機的網(wǎng)絡，可以為1個虛擬交換機綁定4個物理網(wǎng)卡，在網(wǎng)絡/屬性/VMnetwork/網(wǎng)卡綁定的設置來決定用那塊物理網(wǎng)卡。如下為：以VMnic2為主

28、，VMnic3為備，不使用VMnic4。對于組網(wǎng)3/4，也是4塊網(wǎng)卡，通過設置ESX主機的網(wǎng)絡為兩個虛擬交換機，將業(yè)務網(wǎng)和管理網(wǎng)完全分開，并通過虛擬交換機綁定物理網(wǎng)卡，確定哪個虛擬交換機使用哪兩個物理網(wǎng)卡，進而決定哪2塊網(wǎng)卡給業(yè)務網(wǎng)，哪2塊網(wǎng)卡給管理網(wǎng)。如下圖：vSwitch0為管理網(wǎng)，vSwitch1為業(yè)務網(wǎng)，為了讓vm能同時為管理網(wǎng)用戶提供服務，每個vm同時擁有2個虛擬網(wǎng)卡，一個在外部業(yè)務網(wǎng)vSwitch上，一個在管理網(wǎng)vSwitch上。2. Active/Active模式3種負載分擔方式1、 負載分擔：基于源端口ID2、 負載分擔：基于IP 哈希（配置方式同上）3、 負載分擔：基于源 M

29、AC哈希（配置方式同上）3. Active/standby：選擇某個網(wǎng)卡為活動的適配器，另一個為待機5.2.8 增加虛擬機 vm1. 增加一個新的vm對某個ESX主機/集群/數(shù)據(jù)中心，右鍵菜單“新建虛擬機”，選擇典型的vm。數(shù)據(jù)注意選擇事先在ESX上添加的設備，如下選擇要安裝的操作系統(tǒng)，并考慮ESX實際的物理內(nèi)存為其設置內(nèi)存的大小設置該虛擬機的網(wǎng)卡個數(shù)，這里的VM Network為前面在esx虛擬交換機上增加的vm業(yè)務網(wǎng)絡創(chuàng)建完成后，對vm用右鍵菜單“編輯設置”，或者在創(chuàng)建提交前選擇在完成前編輯虛擬機配置，可以設置如下的DVD光驅(qū)為前面上傳到設備的iso文件，并設置連接時啟動。在選項頁，可以設置“引導選項”，使得VM啟動時能從光驅(qū)啟動，以安裝操作系統(tǒng)安裝操作系統(tǒng)完成后，可以通過VM右鍵菜單的“升級/安裝vmtool”來操作系統(tǒng)