數(shù)據(jù)中心設(shè)計(jì)

1、 虛擬數(shù)據(jù)中心設(shè)計(jì)方案一、現(xiàn)狀 1、ACME Energy 公司介紹：從事可再生能源項(xiàng)目的開發(fā)運(yùn)營，包括風(fēng)能和太陽能。 2、要求IT部門將所有的x86服務(wù)器虛擬化。原先服務(wù)器分部在主數(shù)據(jù)中心和幾個(gè)分支機(jī)構(gòu)的小數(shù)據(jù)中心。使用虛擬化技術(shù)后，所有服務(wù)全部集中在主數(shù)據(jù)中心。 3、服務(wù)分為3個(gè)區(qū)域： Production, Dev/Test, QA4、預(yù)評(píng)估方案需要考慮現(xiàn)大量的已有工作負(fù)載和未來的工作負(fù)載。盡量提高服務(wù)器的利用率的同時(shí)盡量降低硬件相關(guān)總成本。 5、需要將1000臺(tái)物理進(jìn)行虛擬化。 6、有2種類型服務(wù)器可用做虛擬化，虛擬機(jī)/物理機(jī)的具體比率如下： 7、可以增加接口卡。 8、1個(gè)刀箱可容納1

2、6個(gè)半高刀片，高度為10U；機(jī)架式服務(wù)器高度為4U。 9、電力能源足夠。 10、業(yè)務(wù)關(guān)鍵服務(wù)器要求具有高可用性。用于生產(chǎn)的資源要求具有高可用性，可以容許多臺(tái)ESX主機(jī)故障。要隔離用作管理的虛擬機(jī)和用作生產(chǎn)的虛擬機(jī)。 11、1000臺(tái)物理機(jī)中包括400臺(tái)Linux服務(wù)器和600臺(tái)windows 服務(wù)器 總計(jì)：400臺(tái)生產(chǎn)，400臺(tái)開發(fā)/測試，200臺(tái)質(zhì)量控制12、Window 服務(wù)器磁盤配置：系統(tǒng)盤 15GB（平均使用10GB），數(shù)據(jù)盤10GB（平均使用25G）；Linux服務(wù)器磁盤配置：60GB（平均使用40GB）。 13、預(yù)計(jì)今后3年每年10%的服務(wù)器增長需求。 14、磁盤陣列情況:(1)

3、1臺(tái)高性能FC磁盤陣列（控制器為主備模式）可用。 (2) 高速緩存：該磁盤陣列有256GB的鏡像高速緩存，可擴(kuò)展到512GB。 (3) 磁盤數(shù)量：120塊磁盤安裝在中央系統(tǒng)存儲(chǔ)柜，另有120快磁盤安裝在1個(gè)外接存儲(chǔ)柜上。 (4) 擴(kuò)展存儲(chǔ)柜：可另外付費(fèi)購買外接存儲(chǔ)柜，每個(gè)外接的存儲(chǔ)柜最多可安裝240塊磁盤。整個(gè)存儲(chǔ)系統(tǒng)最多可安裝1920塊磁盤。 (5) 磁盤類型：包括73GB的SSD固態(tài)磁盤，146GB的FC磁盤，300GB的FC磁盤和500GB的SATA磁盤。 (6) 現(xiàn)有空間3.6T的SSD固態(tài)磁盤，30T的FC磁盤，35TB的SATA磁盤。 (7) 現(xiàn)在只有生產(chǎn)服務(wù)器連到了SAN網(wǎng)絡(luò)，其

4、他服務(wù)器還未連接到SAN網(wǎng)絡(luò)。 15、大多數(shù)服務(wù)器有4個(gè)CPU16、Production 服務(wù)器必須和Dev/Test/QA 隔離， Production類型的虛擬機(jī)不能和Dev/Test/QA類型的虛擬機(jī)在同一臺(tái)ESX主機(jī)上。 17、 Production類型的虛擬機(jī)的流量必須和Dev/Test/QA類型的虛擬機(jī)的網(wǎng)絡(luò)流量隔離。由于使用了IDS（入侵檢測系統(tǒng)），虛擬機(jī)的網(wǎng)絡(luò)端口屬性不能改變。即使使用Vmotion遷移虛擬機(jī)，虛擬機(jī)的網(wǎng)絡(luò)端口屬性也必須保持不變。 18、現(xiàn)有的網(wǎng)絡(luò)環(huán)境使用了多個(gè)VLAN來進(jìn)行網(wǎng)絡(luò)隔離。希望在虛擬環(huán)境中減少VLAN的個(gè)數(shù)以方便管理。網(wǎng)絡(luò)環(huán)境有多臺(tái)接入交換機(jī)提供冗余

5、和負(fù)載均衡。環(huán)境中沒有DMZ區(qū)域。 Current VLAN configurationVLAN 10 - Management VLAN 20 - IP Storage VLAN 30 - Production VLAN 40 - Dev/Test VLAN 50 - QA VLAN 60 - Voice VLAN 70 - Replication VLAN 80 - Backup二、 主機(jī)設(shè)計(jì)要求：主機(jī)必須能容納1000臺(tái)物理服務(wù)器虛擬化。確保相對(duì)此前使用的物理機(jī)環(huán)境，在性能或穩(wěn)定性方面沒有明顯差異。預(yù)計(jì)每年服務(wù)器增長10%具體規(guī)劃選擇：刀片或機(jī)架式選擇設(shè)計(jì)選擇：根據(jù)提供的兩種服務(wù)器，選擇

6、刀片式服務(wù)器。 理由：刀片式服務(wù)器密度較高，同樣空間擁有更多處理器和內(nèi)存，可以承載更多虛擬機(jī)。以戴爾M1000刀片機(jī)箱為例，10U高度插滿16臺(tái)半高服務(wù)器，用機(jī)架式只能安裝兩臺(tái)4U服務(wù)器，CPU個(gè)數(shù)比為32：8=4倍，內(nèi)存比為16*64：2*96=5.33倍。而且刀片式服務(wù)器刀箱已包含多路輸入電源、網(wǎng)絡(luò)交換機(jī)和存儲(chǔ)交換機(jī)，新加刀片時(shí)無需布線與連接。影響：單個(gè)刀片機(jī)箱會(huì)成為故障單點(diǎn)，為了提高可用性，應(yīng)部署兩個(gè)機(jī)箱，刀片機(jī)盡量平均放置。 服務(wù)器數(shù)量最少要求 設(shè)計(jì)選擇：生產(chǎn): 20 臺(tái), Dev/Test: 8 臺(tái), QA: 4 臺(tái) 總共32臺(tái)。 理由：由于選擇了刀片服務(wù)器，根據(jù)上圖要求，400臺(tái)生

7、產(chǎn)服務(wù) 器需要20臺(tái)主機(jī)，400臺(tái)測試開發(fā)/測試服務(wù)器需要8臺(tái)主機(jī)，200臺(tái)QA測試服務(wù)器需要4臺(tái)主機(jī)。影響：在產(chǎn)生物理機(jī)故障后，服務(wù)器承載的主機(jī)數(shù)將會(huì)超出要求標(biāo)準(zhǔn)。 附加的服務(wù)器要求 設(shè)計(jì)選擇：10臺(tái) 理由：每年10%的服務(wù)器需求增長，32*10%*3=9.6 合計(jì)10臺(tái)影響：需提前列入采購預(yù)算，防止采購不及時(shí)導(dǎo)致資源緊缺而無法滿足業(yè)務(wù)新需求。 Hypervisor 選擇 設(shè)計(jì)選擇： Enterprise PLUS理由：由于主機(jī)數(shù)量多，為便于管理，提高安全性使用ESXI的分布式交換機(jī)，所以需要使用企業(yè)版PLUS版本。影響：需提前列入采購預(yù)算，防止采購不及時(shí)導(dǎo)致資源緊缺而無法滿足業(yè)務(wù)新需求。

8、主機(jī)邏輯設(shè)計(jì) 主機(jī)類型和版本：vmware ESXi 5.1企業(yè)版PLUSCPU插槽：2 每CPU 核心數(shù)：4總核數(shù)：8處理器頻率：2.93Ghz內(nèi)存：64GB網(wǎng)卡數(shù)：4個(gè) HBA卡數(shù)：0個(gè) 主機(jī)物理選擇 主機(jī)類型和版本：Dell PowerEdge M710hdCPU型號(hào)：Intel Xeon Processor X5647CPU插槽：2 每CPU 核心數(shù)：4總核數(shù)：8處理器頻率：2.93Ghz內(nèi)存：64GB板載網(wǎng)卡數(shù)：4個(gè) 5709千兆板載網(wǎng)卡速率：1Gbps插卡網(wǎng)卡數(shù)：2個(gè) 網(wǎng)卡型號(hào)：雙端口8GB FC HBA網(wǎng)卡個(gè)數(shù)和速率：2個(gè)8GB FC本地磁盤個(gè)數(shù)和型號(hào)：2個(gè)SAS 300G 10

9、kRAID級(jí)別：RAID 1 本地磁盤總?cè)萘浚?00G 系統(tǒng)監(jiān)控： OpenManage Essentials或 Dell Management Console 三、 虛擬化數(shù)據(jù)中心設(shè)計(jì)需求位置：1個(gè)主數(shù)據(jù)中心（1000臺(tái)虛擬機(jī)且增長迅速）10個(gè)分支機(jī)構(gòu)（每個(gè)分支機(jī)構(gòu)少于10臺(tái)服務(wù)器） 可用性： 設(shè)計(jì)為具有最高的可用性 已具備一個(gè)SQL故障轉(zhuǎn)移群集 管理： 所有組件需經(jīng)過公司認(rèn)證（活動(dòng)目錄） 某些虛機(jī)管理員使用Mac OS 估計(jì)： 生產(chǎn)機(jī)器與開發(fā)測試質(zhì)檢不能運(yùn)行在同樣的主機(jī)上 最大化靈活性（首選無狀態(tài)）Vcenter服務(wù)器選擇物理主機(jī)或虛擬化（VM或VA） 設(shè)計(jì)選擇：虛擬化，VM 理由：可以利

10、用VMOTION、DRS、HA，節(jié)省資源。 Virtual Appliance 不支持IPv6v;不支持Microsoft SQLSERVER數(shù)據(jù)庫;影響：為防止自動(dòng)遷移導(dǎo)致位置不定，增大斷電等事故造成的恢復(fù)難度，維持虛擬機(jī)位置的穩(wěn)定性。建議為管理虛擬機(jī)建立獨(dú)立的主機(jī)集群并默認(rèn)不動(dòng)態(tài)遷移。 vCenter服務(wù)器組件共享虛擬機(jī)或?qū)Ｓ?設(shè)計(jì)選擇：分離 理由：各個(gè)組件分開，可維護(hù)性更好，沒有單一故障點(diǎn)，服務(wù)隔離，不相互影響性能。 影響：虛擬機(jī)消耗的總資源較多，但性能較好。Vcenter服務(wù)器數(shù)據(jù)庫共享或?qū)Ｓ?設(shè)計(jì)選擇：共享故障轉(zhuǎn)移群集，單獨(dú)新建專用數(shù)據(jù)庫理由：物理環(huán)境現(xiàn)的故障轉(zhuǎn)移群集，提供了高可用。

11、數(shù)據(jù)庫與虛擬化環(huán)境分離，故障點(diǎn)分離易于恢復(fù)與重建。影響：只需建立新的數(shù)據(jù)庫，并與其他數(shù)據(jù)庫隔離訪問。 Vcenter Update Manager 位置 設(shè)計(jì)選擇：安裝在Vcenter并連接外部數(shù)據(jù)庫。理由： Update manager適合于Vcenter虛擬機(jī)安裝在一起,Update manger需要連接外部數(shù)據(jù)庫而不是單獨(dú)主機(jī)影響：Vcenter主機(jī)需要更多資源 Cluster 結(jié)構(gòu)設(shè)計(jì)選擇： Production 群集包含 28臺(tái)服務(wù)器,2個(gè)刀箱；Dev/Test/QA 集群 包含18服務(wù)器，2個(gè)刀箱；管理集群 ，2臺(tái)服務(wù)器，利用舊的服務(wù)器。 理由：最小主機(jī)數(shù)+未來3年主機(jī)規(guī)劃主機(jī)數(shù)+

12、2每個(gè)集群N+2保證HA冗余性。因此：生產(chǎn)：20+6+2 =28臺(tái) 開發(fā)/測試/質(zhì)控： 12+4+2=18臺(tái) 影響：可保證HA冗余資源 Resource Pools 設(shè)計(jì)選擇： Production不用建立資源池。Dev/Test和QA需要各自建立資源池。理由： Production群集里機(jī)器都用于生產(chǎn)，不建立資源池區(qū)分優(yōu)先級(jí)。Dev/Test和QA分為2種類型的業(yè)務(wù)，因?yàn)橘Y源共享同一個(gè)集群，需要各自建立資源池，根據(jù)需要設(shè)置資源傾斜。影響： 隨著Production群集虛擬機(jī)的增加，可建立資源池，根據(jù)業(yè)務(wù)關(guān)鍵度，保證最重要的應(yīng)用有足夠資源。Dev/Test/QA根據(jù)資源的使用情況，修改資源池的

13、配置 VSphere許可證版本 設(shè)計(jì)選擇： Enterprise Plus Edition。 理由：IDS（入侵檢測）策略需使用ESXI的分布式交換機(jī)。 影響：支持網(wǎng)絡(luò)和存儲(chǔ)服務(wù)質(zhì)量控制；支持第三方多路徑和網(wǎng)絡(luò)交換機(jī)；支持主機(jī)配置文件和自動(dòng)部署 邏輯設(shè)計(jì) 設(shè)計(jì)選擇Vcenter Server 版本：5.5 物理機(jī)或虛擬機(jī)：虛擬機(jī) CPU個(gè)數(shù)：2個(gè) 處理器類型：vCPU 處理器速度：利舊服務(wù)的每個(gè)核的cpu頻率*2 內(nèi)存：4GB網(wǎng)卡： 1個(gè) 磁盤個(gè)數(shù)和大?。?系統(tǒng)盤30G，數(shù)據(jù)盤30G 操作系統(tǒng)版本：Windows 2008 R2 物理設(shè)計(jì) 型號(hào)：VMware virtual hardware

14、9 處理器類型：VMware vCPU 網(wǎng)卡型號(hào)：vmxnet3 網(wǎng)卡個(gè)數(shù)：1x GbE 網(wǎng)絡(luò)：管理網(wǎng)絡(luò) 本地磁盤：共享存儲(chǔ)上的虛擬機(jī)磁盤 四、 網(wǎng)絡(luò)設(shè)計(jì)需求：production流量需要與Dev/Test/QA流量分離在虛擬機(jī)進(jìn)行VMotion后網(wǎng)絡(luò)屬性與狀態(tài)必須保持不變虛擬網(wǎng)絡(luò)配置需滿足可用性、安全性與效率 標(biāo)準(zhǔn)交換機(jī)或分布式交換機(jī) 設(shè)計(jì)選擇：使用分布式交換機(jī)。 理由：群集內(nèi)主機(jī)數(shù)量眾多，分布式交換機(jī)方便管理，可創(chuàng)建PVLAN，滿足IDS入侵檢測要求，且確保Vmotion后端口屬性不變。 影響：集群內(nèi)的主機(jī)使用統(tǒng)一的交換機(jī)。 vSwitch VLAN配置設(shè)計(jì)選擇：管理、虛擬機(jī)、VMOTIO

15、N、FT、存儲(chǔ)使用不同的VLAN。 理由：隔離流量，控制流量優(yōu)先級(jí)。 影響：所有與Esxi主機(jī)連接的交換機(jī)端口需配置配成Trunk。 vSwitch PVLAN配置設(shè)計(jì)選擇：使用。 理由：可隔離生產(chǎn)業(yè)務(wù)和開發(fā)/測試/質(zhì)檢的網(wǎng)絡(luò)流量。 影響：減少VLAN個(gè)數(shù)。 vSwitch 負(fù)載均衡模式的配置 設(shè)計(jì)選擇：端口組選擇 基于物理網(wǎng)卡負(fù)載的路由。 理由：網(wǎng)卡為1Gbps，單網(wǎng)卡可能會(huì)成為瓶頸。采用基于負(fù)載的綁定時(shí)，相應(yīng)算法會(huì)定期檢查所有綁定網(wǎng)卡的負(fù)載。如果其中一個(gè)網(wǎng)卡過載而另一個(gè)網(wǎng)卡尚有可用帶寬，則分布式虛擬交換機(jī)會(huì)重新分配端口與網(wǎng)卡的映射關(guān)系，以便達(dá)到平衡狀態(tài)。從而達(dá)到負(fù)載均衡的目的。影響：基于負(fù)

16、載的綁定在工作原理上與VMwareDRS類似：會(huì)檢查當(dāng)前負(fù)載，并將負(fù)載較高的虛擬機(jī)移至更加合適的物理網(wǎng)卡，在下次執(zhí)行檢查之前的這段時(shí)間，這種映射關(guān)系會(huì)保持穩(wěn)定 vShield Zone 設(shè)計(jì)選擇：不使用。 理由：已有硬件防火墻設(shè)備。 影響：vShield Zone會(huì)消耗一定的主機(jī)資源，不使用vShield Zone會(huì)減輕主機(jī)的壓力。但vShield與vShpere集成度高，方便使用。硬件防火墻則需要另外維護(hù)。 vSwitch 安全設(shè)置 設(shè)計(jì)選擇：默認(rèn)情況下，混雜模式設(shè)置為拒絕，MAC 地址更改和偽信號(hào)設(shè)置為接受。 理由：無特殊要求，使用默認(rèn)情況。 影響：后期根據(jù)安全要求可修改配置 物理交換機(jī)選

17、擇 設(shè)計(jì)選擇：Dell PowerConnect M6348 1Gb以太網(wǎng)高密度刀片交換機(jī)。 理由：用于M1000E刀箱，能夠與M系列高密度網(wǎng)卡配合使用。達(dá)48個(gè)端口（32個(gè)內(nèi)部端口）、可堆疊多達(dá)6個(gè)模塊。 影響：支持堆疊 FC SAN交換機(jī)選擇設(shè)計(jì)選擇：Brocade M5424 FC 8Gb光纖通道交換機(jī)理由：用于M1000E刀箱，能與環(huán)境中的FC存儲(chǔ)相連影響：可提供高級(jí)brocade功能方案拓?fù)鋱D： Vswitch物理設(shè)計(jì) dvSwitch vmnicNIC / SlotPortFunction00主板自帶0管理網(wǎng)絡(luò)（主）VMotion網(wǎng)絡(luò)（主）FT（網(wǎng)絡(luò)）VM網(wǎng)絡(luò)（主）113243vS

18、witchvSwitchVLAN ID0Management_10100Vmotion_20200FT_30300VM_VLAN5050Primary VLANVm TypePVLAN TypeSecondary VLAN50ProductionComunity10050Dev/TestComunity20050QAComunity300五、 存儲(chǔ)設(shè)計(jì)需求：使用高性能FC存儲(chǔ)陣列（雙控制器處于激活/激活狀態(tài)）Windos服務(wù)器提供15GB系統(tǒng)盤（平均使用10GB）以及40GB數(shù)據(jù)盤（平均使用25GB）Linux 服務(wù)器配置為60GB總?cè)萘浚ㄆ骄褂?0GB）必須為性能作最佳優(yōu)化LUN大小 設(shè)計(jì)

19、選擇：67*750GB LUN。 理由： windows OS 15GB厚置備格式，40GB精簡格式。Linux 60GB精簡格式。 虛擬機(jī)基本數(shù)據(jù)空間：600*（15+25）+400*40 =40000GB。虛擬機(jī)SWAP+快照：占20%；保留安全空間：占10%；總空間大小為40000*（100%+20%+10%）=52000GB 一般1個(gè)LUN大概15個(gè)虛擬機(jī)，那LUN的總數(shù)為1000/15=67個(gè)；每個(gè)LUN大小為：52000/67=776GB。 影響：1個(gè)LUN存儲(chǔ)15個(gè)虛擬機(jī)只是一般情況，如虛擬機(jī)性能要求特殊，需酌情考慮。如果存儲(chǔ)有分層也需酌情考慮。 存儲(chǔ)負(fù)載均衡 設(shè)計(jì)選擇：若是EM

20、C存儲(chǔ)，則使用 PowerPath/VE多路徑切換與恢復(fù)軟件，優(yōu)化存儲(chǔ)控制器負(fù)載平衡 。其他存儲(chǔ)則使用廠家提供的多路徑軟件。理由：EMC PowerPath/VE多路徑插件比原生的vSphere多路徑插件性能高，支持跨物理和虛擬環(huán)境部署。 影響：存儲(chǔ)廠家提供的多路徑軟件可能需要購買許可證。 VMFS或RDM格式 設(shè)計(jì)選擇：選擇VMFS，除了微軟故障轉(zhuǎn)移群集 理由： VMFS是提供Vmotion，快照，存儲(chǔ)IO控制，F(xiàn)T功能，支持VDP備份。RDM物理模式無法提供以上功能，虛擬模式也無法提供存儲(chǔ)IO控制，無法被vCloud Director支持。 影響：根據(jù)性能和需要合理安排格式，需要注意RDM

21、的限制。 主機(jī)Zone配置 設(shè)計(jì)選擇：不劃分zone。 理由：劃分zone每次增加主機(jī)都要修改交換機(jī)配置，存儲(chǔ)分配訪問控制可在存儲(chǔ)軟件上建立訪問控制。 影響：需存儲(chǔ)管理員按集群要求配置，只分配LUN給相應(yīng)的vSphere集群上的物理機(jī)。 LUN分配設(shè)計(jì)選擇：LUN分配給相應(yīng)的vSphere集群上的物理機(jī)。 理由：分配的主機(jī)少了，不能保證可將虛擬機(jī)使用Vmotion遷移到集群內(nèi)的任一物理機(jī)。分配的主機(jī)多了，主機(jī)有權(quán)限訪問該存儲(chǔ)，可能會(huì)破壞到存儲(chǔ)中的數(shù)據(jù)。 一般1個(gè)LUN大概15個(gè)虛擬機(jī)，那LUN的總數(shù)為1000/15=67個(gè)；每個(gè)LUN大小為：52000/67=776GB。 影響：1個(gè)LUN存儲(chǔ)

22、15個(gè)虛擬機(jī)只是一般情況，如虛擬機(jī)性能要求特殊，需酌情考慮。如果存儲(chǔ)有分層也需酌情考慮。 精簡和厚置備格式 設(shè)計(jì)選擇：一般系統(tǒng)盤為厚置備，數(shù)據(jù)盤為精簡制備，如果使用FT或?qū)Υ疟P性能要求較高，如數(shù)據(jù)庫，數(shù)據(jù)盤也使用厚置備。 理由：精簡置備可節(jié)省磁盤空間，厚相對(duì)性能較高。影響：精簡置備分配的總空間可能會(huì)超過存儲(chǔ)的總空間，對(duì)存儲(chǔ)的剩余空間需要留意。 邏輯設(shè)計(jì) 存儲(chǔ)類型：已有的FC SAN存儲(chǔ)控制器個(gè)數(shù)： 2個(gè)（主-主） FC交換機(jī)個(gè)數(shù)：2個(gè) 每臺(tái)主機(jī)與每臺(tái)交換機(jī)之間連接端口數(shù)：每臺(tái)主機(jī)與每臺(tái)FCoE交換機(jī)連接1個(gè)端口 LUN大?。?776GB LUN總數(shù)：67個(gè) 每個(gè)LUN多少個(gè)VMFS datastore：1個(gè) 物理設(shè)計(jì) 存儲(chǔ)類型：EMC Symmetrix VMAX 10K類型： 2個(gè)（主-主） Esxi主機(jī)多路徑策略：PowerPath/VE MPP多路徑最小/最大交換機(jī)端口速率：8G/10G六、 虛擬機(jī) 虛擬機(jī)部署注意事項(xiàng)設(shè)計(jì)選擇： 安裝vmtools，使用模板部署時(shí)重新封裝操作系統(tǒng)避免SSID重復(fù)理由： vmtools使虛擬機(jī)時(shí)間可與主機(jī)同步，SSID重復(fù)加入域會(huì)有問題影響： 08以前的舊操作系統(tǒng)重新封裝需要把封裝文件放置到vcenter特定的文件夾。 交換區(qū)與頁面文件位置設(shè)計(jì)選擇： 與主機(jī)目錄位置一致理由：方便Vmotion 影響：VM負(fù)載