數(shù)據(jù)中心新技術(shù)介紹

數(shù)據(jù)中心新技術(shù)介紹數(shù)據(jù)中心拓展部：王宏偉2010年8月關(guān)于Server-to-networkedge的故事未來幾年，數(shù)據(jù)中心的新技術(shù)都將發(fā)生在Server-to-networkedge；FCOE、CNA、CEE、EVB，都是Server-to-networkedge的故事；數(shù)據(jù)中心以太網(wǎng)絡(luò)三個(gè)技術(shù)方向：融合、IO虛擬化、40G/100GFWLBIPSNetStreamFWLBIPSNetStreamServer-to-netwokredge虛擬化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoE概述——虛擬化的定義虛擬化是資源的邏輯表示，它不受物理限制的約束——

引自IBM《虛擬化與云計(jì)算》“虛擬化”的定義包含了三層含義：虛擬化的對(duì)象是各種各樣的資源；經(jīng)過虛擬化后的邏輯資源對(duì)用戶隱藏了不必要的細(xì)節(jié)；用戶可以在虛擬環(huán)境中實(shí)現(xiàn)其真實(shí)環(huán)境的部分或全部功能;“虛擬化”的兩種形式：N:1虛擬化1:N虛擬化概述——包羅萬象的虛擬化虛擬化服務(wù)器虛擬化存儲(chǔ)虛擬化桌面虛擬化軟件虛擬化網(wǎng)絡(luò)虛擬化服務(wù)器虛擬化：使用虛擬化軟件在一臺(tái)物理服務(wù)器上運(yùn)行多個(gè)操作系統(tǒng)；網(wǎng)絡(luò)虛擬化：將網(wǎng)絡(luò)的硬件和軟件進(jìn)行整合，想用戶提供虛擬網(wǎng)絡(luò)連接的技術(shù)，VLAN/VPN/VRF/IRF/VDC等，后面將詳細(xì)討論；存儲(chǔ)虛擬化：為物理存儲(chǔ)設(shè)備提供一個(gè)抽象邏輯視圖，用戶通過這個(gè)統(tǒng)一的邏輯接口來訪問被整合的存儲(chǔ)資源，RAID/NAS/SAN。軟件虛擬化：應(yīng)用虛擬化、高級(jí)語言虛擬化（JAVA/JRE）；桌面虛擬化：將個(gè)人桌面環(huán)境保存在遠(yuǎn)端服務(wù)器上，終端與桌面解除耦合；虛擬化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoE服務(wù)器虛擬化的基本概念虛擬化前:每臺(tái)主機(jī)一個(gè)操作系統(tǒng)；軟件硬件緊密地結(jié)合

；在同一主機(jī)上運(yùn)行多個(gè)應(yīng)用程序通常會(huì)遭遇沖突；系統(tǒng)的資源利用率低；硬件成本高昂而且不夠靈活；虛擬化后:解除了操作系統(tǒng)和服務(wù)器硬件的互相依賴；每個(gè)虛擬機(jī)（邏輯服務(wù)器）被封裝成一個(gè)大文件，可拷貝/克?。粋€(gè)系統(tǒng)間邏輯隔離，故障隔離；虛擬機(jī)獨(dú)立于硬件,可在其他服務(wù)器上運(yùn)行；借助虛擬化軟件在一臺(tái)物理服務(wù)器上運(yùn)行多個(gè)操作系統(tǒng)；服務(wù)器虛擬化的兩個(gè)術(shù)語在虛擬化中有兩個(gè)常用的術(shù)語：VirtualMachine、virtualmachine

monitorVirtualMachine（VM）是指運(yùn)行在Hypervisor之上，擁有CPU、IO、內(nèi)存等虛擬硬件資源并可支撐操作系統(tǒng)運(yùn)行的一個(gè)完整的系統(tǒng)平臺(tái)。virtualmachinemonitor（VMM）或叫做Hypervisor，是支持虛擬機(jī)運(yùn)行的軟件平臺(tái)，負(fù)責(zé)虛擬機(jī)（VM）的托管和管理，它直接運(yùn)行在服務(wù)器硬件上，因此其實(shí)現(xiàn)直接受底層體系機(jī)構(gòu)的約束。VMM，有兩種典型的實(shí)現(xiàn)：主機(jī)實(shí)現(xiàn)方案（hosted），也叫做主機(jī)虛擬化，實(shí)現(xiàn)：VMwareServer(GSX)、VMwareWorkstation、VMwareFusionMicrosoftVirtualPC、MicrosoftVirtualServer裸金屬實(shí)現(xiàn)方案（bare-metal）,也叫做裸金屬虛擬化，實(shí)現(xiàn)：VMwareESXServerCitrixXenServerMicrosoftHyper-V當(dāng)前市場(chǎng)上的主流產(chǎn)品服務(wù)器虛擬化的典型實(shí)現(xiàn)VMM作為一個(gè)應(yīng)用程序運(yùn)行在通用操作系統(tǒng)之上，操作系統(tǒng)管理資源。多個(gè)虛擬機(jī)的OS間相互獨(dú)立，一個(gè)虛擬機(jī)宕機(jī)不影響其他虛擬機(jī)。操作系統(tǒng)支持的硬件，虛擬機(jī)就能支持。性能低。VMM負(fù)責(zé)硬件資源的管理。VM應(yīng)用層、VM內(nèi)核、Hypervisor處于不同的CPU特權(quán)等級(jí)多個(gè)虛擬機(jī)的OS間相互獨(dú)立，一個(gè)虛擬機(jī)宕機(jī)不影響其他虛擬機(jī)。處理性能高，接近非虛擬化運(yùn)行模式；VMM（虛擬化軟件）ApplicationApplicationOSOS一個(gè)虛擬機(jī)一個(gè)虛擬機(jī)主機(jī)虛擬化的結(jié)構(gòu)ApplicationApplicationVMM（虛擬化軟件）OSOS一個(gè)虛擬機(jī)一個(gè)虛擬機(jī)裸金屬虛擬化的結(jié)構(gòu)CPU演進(jìn)：?jiǎn)魏恕p核→四核→八核→

…雙核四核四核八核每核運(yùn)行1.5個(gè)虛擬機(jī)（該比例是Intel提出的虛擬機(jī)SLA限制條件，即運(yùn)行于滿負(fù)載機(jī)器之上的所有作業(yè)的完成時(shí)間不應(yīng)超過其在空載機(jī)器上單個(gè)VM中運(yùn)行所需時(shí)間的1.4倍）；裝備1個(gè)8核CPU的服務(wù)器可運(yùn)行12個(gè)虛擬機(jī)動(dòng)態(tài)遷移運(yùn)行中的VM可實(shí)現(xiàn)動(dòng)態(tài)遷移到不同物理及的虛擬平臺(tái)上分區(qū)在單一物理服務(wù)器上同時(shí)運(yùn)行

多個(gè)虛擬機(jī)隔離在同一服務(wù)器上的虛擬機(jī)之間

相互隔離封裝整個(gè)虛擬機(jī)都保存在文件中，而且可以通過移動(dòng)和復(fù)制這些文件的方式來移動(dòng)和復(fù)制該虛擬機(jī)服務(wù)器虛擬化的關(guān)鍵特性虛擬層虛擬交換機(jī)CPU虛擬化內(nèi)存虛擬化存儲(chǔ)資源虛擬化傳統(tǒng)數(shù)據(jù)中心視圖虛擬架構(gòu)視圖OperatingSystemExchangeOperatingSystem虛擬化層OperatingSystemVPNOperatingSystem虛擬化層OperatingSystemFile/PrintOperatingSystem虛擬化層OperatingSystemCRMOperatingSystem虛擬化層服務(wù)器虛擬化的對(duì)傳統(tǒng)IT架構(gòu)的改變虛擬化層虛擬交換機(jī)CPU虛擬化內(nèi)存虛擬化存儲(chǔ)資源虛擬化服務(wù)器虛擬化的對(duì)傳統(tǒng)IT架構(gòu)的改變服務(wù)器虛擬化的關(guān)鍵特性——?jiǎng)討B(tài)遷移服務(wù)器硬件VMM服務(wù)器硬件VMMVMotion遷移虛擬機(jī)SAN、iSCSI或NAS動(dòng)態(tài)遷移可在X86架構(gòu)的VMWAREESX上實(shí)現(xiàn)，也可以在IBMP6小型機(jī)上實(shí)現(xiàn)；在不中斷服務(wù)的情況下，將VM遷移到其他的物理服務(wù)器上；可用在災(zāi)備、資源調(diào)整、服務(wù)器維護(hù)等場(chǎng)合；實(shí)現(xiàn)遷移的服務(wù)器必須在一個(gè)二層網(wǎng)絡(luò)內(nèi)，VM的GW在相同設(shè)備上；Intel?Core?

MicroarchitectureEnhancedIntel?Core?MicroarchitectureNextGeneration

IntelMicroarchitectureXeon7500Xeon5400Xeon3300FutureFutureFutureXeon5300Xeon7300Xeon320065nm45nmHigh-K2006-20072007-20082008-2010DualCore5100DualCore7200DualCore3000Intel?VTFlexMigrationIncreasedVMMobilitywithVMwareFail-Over防故障LoadBalance負(fù)載分擔(dān)

DisasterRecovery容災(zāi)ServerMaintenance服務(wù)器維護(hù)VMVMIntelCPU對(duì)虛擬機(jī)VMotion特性的支持借助intelVTFlexmirgration和vmwareESX的VMotion，先前在各代服務(wù)器間實(shí)時(shí)遷移虛擬機(jī)的障礙已得到解決。IBMP6/P7CPU支持“分區(qū)實(shí)時(shí)遷移”IBMSystemp系統(tǒng)的動(dòng)態(tài)分區(qū)遷移技術(shù)，允許將正在運(yùn)行的生產(chǎn)應(yīng)用程序從一個(gè)物理服務(wù)器移動(dòng)到另一個(gè)物理服務(wù)器動(dòng)態(tài)分區(qū)遷移有助于實(shí)現(xiàn)連續(xù)的可用性目標(biāo)：通過動(dòng)態(tài)地將應(yīng)用程序從一個(gè)服務(wù)器移動(dòng)到另一個(gè)服務(wù)器，減少計(jì)劃停機(jī)時(shí)間。通過允許您將工作負(fù)載從負(fù)載較重的服務(wù)器移動(dòng)到具有空閑容量的服務(wù)器，可以應(yīng)對(duì)不斷變化的工作負(fù)載和業(yè)務(wù)需求。通過允許您簡(jiǎn)單地整合工作負(fù)載，并關(guān)閉不使用的服務(wù)器，減少能量的消耗。IBMP6/P7CPU都支持“分區(qū)實(shí)時(shí)遷移”，類似與VMWARE的VMotion?！胺謪^(qū)實(shí)時(shí)遷移”需要服務(wù)器部署在同一個(gè)二層網(wǎng)絡(luò)中。虛擬化：

服務(wù)器虛擬化

EVB融合架構(gòu)：CEEFCoE物理網(wǎng)卡虛擬交換機(jī)VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬交換機(jī)虛擬化Server虛擬機(jī)1虛擬機(jī)2虛擬機(jī)3虛擬機(jī)4虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡核心層匯聚層接入層接入層服務(wù)器虛擬化帶來網(wǎng)絡(luò)接入層的變化傳統(tǒng)的VSwitch的問題1——管理邊界問題物理網(wǎng)卡虛擬交換機(jī)VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬服務(wù)器邊界物理服務(wù)器邊界二層網(wǎng)絡(luò)邊界這部分由服務(wù)器管理員負(fù)責(zé)運(yùn)維。這部分由網(wǎng)絡(luò)管理員負(fù)責(zé)運(yùn)維。這部分由誰負(fù)責(zé)運(yùn)維？物理服務(wù)器中的邏輯網(wǎng)絡(luò)由誰管？相似的情況：刀片服務(wù)器中的交換機(jī)模塊由誰管？Server-to-networkedge是當(dāng)前數(shù)據(jù)中心技術(shù)發(fā)展的熱點(diǎn)，融合、IO/虛擬化是熱點(diǎn)的兩個(gè)主題；其實(shí)，EVB/FCOE/CEE，都是在討論邊界上的技術(shù)問題；傳統(tǒng)的VSwitch的問題2——VM流量監(jiān)管問題物理網(wǎng)卡VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡從虛擬機(jī)到物理服務(wù)器之外的流量可以通過交換機(jī)鏡像、網(wǎng)流分析設(shè)備進(jìn)行監(jiān)控；虛擬機(jī)之間的流量無法進(jìn)行監(jiān)控；也有將虛擬交換機(jī)軟件進(jìn)行改進(jìn)，以實(shí)現(xiàn)流量監(jiān)控或鏡像的方式，但這種方式需要消耗過多的CPU資源?？杀O(jiān)控的服務(wù)器流量不可監(jiān)控的服務(wù)器流量物理網(wǎng)卡VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡傳統(tǒng)的VSwitch的問題3——服務(wù)器訪問控制數(shù)據(jù)中心服務(wù)器之間采用了矩陣式的訪問控制策略。不同的虛擬機(jī)之間需要通過ACL實(shí)現(xiàn)訪問控制；傳統(tǒng)的VSwitch實(shí)現(xiàn)ACL需要消耗CPU資源，對(duì)服務(wù)器性能有影響；安全策略與VM的遷移緊綁定問題需解決；EVB實(shí)現(xiàn)虛擬機(jī)的邊緣接入控制VirtualEthernetBridge(VEB)VirtualEthernetPortAggregation(VEPA)也稱BasicVEPAMultichannelRemoteReplicationMAC+VIDtosteerframesMAC+VIDtosteerframesusestagforremoteportsusestagtoreplicatepackets仿真802.1橋功能已有實(shí)現(xiàn)(vSwitch,SR-IOVbridge)與現(xiàn)有網(wǎng)絡(luò)可配合運(yùn)行無需修改當(dāng)前報(bào)文格式有限的可視性(不易管理)有限的網(wǎng)絡(luò)功能本地轉(zhuǎn)發(fā)性能較強(qiáng)Legacy,pervasive修改802.1橋功能與現(xiàn)有大部分交換可配合運(yùn)行Hairpin方式不修改現(xiàn)有報(bào)文格式

FullbridgevisibilityAccesstobridgefeaturesConstrainedperformanceLeveragesVEBresources利用ProviderBridge802.1Qbc功能類似遠(yuǎn)端業(yè)務(wù)接口

RemoteServiceInterface使用現(xiàn)有報(bào)文格式(S-tags).創(chuàng)建橋虛擬端口定義受控SComponent組件

AccesstobridgefeaturesAdjacentbridgemulticastreplication(性能有限)擴(kuò)展Multichannel可外部級(jí)聯(lián)定義新的tagformatDefinesnewnamespaceHP/3COM802.1Qbg的解決方案MAC/PHY虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3VEPA以太網(wǎng)交換機(jī)VirtualEtherPortAggragation方案：現(xiàn)在的交換機(jī)只要稍做驅(qū)動(dòng)修改就可支持這種模式；原來的VSwitch變成了VEPA，但還是CPU處理，性能有一定限制；在物理網(wǎng)絡(luò)上實(shí)現(xiàn)了流控和安全控制；物理服務(wù)器邊界也是網(wǎng)管邊界；實(shí)現(xiàn)流量監(jiān)控、安全控制物理服務(wù)器邊界虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3以太網(wǎng)交換機(jī)實(shí)現(xiàn)流量監(jiān)控、安全控制物理服務(wù)器邊界虛擬網(wǎng)卡VM3VSwitchVEPA多通道標(biāo)簽處理模塊MAC/PHY多通道標(biāo)簽處理模塊Mutil-Channel方案：可同時(shí)支持軟/硬VSwitch、VEPA，需要升級(jí)網(wǎng)卡和接入層交換機(jī)支持Q-IN-Q；在物理網(wǎng)絡(luò)上實(shí)現(xiàn)了流控和安全控制物理服務(wù)器邊界也是網(wǎng)管邊界；物理網(wǎng)卡物理網(wǎng)卡CISCO的802.1Qbh解決方案虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3以太網(wǎng)交換機(jī)實(shí)現(xiàn)流量監(jiān)控、安全控制虛擬網(wǎng)卡VM3VSwitchVEPAM標(biāo)簽處理模塊（標(biāo)簽復(fù)制）MAC/PHYM標(biāo)簽處理模塊M標(biāo)簽處理模塊（標(biāo)簽復(fù)制）非虛擬化的服務(wù)器MAC/PHY物理網(wǎng)卡物理網(wǎng)卡操作系統(tǒng)非虛擬化的服務(wù)器MAC/PHY物理網(wǎng)卡端口擴(kuò)展FEX為解決多通道技術(shù)多播轉(zhuǎn)發(fā)的復(fù)雜性，提出了端口擴(kuò)展技術(shù)；端口擴(kuò)展技術(shù)實(shí)現(xiàn)了M部件，專用于對(duì)多播報(bào)文進(jìn)行轉(zhuǎn)發(fā)；M部件增加對(duì)多播tag的添加和刪除；操作系統(tǒng)兩個(gè)標(biāo)準(zhǔn)草案的比較802.1Qbg：目標(biāo)是定義EVB的基本功能；VEPA及其multi-channel是由HP、3COM、IBM、Broadcom、Qlogic、emulex等公司支持發(fā)起確定的IEEE標(biāo)準(zhǔn)，將2011年初成為正式標(biāo)準(zhǔn)；協(xié)議定義了虛擬機(jī)VMM以及交換機(jī)對(duì)來自VM的報(bào)文的處理方式，將VM的流量牽引到交換機(jī)上做轉(zhuǎn)發(fā)、監(jiān)管、安全控制，然后在送回到VM。該協(xié)議明確了服務(wù)器管理邊界、網(wǎng)絡(luò)管理邊界。802.1Qbh：目標(biāo)是定義端口擴(kuò)展；CISCO主導(dǎo)的802.1Qbh，預(yù)計(jì)在2012年成為正式標(biāo)準(zhǔn)；該協(xié)議定義了新的以太網(wǎng)報(bào)文格式（增加了M-TAG），一組M-tag代表一組端口，用于遠(yuǎn)端的部件進(jìn)行報(bào)文的復(fù)制（多播）。這兩個(gè)標(biāo)準(zhǔn)不沖突，Qbg實(shí)現(xiàn)VM之間交換的基本功能，可以借助Qbh提高多播的處理性能；Qbh可以單獨(dú)實(shí)現(xiàn)，但對(duì)硬件有特殊要求；虛擬化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoE傳統(tǒng)數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)的挑戰(zhàn)HPCLANSAN傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的問題：分離的多套網(wǎng)絡(luò)服務(wù)器多IO接口多套機(jī)房布線以太網(wǎng)高性能計(jì)算網(wǎng)存儲(chǔ)網(wǎng)發(fā)展趨勢(shì)—IO整合操作系統(tǒng)I/OI/OI/OI/OI/OI/OLANTCP/UDP/IPSANiSCSCI-TCPSCSCI-FCHPCRDMAiWARP以太網(wǎng)以太網(wǎng)FC以太網(wǎng)InfinibandLAN應(yīng)用存儲(chǔ)應(yīng)用HPC應(yīng)用操作系統(tǒng)LANTCP/UDP/IPSANiSCSCI-TCPSCSCI-FCHPCRDMAiWARP增強(qiáng)以太網(wǎng)LAN應(yīng)用存儲(chǔ)應(yīng)用HPC應(yīng)用增強(qiáng)以太網(wǎng)FCHBANICFCHBANIC…FC流量FC流量Enet流量Enet流量CNAFC流量和Enet流量CNAFC流量和Enet流量CAN：Converged

Network

Adapter

IO整合帶來的收益——簡(jiǎn)化管理、節(jié)能、降成本LANSANASANBLANSANASANBEthernetFCCEE&FCOE多套網(wǎng)絡(luò)獨(dú)立運(yùn)行，多個(gè)故障域（以太網(wǎng)、FC網(wǎng)等），多個(gè)管理團(tuán)隊(duì)（以太網(wǎng)管人員、FC網(wǎng)管人員）；各網(wǎng)絡(luò)利用率都不充分；每個(gè)服務(wù)器超過5個(gè)IO接口卡（兩個(gè)數(shù)據(jù)以太網(wǎng)卡、一個(gè)管理以太網(wǎng)卡、兩個(gè)HBA卡）服務(wù)器部署時(shí)間長(zhǎng)，需配多個(gè)IO卡減少了服務(wù)器的IO接口，簡(jiǎn)少服務(wù)器接入層設(shè)備（網(wǎng)絡(luò)、存儲(chǔ)），簡(jiǎn)化服務(wù)器接入層布線；降低數(shù)據(jù)中心用電，綠色節(jié)能，降低數(shù)據(jù)中心建設(shè)成本；采用統(tǒng)一的網(wǎng)絡(luò)管理界面；即融合了存儲(chǔ)網(wǎng)絡(luò)，又未改變傳統(tǒng)FC存儲(chǔ)網(wǎng)絡(luò)的部署方式；>10Gbps.8-10Gbps.ExistingFibreChannelEthernet1,2,4Gb16Gb8GbNAS,iSCSIFCoCEE1Gb傳統(tǒng)交換10Gb統(tǒng)一交換40Gb統(tǒng)一交換統(tǒng)一交換的基礎(chǔ)——高性能以太網(wǎng)在FCSAN（FC-BASE2），服務(wù)器和交換機(jī)之間、交換機(jī)與交換機(jī)之間采用4G或8G。10G以太網(wǎng)提供了LAN/SAN融合的基礎(chǔ)；FC采用基于Buffer-to-BufferCredit的流控機(jī)制，保證FC網(wǎng)絡(luò)傳輸無丟包；通過FCOE技術(shù)，可實(shí)現(xiàn)FC在以太網(wǎng)上的承載傳輸；融合增強(qiáng)以太網(wǎng)技術(shù)（CEE），提供了不丟包的以太網(wǎng)傳輸以及二層多路徑轉(zhuǎn)發(fā)，保證FC傳輸不丟包以及FC傳輸?shù)男?；虛擬化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoEIEEE的數(shù)據(jù)中心橋接（DCB）和IETF的TRILL統(tǒng)稱為融合增強(qiáng)型以太網(wǎng)(CEE)。特性或標(biāo)準(zhǔn)好處Priority-basedFlowControl(PFC)IEEE802.1Qbb使得多種流量類型共享以太鏈路，不同流量類型不互相影響EnhancedTransmissionSelection(ETS)IEEE802.1Qaz將流量按服務(wù)類型分組，提供不同流量的最小帶寬保證同時(shí)提高鏈路利用率CongestionNotification(QCN)IEEE802.1Qau實(shí)現(xiàn)2層網(wǎng)絡(luò)端到端的擁塞管理DataCenterBridgingExchangeProtocol(DCBX)提供增強(qiáng)以太網(wǎng)能力的自動(dòng)協(xié)商L2MultiPathing(L2MP)IETFTRILL消除2層拓?fù)渲械纳蓸?，通過ECMP來充分利用鏈路帶寬融合增強(qiáng)以太網(wǎng)技術(shù)（CEE）Priority-basedFlowControl(PFC)