OpenStack金融云解決方案

OpenStack金融云平臺

技術(shù)方案

浪潮（北京）電子信息產(chǎn)業(yè)有限公司

2017年10月

1概述

1.1項目背景

1.2建設(shè)原則

云平臺的建設(shè)原則是采用業(yè)內(nèi)主流開源云計算解決方案，云平臺建設(shè)建議

遵循以下原則：

1）兼顧定制化功能和整體標(biāo)準(zhǔn)接口，優(yōu)先考慮整體的標(biāo)準(zhǔn)化；

2）兼顧產(chǎn)品的可靠性和性能，優(yōu)先支持可靠性

3）融合分布式技術(shù)和集中式技術(shù)，優(yōu)先考慮分布式技術(shù)

4）堅持自主可控技術(shù)積累，優(yōu)先考慮“成熟的”開源技術(shù)

13業(yè)務(wù)現(xiàn)狀

2云平臺建設(shè)

InCloudOpenStack云平臺以穩(wěn)定版本的OpenStack為核心，基于它提供的

計算資源管理、存儲管理、網(wǎng)絡(luò)管理、鏡像管理、認(rèn)證管理、計量管理和其他

模塊進(jìn)行優(yōu)化，結(jié)合分布式存儲，兼容異構(gòu)的虛擬化層、存儲和網(wǎng)絡(luò)設(shè)備，構(gòu)

建一個面向未來的、易于橫向擴(kuò)展的、高可用的、不被廠商鎖定的彈性計算存

儲云資源池。

InCloudOpenStack云平臺是以社區(qū)Openstack為基礎(chǔ)，做了大量的優(yōu)化,

使之能適應(yīng)企業(yè)云的需求，幫助企業(yè)云實現(xiàn)落地。

InCloudOpenStack

倏Tf建門戶］（開故API-］

［自然典:(嬉T?][]座?J

!KB!【掖寰管。:[故][?MRlj[HWCT](X證授權(quán)j

【應(yīng)用商店】［安全加國］侵麗g］（資等許保）：

InCloudOpenStackCore

(Nova)Neutron)(CinderJ《核心互平口)[G匕rxe][Keystone](swift)

軟件定義計典軟件定義存儲軟件定義網(wǎng)絡(luò)軟件定義安全

InCloudStorage/

ICS/vSphere/KVMACI/NSX/OVS

CephSSR-v/vLB

|X86服務(wù)器安全a得1

存儲路由器/交換機(jī)

InCloudOpenStack云平臺整體上主要由以下幾個部分組成:

1）上層云方案

InCloudOpenStack做為企業(yè)級云平臺，可以為上層提供各種云應(yīng)用

方案，例如：整合了測試自動化系統(tǒng)的研發(fā)測試云；開放的，可定制的

金融私有云；與公有云充接的混合云；支持多租戶的行業(yè)云，以及支持

中小客戶的超融一體機(jī)系統(tǒng)。

2）OpenstackPlus核心平臺。包括：

Openstack核心基礎(chǔ)：包含計算（虛擬化）管理模塊、存儲管理模塊、

網(wǎng)路管理模塊、鏡像管理模塊和認(rèn)證等模塊。

企業(yè)級框架增強(qiáng)：為了實現(xiàn)企業(yè)的可靠性，性能，生命周期管理等

功能，以及自動化運(yùn)維組件，包括資源監(jiān)控，日志，成本計量，業(yè)務(wù)流

程引擎，根據(jù)需求進(jìn)行資源申請和審批的業(yè)務(wù)流程。這些是Openstack核心

的有效補(bǔ)充和增強(qiáng)，實現(xiàn)在企業(yè)的落地。

3）底層架構(gòu)

底層架構(gòu)提供與標(biāo)準(zhǔn)及商業(yè)的基礎(chǔ)架構(gòu)的匹配和集成。在計算，存儲，網(wǎng)

絡(luò)，和安全方面，提供與多種現(xiàn)有系統(tǒng)的集成，結(jié)合插件（Plug-in）和驅(qū)動

（Driver）,將異構(gòu)的硬件整合到云平臺中。

InCloudOpenStack的目標(biāo)是，打造適合企業(yè)級使用的智能計算/存儲融合架

構(gòu)云平臺，簡化數(shù)據(jù)中心管理，降低數(shù)據(jù)中心成本支出。為實現(xiàn)這一目標(biāo)，這

一產(chǎn)品在設(shè)計之初就遵循以下幾大原則：

令通用原則：產(chǎn)品專注在軟件層面的實現(xiàn)，對底層服務(wù)器和網(wǎng)絡(luò)設(shè)備無特殊要

求。可以運(yùn)行在通用的X86服務(wù)器上，無廠商鎖定和限制。可以運(yùn)行在通用

的萬兆交換機(jī)網(wǎng)絡(luò)中，對硬件交換設(shè)備無特殊要求，通過軟件控制整體網(wǎng)絡(luò)

行為。

今無中心原則：系統(tǒng)任何節(jié)點(diǎn)失效都不影響整體使用，主要體現(xiàn)在任何節(jié)點(diǎn)都

可以成為（或接管）控制器節(jié)點(diǎn)，任何節(jié)點(diǎn)都可以成為“存儲+計算”融合節(jié)點(diǎn)。

?群氓智能：整體平臺體現(xiàn)高度的智能調(diào)度和運(yùn)維自動化，包括任何節(jié)點(diǎn)出現(xiàn)

問題，虛擬機(jī)都可以自動修復(fù)錯誤，保證虛擬機(jī)運(yùn)行；新增節(jié)點(diǎn)自動安裝,

加入即成為資源池的一部分，接受系統(tǒng)調(diào)度支持自動資源調(diào)度，根據(jù)策略實

優(yōu)化負(fù)載，實現(xiàn)整體資源使用均衡。

令業(yè)務(wù)可用性：內(nèi)置整體云平臺管理界面，無需額外采購，即可擁有用戶界面，

實現(xiàn)開機(jī)即可用。

2.1整體架構(gòu)

通過如下的邏輯架構(gòu)設(shè)計，實現(xiàn)平臺的統(tǒng)一管理和運(yùn)維;

若質(zhì)??”“日，?機(jī)1M

O^McteckMS?it***

ua?e?mrti?ttW

openstack■■■■日￡??

wwRO

KManftMOWM<M(MMI)I|MKM(M)

OTHBBMHM-1MHMI

典IIE，式計■/3a云

?牛式s?

7

外層用戶：根據(jù)應(yīng)用/基礎(chǔ)架構(gòu)資源的層次，整個云平臺所面向用戶有四類，相

應(yīng)的權(quán)限限定如下:

■云平臺系統(tǒng)外部用戶：從因特網(wǎng)訪問云平臺系統(tǒng)，但無法訪問內(nèi)部系統(tǒng)。

根據(jù)這一訪問特點(diǎn)，云平臺將通過前端設(shè)備NAT映射來限定可以被外網(wǎng)訪

問的系統(tǒng)，同時結(jié)合防火墻設(shè)置以及VLAN分配，做好對外防護(hù)和對內(nèi)隔

離的設(shè)置

■云平臺系統(tǒng)內(nèi)部用戶：從內(nèi)網(wǎng)訪問云平臺系統(tǒng)或者辦公系統(tǒng)，云平臺將通

過VLAN隔離以及設(shè)備（服務(wù)器和存儲資源）的物理隔離等方式，限制外

網(wǎng)和內(nèi)網(wǎng)之間的安全劃分，同時結(jié)合內(nèi)網(wǎng)資源（子網(wǎng)/VLAN/IP/安全組）的

管理，做好應(yīng)用之間的隔離

■云平臺系統(tǒng)應(yīng)用層管理員（云租戶）：負(fù)責(zé)支持系統(tǒng)應(yīng)用層的運(yùn)維，負(fù)責(zé)應(yīng)

用層的監(jiān)控、升級和問題解決。具有系統(tǒng)相對應(yīng)的操作系統(tǒng)、存儲、網(wǎng)絡(luò)

和數(shù)據(jù)庫等基礎(chǔ)架構(gòu)資源的訪問和管理權(quán)限。云平臺將通過租戶管理模

塊，從邏輯上進(jìn)行組織劃分以及可使用資源的限定，進(jìn)行租戶隔離

■云平臺管理員：云平臺整體管理員，負(fù)責(zé)云平臺的租戶管理、資源分配、

狀態(tài)監(jiān)控和系統(tǒng)運(yùn)維等工作

上層交互界面：

■租戶使用界面：云計算租戶往往為各個應(yīng)用系統(tǒng)的管理員，通過租戶界

面，租戶可以訪問自己的操作系統(tǒng)和存儲資源，請求新資源，同時進(jìn)行一

些基本的管理操作

■云平臺管理員界面：云平臺整體管理員通過這一界面實現(xiàn)對整個云平臺的

資源分配、監(jiān)控和管理。管理員也可以通過命令行進(jìn)行一些更高級的管理

操作

■API接口：云平臺同時提供整體云平臺的APL可以基于此二次開發(fā)，可以

和其他系統(tǒng)進(jìn)行集成

中層核心框架：

■基礎(chǔ)模塊：用戶記錄各個模塊數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)庫、用戶保存監(jiān)控數(shù)據(jù)的

非結(jié)構(gòu)化數(shù)據(jù)庫和用戶各模塊之間通信的消息模塊

■核心云計算框架：包含認(rèn)證模塊、計算（虛擬化）管理模塊、存儲管理模

塊、網(wǎng)路管理模塊、鏡像管理模塊和自動化運(yùn)維模塊，通過這些核心組

件，構(gòu)建軟件定義數(shù)據(jù)中心的基本框架

■業(yè)務(wù)流程引擎：根據(jù)云平臺云的需求進(jìn)行資源申請和審批的業(yè)務(wù)流程

■資源監(jiān)控：監(jiān)控整個云平臺資源使用情況

■異構(gòu)兼容：結(jié)合插件（Plug-in）和驅(qū)動（Driver）,將異構(gòu)的硬件整合到云

平臺中

底層架構(gòu)：

■計算節(jié)點(diǎn)虛擬化：通過在每個節(jié)點(diǎn)上部署虛擬化軟件，實現(xiàn)計算資源的虛

擬化，提供虛擬機(jī)資源

■分布式存儲：通過分布式存儲為云平臺提供各種存儲資源

2.2系統(tǒng)建設(shè)

2.2.1資源池化

2.2.1.1計算虛擬化

計算資源的池化主要通過“虛擬化技術(shù)”，將服務(wù)器硬件資源“池化”成多

臺虛擬機(jī)，能夠更高效的利用計算資源池。我們提供的解決方案默認(rèn)使用最具安

全性和高性能的KVM管理程序作為虛擬化平臺。KVM是一種可信賴的虛擬化環(huán)境,

特別在云計算平臺這樣多租戶環(huán)境的實現(xiàn)上具有優(yōu)勢。

通過虛擬化技術(shù)將一臺物理計算機(jī)虛擬為多臺邏輯計算機(jī)，在一臺物理計算機(jī)

上同時運(yùn)行多個邏輯計算機(jī)，每個邏輯計算機(jī)可運(yùn)行不同的操作系統(tǒng)，并且應(yīng)

用程序都可以在相互獨(dú)立的空間內(nèi)運(yùn)行而互不影響，從而顯著提高計算機(jī)的工

作效率。虛擬化使用軟件的方法重新定義劃分計算資源，可以實現(xiàn)計算資源的

動態(tài)分配、靈活調(diào)度、跨域共享、自動批量部署，提高計算資源利用率，服務(wù)

于靈活多變的應(yīng)用需求。

2.2.1.2存儲虛擬化

存儲資源池能夠兼容使用集中式存儲和分布式存儲兩種存儲方式。能夠根據(jù)

不同的業(yè)務(wù)對存儲的不同需求，便捷的分配不同類型的存儲，能夠支持不同的存

儲類型。

分布式存儲系統(tǒng)不僅為虛擬主機(jī)提供塊存儲也為對象存儲提供存儲能力，同

時分布式存儲系統(tǒng)提供數(shù)據(jù)的三個實時副本，保證用戶數(shù)據(jù)的安全。

目前較為熱門的開源存儲解決方案分布式存儲軟件，所有數(shù)據(jù)皆為對象機(jī)制，

在上層提供了相對完整的對象存儲、塊存儲、文件系統(tǒng)°分布式存儲軟件基于

底層的CRUSH算法，能夠自動進(jìn)行數(shù)據(jù)的備份、清洗工作。為用戶解決了很大

一部分的問題。另一方面，因為分布式存儲軟件的存儲機(jī)制，所以其理論上能

夠進(jìn)行無限擴(kuò)容，完全解決了傳統(tǒng)存儲的瓶頸。因為分布式存儲軟件優(yōu)秀的特

性，OpenStack現(xiàn)在已經(jīng)能夠在多個組件中直接進(jìn)行分布式存儲軟件的集成，

像認(rèn)證服務(wù)這樣的OpenStack核心認(rèn)證組件目前已經(jīng)接受分布式存儲軟件對象

網(wǎng)關(guān)的注冊。

2.2.13網(wǎng)絡(luò)虛擬化

通過軟件定義網(wǎng)絡(luò)技術(shù)，既可以實現(xiàn)虛擬機(jī)層面?zhèn)鹘y(tǒng)的Flat扁平網(wǎng)絡(luò)架構(gòu)

（傳統(tǒng)模式），也可以模擬類似AWS公有云的VPC技術(shù)（租戶模式），為每個租戶

單獨(dú)組建一個獨(dú)立的網(wǎng)絡(luò)環(huán)境。

從底層硬件分離網(wǎng)絡(luò)并友網(wǎng)絡(luò)基礎(chǔ)架構(gòu)應(yīng)用虛擬化，把分散的物理網(wǎng)絡(luò)設(shè)備

虛擬成統(tǒng)一的邏輯網(wǎng)絡(luò)資源池。通過軟件定義網(wǎng)絡(luò)技術(shù)，重現(xiàn)整個網(wǎng)絡(luò)連接環(huán)境,

包括每個虛擬網(wǎng)絡(luò)中的L2-L7網(wǎng)絡(luò)服務(wù)，能夠為L2-L7服務(wù)提供無單點(diǎn)故障

的邏輯體系結(jié)構(gòu)，并跟隨虛擬機(jī)移動；通過軟件定義網(wǎng)絡(luò)技術(shù)，云操作系統(tǒng)可以

按需使用虛擬網(wǎng)絡(luò)，按需配置網(wǎng)絡(luò)邏輯拓?fù)?，通過創(chuàng)建虛擬交換機(jī)、虛擬路由器

來進(jìn)行靈活組網(wǎng)，也可以使租戶內(nèi)部的網(wǎng)絡(luò)直接與物理網(wǎng)絡(luò)進(jìn)行互通，并通過彈

性IP打通租戶網(wǎng)絡(luò)與外部網(wǎng)絡(luò)之間的南北向流量。

2.2.2計算資源管理

計算節(jié)點(diǎn)管理

Nova是OpenStack云平臺中的計算組織控制器，支持OpenSlack云平臺

中實例（VMInstances）生命周期的所有活動.負(fù)責(zé)管理計算資源、網(wǎng)絡(luò)、認(rèn)

證、所需可擴(kuò)展性的平臺，Nova自身并沒有提供任何虛擬化能力，它通過調(diào)用

libvirt的API和下層Hypervisors實現(xiàn)交互。

控制者索

訪問服務(wù)進(jìn)程

訪問虛擬機(jī)

訪問API法何曾理命令

NovaAPINova-novncproxvNova-Client

Nova-xvpnvncproxv

Nova-spicehtml5proxy

Nova-console

Nova-consoteauth

協(xié)同管理進(jìn)程

王機(jī)儂同

Nova-SchedulerNova-Conduct

資源管理服務(wù)

存湖RS網(wǎng)物畸

'Nova-Volume?Nova-Network?

I何達(dá)，未來逐漸減Cinder替埃）!|回送，逐漸被Neutron—)

Nova通過webservicesAPI來對外提供服務(wù)，Horizon或者其他系統(tǒng)可以

通過調(diào)用Nova-API實現(xiàn)和計算服務(wù)的交互，它存在多個各司其職的服務(wù)（即

守護(hù)進(jìn)程）。Nova主要的功能包括：

■服務(wù)器（虛擬化層）管理

■規(guī)格（云主機(jī)類型）管理

■鏡像管理

■操作

>Reboot重啟

>Rebuild重建

>Resize修改規(guī)格

>Pause暫停

>Suspend掛起

>Start啟動

AStop關(guān)閉

>Boot創(chuàng)建

■租戶管理

■額度管理

■網(wǎng)頁訪問主機(jī)的VNCProxy管理

■使用率統(tǒng)計管理

Nova組件的部署方式如下:

nova.scheduler

novaconductor

nova-console

novaconsoleauth

novanonvncproxy

云平臺通過配置調(diào)度策略，通過過濾器（Filters）和權(quán)重器（Weighing）

來實現(xiàn)對主機(jī)資源的分配:

云平臺在每個計算節(jié)點(diǎn)上運(yùn)行NovaComputer守護(hù)進(jìn)程，調(diào)用Hypervisor

的driver管理VM。云平臺通過配置不同的driver,實現(xiàn)對多虛擬化層的管理:

Todayonfy1hypery/tsor“peper

NovaComputecloudinstanceLibvut/t<VMismost

commondepk^nent

MatntamedMaintainedby|

IbyCitnxVhMare

Bare

XCPHyperVLPAR

MetalI05rt

囿KVM

MaintainedExpeoffttmmeernHialiI

byMcrosofl|攻Uuspointnil

Nabvear

throughirbvirt

可以基于集群、或者每個計算節(jié)點(diǎn)，可以設(shè)置各自不同的超分比（CPU、

內(nèi)存、磁盤），配置如下圖:

|^u-aVlocaHoiUrotio^270

Idisk-allocatioruratio-1.0

[max.1nstances-per.host-50

|max_io_ops_per_host-10

|rarrL.allocxxtioruratio-1.0

IrarL.weight_jnultiplier-5.0

freserve4.host_disk_jnb-2048

tpeserved_host_mefnory-mb,2048

支持計算節(jié)點(diǎn)水平擴(kuò)展及一鍵自動化:

云平臺支持大規(guī)模計算機(jī)集群系統(tǒng)節(jié)點(diǎn)的自動化快速統(tǒng)一部署，提供圖形

化用戶界面完成部署，可支持包括控制節(jié)點(diǎn)，計算節(jié)點(diǎn)、存儲結(jié)點(diǎn)、網(wǎng)絡(luò)節(jié)點(diǎn)

的自動化及高可用部署。支持計算節(jié)點(diǎn)水平熱擴(kuò)展，不影響正在運(yùn)行的業(yè)務(wù)。

平臺支持大規(guī)模部署，單Region可支持200臺以上服務(wù)器自動化部署。

Pxebootofopenstack

Bootonlocalhard

InstallOpenStackCompute

InstallOpenStackController

Inta]10penSt.ukM.v.tcr

InstallRunOpenStackController

Press(Tab]toeditoptions

222.2裸機(jī)資源管理

裸機(jī)與虛擬機(jī)管理有很多相似的地方，Nova組件提供的虛擬機(jī)管理方案:

關(guān)機(jī)開機(jī)，安裝部署，刪除添加，Ironic裸機(jī)管理組件與Nova組件功能類似，

但主要是解決物理機(jī)的添加、刪除、電源管理和安裝部署，將物理機(jī)也作為資

源管理起來。Ironic提供插件的機(jī)制讓廠商開發(fā)自定的driver。Ironic組件的設(shè)

計如下：

通過OpenStackIronic對裸機(jī)進(jìn)行管理，可以對物理機(jī)進(jìn)行遠(yuǎn)程安裝操作系

統(tǒng)、遠(yuǎn)程對物理機(jī)進(jìn)行操作、通過IPMI的console調(diào)用，可以直接登陸物理機(jī)

進(jìn)行操作。云平臺通過標(biāo)準(zhǔn)的Ironic接口集成到整個云平臺進(jìn)行統(tǒng)一管理。

組件名稱組件功能

Ironic-apiRestfulAPI處理應(yīng)用請求并通過RPC轉(zhuǎn)發(fā)到

ironic-conductor

Tronic-conductor裸機(jī)的增刪改查，通過TPMT或者SSH進(jìn)行電源管

理；裸機(jī)的準(zhǔn)備部署銷毀

Ironic-python-agent運(yùn)行在內(nèi)存中的python服務(wù)，通過遠(yuǎn)程登錄和硬

件控制提供ironic-conductor服務(wù)

2.2.23虛擬資源管理功能

云平臺支持以下對虛擬資源的管理功能：

1）支持虛擬機(jī)的啟動、關(guān)機(jī)、重啟、重命名

2）支持掛載/卸載硬盤

3）支持創(chuàng)建快照

4）支持加載防火墻

5）支持綁定/解綁IP

6）修改內(nèi)網(wǎng)IP和指定IP

7）支持制作為私有鏡像、刪除等功能

8）支持為指定計算節(jié)點(diǎn)設(shè)置超分比

9）支持虛擬機(jī)的CPU、內(nèi)存和硬盤的添加和修改

10）支持虛擬機(jī)CPU、內(nèi)存熱添加

11）支持動態(tài)資源調(diào)度、虛擬機(jī)容錯。

12）支持資源自動調(diào)度策略。包括根據(jù)服務(wù)器剩余資源權(quán)重自動負(fù)載均衡，

根據(jù)虛擬機(jī)配置類型進(jìn)行自動調(diào)度（包括虛擬機(jī)綁定和互斥等策略），

根據(jù)用戶進(jìn)行調(diào)度（包括租戶獨(dú)占、租戶共享等策略）

13）支持用戶可定義的虛擬機(jī)自動伸縮策略。包括縱向伸縮策略和橫向伸縮

策略；縱向伸縮策略可以根據(jù)虛擬機(jī)的負(fù)載情況，自動調(diào)節(jié)虛擬機(jī)配

置，包括CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等，以滿足負(fù)載變化要求；橫向伸

縮策略可根據(jù)虛擬機(jī)集群的負(fù)載情況，自動調(diào)節(jié)虛擬機(jī)集群節(jié)點(diǎn)數(shù)量,

進(jìn)行集群在線伸縮，以滿足集群負(fù)載變化要求

14）支持主流的網(wǎng)站、應(yīng)用集群和分布式數(shù)據(jù)集群水平伸縮要求

15）支持主流的軟硬件負(fù)載均衡方案

16）支持管理員指定節(jié)點(diǎn)創(chuàng)建虛擬機(jī)。

17）支持指定CPU核數(shù)、內(nèi)存大小

18）支持管理員密碼

19）支持通過密鑰對登錄虛擬機(jī)

20）虛擬機(jī)支持多網(wǎng)卡，可以在線添加和刪除網(wǎng)卡

21）支持虛擬機(jī)的網(wǎng)卡和磁盤的QoS。

22）支持的虛擬機(jī)Web控制臺訪問，且無需安裝瀏覽器插件。

23）支持虛擬機(jī)的批量操作，包括創(chuàng)建、啟動、關(guān)機(jī)、重啟、刪除

24）支持模版管理，基于預(yù)置的鏡像創(chuàng)建虛擬機(jī)。

25）支持用戶將虛擬機(jī)制作為私有鏡像。

26）支持與Docker等容器技術(shù)整合

27）支持通過云平臺申請、創(chuàng)建、管理和刪除容器服務(wù)。

2.2.3存儲資源管理

云平臺將通過Cinder整合云平臺后端的存儲資源。Cinder由Cinder-

Client^Cidner-API>Cidner-Scheduler、Cinder-Volume>Cidner-Backup五大模

塊組成。其架構(gòu)圖如下：

cindercbent

Storage

通過Cinder可以適配多種的存儲需求，支持用戶選擇不同類型以及性能的

存儲，以滿足不同級別的業(yè)務(wù)需求，具體如下所示類型：

1)FC-SAN

2)NAS存儲

3)DAS存儲

4)分布式存儲

5)對象存儲

Cinder支持異構(gòu)存儲的統(tǒng)一管理，整合不同類型的存儲資源，節(jié)約存儲成本。

支持使用商業(yè)存儲作為共享存儲連接至每個計算節(jié)點(diǎn)，支持虛擬機(jī)熱遷移，服

務(wù)不中斷。支持商業(yè)存儲的多路徑聚合功能，在計算節(jié)點(diǎn)上使用mulli?palh實

現(xiàn)存儲多路徑連接，從而實現(xiàn)虛擬機(jī)的數(shù)據(jù)鏈路高可用。

2.2.3.1集中式存儲

云操作系統(tǒng)通過專屬網(wǎng)絡(luò)方式連接存儲設(shè)備和應(yīng)用服務(wù)器，這個網(wǎng)絡(luò)專用于

主機(jī)和存儲設(shè)備之間的數(shù)據(jù)訪問。云操作系統(tǒng)通過標(biāo)準(zhǔn)的監(jiān)控管理接口協(xié)議，調(diào)

用各廠商的存儲設(shè)備管理端，實現(xiàn)對多廠商的異構(gòu)的集中式SAN存儲的統(tǒng)一管

理。

StorageStorage

SAN存儲架構(gòu)

2.23.2分布式存儲（Ceph）

Ceph提供了一種統(tǒng)一的、軟件定義的分布式存儲系統(tǒng)解決方案，其具有優(yōu)

異的性能、可靠性、可擴(kuò)展性并且沒有單點(diǎn)故障。Ceph的底層是RADOS（可

靠、自動、分布式對象存儲），可以通過LIBRADOS直接訪問到RADOS的對

象存儲系統(tǒng)。RBD（塊設(shè)備接口）、RADOSGateway（對象存儲接口）、CephFile

System（POSIX接口）都是基于RADOS的，下面的圖簡要說明了ceph的基本架

構(gòu)。

圖Ceph架構(gòu)圖

Ceph集群包含多個組件，不同的組件保持相互獨(dú)立并且提供不同的功能。

這些組件包括RADOS、OSD,MON,RADOSgateway以及MDS。

RADOS(ReliableAutonomicDistributedObjectStore)是整個Ceph集群的

基石。在C叩h集群中，所有類型的數(shù)據(jù)都以object對象的形式進(jìn)行存儲，

RADOS通過數(shù)據(jù)復(fù)制、故障檢測、數(shù)據(jù)恢復(fù)、數(shù)據(jù)遷移保證數(shù)據(jù)均衡地分布

在整個集群中，同時也保證了數(shù)據(jù)的一致性和可靠性。

OSD是Ceph集群中唯一的負(fù)責(zé)將用戶數(shù)據(jù)寫入磁盤以及讀取的組件。當(dāng)

上層應(yīng)用將數(shù)據(jù)寫入Ceph集群中，最終是由OSD將這些數(shù)據(jù)寫入磁盤；當(dāng)上

層應(yīng)用從Ceph集群讀取數(shù)據(jù)時，同樣是由OSD從磁盤讀取數(shù)據(jù)。通常而言，

一個OSD就對應(yīng)一個物理磁盤，也就是說，有多少個物理磁盤，就有多少個

OSDo

Mon通過一組maps來維護(hù)整個集群的健康狀態(tài)，這組maps包含了

OSD、MON、PG以及CRUSH的信息。集群中所有的組件都耍向Mon匯報并

且分享它們的狀態(tài)信息。需要說明的是，Mons并不會存儲應(yīng)用的任何數(shù)據(jù)。

RADOSgateway(RGW)提供了RESTful形式的API接口，它兼容

AmazonS3以及OpenStack對象存儲Swift。同時，RGW支持多租戶，并且可

以使用OpenStack的Keystone作為其認(rèn)證系統(tǒng)。

MDS(CephMetadataSender)主要用來存儲CephFS的元數(shù)據(jù)，也就是說

只有使用CephFS的時候才需要部署MDSo

RBD(RADOSblockdevice)是指Ceph集群提供的塊存儲。Ceph塊存儲

具備了很多商業(yè)存儲的特性，比如精簡配置和快照功能。用戶可以掛載Ceph

塊存儲，并通過格式化、創(chuàng)建文件系統(tǒng)來進(jìn)行使用。

CephFS(CephFileSystem)是Ceph集群提供的兼容POSIX的分布式文件

系統(tǒng)，它依賴于C叩hMDS存儲文件系統(tǒng)的元數(shù)據(jù)。

上面我們對Ceph集群的組件極其功能做了簡要的描述，其整體的組件功

能架構(gòu)如下圖所示。

CLIENTS

Illi

RBDRADOSGWCEPHFS

LIBRADOS

..JMDS

OSDOSDOSDOSD

OSDJJOSD?OSDJJOSD

OSD?OSD?OSDBOSD

圖Ceph組件功能架構(gòu)圖

.1Ceph用戶接口架構(gòu)介紹

C叩h作為一種統(tǒng)一的分布式存儲系統(tǒng)，它同時向用戶提供了塊存儲、對

象存儲和文件系統(tǒng)接口，下面我們對此分別進(jìn)行介紹。

塊存儲是企業(yè)環(huán)境中使月最為廣泛的數(shù)據(jù)存儲方式，Ceph的RBD提供了

類似的功能。RBD給物理機(jī)以及虛擬機(jī)提供一種非常好塊存儲解決方案。Ceph

RBD驅(qū)動已經(jīng)在Linux內(nèi)核（2.6.39及以上）中進(jìn)行了集成，同時

QEMU/KVM也可以對它進(jìn)行無縫直接地訪問。Linux主機(jī)通過librados可以掛

載Ceph塊設(shè)備，Rados則將Ceph塊設(shè)備對象分布到整個集群中。一旦Linux

掛載了Ceph塊設(shè)備，就可以將其當(dāng)作普通的磁盤來使用，比如創(chuàng)建文件系統(tǒng)

然后掛載。在虛擬化領(lǐng)域中，Ceph塊設(shè)備也得到了廣泛的應(yīng)用。虛擬機(jī)可以使

用Ceph塊設(shè)備存儲其鏡像和數(shù)據(jù)文件。主流的虛擬化技術(shù)，比如QEMU、

KVM和XEN等都可以使用Ceph作為它們的存儲后端。Ceph塊存儲接口架構(gòu)

如下圖所示。

OPENSTACK

KEYSTONESWIFTCINDERNOVA

HYPER

VKOR

IfRADOSGW

▼IUBRADOS

MM

RADOSCLUSTER

圖Ceph塊存儲接口架構(gòu)示意圖

Ceph對象存儲網(wǎng)關(guān)也稱為(RADOSgateway),其作用就是將用戶的

HTTP請求轉(zhuǎn)換為RADOS請求，提供一種RESTful的對象存儲，同時它也兼

容亞馬遜的S3和OpenSlack的Swift。下面的圖說明了利用CephRADOS

gateway和librados提供對象存儲的架構(gòu)。

RESTful

HTTP/S

ACCMS

圖Ceph對象存儲接口架構(gòu)示意圖

CephFS在RADOS之上提供了一個POSIX兼容的文件系統(tǒng)，它使用MDS

管理文件系統(tǒng)相關(guān)的元數(shù)據(jù)。C叩hFS集成了RADOS的特性，它可以提供動態(tài)

的數(shù)據(jù)平衡能力。此外，libcephfs在多客戶端實現(xiàn)中扮演了重要角色，它被

Linux內(nèi)核驅(qū)動原生的支持，因此客戶端可以直接使用mount命令掛在CephFS

文件系統(tǒng)。同時，CephFS也可以和SAMBA、CIFS、NFS進(jìn)行集成或者作為

Hadoop的存儲后端，其架構(gòu)如下圖所示。

圖Ceph文件系統(tǒng)接口示意圖

Ceph與OpenStack的集成架構(gòu)

OpenStack是開源的laaS平臺，可以用來構(gòu)建公有云或者私有云，而存儲

是構(gòu)建云平臺的基石，因此存儲的選型對整個云平臺的建設(shè)至關(guān)重要

OpenStack得益于其良好的架構(gòu)，存儲廠商只要提供其存儲的驅(qū)動，就可以

與OpenSlack進(jìn)行集成。OpenStack不僅支持傳統(tǒng)的IPSAN、FCSAN,同樣也

支持Ceph等分布式存儲系統(tǒng)，但就目前而言，Ceph是與OpenStack集成度最

好的存儲系統(tǒng)，它不僅可以作為Cinder的存儲后端，還可以作為Nova、

GlanceSwift的存儲后端。各種存儲系統(tǒng)和OpenStack集成的架構(gòu)如下圖所

不。

圖存儲系統(tǒng)與OpcnStack集成的架構(gòu)示意圖

在虛擬化環(huán)境中，最主要的存儲形式是塊存儲，這也是OpenStackCinder

提供的功能。虛擬機(jī)掛載塊存儲設(shè)備作為系統(tǒng)盤或者數(shù)據(jù)盤使用，塊設(shè)備的掛

載主要是通過Qemu來完成的，具體實現(xiàn)上又分為兩種方式。第一種，這也是

最為普遍的方式，就是將存儲的系統(tǒng)的塊設(shè)通過IPSAN或者FCSAN的方式

掛載到物理主機(jī)，然后再將其掛載給虛擬機(jī)使用。第二種，這也是CephRBD

使用的方式，就是Qemu可以通過其支持網(wǎng)絡(luò)協(xié)議將塊設(shè)備直接映射到虛擬機(jī)

中，這樣在物理機(jī)上是看不到這個塊設(shè)備的。虛擬機(jī)使用塊設(shè)備的架構(gòu)如下圖

所示。

圖虛擬及使用塊設(shè)備的架構(gòu)示意圖

Ceph的主要特點(diǎn)

■高擴(kuò)展性：使用普通x86服務(wù)器，支持1070000臺服務(wù)器，支持TB到

PB級的擴(kuò)展。

■高可靠性：沒有單點(diǎn)故障，多數(shù)據(jù)副本，自動管理，自動修復(fù)。

■高性能：數(shù)據(jù)分布均衡，并行化度高。對于objeclsstorage和block

storageo

通過使用分布式存儲Ceph作為Cinder的后端存儲，可以滿足云計算對存

儲系統(tǒng)的要求，而且Ceph目前已經(jīng)和OpenStack的Nova,Cinder,Glance,

Swift等組件做了深度集成，可以做到統(tǒng)一存儲。

1）全局統(tǒng)一存儲

2）支持卷克隆、快照和精簡單配置（ThinProvisioning）

3）采用完全分布式架構(gòu)

a）不需要元數(shù)據(jù)服務(wù)器和存儲網(wǎng)關(guān)

b）避免單點(diǎn)故障和性能瓶頸

4）多副木數(shù)據(jù)存放，高數(shù)據(jù)可靠性

a）在3副本的情況下，可以達(dá)到9個9

5）自動實現(xiàn)文件切片分發(fā)

a）聚合帶寬

b）不同節(jié)點(diǎn)之間實現(xiàn)I/O負(fù)載均衡

6）支持在線橫向擴(kuò)展

7）自動處理磁盤故隙，快速數(shù)據(jù)恢復(fù)

2.2.33對象存儲（Swift）

對象存儲解決方案以國際上最成熟的開源對象存儲軟件OpenStackSwift為

核心，基于x86標(biāo)準(zhǔn)服務(wù)器，構(gòu)建支持HTTP對象存儲接口的軟件定義存儲系

統(tǒng)。實現(xiàn)具有極高可靠性和可用性的，可支持“多活”的對象存儲系統(tǒng)。

2.2.3.3.1對象存儲系統(tǒng)軟件架構(gòu)

Swift采用完全對稱、面向資源的分布式系統(tǒng)架構(gòu)設(shè)計，所有組件都可擴(kuò)展,

避免因單點(diǎn)失效而擴(kuò)散并影響整個系統(tǒng)運(yùn)轉(zhuǎn)；通信方式采用非阻塞式I/O模式,

提高了系統(tǒng)吞吐和響應(yīng)能力°Swift底層磁盤可以通過RAID的直通模式進(jìn)行構(gòu)

建，Swift軟件架構(gòu)如下圖所示：

SwiftAPI

SW設(shè)主要服務(wù)組件有：

?代理服務(wù)(ProxyServer)

對外提供對象服務(wù)API,會根據(jù)環(huán)的信息來查找服務(wù)地址并轉(zhuǎn)發(fā)用戶請求至

相應(yīng)的賬戶、容器或者對象服務(wù)；由于采用無狀態(tài)的REST請求協(xié)議，可以進(jìn)

行橫向擴(kuò)展來均衡負(fù)載。

?認(rèn)證服務(wù)(AuthenticationServer)

驗證訪問用戶的身份信息，并獲得一個對象訪問令牌(Token),在一定的

時間內(nèi)會一直有效；瞼證訪問令牌的有效性并緩存下來直至過期時間.

?緩存服務(wù)(CacheServer)

緩存的內(nèi)容包括對象服務(wù)令牌，賬戶和容器的存在信息，但不會緩存對象本

身的數(shù)據(jù)；緩存服務(wù)可采用Memcached集群，Swift會使用一致性散列算法來

分配緩存地址。

?賬戶服務(wù)(AccountServer)

提供賬戶元數(shù)據(jù)和統(tǒng)計信息，并維護(hù)所含容器列表的服務(wù)，每個賬戶的信息

被存儲在一個SQLite數(shù)據(jù)庫中。

?容器服務(wù)(ContainerServer)

提供容器元數(shù)據(jù)和統(tǒng)計信息，并維護(hù)所含對象列表的服務(wù)，每個容器的信息

也存儲在一個SQLite數(shù)據(jù)庫中。

?對象服務(wù)(ObjectServer)

提供對象元數(shù)據(jù)和內(nèi)容服務(wù)，每個對象的內(nèi)容會以文件的形式存儲在文件系

統(tǒng)中，元數(shù)據(jù)會作為文件屬性來存儲，建議采用支持?jǐn)U展屬性的XFS文件系統(tǒng)。

?復(fù)制服務(wù)(Replicator)

會檢測本地分區(qū)副本利遠(yuǎn)程副本是否一致，具體是通過對比散列文件和高級

水印來完成，發(fā)現(xiàn)不一致時會采用推式(Push)更新遠(yuǎn)程副本，例如對象復(fù)制服

務(wù)會使用遠(yuǎn)程文件拷貝工具rsync來同步；另外一個任務(wù)是確保被標(biāo)記刪除的

對象從文件系統(tǒng)中移除。

?更新服務(wù)(Updater)

當(dāng)對象由于高負(fù)載的原因而無法立即更新時，任務(wù)將會被序列化到在本地文

件系統(tǒng)中進(jìn)行排隊，以便服務(wù)恢復(fù)后進(jìn)行異步更新；例如成功創(chuàng)建對象后容器服

務(wù)器沒有及時更新對象列表，這個時候容器的更新操作就會進(jìn)入排隊中，更新服

務(wù)會在系統(tǒng)恢復(fù)正常后掃描隊列并進(jìn)行相應(yīng)的更新處理。

?審計服務(wù)(Auditor)

檢查對象，容器和賬戶的完整性，如果發(fā)現(xiàn)比特級的錯誤，文件將被隔離，

并復(fù)制其他的副本以覆蓋本地?fù)p壞的副本；其他類型的錯誤會被記錄到日志中。

其中，將代理服務(wù)、認(rèn)證服務(wù)和緩存服務(wù)在一起統(tǒng)稱為“接入服務(wù)”，將賬戶服

務(wù)、容器服務(wù)、對象服務(wù)、復(fù)制服務(wù)、更新服務(wù)和審計服務(wù)在一起統(tǒng)稱為“存儲

服務(wù)”。

2?2?3.3.2一致性散列(ConsistentHashing)

面對海量級別的對象，需要存放在成千上萬臺服務(wù)器和硬盤設(shè)備上，首先要

解決尋址問題，即如何將對象分布到這些設(shè)備地址上。Swift是基于一致性散列

技術(shù)，通過計算可將對象均勻分布到虛擬空間的虛擬節(jié)點(diǎn)上，在增加或刪除節(jié)點(diǎn)

時可大大減少需移動的數(shù)據(jù)量；虛擬空間大小通常采用2的n次幕，便于進(jìn)行

高效的移位操作；然后通過獨(dú)特的數(shù)據(jù)結(jié)構(gòu)Ring(環(huán))再將虛擬節(jié)點(diǎn)映射到實

際的物理存儲設(shè)備上，完成尋址過程。

虛點(diǎn)

如上圖中所示，以逆時針方向遞增的散列空間有4個字節(jié)長共32位，整

數(shù)范圍是將散列結(jié)果右移m位，可產(chǎn)生2盼m個虛擬節(jié)點(diǎn)，例如m=29

時可產(chǎn)生8個虛擬節(jié)點(diǎn)。在實際部署的時候需要經(jīng)過仔細(xì)計算得到合適的虛擬

節(jié)點(diǎn)數(shù)，以達(dá)到存儲空間和工作負(fù)載之間的平衡。

Swift根據(jù)一致性哈希原理設(shè)計了環(huán)，環(huán)是為了將虛擬節(jié)點(diǎn)(分區(qū))映射到一

組物理存儲設(shè)備上，并提供一定的冗余度而設(shè)計的，其數(shù)據(jù)結(jié)構(gòu)由以下信息組成:

存儲設(shè)備列表、設(shè)備信息包括唯一標(biāo)識號(id)、區(qū)域號(zone)、權(quán)重(weight)、

IP地址(ip)、端口(port)、設(shè)備名稱(device)>元數(shù)據(jù)(meta)o

分區(qū)到設(shè)備映射關(guān)系(replica2part2dev_id數(shù)組)

計算分區(qū)號的位移(part_shift整數(shù)，即圖1中的m)

以查找一個對象的計算過程為例：

分區(qū)到設(shè)備映射

使用對象的層次結(jié)構(gòu)account/container/object作為鍵，使用MD5散列

算法得到一個散列值，對該散列值的前4個字節(jié)進(jìn)行右移操作得到分區(qū)索引

號，移動位數(shù)由上面的part.shift設(shè)置指定；按照分區(qū)索引號在分區(qū)到設(shè)備映

射表(replica2part2dev_id)里查找該對象所在分區(qū)的對應(yīng)的所有設(shè)備編號，

這些設(shè)備會被盡量選擇部署在不同區(qū)域(Zone)內(nèi)，區(qū)域只是個抽象概念，它

可以是某臺機(jī)器，某個機(jī)架，甚至某個建筑內(nèi)的機(jī)群，以提供最高級別的冗余

性，建議至少部署5個區(qū)域：權(quán)重參數(shù)是個相對值，可以來根據(jù)磁盤的大小來

調(diào)節(jié)，權(quán)重越大表示可分配的空間越多，可部署更多的分區(qū),Swift為賬戶，

容器和對象分別定義了的環(huán)，查找賬戶和容器的是同樣的過程。

2.233.3數(shù)據(jù)模型

Swift采用層次數(shù)據(jù)模型,共設(shè)三層邏輯結(jié)構(gòu):Account/Container/Object(即

賬戶/容器/對象)，每層節(jié)點(diǎn)數(shù)均沒有限制，可以任意擴(kuò)展。這里的賬戶和個人

賬戶不是一個概念，可理解為租戶，用來做頂層的隔離機(jī)制，可以被多個個人賬

戶所共同使用；容器代表封裝一組對象,類似文件夾或目錄;葉子節(jié)點(diǎn)代表對象，

由元數(shù)據(jù)和內(nèi)容兩部分組成，如下圖所示：

ROOT

2.2.33.4對象存儲API

Swift通過ProxyServer向外提供基于HTTP的REST服務(wù)接口，對賬

戶、容器和對象進(jìn)行CRUD等操作。在訪問Swift服務(wù)之前，需要先通過認(rèn)

證服務(wù)獲取訪問令牌，然后在發(fā)送的請求中加入頭部信息X-Auth-Tokeno

Swift支持的所有操作可以總結(jié)為下表:

資源URLGETPUTPOSTDELETEHEAD

類型

賬戶/account/獲取容器---獲取賬戶

列表元數(shù)據(jù)

容器/account/contai獲取對象創(chuàng)建容器更新容器刪除容器獲取容器

ner列表元數(shù)據(jù)元數(shù)據(jù)

對象/account/contai獲取對象創(chuàng)建、更更新對象刪除對象獲取對象

ner/object內(nèi)容和元新或拷貝元數(shù)據(jù)元數(shù)據(jù)

數(shù)據(jù)對象

應(yīng)用開發(fā)除了可采用Swift項目本身的API以外，還可以使用Python和

Java庫。

2.23.4存儲管理功能

存儲管理模塊針對用戶提供虛擬云硬盤服務(wù)，包括以下功能

1）支持虛擬存儲服務(wù)，

2）創(chuàng)建云存儲

3）刪除云存儲

4）云主機(jī)掛載

5）卸載云存儲

6）查詢云存儲

7）云存儲擴(kuò)容

8）支持創(chuàng)建云主機(jī)

9）云硬盤快照

10）快照刪除

11）通過云主機(jī)快照啟動云主機(jī)

12）通過云硬盤啟動云主機(jī)

13）云硬盤快照創(chuàng)建云硬盤

14）支持快照管理，可以為虛擬機(jī)掛載的硬盤做快照并恢復(fù)，支持系統(tǒng)

和數(shù)據(jù)盤。

2.2.4網(wǎng)絡(luò)資源管理

云操作系統(tǒng)的基礎(chǔ)架構(gòu)主要包含計算（服務(wù)器）、網(wǎng)絡(luò)以及存儲。對于網(wǎng)

絡(luò)，從云操作系統(tǒng)整個網(wǎng)絡(luò)架構(gòu)上來說，可以分為三個層面：跨數(shù)據(jù)中心網(wǎng)

絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò)以及云接入網(wǎng)絡(luò)。

由于云計算技術(shù)的逐步發(fā)展，使得傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)已經(jīng)不能滿足新一

代數(shù)據(jù)中心網(wǎng)絡(luò)高速、扁平、虛擬化的要求。

首先，目前傳統(tǒng)的數(shù)據(jù)中心由于多種技術(shù)和業(yè)務(wù)之間的孤立性，使得數(shù)據(jù)

中心網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，存在相龍獨(dú)立的四張網(wǎng)，包括管理網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)絡(luò)、存儲

網(wǎng)絡(luò)和外部網(wǎng)絡(luò)，和多個對外I/O接口。數(shù)據(jù)中心的前端訪問接口通常采用以

太網(wǎng)進(jìn)行互聯(lián)而成，構(gòu)成高速的數(shù)據(jù)網(wǎng)絡(luò)；數(shù)據(jù)中心后端的存儲則多采用分布

式存儲，SAN等接口.

其次，由于云計算技術(shù)的使用，使得虛擬數(shù)據(jù)中心中業(yè)務(wù)的集中度、服務(wù)

的客戶數(shù)量遠(yuǎn)超過傳統(tǒng)的數(shù)據(jù)中心，因此需要對網(wǎng)絡(luò)的高帶寬、低擁塞提出更

高的要求。一方面，傳統(tǒng)數(shù)據(jù)中心中大量使用的二層網(wǎng)絡(luò)產(chǎn)生的擁塞和丟包，

需要三層以上協(xié)議來保證重傳，效率低；另一方面，二層以太網(wǎng)網(wǎng)絡(luò)采用生成

樹協(xié)議來保持?jǐn)?shù)據(jù)包在互聯(lián)的交換機(jī)回路中傳遞，也會產(chǎn)生大量冗余。

因此在使用云計算后，數(shù)據(jù)中心的網(wǎng)絡(luò)需要解決數(shù)據(jù)中心內(nèi)部的數(shù)據(jù)同步

傳送的大流量、備份大流量、虛擬機(jī)遷移大流量問題。同時，還需要采用統(tǒng)一

的交換網(wǎng)絡(luò)減少布線、維護(hù)工作量和擴(kuò)容成本。引入虛擬化技術(shù)之后，在不改

變傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計的物理拓?fù)浜筒季€方式的前提下，可以實現(xiàn)網(wǎng)絡(luò)各層

的橫向整合，形成一個統(tǒng)一的交換架構(gòu)，其總體架構(gòu)圖如下所示：

網(wǎng)絡(luò)虛擬化總體架構(gòu)

1.原理：

SDN全稱:Software-definednetworking。其含義為使用軟件定義網(wǎng)絡(luò)，可以

通過程序來操控開放的接口或者更底層的函數(shù)從而實現(xiàn)動態(tài)的改變和管理網(wǎng)

絡(luò)。

2.與傳統(tǒng)網(wǎng)絡(luò)相比帶來的優(yōu)點(diǎn):

SDN對比傳統(tǒng)網(wǎng)絡(luò)擁有非常靈活的特性，對于如今的大型生產(chǎn)環(huán)境如數(shù)據(jù)中心

等等都可能需要動態(tài)的調(diào)整網(wǎng)絡(luò)架構(gòu)等操作.而傳統(tǒng)的網(wǎng)絡(luò)對這些操作是非常

復(fù)雜的。

3.涉及到的相關(guān)技術(shù)：

SDN通常與OpenFlow相關(guān)聯(lián)，OpenFlow是一個用于網(wǎng)絡(luò)層元件的遠(yuǎn)程通信，其

內(nèi)涵蓋了大量路由協(xié)議的通信協(xié)議。

NBKaf

Mrafocf>rtornMnnp

網(wǎng)絡(luò)虛擬化具備以下三方面功能：

1）核心層虛擬化

核心層網(wǎng)絡(luò)虛擬化，主要指的是數(shù)據(jù)中心核心網(wǎng)絡(luò)設(shè)備的虛擬化。它要求

核心層網(wǎng)絡(luò)具備超大規(guī)模的數(shù)據(jù)交換能力，以及足夠的萬兆接入能力；提供虛

擬機(jī)箱技術(shù)，簡化設(shè)備管理，提高資源利用率，提高交換系統(tǒng)的靈活性和擴(kuò)展

性，為資源的靈活調(diào)度和動態(tài)伸縮提供支撐。核心層架構(gòu)使用先進(jìn)的Spine-

Leaf平面架構(gòu)，提供可動態(tài)調(diào)整的帶寬超分比。設(shè)備支持的MLAG技術(shù)可以實

現(xiàn)跨交換機(jī)的端口捆綁，這樣在下級交換機(jī)上連屬于不同機(jī)箱的交換機(jī)時，可

以把分別連向不同機(jī)箱的萬兆鏈路用IEEE802.3ad兼容的技術(shù)實現(xiàn)以太網(wǎng)鏈路

捆綁，提高冗余能力和鏈路互連帶寬，簡化網(wǎng)絡(luò)維護(hù)。

2)接入層虛擬化

接入層虛擬化，可以實現(xiàn)數(shù)據(jù)中心接入層的分級設(shè)計.根據(jù)數(shù)據(jù)中心的走

線要求，接入層交換機(jī)要求能夠支持各種靈活的部署方式和新的以太網(wǎng)技術(shù)。

目前無損以太網(wǎng)技術(shù)標(biāo)準(zhǔn)發(fā)展很快，稱為數(shù)據(jù)中心以太網(wǎng)DCE或融合增強(qiáng)以太

網(wǎng)CEE,包括擁塞通知(IEEE802.IQau)、增強(qiáng)傳輸選擇ETS(IEEE802.IQaz)和

優(yōu)先級流量控制PFC(IEEE802.IQbb)、鏈路發(fā)現(xiàn)協(xié)議LLDP(IEEE802.1AB)<>

3)虛擬機(jī)網(wǎng)絡(luò)交換

虛擬機(jī)網(wǎng)絡(luò)交互包括物理網(wǎng)卡虛擬化和虛擬網(wǎng)絡(luò)交換機(jī)，在服務(wù)器內(nèi)部虛

擬出相應(yīng)的路由器、交換機(jī)和VM網(wǎng)卡功能，其設(shè)計如圖所示：

虛擬機(jī)網(wǎng)絡(luò)交換設(shè)計圖

虛擬路由器提供一個獨(dú)立的三層堆棧，負(fù)責(zé)靜態(tài)路由、動態(tài)路由、NAT等

三層網(wǎng)絡(luò)功能；虛擬交換機(jī)在主機(jī)內(nèi)部提供了多個VM網(wǎng)卡的互聯(lián)以及為不同的

VM網(wǎng)卡流量設(shè)定不同的本地YLAN標(biāo)簽功能，然后通過Overlay技術(shù)將從屬不

同VNI下的流量進(jìn)行隔離發(fā)送，使得主機(jī)內(nèi)部如同存在一臺支持隔離的三層交

換機(jī)，可以方便的將不同的VM網(wǎng)卡連接到不同的虛擬網(wǎng)絡(luò)。VM網(wǎng)卡是在一個

物理網(wǎng)卡上虛擬出多個邏輯獨(dú)立的網(wǎng)卡，使得每個網(wǎng)卡具有獨(dú)立的MAC地址、

IP地址，同時還可以在虛擬網(wǎng)卡之間實現(xiàn)一定的流量調(diào)度策略。因此，虛擬機(jī)

網(wǎng)絡(luò)交互支持以下功能：

1.虛擬機(jī)的雙向訪問控制和流量監(jiān)控，包括流量控制、流量統(tǒng)計、多隊列

等；

2.虛擬網(wǎng)絡(luò)的分布式路由，以及動態(tài)路由學(xué)習(xí)等;

3.虛擬機(jī)的網(wǎng)絡(luò)屬性應(yīng)包括：VxLAN/VLANsQoS、ACL、帶寬等；

4.虛擬機(jī)的網(wǎng)絡(luò)屬性可以跟隨虛擬機(jī)的遷移而動態(tài)遷移，不需要人工的干預(yù)

或靜態(tài)配置，從而在虛擬機(jī)擴(kuò)展和遷移過程中，保障業(yè)務(wù)的持續(xù)性；

5.虛擬機(jī)遷移時，與虛擬機(jī)相關(guān)的資源配置，如存儲、網(wǎng)絡(luò)配置隨之遷移;

同時保證遷移過程業(yè)務(wù)不中斷。

網(wǎng)絡(luò)虛擬化的管理功能通過擴(kuò)展Neutron組件的方式實現(xiàn)，具備以下功

能：

1.虛擬路由器管理

2.虛擬網(wǎng)絡(luò)管理

3.虛擬子網(wǎng)管理

4.虛擬網(wǎng)絡(luò)端口管理

5.高級網(wǎng)絡(luò)服務(wù)管理，包括安全組、防火墻、VPN、負(fù)載均衡等。

網(wǎng)絡(luò)虛擬化管理平臺

網(wǎng)絡(luò)資源管理包含四個功能模塊:

1.網(wǎng)絡(luò)

網(wǎng)絡(luò)目的是在多租戶環(huán)境下提供給每個租戶獨(dú)立的網(wǎng)絡(luò)環(huán)境。另外，提供

API來實現(xiàn)這種目標(biāo)?！熬W(wǎng)絡(luò)”是一個可以被用戶創(chuàng)建的對象，如果要和物

理環(huán)境下的概念映射的話，這個對象相當(dāng)于一個巨大的交換機(jī)，可以擁有無限

多個動態(tài)可創(chuàng)建和銷毀的虛擬端口。

2.端口

在物理網(wǎng)絡(luò)環(huán)境中，端口是用于連接設(shè)備進(jìn)入網(wǎng)絡(luò)的地方。網(wǎng)絡(luò)虛擬化組

件中的端口起著類似的功能，它是路由器和虛擬機(jī)掛接網(wǎng)絡(luò)的著附點(diǎn)。

3.路由器

和物理環(huán)境下的路由器類似，網(wǎng)絡(luò)虛擬化組件中的路由器也是一個路由選

擇和轉(zhuǎn)發(fā)部件。只不過在網(wǎng)絡(luò)虛擬化組件中，它是可以創(chuàng)建卻銷毀的軟件。

4.子網(wǎng)

子網(wǎng)是由一組IP地址組成的地址池。不同子網(wǎng)間的通信需要路由器的支

持，網(wǎng)絡(luò)虛擬化組件和物理網(wǎng)絡(luò)下是一致的。

2.2.4.1網(wǎng)絡(luò)管理模塊

整合云操作系統(tǒng)后端的存儲資源，架構(gòu)如下:

網(wǎng)絡(luò)設(shè)計-拓?fù)湓O(shè)計

vs”

?????匕

—

通過組合開源SDN和部分商業(yè)軟件方式，實現(xiàn)經(jīng)濟(jì)性和穩(wěn)定性的平衡，如

圖所示:

組網(wǎng)方式實現(xiàn)方案

調(diào)度方式OpenStack網(wǎng)絡(luò)控制Neutron調(diào)度OpenStack開源VNF

控制平面OpenStackNeutron

二層交換OVSL2分布式交換機(jī)

三層路由OVSL3/DVR

四層負(fù)載均衡無

防火墻OpenStackFWaaS或商業(yè)方案

IPSecVPNOpenStackVPNaaS

七層負(fù)載均衡OpenStackLBaaS或商業(yè)方案

七層應(yīng)用防護(hù)無

2.2A2SDN控制器

SDN控制器是軟件定義網(wǎng)絡(luò)(SDN)中的應(yīng)用程序，負(fù)責(zé)流量控制以確保智能

網(wǎng)絡(luò)。SDN控制器是基于如OpenFlow等協(xié)議的，允許服務(wù)器告訴交換機(jī)向哪里

發(fā)送數(shù)據(jù)包。

SDN控制器是作為網(wǎng)絡(luò)的一種操作系統(tǒng)(OS)o控制器不控制網(wǎng)絡(luò)硬件而是

作為軟件運(yùn)行，這樣有利于網(wǎng)絡(luò)自動化管理“基于軟件的網(wǎng)絡(luò)控制使得集成業(yè)務(wù)

申請和網(wǎng)絡(luò)更容易。SDN控制器通過云管理平臺動態(tài)感知虛機(jī)遷移，實現(xiàn)虛機(jī)遷

移的網(wǎng)絡(luò)策略動態(tài)跟隨，實現(xiàn)網(wǎng)絡(luò)與計算、存儲的高效融合,

SDN控制器支持的功能如下：

1.支持通過應(yīng)用VXLAN技術(shù)，來隔離應(yīng)用層不同租戶間網(wǎng)絡(luò)流量；網(wǎng)絡(luò)虛擬

化建立基于VXLAN的L2邏輯交換機(jī)及L3的邏輯路由器的功能；

2.支持隧道機(jī)制，在控制平面采用改進(jìn)的二層協(xié)議，支持服務(wù)發(fā)現(xiàn)、隧道管

理、地址通告和映射等功能，控制平面采用基于SDN控制器的集中控制模

式，通過集中的控制器集群實現(xiàn)VXLAN的控制平面，使網(wǎng)絡(luò)部署維護(hù)更簡

單，運(yùn)行更穩(wěn)定；

3.兼容標(biāo)準(zhǔn)Overlay網(wǎng)絡(luò)的同時融合傳統(tǒng)網(wǎng)絡(luò)，支持跨三層的虛擬機(jī)遷移,

基于三層物理網(wǎng)絡(luò)實現(xiàn)大二層虛擬網(wǎng)絡(luò)、廣播風(fēng)暴抑制、虛擬機(jī)動態(tài)感知

等。

2.2.43負(fù)載均衡控制

負(fù)載均衡控制應(yīng)用交付設(shè)備集合出入站智能DNS解析、輪詢、加權(quán)輪詢、

靜態(tài)就近性、動態(tài)就近性等算法，解決多鏈路網(wǎng)絡(luò)環(huán)境中流量分擔(dān)的問題，充分

提高多鏈路的帶寬利用率，節(jié)約對通信鏈路的投資；并且通過分配最佳的通信線

路，提高訪問體驗。在某條鏈路中斷的情況下仍然可以提供訪問鏈接能力。

云操作系統(tǒng)默認(rèn)以HAProxy為負(fù)載均衡的driver,同時也支持A10

network>netsealer、radware等作為driver。

虛擬防火墻控制

虛擬化防火墻設(shè)備擁有與傳統(tǒng)防火墻設(shè)備相同的操作系統(tǒng)，具有豐富的網(wǎng)絡(luò)

安全防護(hù)功能，對網(wǎng)絡(luò)威脅進(jìn)行防御，能夠滿足多租戶環(huán)境中的網(wǎng)絡(luò)安全需求。

具備精細(xì)化應(yīng)用管控，可提供多維的應(yīng)用風(fēng)險分析和篩選，以及靈活的安全

控制，包括策略阻止、會話限制、應(yīng)用引流和智能流量管理等。同時，還具備入

侵防御、AV病毒過濾、攻擊防護(hù)、鏈路與服務(wù)器負(fù)載均衡、NAT等功能。

2.2.4.S虛擬交換機(jī)控制

虛擬交換機(jī)系統(tǒng)(VirtualSystem)提供網(wǎng)絡(luò)設(shè)備虛擬化的技術(shù)架構(gòu)，實現(xiàn)設(shè)

備“一虛多”的虛擬化能力，即在物理設(shè)備上劃分出多個邏輯或虛擬設(shè)備系統(tǒng)。

每個虛擬系統(tǒng)VS就是設(shè)備上的“虛擬機(jī)”，可以如同一臺單獨(dú)設(shè)備一樣獨(dú)立配

置、管理、維護(hù)，獨(dú)立運(yùn)行，承載網(wǎng)絡(luò)業(yè)務(wù)并與其他VS相互隔離。

虛擬路由控制

虛擬路由支持硬件路由器具有的所有功能，可供公開審查及檢查代碼中潛在

的錯誤及漏洞。

224.7支持多租戶業(yè)務(wù)網(wǎng)絡(luò)場景

支持2層到7層的虛擬化需求，支持以下多種高級業(yè)務(wù)場景。

IntranetSharedNetwork

(VLAN200.Virtual)

TenantA

1.路由的高可用：OpenStack原生的三層路由穩(wěn)定性以及高可用上的缺陷是阻

礙其在大規(guī)模生產(chǎn)環(huán)境中使用的最大問題。通過和商業(yè)VNF(Virtual

NetworkFunction)組件結(jié)合，可以組建具備“雙活”高可用的路由。

2.防火墻應(yīng)用防護(hù)(WAF)

3.防火墻的高可用：可以組建具備“雙活”高可用的防火墻

4.動態(tài)內(nèi)網(wǎng)負(fù)載均衡

5.租戶環(huán)境的一鍵生成和活體克隆，用