高校智慧校園云數(shù)據(jù)中心解決方案

高校智慧校園云數(shù)據(jù)中心解決方案

目錄

1、大數(shù)據(jù)平臺方案概述................................1

2、需求分析..........................................2

3、大數(shù)據(jù)平臺方案設(shè)計................................4

3.1建設(shè)原則......................................4

3.2總體方案設(shè)計.................................6

3.2.1自主可控的教育云技術(shù)架構(gòu)...............6

3.2.2數(shù)據(jù)中心總體架構(gòu)規(guī)劃...................8

3.3云計算平臺建設(shè)...............................11

3.3.1計算資源池建設(shè).........................11

3.3.1.1項目需求.........................11

3.3.1.2X86虛擬化實現(xiàn)...................12

3.3.1.3計算資源池分區(qū)建設(shè)..............20

3.3.2基于物理機部署的業(yè)務(wù)大數(shù)據(jù)平臺方案.....22

3.3.3數(shù)據(jù)庫大數(shù)據(jù)平臺方案建設(shè)...............23

3.3.3.1項目需求.........................23

3.3.3.2數(shù)據(jù)庫大數(shù)據(jù)平臺方案建設(shè).......23

3.3.4存儲資源池建設(shè).........................25

3.3.4.1項目需求........................25

3.3.4.2存儲分類........................26

3.3.4.3數(shù)據(jù)庫存儲大數(shù)據(jù)平臺方案.........28

3.3.5大數(shù)據(jù)平臺方案設(shè)計.....................28

3.3.5.1基于虛擬化機頭的方案..............28

3.3.5.2存儲虛擬化工作原理和說明.........29

3.3.5.3虛擬化機頭的基本概念..............30

3.3.5.4虛擬化機頭的工作原理..............32

3.3.5.5虛擬化機頭的可靠性、可用性.......36

3.3.6云管理平臺建設(shè)..........................48

3.3.6.1項目需求..........................48

3.3.6.2云管理平臺架構(gòu)設(shè)計...............49

3.3.6.3云管理平臺全方位的管理............52

3.3.6.4云資源管理.........................52

3.3.6.5服務(wù)管理..........................52

3.3.6.7運維管理..........................53

3.3.6.8統(tǒng)一時鐘...........................53

3.3.6.9云管理平臺特性描述................53

4、配置清單............................................59

1、大數(shù)據(jù)平臺方案概述

高校智慧校園云數(shù)據(jù)中心建設(shè)是信息技術(shù)背景下學(xué)校的

一項基礎(chǔ)性、長期性和經(jīng)常性的工作，是學(xué)校建設(shè)和人才培

養(yǎng)的重要組成部分。高校智慧校園云數(shù)據(jù)中心的建設(shè)水平是

學(xué)校整體辦學(xué)水平、學(xué)校形象和地位的重要標志?；谠朴?/p>

算、大數(shù)據(jù)、HPC的高校智慧校園云數(shù)據(jù)中心建設(shè)是為了配

合學(xué)校的整體變革，提高學(xué)校核心競爭力，以期達到從分散

應(yīng)用向集中應(yīng)用轉(zhuǎn)化，從固定服務(wù)向個性化服務(wù)轉(zhuǎn)化，從部

門級應(yīng)用向校級應(yīng)用轉(zhuǎn)化，從信息管理向信息服務(wù)轉(zhuǎn)化。

以“物聯(lián)網(wǎng)”、“云計算”、“大數(shù)據(jù)”等技術(shù)為支撐，通

過3-5年的建設(shè)，搭建“一個中心、三張網(wǎng)絡(luò)、四大體系”

即：一個中心一一權(quán)威可信的數(shù)據(jù)中心；三張網(wǎng)絡(luò)一一有線

網(wǎng)、無線網(wǎng)、物聯(lián)網(wǎng)；四大體系一一智能化的教學(xué)體系、高

效靈活的管理體系、以人為本的服務(wù)體系、穩(wěn)定可靠的安全

和保障體系。使之成為促進我校教育內(nèi)容、教學(xué)手段和方法

的現(xiàn)代化支柱，創(chuàng)新人才培養(yǎng)、科學(xué)研究和服務(wù)社會模式，

推動文化傳承創(chuàng)新，促進教育教學(xué)質(zhì)量全面提高。

第1頁

2、需求分析

1、建設(shè)適度超前的信息化基礎(chǔ)設(shè)施，實現(xiàn)基礎(chǔ)設(shè)施環(huán)

保、節(jié)能、智能化服務(wù)等高級功能

構(gòu)建集多業(yè)務(wù)為一體的“云”校園網(wǎng)大數(shù)據(jù)平臺方案。

基于“物聯(lián)網(wǎng)”技術(shù)，對數(shù)據(jù)中心資產(chǎn)、設(shè)備、能源調(diào)度

等實現(xiàn)數(shù)字化、智能化的跟蹤監(jiān)控管理，實現(xiàn)全方位數(shù)據(jù)中

心機房內(nèi)動態(tài)監(jiān)視，機柜內(nèi)智能監(jiān)控并實現(xiàn)聯(lián)網(wǎng)報警，并最

終統(tǒng)一到數(shù)據(jù)中心機群管理軟件上，實現(xiàn)可視化數(shù)據(jù)跟蹤和

監(jiān)控管理。最終以基礎(chǔ)架構(gòu)。

2、搭建基礎(chǔ)支撐平臺，完善公共服務(wù)“云”平臺

實現(xiàn)平臺就是服務(wù)，通過統(tǒng)一WEB服務(wù)窗口，基礎(chǔ)設(shè)施

即可實現(xiàn)計算資源、存儲資源、應(yīng)用大數(shù)據(jù)平臺方案等資源

的全自動云計算技術(shù)智能化管理和一站式提供服務(wù)。

3、建立“HPC"高性能計算平臺

以學(xué)校使用為主，滿足當前物理、化學(xué)材料分析方面的

高性能計算服務(wù)，資源可通過統(tǒng)一云運營平臺渠道可對外提

供收費計算服務(wù)。

4、建成高效節(jié)能的“云存儲”數(shù)據(jù)中心

建設(shè)PB級并行云存儲數(shù)據(jù)中心，服務(wù)與全院非結(jié)構(gòu)化數(shù)

據(jù)、云計算數(shù)據(jù)、高性能計算數(shù)據(jù)集中統(tǒng)一存儲、具有完善

的數(shù)據(jù)安全保障機制和數(shù)據(jù)恢復(fù)機制，為數(shù)據(jù)安全提供最后

一道安全防線，降低數(shù)據(jù)中心運維風(fēng)險。以集中存儲為基礎(chǔ),

第2頁

為大數(shù)據(jù)分析挖掘做好數(shù)據(jù)準備，為學(xué)?！霸u估與決策”大

數(shù)據(jù)平臺方案做好精細化數(shù)據(jù)管理服務(wù)。

5、建設(shè)統(tǒng)一身份認證平臺

數(shù)據(jù)中心管理平臺實現(xiàn)統(tǒng)一身份認證，云平臺軟件、高

性能平臺、大數(shù)據(jù)平臺、存儲大數(shù)據(jù)平臺方案需身份認證登

陸，實現(xiàn)平臺使用的安全性。

6、建立大數(shù)據(jù)平臺

以數(shù)據(jù)為支撐的評估與決策平臺。建立好大數(shù)據(jù)軟硬件

支撐平臺，為實現(xiàn)信息管理向信息服務(wù)轉(zhuǎn)化，利用深層次的

知識管理、大數(shù)據(jù)統(tǒng)計與分析、大數(shù)據(jù)挖掘等手段為評估與

決策服務(wù)，從整體上提升學(xué)校業(yè)務(wù)管理和行政決策的科學(xué)化

水平做好保障。

第3頁

3、大數(shù)據(jù)平臺方案設(shè)計

3.1建設(shè)原則

以《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010-2020)》

為指導(dǎo)，貫徹落實《教育信息化十年發(fā)展規(guī)劃(2011-2020

年)》對高校教育信息化建設(shè)的總體部署和發(fā)展任務(wù)。從學(xué)

校發(fā)展的整體戰(zhàn)略出發(fā)，與時俱進，滿足師生對教學(xué)、科研、

管理、校園生活服務(wù)的需求，提升教育服務(wù)社會的職能。堅

持如下原則，實現(xiàn)我校信息化的可持續(xù)發(fā)展：

(1)堅持“統(tǒng)籌規(guī)劃、分步實施”的原則。信息化建

設(shè)是一項跨部門、跨行業(yè)的綜合性大數(shù)據(jù)平臺方案工程，必

須堅持從學(xué)校全局的高度統(tǒng)一規(guī)劃，各部門的相關(guān)業(yè)務(wù)和應(yīng)

用大數(shù)據(jù)平臺方案應(yīng)統(tǒng)一部署，避免無序建設(shè)；要正確把握

基礎(chǔ)設(shè)施與應(yīng)用大數(shù)據(jù)平臺方案、硬件與軟件、專業(yè)數(shù)據(jù)與

信息共享、現(xiàn)實應(yīng)用與擴展應(yīng)用、成本與效益的關(guān)系。同時

根據(jù)實際情況分步、分期實施具體項目，保證規(guī)劃的逐步落

實。

(2)堅持“突出應(yīng)用，注重實效”的原則。堅持以需

求為導(dǎo)向、大力推動信息技術(shù)在教學(xué)、科研、管理、校園生

活服務(wù)中的普遍運用，不斷提高教育質(zhì)量和教育管理服務(wù)水

平。同時避免全面鋪開，要抓重點項目，提高有限建設(shè)資源

的使用效率。

(3)堅持“統(tǒng)一標準、資源共享”的原則。信息化建

第4頁

設(shè)應(yīng)參考國家及行業(yè)有關(guān)技術(shù)標準和管理規(guī)范，樹立“開放、

共享、交互、協(xié)作”的信息化理念，堅持信息資源標準統(tǒng)一、

共建共享；建立信息資源共享交換體系和更新維護機制，確

保信息資源的規(guī)范性、時效性、準確性。

(4)堅持“面向服務(wù)、加深融合”的原則。樹立以用

戶為核心的服務(wù)理念，利用先進網(wǎng)絡(luò)和信息技術(shù)，整合資源,

促進教育內(nèi)容、教育手段和方法的現(xiàn)代化；促進人才培養(yǎng)、

科學(xué)研究、文化傳承和社會服務(wù)模式創(chuàng)新，推進信息技術(shù)與

學(xué)校教育的深度融合。

第5頁

3.2總體方案設(shè)計

3.2.1自主可控的教育云技術(shù)架構(gòu)

高校智慧校園云數(shù)據(jù)中心一期工程的建設(shè)采用先進成

熟的云計算、虛擬化存儲池等相關(guān)技術(shù)，建設(shè)新校區(qū)高校智

慧校園云數(shù)據(jù)中心的基礎(chǔ)資源云平臺，實現(xiàn)業(yè)務(wù)的統(tǒng)一管理、

統(tǒng)一部署、自動化運維等內(nèi)容，為學(xué)校各業(yè)務(wù)大數(shù)據(jù)平臺方

案的運行提供良好的信息化支撐能力。

基礎(chǔ)資源云平臺的總體技術(shù)架構(gòu)設(shè)計如上圖，整個架構(gòu)

包括基礎(chǔ)設(shè)施層、云基礎(chǔ)架構(gòu)層、業(yè)務(wù)應(yīng)用平臺和云服務(wù)層

等。其中：

基礎(chǔ)設(shè)施層：云平臺的物理環(huán)境主要包括服務(wù)器、網(wǎng)絡(luò)

設(shè)備以及存儲等設(shè)備，以便在此基礎(chǔ)上采用虛擬化、分布式

存儲等云計算技術(shù)，實現(xiàn)服務(wù)器、網(wǎng)絡(luò)、存儲的虛擬化，構(gòu)

第6頁

建計算資源池、存儲資源池和網(wǎng)絡(luò)資源池，實現(xiàn)基礎(chǔ)設(shè)施等

服務(wù)。

云基礎(chǔ)架構(gòu)層：在云基礎(chǔ)設(shè)施的基礎(chǔ)上，為了實現(xiàn)動態(tài)

資源池的構(gòu)建，通過虛擬化技術(shù)對基礎(chǔ)設(shè)施（網(wǎng)絡(luò)、服務(wù)器

和存儲設(shè)備等）進行資源池化、彈性管理，通過自主可控的

云計算操作大數(shù)據(jù)平臺方案，實現(xiàn)云平臺的服務(wù)管理及業(yè)務(wù)

管理的統(tǒng)一管理，提高運維及運營的效率。

業(yè)務(wù)應(yīng)用平臺：通過建立統(tǒng)一的信息標準，構(gòu)建統(tǒng)一

的信息門戶、統(tǒng)一的身份認證大數(shù)據(jù)平臺方案和安全可靠的

公共數(shù)據(jù)交換大數(shù)據(jù)平臺方案，在此基礎(chǔ)上建設(shè)先進實用的

應(yīng)用支撐大數(shù)據(jù)平臺方案（包括辦公自動化、教務(wù)管理、科

技管理、學(xué)生綜合管理、人力資源管理、資產(chǎn)設(shè)備管理、財

務(wù)管理、圖書管理、學(xué)報管理、后勤服務(wù)管理、一卡通管理、

網(wǎng)絡(luò)教學(xué)平臺、實踐教學(xué)信息平臺、教學(xué)評估管理、研究生

管理、成教生管理與留學(xué)生管理等），實現(xiàn)各個應(yīng)用大數(shù)據(jù)

平臺方案之間的數(shù)據(jù)交換與數(shù)據(jù)共享，最終實現(xiàn)我校各項管

理工作的信息化。

云服務(wù)層：是云計算中心與最終用于交互的接口和平臺,

通過該平臺能夠?qū)崿F(xiàn)云計算中心統(tǒng)一對外提供服務(wù)，為用戶

提供整體的云應(yīng)用和服務(wù)。

運維和業(yè)務(wù)支撐服務(wù)：包括云平臺的計費審計、資源監(jiān)

控、生命周期管理、容量規(guī)劃、報表分析等多項內(nèi)容。

第7頁

3.2.2數(shù)據(jù)中心總體架構(gòu)規(guī)劃

數(shù)據(jù)中心架構(gòu)圖

|能耗雨座園安全||智能教學(xué)|智能辦公HPC大數(shù)據(jù)j|*加

用數(shù)

統(tǒng)

層據(jù)云

住

一

資

運

源

維

統(tǒng)

管

一

理

管

平

理

臺

平

數(shù)

臺

據(jù)

存

儲

rr層

非結(jié)構(gòu)數(shù)結(jié)構(gòu)化數(shù)篩份數(shù)歸檔數(shù)

據(jù)存儲區(qū)據(jù)存儲區(qū)據(jù)存儲區(qū)據(jù)存儲區(qū)

本項目規(guī)劃包含云計算平臺、大數(shù)據(jù)處理硬件平臺、高

性能計算硬件平臺幾大部分。其中，云計算平臺包括業(yè)務(wù)云

平臺、數(shù)據(jù)庫集群大數(shù)據(jù)平臺方案、物理機部署的應(yīng)用大數(shù)

據(jù)平臺方案以及后端支撐的存儲資源池。

業(yè)務(wù)云平臺主要支撐辦公大數(shù)據(jù)平臺方案、一卡通上層

應(yīng)用大數(shù)據(jù)平臺方案、學(xué)生管理大數(shù)據(jù)平臺方案、0A、財務(wù)、

教務(wù)等教育相關(guān)的業(yè)務(wù)大數(shù)據(jù)平臺方案。通過虛擬化等技術(shù)

提高業(yè)務(wù)的敏捷性，使得教育應(yīng)用在資源利用上彈性可伸縮。

通過將業(yè)務(wù)與具體物理機解耦合，實現(xiàn)業(yè)務(wù)在計算資源池內(nèi)

靈活遷移，不受具體物理機故障的影響。業(yè)務(wù)云的管理平臺

讓教育業(yè)務(wù)應(yīng)用的部署更加方便快捷，管理更加方便，運維

工作也得到大大簡化。

第8頁

對于部分I/O密集型的關(guān)鍵數(shù)據(jù)庫大數(shù)據(jù)平臺方案，如

一卡通數(shù)據(jù)庫、學(xué)校基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺方案采用物理服

務(wù)器的方式進行部署。同時，為了保證關(guān)鍵數(shù)據(jù)庫的高可用

性，數(shù)據(jù)庫采用集群RAC的方式部署，服務(wù)器采用可靠性很

高的高端4路X86服務(wù)器。本項目規(guī)劃的數(shù)據(jù)庫集群包括一

卡通后端的數(shù)據(jù)庫服務(wù)器、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺

方案以及二期考慮的教務(wù)大數(shù)據(jù)平臺方案。

數(shù)據(jù)庫大數(shù)據(jù)平臺方案后端存儲采用存儲池化的方案,

實現(xiàn)后端數(shù)據(jù)的簡易管理，統(tǒng)一使用，并實現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)

的高可用性。同時，部署虛擬帶庫備份大數(shù)據(jù)平臺方案對這

些結(jié)構(gòu)化數(shù)據(jù)進行備份，保證數(shù)據(jù)的安全性，并且采用物理

磁帶庫方式，提供對歷史數(shù)據(jù)的歸檔保存，對于備份軟件選

擇，采用業(yè)績成熟先進的統(tǒng)一備份軟件，實現(xiàn)Lan-free備

份。

數(shù)據(jù)中心的非結(jié)構(gòu)化存儲資源池對高校智慧校園云數(shù)

據(jù)中心中的各類非結(jié)構(gòu)化數(shù)據(jù)進行支撐，對非結(jié)構(gòu)化數(shù)據(jù)按

照其重要性，采用分級保存的方法，對于包括校園內(nèi)700個

攝像頭的監(jiān)控數(shù)據(jù)可存放30天的數(shù)據(jù)的存儲空間采用大容

量存儲解決方案，對于包括多媒體、一卡通、教務(wù)大數(shù)據(jù)平

臺方案、圖書館、視頻點播、HPC計算等需要的非結(jié)構(gòu)化數(shù)

據(jù)的存儲空間采用高性能非結(jié)構(gòu)化存儲空間解決方案。高性

能非結(jié)構(gòu)化方案，采用集群文件大數(shù)據(jù)平臺方案，提供統(tǒng)一

第9頁

的目錄管理，性能的負載均衡管理，集群支持橫向擴展，當

業(yè)務(wù)需要的時候，可以在線的擴展集群。

第10頁

3.3云計算平臺建設(shè)

3.3.1計算資源池建設(shè)

3.3.1.1項目需求

計算資源池為教育各項業(yè)務(wù)應(yīng)用提供靈活敏捷的計算

能力。由于業(yè)務(wù)云平臺需要處理前端各類教育業(yè)務(wù)應(yīng)用進來

的海量數(shù)據(jù)，因此需要大量的計算機節(jié)點。傳統(tǒng)的計算中心

強調(diào)整體的計算能力，當前的互聯(lián)網(wǎng)數(shù)據(jù)中心強調(diào)密度、帶

寬等因素。而作為整個學(xué)校信息化大數(shù)據(jù)平臺方案后端處理

中心的教育云中心需要的是強大的“處理能力”，這個“處

理能力”包含了計算能力、傳輸能力，甚至存儲能力。

同時，云計算的核心技術(shù)是虛擬化技術(shù)，CPU虛擬化技

術(shù)的原理是將核心的CPU運算資源基于時間分片進行切分,

CPU的選型就相當重要，因不同廠商的CPU之間是不能做到

一個虛擬化池的，因此整個平臺如數(shù)據(jù)庫4路平臺，和胖節(jié)

點，及2路平臺，建議采用一個廠商的CPU,并且考慮到運

行維護，以及采購來源，建議采用主流廠商，CPU廠商建議

采用在服務(wù)器市場占有率在70%以上的廠商。

其次，對云計算運營者來講，在提供可靠服務(wù)的前提下,

通過大量先進技術(shù)降低總體擁有成本是云計算中心基礎(chǔ)架

構(gòu)建設(shè)的核心目標。因此，構(gòu)建云計算中心的一個重要標準

就是利用標準化的、性價比高的通用部件或者產(chǎn)品。因為，

只有標準化、商品化的部件才有眾多的采購來源，并因為其

第11頁

具開放性，從而具有較低的運營成本。在虛擬化服務(wù)器的選

型上，既要考慮低部分的數(shù)據(jù)庫類型需求，和一般應(yīng)用需求,

所以少量的高端八路服務(wù)器作為云資源池里面的胖節(jié)點，低

端雙路服務(wù)器相對成本較低適合大量使用，項目建設(shè)應(yīng)該權(quán)

衡性價比、資源可擴展性、標準化以及通用性等各項因素，

因此，八路機架式服務(wù)器和兩路機架式服務(wù)器是作為虛擬化

物理節(jié)點最好的選擇，對于OLTP數(shù)據(jù)庫，需要很高的穩(wěn)定

性，建議采用模塊化設(shè)計的服務(wù)器，這樣可以保證，任何部

件損壞，可以快速維修，并且主要板卡支持熱插拔。

再次，云計算平臺的重要特征之一是實現(xiàn)資源的抽象和

封裝、構(gòu)建動態(tài)化、彈性化的計算資源池，而虛擬化技術(shù)和

分層數(shù)據(jù)存儲是實現(xiàn)并達到這一目標的重要手段。因此，計

算子大數(shù)據(jù)平臺方案應(yīng)該在虛擬化和分層數(shù)據(jù)存儲模型兩

個方面有較好的解決方案。

最后，除了具有通用性、標準化、資源池化等特征之外，

計算子大數(shù)據(jù)平臺方案還應(yīng)該具有易管理、低能耗的特征,

從而大大降低教育云中心的能耗、降低運維成本。

3.3.1.2X86虛擬化實現(xiàn)

X86服務(wù)器虛擬化，就是在硬件和操作大數(shù)據(jù)平臺方案

之間引入虛擬化層，如下圖。虛擬化層允許多個操作大數(shù)據(jù)

平臺方案實例同時運行在一臺物理服務(wù)器上，動態(tài)分區(qū)和共

第12頁

享所有可用的物理資源，包括：CPU、內(nèi)存、存儲和I/O設(shè)

隨著服務(wù)器和臺式機的計算能力急劇增加，虛擬化技術(shù)

應(yīng)用廣泛普及，很多用戶已經(jīng)在開發(fā)/測試、服務(wù)器整合、

數(shù)據(jù)中心優(yōu)化和業(yè)務(wù)連續(xù)性方面證實了虛擬化的效用。虛擬

架構(gòu)已經(jīng)可以將操作大數(shù)據(jù)平臺方案和應(yīng)用從硬件上分離

出來，打包成獨立的、可移動的虛擬機，從而帶來極大的靈

活性。例如：可以通過虛擬架構(gòu)，讓服務(wù)器24小時*365天

運行，避免因為備份或服務(wù)器維護而帶來的停機。

對于X86虛擬化，有兩種常見的架構(gòu)：寄居架構(gòu)和裸金

屬架構(gòu)。

1、寄居架構(gòu)：將虛擬化層運行在操作大數(shù)據(jù)平臺方案之

上，當作一個應(yīng)用來運行，對硬件的支持很廣泛。

2、裸金屬架構(gòu)：直接將虛擬化層運行在X86的硬件大數(shù)

據(jù)平臺方案上，可以直接訪問硬件資源，無需通過操作大數(shù)

據(jù)平臺方案實現(xiàn)硬件訪問，因此效率更高。

項目中建議采用性能更優(yōu)的裸金屬架構(gòu)作為底層的虛擬化

架構(gòu)。

3、虛擬化層

虛擬化層是運行在虛擬機監(jiān)控器(VMM,VirtualMachine

Monitor)上面、負責管理所有虛擬機的軟件。如下圖所示，

虛擬化層就是Hypervisor(管理程序)直接運行在硬件上，

第13頁

因此，Hypervisor的功能極大地取決于虛擬化架構(gòu)和實現(xiàn)。

運行在Hypervisor（管理程序）上的每個VMM進行了硬件抽

取，負責運行傳統(tǒng)的操作大數(shù)據(jù)平臺方案。每個VMM必須進

行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共享，從而實現(xiàn)大數(shù)據(jù)平

臺方案的虛擬化。

圖:Hypervisor通過VMM管理虛擬機

4、CPU虛擬化

根據(jù)最初設(shè)計，X86上的操作大數(shù)據(jù)平臺方案需要直接

運行在裸機上，因此默認擁有和控制所有的硬件。如下圖所

示，X86架構(gòu)提供了四種特權(quán)級別Ring0、1、2和3,通過

這四種級別來控制和管理對硬件的訪問。通常，用戶級的應(yīng)

用一般運行在Ring3級別，操作大數(shù)據(jù)平臺方案需要直接

訪問內(nèi)存和硬件，需要在Ring0執(zhí)行它的特權(quán)指令。為了

虛擬X86架構(gòu)，需要在操作大數(shù)據(jù)平臺方案下面運行虛擬化

層，由虛擬化層來創(chuàng)建和管理虛擬機，進行共享資源分配。

而有些敏感指令不能很好的進行虛擬化，它們在Ring。以

外級別執(zhí)行時，會出現(xiàn)不同的結(jié)果。如何在運行時捕獲和翻

第14頁

譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn)，使得X86架構(gòu)

虛擬化最初難以實現(xiàn)。

圖：X86架構(gòu)虛擬化前的特權(quán)級別

到目前為止，有三種典型的技術(shù)來解決X86虛擬化的難

題：

5、完全虛擬化；

6、操作大數(shù)據(jù)平臺方案幫助下的虛擬化，即半虛擬化；

7、硬件幫助的虛擬化。

8、完全虛擬化

完全虛擬化技術(shù)翻譯核心指令來代替那些不能虛擬化

的指令，通過翻譯后的指令直接訪問虛擬硬件。同時，所有

用戶級指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能。

每個VMM為每個虛擬機提供完整的硬件支持服務(wù)，包括虛擬

BIOS,虛擬設(shè)備和虛擬內(nèi)存管理。

完全虛擬化實現(xiàn)后，客戶操作大數(shù)據(jù)平臺方案可以通過

虛擬化層從物理硬件上完全抽取出來，客戶操作大數(shù)據(jù)平臺

方案感知不到是否發(fā)生虛擬化，完全不需進行修改。完全虛

第15頁

擬化是迄今為止唯一不需硬件或操作大數(shù)據(jù)平臺方案協(xié)助

來進行敏感和特權(quán)指令虛擬化的技術(shù)，Hypervisor(管理程

序)可以翻譯所有的操作大數(shù)據(jù)平臺方案特權(quán)指令，并保存

在緩存里備用，而用戶級指令完全可以全速直接執(zhí)行。

完全虛擬化提供了最好的虛擬機隔離和安全性，簡化了

客戶操作大數(shù)據(jù)平臺方案遷移和移植能力。

9、半虛擬化

半虛擬化需要修改操作大數(shù)據(jù)平臺方案內(nèi)核，替換掉不

能虛擬化的指令，通過超級調(diào)用(Hypercall)直接和底層

的虛擬化層Hypervisor來通訊，Hypervisor同時也提供了

超級調(diào)用接口來滿足其他關(guān)鍵內(nèi)核操作，比如內(nèi)存管理、中

斷和時間保持，如下圖所示:

直接執(zhí)

行用戶

的請求

超級調(diào)用

虛擬化層

來替換不

可虛擬的

操作系統(tǒng)

指令

圖：操作大數(shù)據(jù)平臺方案協(xié)助的X86架構(gòu)虛擬化

半虛擬化和全虛擬化不同，全虛擬化不需要修改上面的

操作大數(shù)據(jù)平臺方案，敏感的操作大數(shù)據(jù)平臺方案指令可直

接處理。半虛擬化的價值在于降低了虛擬化的損耗，基于Xen

第16頁

的虛擬化是半虛擬化的代表，可通過修改Linux的內(nèi)核來實

現(xiàn)CPU和內(nèi)存的虛擬化，通過定制的操作大數(shù)據(jù)平臺方案驅(qū)

動來實現(xiàn)I/O的虛擬化。

10、硬件輔助虛擬化

硬件廠商面對虛擬化投入了大量的精力來開發(fā)新的特

性用以簡化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強包括

IntelVirtualizationTechnology（VT-x）和AMD的AMD-V,

這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式，可以

讓VMM運行在root模式下，而root模式位于Ring0的下

面。如下圖所示，特權(quán)和敏感指令自動在Hypervisor上執(zhí)

行?？蛻舨僮鞔髷?shù)據(jù)平臺方案的狀態(tài)保存在VT-x（Virtual

MachineControlStructure,虛擬機控制結(jié)構(gòu)）中或

AMD-v（VirtualMachineControlBlock,虛擬機控制塊）。

支持IntelVT和AMD-V的CPU從2006年開始推向市場。

圖：硬件輔助的X86架構(gòu)虛擬化

11、內(nèi)存虛擬化

第17頁

除了CPU虛擬化，下一個關(guān)鍵是內(nèi)存虛擬化，通過內(nèi)存

虛擬化共享物理大數(shù)據(jù)平臺方案內(nèi)存，動態(tài)分配給虛擬機。

虛擬機的內(nèi)存虛擬化很像現(xiàn)在的操作大數(shù)據(jù)平臺方案支持

的虛擬內(nèi)存方式，應(yīng)用程序看到鄰近的內(nèi)存地址空間，這個

地址空間無需和下面的物理機器內(nèi)存直接對應(yīng)，操作大數(shù)據(jù)

平臺方案保持著虛擬頁到物理頁的映射。現(xiàn)在所有的X86CPU

都包括了一個稱為內(nèi)存管理的模塊MMU(MemoryManagement

Unit)和TLB(TranslationLookasideBuffer),通過MMU

和TLB來優(yōu)化虛擬內(nèi)存的性能。

虛擬機1虛擬機2

進程1進程2

inw

圖：內(nèi)存虛擬化

為了在一臺機器上運行多個虛擬機，需要增加一個新的

內(nèi)存虛擬化層，也就是說，必須虛擬MMU來支持客戶操作大

數(shù)據(jù)平臺方案?？蛻舨僮鞔髷?shù)據(jù)平臺方案繼續(xù)控制虛擬地址

到客戶內(nèi)存物理地址的映射，但是客戶操作大數(shù)據(jù)平臺方案

不能直接訪問實際機器內(nèi)存。VMM負責映射客戶物理內(nèi)存到

實際機器內(nèi)存，它通過影子頁表來加速映射。VMM使用TLB

硬件來映射虛擬內(nèi)存直接到機器內(nèi)存，從而避免了每次訪問

進行兩次翻譯。當客戶操作大數(shù)據(jù)平臺方案更改了虛擬內(nèi)存

第18頁

到物理內(nèi)存的映射表，VMM也會更新影子頁表來啟動直接查

詢。MMU虛擬化引入了虛擬化損耗，第二代的硬件輔助虛擬

化將支持內(nèi)存的虛擬化輔助，從而大大降低因此而帶來的虛

擬化損耗，讓內(nèi)存虛擬化更高效。

12、設(shè)備和I/O虛擬化

最后一個模塊是設(shè)備和I/O虛擬化，也就是如何管理和

路由物理設(shè)備和虛擬設(shè)備之間的I/O請求。

井口串口

SCSI控制器IDE控制器鼠標USB設(shè)備

圖：設(shè)備和I/O虛擬化

基于軟件的I/O虛擬化和管理為設(shè)備管理帶來了新的特

性和功能，讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例，通過虛擬

網(wǎng)卡和交換機可以在一臺物理機上不同虛擬機之間建立虛

擬網(wǎng)絡(luò)，而這不會在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量；允許多個

物理網(wǎng)卡綁定成一個虛擬機網(wǎng)卡，提供了很好的容錯能力，

同時保持了同一MAC地址。I/O虛擬化的關(guān)鍵是保持虛擬化

優(yōu)勢的同時，盡量降低虛擬化給CPU造成的負擔。

第19頁

Hypervisor虛擬化物理硬件，為每臺虛擬機提供一套標

準的虛擬設(shè)備，如上圖所示。這些虛擬設(shè)備高效模擬常見的

物理硬件，將虛擬機的請求發(fā)送到物理硬件。該硬件標準化

的過程也讓虛擬機標準化，讓虛擬機更容易在各種平臺上自

由移動，而無需關(guān)心下面實際的物理硬件類型。

3.3.1.3計算資源池分區(qū)建設(shè)

云資源管理平臺的底層虛擬化組件提供基礎(chǔ)的虛擬化

功能，提供服務(wù)器、存儲、網(wǎng)絡(luò)的虛擬化功能，并向上對云

資源管理平臺提供接口。一個物理集群中可以把多臺服務(wù)器

劃分成一個邏輯集群（又叫HA資源池），一個計算資源池有

相同的調(diào)度策略，為了使用熱遷移相關(guān)的調(diào)度策略要求資源

池主機CPU同制。計算資源池不包括網(wǎng)絡(luò)資源與存儲資源。

一個物理集群中可以包含多個邏輯集群。

多個物理集群可以級聯(lián)（多個云資源管理平臺），由更

上層的云運營管理平臺統(tǒng)一管理。

對于教育業(yè)務(wù)部門的主要業(yè)務(wù)應(yīng)用大數(shù)據(jù)平臺方案的

部署將采用全虛擬機部署方式，例如Web服務(wù)器、郵件服務(wù)

器等不同種應(yīng)用服務(wù)器都建議采用虛擬化的部署方式。虛擬

化技術(shù)不僅可以提高資源的利用率，并且通過與X86平臺計

算節(jié)點的配合，能夠有效的降低總的投資成本，提高大數(shù)據(jù)

平臺方案的安全性、可管理性，降低業(yè)務(wù)部署的復(fù)雜度和時

間需求。所以普通業(yè)務(wù)大數(shù)據(jù)平臺方案推薦采用虛擬化與

第20頁

X86平臺的協(xié)同部署方式。

項目建設(shè)采用高端八路INTEL和低端2路多核心服務(wù)器

構(gòu)建虛擬計算資源平臺，實現(xiàn)高性能、高密度、可伸縮、按

需配置、方案靈活的產(chǎn)品設(shè)計要求，可滿足虛擬化業(yè)務(wù)中多

樣且動態(tài)變化的應(yīng)用需求。這些服務(wù)器分為1個云資源管理

分區(qū)和1個業(yè)務(wù)應(yīng)用分區(qū)。

1、業(yè)務(wù)應(yīng)用分區(qū)

核心應(yīng)用邏輯分區(qū)作為業(yè)務(wù)承載節(jié)點，用于部署虛擬化

平臺，承載應(yīng)用大數(shù)據(jù)平臺方案。

業(yè)務(wù)節(jié)點為能承載更多的虛擬機并保證虛擬機性能，建

議配置多路處理器，每路處理器核心數(shù)盡可能多、主頻盡可

能高，同時配置大容量內(nèi)存。同時還考慮兩方面：

1、高可用性：即承載某臺虛擬機的物理節(jié)點如果出現(xiàn)

故障需要維護，那么需要進行虛擬機動態(tài)遷移，將故障節(jié)點

承載的虛擬機動態(tài)遷移到核心應(yīng)用邏輯資源分區(qū)中其他正

常工作的物理節(jié)點上以實現(xiàn)高可用性，保證應(yīng)用大數(shù)據(jù)平臺

方案的不中斷；

2、彈性擴展：即考慮到未來3-5年內(nèi)部分部門會上新

的應(yīng)用大數(shù)據(jù)平臺方案，從而需要新的虛擬機資源，到時核

心應(yīng)用邏輯資源分區(qū)還有資源可彈性分配給新的應(yīng)用大數(shù)

據(jù)平臺方案。

同時，按照云計算平臺大項目建設(shè)經(jīng)驗，建議以1:3的

第21頁

比例預(yù)留動態(tài)遷移及彈性可擴展虛擬機資源，即預(yù)留一部分

虛擬機資源。

業(yè)務(wù)節(jié)點放置在業(yè)務(wù)區(qū)的服務(wù)器中。為保證虛擬化動態(tài)

遷移時的大數(shù)據(jù)平臺方案性能，建議業(yè)務(wù)區(qū)域內(nèi)再按照業(yè)務(wù)

情況分為2?3個邏輯分區(qū)。

3、云資源管理分區(qū)

云資源管理分區(qū)分為虛擬化管理節(jié)點和云運營管理節(jié)

點。虛擬化管理節(jié)點和云運營管理服務(wù)器都可采用虛擬機的

方式部署。

虛擬化管理節(jié)點：提供基本的虛擬機管理、監(jiān)控、分配

和使用功能，提供資源靜態(tài)分配及動態(tài)調(diào)度管理功能。每個

業(yè)務(wù)區(qū)域應(yīng)該配置一套虛擬化管理平臺，采用雙機的模式形

成一套高可用大數(shù)據(jù)平臺方案。

云運營管理節(jié)點：主要滿足云計算中心管理需求，提供

對云資源管理節(jié)點的統(tǒng)一管理，同時提供審批管理、計費管

理、服務(wù)質(zhì)量管理功能。云運營管理節(jié)點通常采用雙機模式

構(gòu)成高可用大數(shù)據(jù)平臺方案，每組云運營管理節(jié)點可以管理

多組云資源管理節(jié)點。

3.3.2基于物理機部署的業(yè)務(wù)大數(shù)據(jù)平臺方案

對于個別如多媒體、視頻點播等這類業(yè)務(wù)大數(shù)據(jù)平臺方

案，出于業(yè)務(wù)和項目需要，采用胖節(jié)點物理機來支撐。在教

育云中心規(guī)劃一臺高端八路服務(wù)器來部署此類應(yīng)用。

第22頁

3.3.3數(shù)據(jù)庫大數(shù)據(jù)平臺方案建設(shè)

3.3.3.1項目需求

本期項目中計劃將一卡通數(shù)據(jù)庫、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫

部署在oracleRAC集群上，后期還將把教務(wù)大數(shù)據(jù)平臺方

案的雙機集群接入進來。為了保證數(shù)據(jù)庫大數(shù)據(jù)平臺方案的

高性能、高可靠性以及負載均衡，項目建設(shè)需要考慮如下因

素：

4、如何提高處理速度，實現(xiàn)數(shù)據(jù)庫的負載均衡；

5、如何保證數(shù)據(jù)庫的可用性、數(shù)據(jù)安全性，以及如何

實現(xiàn)數(shù)據(jù)集群可擴性。

6、數(shù)據(jù)庫大數(shù)據(jù)平臺方案對事務(wù)實時處理性要求比較

高，對于數(shù)據(jù)庫服務(wù)器有性能上的要求，建議采用最新的處

理器型號，最新的UNIX服務(wù)器產(chǎn)品技術(shù)架構(gòu)。

3.3.3.2數(shù)據(jù)庫大數(shù)據(jù)平臺方案建設(shè)

對于數(shù)據(jù)庫的業(yè)務(wù)，教育云中心建議采用傳統(tǒng)的物理服

務(wù)器架構(gòu)來進行支持。一方面是由于物理數(shù)據(jù)庫業(yè)務(wù)一般對

大數(shù)據(jù)平臺方案和平臺的限制，并非所有的數(shù)據(jù)庫都可以移

植到像虛擬化這樣的計算平臺上，另一方面，由于數(shù)據(jù)庫對

10的高要求，對于虛擬化的環(huán)境并不能提供充足的10支撐，

另外，數(shù)據(jù)庫大數(shù)據(jù)平臺方案的安全性要求很高，采用虛擬

化技術(shù)雖然可以提高大數(shù)據(jù)平臺方案的靈活性，但是同物理

設(shè)備上的其他大數(shù)據(jù)平臺方案會對數(shù)據(jù)庫大數(shù)據(jù)平臺方案

第23頁

產(chǎn)生一定的影響，提高大數(shù)據(jù)平臺方案的安全風(fēng)險。所以綜

合以上三方面的原因，數(shù)據(jù)庫大數(shù)據(jù)平臺方案在云計算中心

將采用物理設(shè)備集群的方式來部署。

為了使數(shù)據(jù)庫實現(xiàn)高可用，滿足高并發(fā)、高負載均衡的

需求，數(shù)據(jù)庫節(jié)點采用數(shù)據(jù)庫集群搭建，本項目采用實時應(yīng)

用集群，能夠?qū)崿F(xiàn)多節(jié)點之間負載均衡，同時多個節(jié)點共享

一套存儲大數(shù)據(jù)平臺方案，能有效防止數(shù)據(jù)庫單點故障；最

后，數(shù)據(jù)庫集群架構(gòu)具備動態(tài)添加數(shù)據(jù)庫節(jié)點的功能，具有

良好的擴展性。

1.OLTP1■務(wù)*提供捌理分區(qū)技術(shù)。

2.督機務(wù)至少握供三個物理分區(qū)，等分區(qū)握

供4個物理CPU?16個計算梭心，，28G內(nèi)1

提假5。萬TPCC處理能力

3.JR務(wù)務(wù)為UNDd■符號

4.01AP9M摩JS符等單機提供12。計算核心

5.OLAP年合?努號提供2個物理分區(qū)技術(shù)

ittftSOQ8G*口

2.提偎trunkS：含技術(shù).NI同絡(luò)級或技術(shù)

3.存%虛擬化設(shè)備提供＞8。萬2Ps能力?

提供48Gache.提供寫■存技術(shù)

4.提供di網(wǎng)絡(luò)40OG的SSD分層客■

￡.存Nt*捺化單節(jié)點設(shè)答覆做＞10萬

IOPS能力I量終塞到魁景的K)PS＞

Upto2.itt景采用12GSAS成術(shù)，

512GBSASiSft

Cache

Upto

Disks

本期項目中計劃將一卡通數(shù)據(jù)庫、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫

部署在oracleRAC集群上，后期還將把教務(wù)大數(shù)據(jù)平臺方

案的雙機集群接入進來。

為提供數(shù)據(jù)庫大數(shù)據(jù)平臺方案的高可用性，后端使用存

第24頁

儲控制器連接高性能光纖盤陣的存儲資源池雙活架構(gòu)來支

撐，保證數(shù)據(jù)不會丟失，業(yè)務(wù)不受影響。最后，通過虛擬化

帶庫的備份大數(shù)據(jù)平臺方案對數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)進行備份，提

高數(shù)據(jù)的安全性，對于歷史數(shù)據(jù)，采用物理帶庫歸檔保存技

術(shù)。

3.3.4存儲資源池建設(shè)

3.3.4.1項目需求

存儲資源池是教育云平臺的重要組成部分，根據(jù)教育數(shù)

據(jù)的不同類型應(yīng)該有著相應(yīng)的差異化的數(shù)據(jù)存儲處理方式。

按照數(shù)據(jù)類型主要可以分為兩類，即結(jié)構(gòu)化數(shù)據(jù)和非結(jié)

構(gòu)化數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù)：即行數(shù)據(jù)，存儲在數(shù)據(jù)庫里，可以用二維

表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù)。例如一卡通刷卡記錄、學(xué)校

招生就業(yè)的信息、學(xué)生學(xué)籍信息、選課信息、圖書館館藏目

錄、圖書借閱信息等。其中一卡通數(shù)據(jù)庫大數(shù)據(jù)平臺方案的

數(shù)據(jù)需求在100G左右，數(shù)字校園基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺方

案的數(shù)據(jù)量也應(yīng)該在100G以內(nèi)，再加上二期可能加入的教

務(wù)大數(shù)據(jù)平臺方案數(shù)據(jù)幾百GB,這部分的數(shù)據(jù)量在1T左右。

非結(jié)構(gòu)化數(shù)據(jù)：相對于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)

庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有

格式的辦公文檔、學(xué)生和老師的文本文件、電子圖書、電子

期刊、各類報表、教學(xué)用的圖像和音頻/視頻信息等。本期

第25頁

項目中主要考慮校園視頻監(jiān)控數(shù)據(jù)以及虛擬機鏡像數(shù)據(jù)等。

校園700個720P攝像頭的監(jiān)控數(shù)據(jù)存放30天的數(shù)據(jù),700

個頭需要的總?cè)萘考坝嬎愎綖椋?/p>

256（碼流）X3600（1小時）X24（1天）X30（1個

月）X700（路數(shù)）4-0.9（磁盤格式化損耗）心0.6PB。

另外數(shù)據(jù)中心自己的業(yè)務(wù)大數(shù)據(jù)平臺方案的空間使用，

包含多媒體、一卡通、教務(wù)大數(shù)據(jù)平臺方案、圖書館、視頻

點播、HPC計算等空間需求，保證1.5PB的使用空間能滿足

當前需求。

對于這兩類數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)的存儲資源池可采用傳統(tǒng)

的高性能磁盤陣列大數(shù)據(jù)平臺方案支撐；非結(jié)構(gòu)化數(shù)據(jù)存儲

資源池采用底層SAN網(wǎng)絡(luò)結(jié)構(gòu)加上集群NAS機頭，又能為用

戶提供文件大數(shù)據(jù)平臺方案的共享功能，是一個完全開放的、

共享的、跨平臺的大數(shù)據(jù)平臺方案，具有高性能、高可靠性、

使用維護簡單、性能和容量可線性擴展的高端存儲大數(shù)據(jù)平

臺方案。差異化的存儲方案利于保護投資，充分考慮今后的

可擴展性，最大限度的提升校園信息化服務(wù)的水平。

3.3.4.2存儲分類

數(shù)據(jù)庫存儲：主要采用FCSAN存儲模式，通過數(shù)據(jù)庫

集群技術(shù)構(gòu)建集中存儲模式，按照不同的數(shù)據(jù)庫實例的構(gòu)建,

FCSAN還可以通過劃分不同的LAN來支撐不同業(yè)務(wù)數(shù)據(jù)的存

儲；通過存儲虛擬化控制器實現(xiàn)性能的大幅度提升，以及冷

第26頁

熱數(shù)據(jù)的分層管理。

海量非結(jié)構(gòu)化數(shù)據(jù)存儲：我們根據(jù)業(yè)務(wù)屬性不同，將非

結(jié)構(gòu)化數(shù)據(jù)分為2個主要需求，和教學(xué)相關(guān)的教學(xué)類非結(jié)構(gòu)

化存儲，這樣的存儲需要雙向讀寫訪問，在教學(xué)高峰期，會

有較高的10訪問，因此需要采用集群化的非結(jié)構(gòu)數(shù)據(jù)解決

方案，在集群文件大數(shù)據(jù)平臺方案選擇上，需要選擇成熟的,

商業(yè)化的集群文件大數(shù)據(jù)平臺方案；對于安防數(shù)據(jù)的存儲,

主要是考慮空間問題，這部分數(shù)據(jù)，以寫入為主，基本上很

少會讀訪問，因此采用專用的NAS存儲解決方案。

為了保證海量非結(jié)構(gòu)化數(shù)據(jù)（校園視頻監(jiān)控、教學(xué)視頻

等）存儲和數(shù)據(jù)分析的需求，該部分數(shù)據(jù)采用專用NAS控制

器提供穩(wěn)定可靠的10解決方案。

備份數(shù)據(jù)存儲：備份數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),

備份源可以是數(shù)據(jù)庫，也可以是操作大數(shù)據(jù)平臺方案、文件

夾等。

虛擬機鏡像數(shù)據(jù)存儲：與非結(jié)構(gòu)化數(shù)據(jù)共用一個存儲空

間，也采用并行存儲大數(shù)據(jù)平臺方案構(gòu)建，為虛擬機的遷移

提供支持。具體存儲空間需根據(jù)虛擬機的個數(shù)和操作大數(shù)據(jù)

平臺方案來劃分。

第27頁

3.3.4.3數(shù)據(jù)庫存儲大數(shù)據(jù)平臺方案建設(shè)方案

3.3.5大數(shù)據(jù)平臺方案設(shè)計

3.3.5.1基于虛擬化機頭的存儲虛擬化方案說明

生產(chǎn)中心存儲虛擬化部署示意圖

生產(chǎn)存錯資源跡

存儲雙活、救據(jù)跨存錯造像

圖示說明：

通過在SAN網(wǎng)絡(luò)層面，部署1套存儲虛擬化引擎（2個節(jié)

點、實現(xiàn)高可用集群），實現(xiàn)生產(chǎn)中心的虛擬化存儲基礎(chǔ)架

構(gòu).

新購SAN網(wǎng)絡(luò)存儲，通過存儲虛擬化技術(shù),構(gòu)建統(tǒng)一存儲

資源池，實現(xiàn)存儲資源的集中統(tǒng)一規(guī)劃和分配、實現(xiàn)存儲資

源的集中監(jiān)控和管理.

通過存儲虛擬化技術(shù)，實現(xiàn)2個存儲之間雙活架構(gòu).

第28頁

存儲虛擬化方案的優(yōu)勢

如今它在許多新的領(lǐng)域又展現(xiàn)了其盎然的生機：從虛擬服務(wù)

器到虛擬存儲，優(yōu)化的網(wǎng)絡(luò)，虛擬環(huán)境中的工作站，以及應(yīng)

用虛擬化。虛擬化技術(shù)為企業(yè)帶來的潛在收益是巨大的，不

僅可以提高存儲設(shè)備的利用率和業(yè)務(wù)靈活性，而且還可降低

處理的總成本并提高可靠性。

存儲虛擬化有多年的發(fā)展歷程和擁有業(yè)界最多的客戶實際

使用案例，并支持虛擬化管理業(yè)界最廣泛的第三方存儲產(chǎn)品。

3.3.5.2存儲虛擬化工作原理和技術(shù)實現(xiàn)說明

虛擬化機頭實現(xiàn)了虛擬存儲層的功能，采用“虛擬存儲”

技術(shù)整合異構(gòu)存儲設(shè)備，可以支持包括各廠商在內(nèi)的130多

種磁盤存儲大數(shù)據(jù)平臺方案。虛擬化機頭是整個SAN網(wǎng)絡(luò)的

控制器，將整個SAN網(wǎng)絡(luò)中的各種存儲設(shè)備整合成一個巨大

的“存儲池”，使用戶充分利用存儲資源并可按需分配存儲

空間、性能和功能。

虛擬化機頭卷控制器產(chǎn)品要點包括：

可將不同磁盤大數(shù)據(jù)平臺方案的存儲容量整合至管理

更加高效的容量庫中

可通過為主機應(yīng)用程序提供更靈活的存儲容量訪問，幫

助提高存儲利用率

可通過使用簡單的通用界面實現(xiàn)異構(gòu)存儲大數(shù)據(jù)平臺

方案的自動配置和便捷管理，從而幫助提高存儲管理員的工

第29頁

作效率

可通過消除幾乎任何與存儲相關(guān)的應(yīng)用程序中斷原因

以支持更高的應(yīng)用程序可用性

可實現(xiàn)分層存儲環(huán)境，從而使存儲成本可以與數(shù)據(jù)的價

值更好地相配

可支持從高成本到低成本的設(shè)備以及跨多個供應(yīng)商所

提供存儲大數(shù)據(jù)平臺方案的高級復(fù)制服務(wù)

可通過iSCSI主機連接降低成本并提高靈活性

可以在購置存儲時提供更高的靈活性

可通過對固態(tài)設(shè)備（SSD）的創(chuàng)新和緊密集成支持為

關(guān)鍵工作負載提供超強的性能

3.3.5.3虛擬化機頭的基本概念

虛擬化機頭采用In-Band方式進行存儲虛擬化。大數(shù)

據(jù)平臺方案實際上是一個集群（Cluster）大數(shù)據(jù)平臺方案,

它由node組成。一個虛擬化機頭大數(shù)據(jù)平臺方案至少包含

2個node,每2個node組成一個I/OGroup,它用來為

Host提供I/O服務(wù)。到現(xiàn)在為止，一個虛擬化機頭大數(shù)據(jù)

平臺方案最多包含8個node,即4個I/OGroupo

在一個虛擬化機頭大數(shù)據(jù)平臺方案中，存儲子大數(shù)據(jù)平

臺方案中的一個或多個存儲單元被映射為虛擬化機頭內(nèi)部

的存儲單元，一個或多個單元可以被虛擬化為1個存儲池（稱

為MDG）,所有的MDG對所有的I/OGroup均可見。MDG是

第30頁

一個存儲池，它根據(jù)一定的分配策略(如Striped,Image,

Sequential)分配虛擬的存儲單元，稱為VDisk。I/OGroup

以Vdisk為單位對Host提供LUNfasking(也稱為

LUN-Mapping)服務(wù)，使得Host可通過HBA可訪問被提供

LUN-Masking服務(wù)的VDisko如下圖所示:

主機

Lun-Mapping

虛擬化機頭中的MDisk和MDG以及VDisk之間的關(guān)系

第31頁

加入葭鼠牝雙頭后加速對存儲子大數(shù)據(jù)平臺方案的訪

問I/O

3.3.5.4虛擬化機頭的工作原理

-不同級別的存儲虛擬化技術(shù)設(shè)計思想

正如以上所述，在存儲子大數(shù)據(jù)平臺方案與主機之間引

入虛擬化機頭后，主機所有的I/O必然要經(jīng)過虛擬化機頭內(nèi)

部，相當于虛擬化機頭要接管從主機過來的所有I/0o要做

到這一點，虛擬化機頭內(nèi)部必須實現(xiàn)一個虛擬層，使得主機

仿佛可以直接訪問真正的物理存儲大數(shù)據(jù)平臺方案。這個虛

擬層的實現(xiàn)依賴于存儲虛擬化技術(shù)。存儲虛擬化的基本概念

是將實際的物理存儲實體與存儲的邏輯表示分離開來，應(yīng)用

服務(wù)器只與分配給它們的邏輯卷(或稱虛卷)打交道，而不用

關(guān)心其數(shù)據(jù)是在哪個物理存儲實體上。為實現(xiàn)存儲虛擬層,

虛擬化機頭借鑒了已有的存儲虛擬化技術(shù)：

?存儲子大數(shù)據(jù)平臺方案級別的虛擬化

存儲子大數(shù)據(jù)平臺方案級別的虛擬化如下圖所示，使用

HostBusAdapter例如1394HostBusAdapter(Controller)

連接磁盤柜，通過1394controller驅(qū)動，物理磁盤被映射

為大數(shù)據(jù)平臺方案中的sda.sdb.sdc等SCSI磁盤塊設(shè)備，塊

設(shè)備上層的虛擬化原理上和主機級別子大數(shù)據(jù)平臺方案塊

設(shè)備的虛擬化類似。

第32頁

vglIvlvgllv2vgllv3vg2Ivlvg2lv2vg2lv3

「日一已-已「「百-日-gq

61邏輯層

vglvg2

----------—o-----------------------------------o------------------------------------

虛擬層

1394磁FC磁盤

盍控制控制器驅(qū)

招驅(qū)動動

存儲子大數(shù)據(jù)平臺方案級別的存儲虛擬化（如Linux）

?網(wǎng)絡(luò)級別的存儲虛擬化

網(wǎng)絡(luò)級別的存儲虛擬化分兩種:OutofBand和InBando

如下圖所示是OutofBand存儲虛擬化的一種方式，存儲子

大數(shù)據(jù)平臺方案通過SAN使得3個不同類別的操作大數(shù)據(jù)平

臺方案在MetadataServer的Lock機制控制下共用存儲子

大數(shù)據(jù)平臺方案中的3個存儲單元。在每個Host上，3個存

儲單元被虛擬化為一個StripeGroup,使得各個Host可以

第33頁

采用統(tǒng)一的Stripe策略控制各自的I/O行為。

網(wǎng)絡(luò)級別(OutofBand)的存儲虛擬化

In-Band的方式實際上是通過數(shù)據(jù)通道(DataPath)上的

虛擬化軟件，把呈現(xiàn)在SAN中一個或多個存儲子大數(shù)據(jù)平臺

方案的存儲單元虛擬化成另外一種方式的虛擬存儲單元，稱

為VDisks.。如下圖所示是屬于In-Band存儲虛擬化。虛擬

化機頭使用In-Band的虛擬化方式，也就是說，虛擬化機頭

把主機級別的虛擬化實現(xiàn)在SAN的網(wǎng)絡(luò)層次上實現(xiàn)。

第34頁

Soloris主機Windows主機AIX主機

網(wǎng)絡(luò)級別（InBand）的存儲虛擬化

傳統(tǒng)的SAN網(wǎng)絡(luò)中，每種存儲大數(shù)據(jù)平臺方案都自成

一體，就像一個個獨立的孤島，無法構(gòu)成一片統(tǒng)一的大陸。

而虛擬化機頭，是存儲業(yè)界又一次嶄新的突破，就像存儲歷

史上的RAID,主機大數(shù)據(jù)平臺方案的存儲管理體系和虛擬磁

帶技術(shù)。虛擬化機頭是整個SAN網(wǎng)絡(luò)的控制器，它將整個

SAN中的各種存儲設(shè)備整合成一個巨大的存儲池，充分利用

存儲資源和按需分配存儲空間、性能和功能。

虛擬化機頭實現(xiàn)了虛擬存儲層的功能，將存儲智能加入

到SAN的網(wǎng)絡(luò)中?，F(xiàn)在用戶可以按照應(yīng)用不斷變化的需求來

第35頁

分配存儲，而不再受制于存儲子大數(shù)據(jù)平臺方案設(shè)備在功能

和性能上的限制。虛擬化機頭又是一個SAN網(wǎng)絡(luò)的中心管理

控制點，而且它對服務(wù)器的操作大數(shù)據(jù)平臺方案和存儲子大

數(shù)據(jù)平臺方案是透明的。

以下是存儲池引入虛擬化機頭前后的對比圖：

SANsTodayBlockVirtualization

烏?怎，

ServersaremappedtospecificphysicaldisksServersaremappedtoavirtualdisk

i.e.,"physicalmapping"i.e.,"logicalmapping1*

3.3.5.5虛擬化機頭的可靠性、可用性

虛擬化機頭采用了RAS的設(shè)計思想：通過冗余組件使

大數(shù)據(jù)平臺方案具有極高的可靠性，可用性以及高服務(wù)性。

第36頁

?高度冗余的部件：由于虛擬化機頭是一個集群大數(shù)據(jù)

平臺方案，當中的每個部件都有對應(yīng)的備份(Backup)

部件，例如，Node與Node之間互為備份，前端

(Front-End)FC端口之間可以互為備份。后端

(Back-End)FC端口之間也可以互為備份，整個大數(shù)

據(jù)平臺方案沒有單一的故障點。如下圖所示。虛擬化

機頭具有非常高的可靠性。

?Cache的同步保證數(shù)據(jù)的完整性

在一個虛擬化機頭I/OGroup中，當一個節(jié)點出現(xiàn)故障

時，通過這個節(jié)點的所有I/O就會切換到另外一個節(jié)點；

為了使節(jié)點中的Cache數(shù)據(jù)在出現(xiàn)故障時不丟失，該節(jié)點

在正常工作時會把每個I/O的Cache數(shù)據(jù)同步到另外一個

節(jié)點的Cache中，使得同一個I/OGroup里的2個節(jié)點維

護著相同的Cache元數(shù)據(jù)，如下圖所示。因此，在某個節(jié)

第37頁

點出現(xiàn)故障時，虛擬化機頭能夠保證100%的數(shù)據(jù)完整性。

主機10流

■

14

Cache

------SVC哼#2

3_____

1：主機W1節(jié).8發(fā)起102：10￥咬妾1可&Cxh?*

3：1一立Cache擊毀瑁引步蕓.2節(jié)電Cache豐

4：10先也從1■立速亙

同構(gòu)異構(gòu)存儲資源

虛擬化機頭是一個存儲虛擬化引擎，它屏蔽了各種所支

持的存儲子大數(shù)據(jù)平臺方案的差別，對Host提供的I/O服務(wù)

均以統(tǒng)一的存儲單元Vdisk為單位。這種特征有利于提高

存儲大數(shù)據(jù)平臺方案的利用率，并且可進行集中管理。

虛擬化機頭的加入并不影響現(xiàn)有SAN環(huán)境的拓撲，它

只是把自己連接到光纖交換機上。通過一定的配置操作，虛

擬化機頭能夠檢測到各種存儲子大數(shù)據(jù)平臺方案中的存儲

單元，并且把這些存儲單元---■映射成一個個的MDiskSo

每個虛擬化機頭的節(jié)點都看到統(tǒng)一的Mdisks集合。虛擬化

機頭使用這些Mdisks創(chuàng)建MDG(MDiskGroup)，并從MDG

中劃分VDisk(VirtualDisk)空間給主機使用。通過光纖

交換機的Zone劃分，主機只能識別到虛擬化機頭上的

Vdisko因此，虛擬化機頭屏蔽了各種存儲子大數(shù)據(jù)平臺方

第38頁

案的差別。同構(gòu)異構(gòu)的存儲資源帶來很多的好處：

＞使主機端只需使用一種多路徑(MPIO)驅(qū)動

在加入虛擬化機頭之前，主機所獲得的存儲資源可能來

自不同廠商的存儲子大數(shù)據(jù)平臺方案。為了提高I/O性能，

每個廠商根據(jù)自己存儲子大數(shù)據(jù)平臺方案的特性為主機端

提供專用的多路徑軟件。對于只使用一種廠商的存儲子大數(shù)

據(jù)平臺方案的用戶來說，這并沒有帶來很大的影響；但是,

企業(yè)往往會使用不同廠商的存儲子大數(shù)據(jù)平臺方案，因此,

要使用不同廠商的存儲子大數(shù)據(jù)平臺方案，主機端的大數(shù)據(jù)

平臺方案管理員必須把各個廠商提供的多路徑軟件都安裝

在主機上。在槽糕的情況下，這些多路徑軟件之間可能引起

沖突，導(dǎo)致大數(shù)據(jù)平臺方案無法正常使用。如下圖所示：

加入虛擬化機頭后，主機所有的I/O都由虛擬化機頭

第39頁

接管。為了優(yōu)化I/O性能，主機端只需要安裝虛擬化機頭

提供的多路徑軟件，如下圖所示：

統(tǒng)一管理存儲資源

虛擬化機頭能夠?qū)尤氲拇鎯ψ哟髷?shù)據(jù)平臺方案進行

監(jiān)控，并提供自動報警機制。例如A存儲子大數(shù)據(jù)平臺方

案中的一個磁盤出現(xiàn)故障，虛擬化機頭能夠檢查到它，并通

過SNMP報告給管理終端，管理終端通過郵件或者電話通知

管理員。因此，虛擬化機頭成為了一個集中管理點，統(tǒng)一了

存儲資源的管理；否則，用戶必須安裝不同廠商的存儲子大

數(shù)據(jù)平臺方案管理軟件。

＞可實現(xiàn)不同存儲大數(shù)據(jù)平臺方案中的容災(zāi)備份和數(shù)據(jù)

遷移

在沒有加入虛擬化機頭之前，企業(yè)中的數(shù)據(jù)可能存放在

不同廠商存儲子大數(shù)據(jù)平臺方案中。企業(yè)必須要使用各個廠

商存儲子大數(shù)據(jù)平臺方案的容災(zāi)備份策略來防止企業(yè)數(shù)據(jù)

丟失，而且，不同存儲子大數(shù)據(jù)平臺方案之間不能實現(xiàn)實時

的互為容災(zāi)備份，這給企業(yè)帶來很多不便，尤其在企業(yè)數(shù)據(jù)

變得越來越關(guān)鍵和龐大的時候。更重要的是，由于沒有統(tǒng)一

的容災(zāi)備份策略，企業(yè)往往需要在不同時刻，不同時間，投

入越來越多的成本保證企業(yè)數(shù)據(jù)不丟失。

使用了虛擬化機頭后，企業(yè)中的數(shù)據(jù)采用了統(tǒng)一的容

災(zāi)備份策略，因為虛擬化機頭提供的高級的CopyService

第40頁

使得不同廠商之間可以輕松地實現(xiàn)實時的容災(zāi)備份以及數(shù)

據(jù)遷移，同時與其他廠商的容災(zāi)備份策略兼容。

QoS機制

虛擬化機頭和許多存儲子大數(shù)據(jù)平臺方案一樣，提供了

有效的QoS(QualityofService)機制。QoS是一種保證和

控制主機I/O流量和帶寬的機制。例如，一個140MB每秒的影

像流必須精確地以140MB每秒的傳輸率傳輸?shù)酱鎯χ?/p>