高校智慧校園云數(shù)據(jù)中心解決方案_第1頁
高校智慧校園云數(shù)據(jù)中心解決方案_第2頁
高校智慧校園云數(shù)據(jù)中心解決方案_第3頁
高校智慧校園云數(shù)據(jù)中心解決方案_第4頁
高校智慧校園云數(shù)據(jù)中心解決方案_第5頁
已閱讀5頁,還剩57頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

高校智慧校園云數(shù)據(jù)中心解決方案

目錄

1、大數(shù)據(jù)平臺(tái)方案概述................................1

2、需求分析..........................................2

3、大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)................................4

3.1建設(shè)原則......................................4

3.2總體方案設(shè)計(jì).................................6

3.2.1自主可控的教育云技術(shù)架構(gòu)...............6

3.2.2數(shù)據(jù)中心總體架構(gòu)規(guī)劃...................8

3.3云計(jì)算平臺(tái)建設(shè)...............................11

3.3.1計(jì)算資源池建設(shè).........................11

3.3.1.1項(xiàng)目需求.........................11

3.3.1.2X86虛擬化實(shí)現(xiàn)...................12

3.3.1.3計(jì)算資源池分區(qū)建設(shè)..............20

3.3.2基于物理機(jī)部署的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案.....22

3.3.3數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè)...............23

3.3.3.1項(xiàng)目需求.........................23

3.3.3.2數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè).......23

3.3.4存儲(chǔ)資源池建設(shè).........................25

3.3.4.1項(xiàng)目需求........................25

3.3.4.2存儲(chǔ)分類........................26

3.3.4.3數(shù)據(jù)庫存儲(chǔ)大數(shù)據(jù)平臺(tái)方案.........28

3.3.5大數(shù)據(jù)平臺(tái)方案設(shè)計(jì).....................28

3.3.5.1基于虛擬化機(jī)頭的方案..............28

3.3.5.2存儲(chǔ)虛擬化工作原理和說明.........29

3.3.5.3虛擬化機(jī)頭的基本概念..............30

3.3.5.4虛擬化機(jī)頭的工作原理..............32

3.3.5.5虛擬化機(jī)頭的可靠性、可用性.......36

3.3.6云管理平臺(tái)建設(shè)..........................48

3.3.6.1項(xiàng)目需求..........................48

3.3.6.2云管理平臺(tái)架構(gòu)設(shè)計(jì)...............49

3.3.6.3云管理平臺(tái)全方位的管理............52

3.3.6.4云資源管理.........................52

3.3.6.5服務(wù)管理..........................52

3.3.6.7運(yùn)維管理..........................53

3.3.6.8統(tǒng)一時(shí)鐘...........................53

3.3.6.9云管理平臺(tái)特性描述................53

4、配置清單............................................59

1、大數(shù)據(jù)平臺(tái)方案概述

高校智慧校園云數(shù)據(jù)中心建設(shè)是信息技術(shù)背景下學(xué)校的

一項(xiàng)基礎(chǔ)性、長期性和經(jīng)常性的工作,是學(xué)校建設(shè)和人才培

養(yǎng)的重要組成部分。高校智慧校園云數(shù)據(jù)中心的建設(shè)水平是

學(xué)校整體辦學(xué)水平、學(xué)校形象和地位的重要標(biāo)志。基于云計(jì)

算、大數(shù)據(jù)、HPC的高校智慧校園云數(shù)據(jù)中心建設(shè)是為了配

合學(xué)校的整體變革,提高學(xué)校核心競爭力,以期達(dá)到從分散

應(yīng)用向集中應(yīng)用轉(zhuǎn)化,從固定服務(wù)向個(gè)性化服務(wù)轉(zhuǎn)化,從部

門級(jí)應(yīng)用向校級(jí)應(yīng)用轉(zhuǎn)化,從信息管理向信息服務(wù)轉(zhuǎn)化。

以“物聯(lián)網(wǎng)”、“云計(jì)算”、“大數(shù)據(jù)”等技術(shù)為支撐,通

過3-5年的建設(shè),搭建“一個(gè)中心、三張網(wǎng)絡(luò)、四大體系”

即:一個(gè)中心一一權(quán)威可信的數(shù)據(jù)中心;三張網(wǎng)絡(luò)一一有線

網(wǎng)、無線網(wǎng)、物聯(lián)網(wǎng);四大體系一一智能化的教學(xué)體系、高

效靈活的管理體系、以人為本的服務(wù)體系、穩(wěn)定可靠的安全

和保障體系。使之成為促進(jìn)我校教育內(nèi)容、教學(xué)手段和方法

的現(xiàn)代化支柱,創(chuàng)新人才培養(yǎng)、科學(xué)研究和服務(wù)社會(huì)模式,

推動(dòng)文化傳承創(chuàng)新,促進(jìn)教育教學(xué)質(zhì)量全面提高。

第1頁

2、需求分析

1、建設(shè)適度超前的信息化基礎(chǔ)設(shè)施,實(shí)現(xiàn)基礎(chǔ)設(shè)施環(huán)

保、節(jié)能、智能化服務(wù)等高級(jí)功能

構(gòu)建集多業(yè)務(wù)為一體的“云”校園網(wǎng)大數(shù)據(jù)平臺(tái)方案。

基于“物聯(lián)網(wǎng)”技術(shù),對(duì)數(shù)據(jù)中心資產(chǎn)、設(shè)備、能源調(diào)度

等實(shí)現(xiàn)數(shù)字化、智能化的跟蹤監(jiān)控管理,實(shí)現(xiàn)全方位數(shù)據(jù)中

心機(jī)房內(nèi)動(dòng)態(tài)監(jiān)視,機(jī)柜內(nèi)智能監(jiān)控并實(shí)現(xiàn)聯(lián)網(wǎng)報(bào)警,并最

終統(tǒng)一到數(shù)據(jù)中心機(jī)群管理軟件上,實(shí)現(xiàn)可視化數(shù)據(jù)跟蹤和

監(jiān)控管理。最終以基礎(chǔ)架構(gòu)。

2、搭建基礎(chǔ)支撐平臺(tái),完善公共服務(wù)“云”平臺(tái)

實(shí)現(xiàn)平臺(tái)就是服務(wù),通過統(tǒng)一WEB服務(wù)窗口,基礎(chǔ)設(shè)施

即可實(shí)現(xiàn)計(jì)算資源、存儲(chǔ)資源、應(yīng)用大數(shù)據(jù)平臺(tái)方案等資源

的全自動(dòng)云計(jì)算技術(shù)智能化管理和一站式提供服務(wù)。

3、建立“HPC"高性能計(jì)算平臺(tái)

以學(xué)校使用為主,滿足當(dāng)前物理、化學(xué)材料分析方面的

高性能計(jì)算服務(wù),資源可通過統(tǒng)一云運(yùn)營平臺(tái)渠道可對(duì)外提

供收費(fèi)計(jì)算服務(wù)。

4、建成高效節(jié)能的“云存儲(chǔ)”數(shù)據(jù)中心

建設(shè)PB級(jí)并行云存儲(chǔ)數(shù)據(jù)中心,服務(wù)與全院非結(jié)構(gòu)化數(shù)

據(jù)、云計(jì)算數(shù)據(jù)、高性能計(jì)算數(shù)據(jù)集中統(tǒng)一存儲(chǔ)、具有完善

的數(shù)據(jù)安全保障機(jī)制和數(shù)據(jù)恢復(fù)機(jī)制,為數(shù)據(jù)安全提供最后

一道安全防線,降低數(shù)據(jù)中心運(yùn)維風(fēng)險(xiǎn)。以集中存儲(chǔ)為基礎(chǔ),

第2頁

為大數(shù)據(jù)分析挖掘做好數(shù)據(jù)準(zhǔn)備,為學(xué)校“評(píng)估與決策”大

數(shù)據(jù)平臺(tái)方案做好精細(xì)化數(shù)據(jù)管理服務(wù)。

5、建設(shè)統(tǒng)一身份認(rèn)證平臺(tái)

數(shù)據(jù)中心管理平臺(tái)實(shí)現(xiàn)統(tǒng)一身份認(rèn)證,云平臺(tái)軟件、高

性能平臺(tái)、大數(shù)據(jù)平臺(tái)、存儲(chǔ)大數(shù)據(jù)平臺(tái)方案需身份認(rèn)證登

陸,實(shí)現(xiàn)平臺(tái)使用的安全性。

6、建立大數(shù)據(jù)平臺(tái)

以數(shù)據(jù)為支撐的評(píng)估與決策平臺(tái)。建立好大數(shù)據(jù)軟硬件

支撐平臺(tái),為實(shí)現(xiàn)信息管理向信息服務(wù)轉(zhuǎn)化,利用深層次的

知識(shí)管理、大數(shù)據(jù)統(tǒng)計(jì)與分析、大數(shù)據(jù)挖掘等手段為評(píng)估與

決策服務(wù),從整體上提升學(xué)校業(yè)務(wù)管理和行政決策的科學(xué)化

水平做好保障。

第3頁

3、大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)

3.1建設(shè)原則

以《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010-2020)》

為指導(dǎo),貫徹落實(shí)《教育信息化十年發(fā)展規(guī)劃(2011-2020

年)》對(duì)高校教育信息化建設(shè)的總體部署和發(fā)展任務(wù)。從學(xué)

校發(fā)展的整體戰(zhàn)略出發(fā),與時(shí)俱進(jìn),滿足師生對(duì)教學(xué)、科研、

管理、校園生活服務(wù)的需求,提升教育服務(wù)社會(huì)的職能。堅(jiān)

持如下原則,實(shí)現(xiàn)我校信息化的可持續(xù)發(fā)展:

(1)堅(jiān)持“統(tǒng)籌規(guī)劃、分步實(shí)施”的原則。信息化建

設(shè)是一項(xiàng)跨部門、跨行業(yè)的綜合性大數(shù)據(jù)平臺(tái)方案工程,必

須堅(jiān)持從學(xué)校全局的高度統(tǒng)一規(guī)劃,各部門的相關(guān)業(yè)務(wù)和應(yīng)

用大數(shù)據(jù)平臺(tái)方案應(yīng)統(tǒng)一部署,避免無序建設(shè);要正確把握

基礎(chǔ)設(shè)施與應(yīng)用大數(shù)據(jù)平臺(tái)方案、硬件與軟件、專業(yè)數(shù)據(jù)與

信息共享、現(xiàn)實(shí)應(yīng)用與擴(kuò)展應(yīng)用、成本與效益的關(guān)系。同時(shí)

根據(jù)實(shí)際情況分步、分期實(shí)施具體項(xiàng)目,保證規(guī)劃的逐步落

實(shí)。

(2)堅(jiān)持“突出應(yīng)用,注重實(shí)效”的原則。堅(jiān)持以需

求為導(dǎo)向、大力推動(dòng)信息技術(shù)在教學(xué)、科研、管理、校園生

活服務(wù)中的普遍運(yùn)用,不斷提高教育質(zhì)量和教育管理服務(wù)水

平。同時(shí)避免全面鋪開,要抓重點(diǎn)項(xiàng)目,提高有限建設(shè)資源

的使用效率。

(3)堅(jiān)持“統(tǒng)一標(biāo)準(zhǔn)、資源共享”的原則。信息化建

第4頁

設(shè)應(yīng)參考國家及行業(yè)有關(guān)技術(shù)標(biāo)準(zhǔn)和管理規(guī)范,樹立“開放、

共享、交互、協(xié)作”的信息化理念,堅(jiān)持信息資源標(biāo)準(zhǔn)統(tǒng)一、

共建共享;建立信息資源共享交換體系和更新維護(hù)機(jī)制,確

保信息資源的規(guī)范性、時(shí)效性、準(zhǔn)確性。

(4)堅(jiān)持“面向服務(wù)、加深融合”的原則。樹立以用

戶為核心的服務(wù)理念,利用先進(jìn)網(wǎng)絡(luò)和信息技術(shù),整合資源,

促進(jìn)教育內(nèi)容、教育手段和方法的現(xiàn)代化;促進(jìn)人才培養(yǎng)、

科學(xué)研究、文化傳承和社會(huì)服務(wù)模式創(chuàng)新,推進(jìn)信息技術(shù)與

學(xué)校教育的深度融合。

第5頁

3.2總體方案設(shè)計(jì)

3.2.1自主可控的教育云技術(shù)架構(gòu)

高校智慧校園云數(shù)據(jù)中心一期工程的建設(shè)采用先進(jìn)成

熟的云計(jì)算、虛擬化存儲(chǔ)池等相關(guān)技術(shù),建設(shè)新校區(qū)高校智

慧校園云數(shù)據(jù)中心的基礎(chǔ)資源云平臺(tái),實(shí)現(xiàn)業(yè)務(wù)的統(tǒng)一管理、

統(tǒng)一部署、自動(dòng)化運(yùn)維等內(nèi)容,為學(xué)校各業(yè)務(wù)大數(shù)據(jù)平臺(tái)方

案的運(yùn)行提供良好的信息化支撐能力。

基礎(chǔ)資源云平臺(tái)的總體技術(shù)架構(gòu)設(shè)計(jì)如上圖,整個(gè)架構(gòu)

包括基礎(chǔ)設(shè)施層、云基礎(chǔ)架構(gòu)層、業(yè)務(wù)應(yīng)用平臺(tái)和云服務(wù)層

等。其中:

基礎(chǔ)設(shè)施層:云平臺(tái)的物理環(huán)境主要包括服務(wù)器、網(wǎng)絡(luò)

設(shè)備以及存儲(chǔ)等設(shè)備,以便在此基礎(chǔ)上采用虛擬化、分布式

存儲(chǔ)等云計(jì)算技術(shù),實(shí)現(xiàn)服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)的虛擬化,構(gòu)

第6頁

建計(jì)算資源池、存儲(chǔ)資源池和網(wǎng)絡(luò)資源池,實(shí)現(xiàn)基礎(chǔ)設(shè)施等

服務(wù)。

云基礎(chǔ)架構(gòu)層:在云基礎(chǔ)設(shè)施的基礎(chǔ)上,為了實(shí)現(xiàn)動(dòng)態(tài)

資源池的構(gòu)建,通過虛擬化技術(shù)對(duì)基礎(chǔ)設(shè)施(網(wǎng)絡(luò)、服務(wù)器

和存儲(chǔ)設(shè)備等)進(jìn)行資源池化、彈性管理,通過自主可控的

云計(jì)算操作大數(shù)據(jù)平臺(tái)方案,實(shí)現(xiàn)云平臺(tái)的服務(wù)管理及業(yè)務(wù)

管理的統(tǒng)一管理,提高運(yùn)維及運(yùn)營的效率。

業(yè)務(wù)應(yīng)用平臺(tái):通過建立統(tǒng)一的信息標(biāo)準(zhǔn),構(gòu)建統(tǒng)一

的信息門戶、統(tǒng)一的身份認(rèn)證大數(shù)據(jù)平臺(tái)方案和安全可靠的

公共數(shù)據(jù)交換大數(shù)據(jù)平臺(tái)方案,在此基礎(chǔ)上建設(shè)先進(jìn)實(shí)用的

應(yīng)用支撐大數(shù)據(jù)平臺(tái)方案(包括辦公自動(dòng)化、教務(wù)管理、科

技管理、學(xué)生綜合管理、人力資源管理、資產(chǎn)設(shè)備管理、財(cái)

務(wù)管理、圖書管理、學(xué)報(bào)管理、后勤服務(wù)管理、一卡通管理、

網(wǎng)絡(luò)教學(xué)平臺(tái)、實(shí)踐教學(xué)信息平臺(tái)、教學(xué)評(píng)估管理、研究生

管理、成教生管理與留學(xué)生管理等),實(shí)現(xiàn)各個(gè)應(yīng)用大數(shù)據(jù)

平臺(tái)方案之間的數(shù)據(jù)交換與數(shù)據(jù)共享,最終實(shí)現(xiàn)我校各項(xiàng)管

理工作的信息化。

云服務(wù)層:是云計(jì)算中心與最終用于交互的接口和平臺(tái),

通過該平臺(tái)能夠?qū)崿F(xiàn)云計(jì)算中心統(tǒng)一對(duì)外提供服務(wù),為用戶

提供整體的云應(yīng)用和服務(wù)。

運(yùn)維和業(yè)務(wù)支撐服務(wù):包括云平臺(tái)的計(jì)費(fèi)審計(jì)、資源監(jiān)

控、生命周期管理、容量規(guī)劃、報(bào)表分析等多項(xiàng)內(nèi)容。

第7頁

3.2.2數(shù)據(jù)中心總體架構(gòu)規(guī)劃

數(shù)據(jù)中心架構(gòu)圖

|能耗雨座園安全||智能教學(xué)|智能辦公HPC大數(shù)據(jù)j|*加

用數(shù)

統(tǒng)

層據(jù)云

運(yùn)

統(tǒng)

臺(tái)

數(shù)

臺(tái)

據(jù)

儲(chǔ)

rr層

非結(jié)構(gòu)數(shù)結(jié)構(gòu)化數(shù)篩份數(shù)歸檔數(shù)

據(jù)存儲(chǔ)區(qū)據(jù)存儲(chǔ)區(qū)據(jù)存儲(chǔ)區(qū)據(jù)存儲(chǔ)區(qū)

本項(xiàng)目規(guī)劃包含云計(jì)算平臺(tái)、大數(shù)據(jù)處理硬件平臺(tái)、高

性能計(jì)算硬件平臺(tái)幾大部分。其中,云計(jì)算平臺(tái)包括業(yè)務(wù)云

平臺(tái)、數(shù)據(jù)庫集群大數(shù)據(jù)平臺(tái)方案、物理機(jī)部署的應(yīng)用大數(shù)

據(jù)平臺(tái)方案以及后端支撐的存儲(chǔ)資源池。

業(yè)務(wù)云平臺(tái)主要支撐辦公大數(shù)據(jù)平臺(tái)方案、一卡通上層

應(yīng)用大數(shù)據(jù)平臺(tái)方案、學(xué)生管理大數(shù)據(jù)平臺(tái)方案、0A、財(cái)務(wù)、

教務(wù)等教育相關(guān)的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案。通過虛擬化等技術(shù)

提高業(yè)務(wù)的敏捷性,使得教育應(yīng)用在資源利用上彈性可伸縮。

通過將業(yè)務(wù)與具體物理機(jī)解耦合,實(shí)現(xiàn)業(yè)務(wù)在計(jì)算資源池內(nèi)

靈活遷移,不受具體物理機(jī)故障的影響。業(yè)務(wù)云的管理平臺(tái)

讓教育業(yè)務(wù)應(yīng)用的部署更加方便快捷,管理更加方便,運(yùn)維

工作也得到大大簡化。

第8頁

對(duì)于部分I/O密集型的關(guān)鍵數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案,如

一卡通數(shù)據(jù)庫、學(xué)?;A(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案采用物理服

務(wù)器的方式進(jìn)行部署。同時(shí),為了保證關(guān)鍵數(shù)據(jù)庫的高可用

性,數(shù)據(jù)庫采用集群RAC的方式部署,服務(wù)器采用可靠性很

高的高端4路X86服務(wù)器。本項(xiàng)目規(guī)劃的數(shù)據(jù)庫集群包括一

卡通后端的數(shù)據(jù)庫服務(wù)器、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)

方案以及二期考慮的教務(wù)大數(shù)據(jù)平臺(tái)方案。

數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案后端存儲(chǔ)采用存儲(chǔ)池化的方案,

實(shí)現(xiàn)后端數(shù)據(jù)的簡易管理,統(tǒng)一使用,并實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)

的高可用性。同時(shí),部署虛擬帶庫備份大數(shù)據(jù)平臺(tái)方案對(duì)這

些結(jié)構(gòu)化數(shù)據(jù)進(jìn)行備份,保證數(shù)據(jù)的安全性,并且采用物理

磁帶庫方式,提供對(duì)歷史數(shù)據(jù)的歸檔保存,對(duì)于備份軟件選

擇,采用業(yè)績成熟先進(jìn)的統(tǒng)一備份軟件,實(shí)現(xiàn)Lan-free備

份。

數(shù)據(jù)中心的非結(jié)構(gòu)化存儲(chǔ)資源池對(duì)高校智慧校園云數(shù)

據(jù)中心中的各類非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行支撐,對(duì)非結(jié)構(gòu)化數(shù)據(jù)按

照其重要性,采用分級(jí)保存的方法,對(duì)于包括校園內(nèi)700個(gè)

攝像頭的監(jiān)控?cái)?shù)據(jù)可存放30天的數(shù)據(jù)的存儲(chǔ)空間采用大容

量存儲(chǔ)解決方案,對(duì)于包括多媒體、一卡通、教務(wù)大數(shù)據(jù)平

臺(tái)方案、圖書館、視頻點(diǎn)播、HPC計(jì)算等需要的非結(jié)構(gòu)化數(shù)

據(jù)的存儲(chǔ)空間采用高性能非結(jié)構(gòu)化存儲(chǔ)空間解決方案。高性

能非結(jié)構(gòu)化方案,采用集群文件大數(shù)據(jù)平臺(tái)方案,提供統(tǒng)一

第9頁

的目錄管理,性能的負(fù)載均衡管理,集群支持橫向擴(kuò)展,當(dāng)

業(yè)務(wù)需要的時(shí)候,可以在線的擴(kuò)展集群。

第10頁

3.3云計(jì)算平臺(tái)建設(shè)

3.3.1計(jì)算資源池建設(shè)

3.3.1.1項(xiàng)目需求

計(jì)算資源池為教育各項(xiàng)業(yè)務(wù)應(yīng)用提供靈活敏捷的計(jì)算

能力。由于業(yè)務(wù)云平臺(tái)需要處理前端各類教育業(yè)務(wù)應(yīng)用進(jìn)來

的海量數(shù)據(jù),因此需要大量的計(jì)算機(jī)節(jié)點(diǎn)。傳統(tǒng)的計(jì)算中心

強(qiáng)調(diào)整體的計(jì)算能力,當(dāng)前的互聯(lián)網(wǎng)數(shù)據(jù)中心強(qiáng)調(diào)密度、帶

寬等因素。而作為整個(gè)學(xué)校信息化大數(shù)據(jù)平臺(tái)方案后端處理

中心的教育云中心需要的是強(qiáng)大的“處理能力”,這個(gè)“處

理能力”包含了計(jì)算能力、傳輸能力,甚至存儲(chǔ)能力。

同時(shí),云計(jì)算的核心技術(shù)是虛擬化技術(shù),CPU虛擬化技

術(shù)的原理是將核心的CPU運(yùn)算資源基于時(shí)間分片進(jìn)行切分,

CPU的選型就相當(dāng)重要,因不同廠商的CPU之間是不能做到

一個(gè)虛擬化池的,因此整個(gè)平臺(tái)如數(shù)據(jù)庫4路平臺(tái),和胖節(jié)

點(diǎn),及2路平臺(tái),建議采用一個(gè)廠商的CPU,并且考慮到運(yùn)

行維護(hù),以及采購來源,建議采用主流廠商,CPU廠商建議

采用在服務(wù)器市場(chǎng)占有率在70%以上的廠商。

其次,對(duì)云計(jì)算運(yùn)營者來講,在提供可靠服務(wù)的前提下,

通過大量先進(jìn)技術(shù)降低總體擁有成本是云計(jì)算中心基礎(chǔ)架

構(gòu)建設(shè)的核心目標(biāo)。因此,構(gòu)建云計(jì)算中心的一個(gè)重要標(biāo)準(zhǔn)

就是利用標(biāo)準(zhǔn)化的、性價(jià)比高的通用部件或者產(chǎn)品。因?yàn)椋?/p>

只有標(biāo)準(zhǔn)化、商品化的部件才有眾多的采購來源,并因?yàn)槠?/p>

第11頁

具開放性,從而具有較低的運(yùn)營成本。在虛擬化服務(wù)器的選

型上,既要考慮低部分的數(shù)據(jù)庫類型需求,和一般應(yīng)用需求,

所以少量的高端八路服務(wù)器作為云資源池里面的胖節(jié)點(diǎn),低

端雙路服務(wù)器相對(duì)成本較低適合大量使用,項(xiàng)目建設(shè)應(yīng)該權(quán)

衡性價(jià)比、資源可擴(kuò)展性、標(biāo)準(zhǔn)化以及通用性等各項(xiàng)因素,

因此,八路機(jī)架式服務(wù)器和兩路機(jī)架式服務(wù)器是作為虛擬化

物理節(jié)點(diǎn)最好的選擇,對(duì)于OLTP數(shù)據(jù)庫,需要很高的穩(wěn)定

性,建議采用模塊化設(shè)計(jì)的服務(wù)器,這樣可以保證,任何部

件損壞,可以快速維修,并且主要板卡支持熱插拔。

再次,云計(jì)算平臺(tái)的重要特征之一是實(shí)現(xiàn)資源的抽象和

封裝、構(gòu)建動(dòng)態(tài)化、彈性化的計(jì)算資源池,而虛擬化技術(shù)和

分層數(shù)據(jù)存儲(chǔ)是實(shí)現(xiàn)并達(dá)到這一目標(biāo)的重要手段。因此,計(jì)

算子大數(shù)據(jù)平臺(tái)方案應(yīng)該在虛擬化和分層數(shù)據(jù)存儲(chǔ)模型兩

個(gè)方面有較好的解決方案。

最后,除了具有通用性、標(biāo)準(zhǔn)化、資源池化等特征之外,

計(jì)算子大數(shù)據(jù)平臺(tái)方案還應(yīng)該具有易管理、低能耗的特征,

從而大大降低教育云中心的能耗、降低運(yùn)維成本。

3.3.1.2X86虛擬化實(shí)現(xiàn)

X86服務(wù)器虛擬化,就是在硬件和操作大數(shù)據(jù)平臺(tái)方案

之間引入虛擬化層,如下圖。虛擬化層允許多個(gè)操作大數(shù)據(jù)

平臺(tái)方案實(shí)例同時(shí)運(yùn)行在一臺(tái)物理服務(wù)器上,動(dòng)態(tài)分區(qū)和共

第12頁

享所有可用的物理資源,包括:CPU、內(nèi)存、存儲(chǔ)和I/O設(shè)

隨著服務(wù)器和臺(tái)式機(jī)的計(jì)算能力急劇增加,虛擬化技術(shù)

應(yīng)用廣泛普及,很多用戶已經(jīng)在開發(fā)/測(cè)試、服務(wù)器整合、

數(shù)據(jù)中心優(yōu)化和業(yè)務(wù)連續(xù)性方面證實(shí)了虛擬化的效用。虛擬

架構(gòu)已經(jīng)可以將操作大數(shù)據(jù)平臺(tái)方案和應(yīng)用從硬件上分離

出來,打包成獨(dú)立的、可移動(dòng)的虛擬機(jī),從而帶來極大的靈

活性。例如:可以通過虛擬架構(gòu),讓服務(wù)器24小時(shí)*365天

運(yùn)行,避免因?yàn)閭浞莼蚍?wù)器維護(hù)而帶來的停機(jī)。

對(duì)于X86虛擬化,有兩種常見的架構(gòu):寄居架構(gòu)和裸金

屬架構(gòu)。

1、寄居架構(gòu):將虛擬化層運(yùn)行在操作大數(shù)據(jù)平臺(tái)方案之

上,當(dāng)作一個(gè)應(yīng)用來運(yùn)行,對(duì)硬件的支持很廣泛。

2、裸金屬架構(gòu):直接將虛擬化層運(yùn)行在X86的硬件大數(shù)

據(jù)平臺(tái)方案上,可以直接訪問硬件資源,無需通過操作大數(shù)

據(jù)平臺(tái)方案實(shí)現(xiàn)硬件訪問,因此效率更高。

項(xiàng)目中建議采用性能更優(yōu)的裸金屬架構(gòu)作為底層的虛擬化

架構(gòu)。

3、虛擬化層

虛擬化層是運(yùn)行在虛擬機(jī)監(jiān)控器(VMM,VirtualMachine

Monitor)上面、負(fù)責(zé)管理所有虛擬機(jī)的軟件。如下圖所示,

虛擬化層就是Hypervisor(管理程序)直接運(yùn)行在硬件上,

第13頁

因此,Hypervisor的功能極大地取決于虛擬化架構(gòu)和實(shí)現(xiàn)。

運(yùn)行在Hypervisor(管理程序)上的每個(gè)VMM進(jìn)行了硬件抽

取,負(fù)責(zé)運(yùn)行傳統(tǒng)的操作大數(shù)據(jù)平臺(tái)方案。每個(gè)VMM必須進(jìn)

行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共享,從而實(shí)現(xiàn)大數(shù)據(jù)平

臺(tái)方案的虛擬化。

圖:Hypervisor通過VMM管理虛擬機(jī)

4、CPU虛擬化

根據(jù)最初設(shè)計(jì),X86上的操作大數(shù)據(jù)平臺(tái)方案需要直接

運(yùn)行在裸機(jī)上,因此默認(rèn)擁有和控制所有的硬件。如下圖所

示,X86架構(gòu)提供了四種特權(quán)級(jí)別Ring0、1、2和3,通過

這四種級(jí)別來控制和管理對(duì)硬件的訪問。通常,用戶級(jí)的應(yīng)

用一般運(yùn)行在Ring3級(jí)別,操作大數(shù)據(jù)平臺(tái)方案需要直接

訪問內(nèi)存和硬件,需要在Ring0執(zhí)行它的特權(quán)指令。為了

虛擬X86架構(gòu),需要在操作大數(shù)據(jù)平臺(tái)方案下面運(yùn)行虛擬化

層,由虛擬化層來創(chuàng)建和管理虛擬機(jī),進(jìn)行共享資源分配。

而有些敏感指令不能很好的進(jìn)行虛擬化,它們?cè)赗ing。以

外級(jí)別執(zhí)行時(shí),會(huì)出現(xiàn)不同的結(jié)果。如何在運(yùn)行時(shí)捕獲和翻

第14頁

譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn),使得X86架構(gòu)

虛擬化最初難以實(shí)現(xiàn)。

圖:X86架構(gòu)虛擬化前的特權(quán)級(jí)別

到目前為止,有三種典型的技術(shù)來解決X86虛擬化的難

題:

5、完全虛擬化;

6、操作大數(shù)據(jù)平臺(tái)方案幫助下的虛擬化,即半虛擬化;

7、硬件幫助的虛擬化。

8、完全虛擬化

完全虛擬化技術(shù)翻譯核心指令來代替那些不能虛擬化

的指令,通過翻譯后的指令直接訪問虛擬硬件。同時(shí),所有

用戶級(jí)指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能。

每個(gè)VMM為每個(gè)虛擬機(jī)提供完整的硬件支持服務(wù),包括虛擬

BIOS,虛擬設(shè)備和虛擬內(nèi)存管理。

完全虛擬化實(shí)現(xiàn)后,客戶操作大數(shù)據(jù)平臺(tái)方案可以通過

虛擬化層從物理硬件上完全抽取出來,客戶操作大數(shù)據(jù)平臺(tái)

方案感知不到是否發(fā)生虛擬化,完全不需進(jìn)行修改。完全虛

第15頁

擬化是迄今為止唯一不需硬件或操作大數(shù)據(jù)平臺(tái)方案協(xié)助

來進(jìn)行敏感和特權(quán)指令虛擬化的技術(shù),Hypervisor(管理程

序)可以翻譯所有的操作大數(shù)據(jù)平臺(tái)方案特權(quán)指令,并保存

在緩存里備用,而用戶級(jí)指令完全可以全速直接執(zhí)行。

完全虛擬化提供了最好的虛擬機(jī)隔離和安全性,簡化了

客戶操作大數(shù)據(jù)平臺(tái)方案遷移和移植能力。

9、半虛擬化

半虛擬化需要修改操作大數(shù)據(jù)平臺(tái)方案內(nèi)核,替換掉不

能虛擬化的指令,通過超級(jí)調(diào)用(Hypercall)直接和底層

的虛擬化層Hypervisor來通訊,Hypervisor同時(shí)也提供了

超級(jí)調(diào)用接口來滿足其他關(guān)鍵內(nèi)核操作,比如內(nèi)存管理、中

斷和時(shí)間保持,如下圖所示:

直接執(zhí)

行用戶

的請(qǐng)求

超級(jí)調(diào)用

虛擬化層

來替換不

可虛擬的

操作系統(tǒng)

指令

圖:操作大數(shù)據(jù)平臺(tái)方案協(xié)助的X86架構(gòu)虛擬化

半虛擬化和全虛擬化不同,全虛擬化不需要修改上面的

操作大數(shù)據(jù)平臺(tái)方案,敏感的操作大數(shù)據(jù)平臺(tái)方案指令可直

接處理。半虛擬化的價(jià)值在于降低了虛擬化的損耗,基于Xen

第16頁

的虛擬化是半虛擬化的代表,可通過修改Linux的內(nèi)核來實(shí)

現(xiàn)CPU和內(nèi)存的虛擬化,通過定制的操作大數(shù)據(jù)平臺(tái)方案驅(qū)

動(dòng)來實(shí)現(xiàn)I/O的虛擬化。

10、硬件輔助虛擬化

硬件廠商面對(duì)虛擬化投入了大量的精力來開發(fā)新的特

性用以簡化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強(qiáng)包括

IntelVirtualizationTechnology(VT-x)和AMD的AMD-V,

這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式,可以

讓VMM運(yùn)行在root模式下,而root模式位于Ring0的下

面。如下圖所示,特權(quán)和敏感指令自動(dòng)在Hypervisor上執(zhí)

行??蛻舨僮鞔髷?shù)據(jù)平臺(tái)方案的狀態(tài)保存在VT-x(Virtual

MachineControlStructure,虛擬機(jī)控制結(jié)構(gòu))中或

AMD-v(VirtualMachineControlBlock,虛擬機(jī)控制塊)。

支持IntelVT和AMD-V的CPU從2006年開始推向市場(chǎng)。

圖:硬件輔助的X86架構(gòu)虛擬化

11、內(nèi)存虛擬化

第17頁

除了CPU虛擬化,下一個(gè)關(guān)鍵是內(nèi)存虛擬化,通過內(nèi)存

虛擬化共享物理大數(shù)據(jù)平臺(tái)方案內(nèi)存,動(dòng)態(tài)分配給虛擬機(jī)。

虛擬機(jī)的內(nèi)存虛擬化很像現(xiàn)在的操作大數(shù)據(jù)平臺(tái)方案支持

的虛擬內(nèi)存方式,應(yīng)用程序看到鄰近的內(nèi)存地址空間,這個(gè)

地址空間無需和下面的物理機(jī)器內(nèi)存直接對(duì)應(yīng),操作大數(shù)據(jù)

平臺(tái)方案保持著虛擬頁到物理頁的映射?,F(xiàn)在所有的X86CPU

都包括了一個(gè)稱為內(nèi)存管理的模塊MMU(MemoryManagement

Unit)和TLB(TranslationLookasideBuffer),通過MMU

和TLB來優(yōu)化虛擬內(nèi)存的性能。

虛擬機(jī)1虛擬機(jī)2

進(jìn)程1進(jìn)程2

inw

圖:內(nèi)存虛擬化

為了在一臺(tái)機(jī)器上運(yùn)行多個(gè)虛擬機(jī),需要增加一個(gè)新的

內(nèi)存虛擬化層,也就是說,必須虛擬MMU來支持客戶操作大

數(shù)據(jù)平臺(tái)方案??蛻舨僮鞔髷?shù)據(jù)平臺(tái)方案繼續(xù)控制虛擬地址

到客戶內(nèi)存物理地址的映射,但是客戶操作大數(shù)據(jù)平臺(tái)方案

不能直接訪問實(shí)際機(jī)器內(nèi)存。VMM負(fù)責(zé)映射客戶物理內(nèi)存到

實(shí)際機(jī)器內(nèi)存,它通過影子頁表來加速映射。VMM使用TLB

硬件來映射虛擬內(nèi)存直接到機(jī)器內(nèi)存,從而避免了每次訪問

進(jìn)行兩次翻譯。當(dāng)客戶操作大數(shù)據(jù)平臺(tái)方案更改了虛擬內(nèi)存

第18頁

到物理內(nèi)存的映射表,VMM也會(huì)更新影子頁表來啟動(dòng)直接查

詢。MMU虛擬化引入了虛擬化損耗,第二代的硬件輔助虛擬

化將支持內(nèi)存的虛擬化輔助,從而大大降低因此而帶來的虛

擬化損耗,讓內(nèi)存虛擬化更高效。

12、設(shè)備和I/O虛擬化

最后一個(gè)模塊是設(shè)備和I/O虛擬化,也就是如何管理和

路由物理設(shè)備和虛擬設(shè)備之間的I/O請(qǐng)求。

井口串口

SCSI控制器IDE控制器鼠標(biāo)USB設(shè)備

圖:設(shè)備和I/O虛擬化

基于軟件的I/O虛擬化和管理為設(shè)備管理帶來了新的特

性和功能,讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例,通過虛擬

網(wǎng)卡和交換機(jī)可以在一臺(tái)物理機(jī)上不同虛擬機(jī)之間建立虛

擬網(wǎng)絡(luò),而這不會(huì)在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量;允許多個(gè)

物理網(wǎng)卡綁定成一個(gè)虛擬機(jī)網(wǎng)卡,提供了很好的容錯(cuò)能力,

同時(shí)保持了同一MAC地址。I/O虛擬化的關(guān)鍵是保持虛擬化

優(yōu)勢(shì)的同時(shí),盡量降低虛擬化給CPU造成的負(fù)擔(dān)。

第19頁

Hypervisor虛擬化物理硬件,為每臺(tái)虛擬機(jī)提供一套標(biāo)

準(zhǔn)的虛擬設(shè)備,如上圖所示。這些虛擬設(shè)備高效模擬常見的

物理硬件,將虛擬機(jī)的請(qǐng)求發(fā)送到物理硬件。該硬件標(biāo)準(zhǔn)化

的過程也讓虛擬機(jī)標(biāo)準(zhǔn)化,讓虛擬機(jī)更容易在各種平臺(tái)上自

由移動(dòng),而無需關(guān)心下面實(shí)際的物理硬件類型。

3.3.1.3計(jì)算資源池分區(qū)建設(shè)

云資源管理平臺(tái)的底層虛擬化組件提供基礎(chǔ)的虛擬化

功能,提供服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)的虛擬化功能,并向上對(duì)云

資源管理平臺(tái)提供接口。一個(gè)物理集群中可以把多臺(tái)服務(wù)器

劃分成一個(gè)邏輯集群(又叫HA資源池),一個(gè)計(jì)算資源池有

相同的調(diào)度策略,為了使用熱遷移相關(guān)的調(diào)度策略要求資源

池主機(jī)CPU同制。計(jì)算資源池不包括網(wǎng)絡(luò)資源與存儲(chǔ)資源。

一個(gè)物理集群中可以包含多個(gè)邏輯集群。

多個(gè)物理集群可以級(jí)聯(lián)(多個(gè)云資源管理平臺(tái)),由更

上層的云運(yùn)營管理平臺(tái)統(tǒng)一管理。

對(duì)于教育業(yè)務(wù)部門的主要業(yè)務(wù)應(yīng)用大數(shù)據(jù)平臺(tái)方案的

部署將采用全虛擬機(jī)部署方式,例如Web服務(wù)器、郵件服務(wù)

器等不同種應(yīng)用服務(wù)器都建議采用虛擬化的部署方式。虛擬

化技術(shù)不僅可以提高資源的利用率,并且通過與X86平臺(tái)計(jì)

算節(jié)點(diǎn)的配合,能夠有效的降低總的投資成本,提高大數(shù)據(jù)

平臺(tái)方案的安全性、可管理性,降低業(yè)務(wù)部署的復(fù)雜度和時(shí)

間需求。所以普通業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案推薦采用虛擬化與

第20頁

X86平臺(tái)的協(xié)同部署方式。

項(xiàng)目建設(shè)采用高端八路INTEL和低端2路多核心服務(wù)器

構(gòu)建虛擬計(jì)算資源平臺(tái),實(shí)現(xiàn)高性能、高密度、可伸縮、按

需配置、方案靈活的產(chǎn)品設(shè)計(jì)要求,可滿足虛擬化業(yè)務(wù)中多

樣且動(dòng)態(tài)變化的應(yīng)用需求。這些服務(wù)器分為1個(gè)云資源管理

分區(qū)和1個(gè)業(yè)務(wù)應(yīng)用分區(qū)。

1、業(yè)務(wù)應(yīng)用分區(qū)

核心應(yīng)用邏輯分區(qū)作為業(yè)務(wù)承載節(jié)點(diǎn),用于部署虛擬化

平臺(tái),承載應(yīng)用大數(shù)據(jù)平臺(tái)方案。

業(yè)務(wù)節(jié)點(diǎn)為能承載更多的虛擬機(jī)并保證虛擬機(jī)性能,建

議配置多路處理器,每路處理器核心數(shù)盡可能多、主頻盡可

能高,同時(shí)配置大容量內(nèi)存。同時(shí)還考慮兩方面:

1、高可用性:即承載某臺(tái)虛擬機(jī)的物理節(jié)點(diǎn)如果出現(xiàn)

故障需要維護(hù),那么需要進(jìn)行虛擬機(jī)動(dòng)態(tài)遷移,將故障節(jié)點(diǎn)

承載的虛擬機(jī)動(dòng)態(tài)遷移到核心應(yīng)用邏輯資源分區(qū)中其他正

常工作的物理節(jié)點(diǎn)上以實(shí)現(xiàn)高可用性,保證應(yīng)用大數(shù)據(jù)平臺(tái)

方案的不中斷;

2、彈性擴(kuò)展:即考慮到未來3-5年內(nèi)部分部門會(huì)上新

的應(yīng)用大數(shù)據(jù)平臺(tái)方案,從而需要新的虛擬機(jī)資源,到時(shí)核

心應(yīng)用邏輯資源分區(qū)還有資源可彈性分配給新的應(yīng)用大數(shù)

據(jù)平臺(tái)方案。

同時(shí),按照云計(jì)算平臺(tái)大項(xiàng)目建設(shè)經(jīng)驗(yàn),建議以1:3的

第21頁

比例預(yù)留動(dòng)態(tài)遷移及彈性可擴(kuò)展虛擬機(jī)資源,即預(yù)留一部分

虛擬機(jī)資源。

業(yè)務(wù)節(jié)點(diǎn)放置在業(yè)務(wù)區(qū)的服務(wù)器中。為保證虛擬化動(dòng)態(tài)

遷移時(shí)的大數(shù)據(jù)平臺(tái)方案性能,建議業(yè)務(wù)區(qū)域內(nèi)再按照業(yè)務(wù)

情況分為2?3個(gè)邏輯分區(qū)。

3、云資源管理分區(qū)

云資源管理分區(qū)分為虛擬化管理節(jié)點(diǎn)和云運(yùn)營管理節(jié)

點(diǎn)。虛擬化管理節(jié)點(diǎn)和云運(yùn)營管理服務(wù)器都可采用虛擬機(jī)的

方式部署。

虛擬化管理節(jié)點(diǎn):提供基本的虛擬機(jī)管理、監(jiān)控、分配

和使用功能,提供資源靜態(tài)分配及動(dòng)態(tài)調(diào)度管理功能。每個(gè)

業(yè)務(wù)區(qū)域應(yīng)該配置一套虛擬化管理平臺(tái),采用雙機(jī)的模式形

成一套高可用大數(shù)據(jù)平臺(tái)方案。

云運(yùn)營管理節(jié)點(diǎn):主要滿足云計(jì)算中心管理需求,提供

對(duì)云資源管理節(jié)點(diǎn)的統(tǒng)一管理,同時(shí)提供審批管理、計(jì)費(fèi)管

理、服務(wù)質(zhì)量管理功能。云運(yùn)營管理節(jié)點(diǎn)通常采用雙機(jī)模式

構(gòu)成高可用大數(shù)據(jù)平臺(tái)方案,每組云運(yùn)營管理節(jié)點(diǎn)可以管理

多組云資源管理節(jié)點(diǎn)。

3.3.2基于物理機(jī)部署的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案

對(duì)于個(gè)別如多媒體、視頻點(diǎn)播等這類業(yè)務(wù)大數(shù)據(jù)平臺(tái)方

案,出于業(yè)務(wù)和項(xiàng)目需要,采用胖節(jié)點(diǎn)物理機(jī)來支撐。在教

育云中心規(guī)劃一臺(tái)高端八路服務(wù)器來部署此類應(yīng)用。

第22頁

3.3.3數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè)

3.3.3.1項(xiàng)目需求

本期項(xiàng)目中計(jì)劃將一卡通數(shù)據(jù)庫、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫

部署在oracleRAC集群上,后期還將把教務(wù)大數(shù)據(jù)平臺(tái)方

案的雙機(jī)集群接入進(jìn)來。為了保證數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的

高性能、高可靠性以及負(fù)載均衡,項(xiàng)目建設(shè)需要考慮如下因

素:

4、如何提高處理速度,實(shí)現(xiàn)數(shù)據(jù)庫的負(fù)載均衡;

5、如何保證數(shù)據(jù)庫的可用性、數(shù)據(jù)安全性,以及如何

實(shí)現(xiàn)數(shù)據(jù)集群可擴(kuò)性。

6、數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案對(duì)事務(wù)實(shí)時(shí)處理性要求比較

高,對(duì)于數(shù)據(jù)庫服務(wù)器有性能上的要求,建議采用最新的處

理器型號(hào),最新的UNIX服務(wù)器產(chǎn)品技術(shù)架構(gòu)。

3.3.3.2數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè)

對(duì)于數(shù)據(jù)庫的業(yè)務(wù),教育云中心建議采用傳統(tǒng)的物理服

務(wù)器架構(gòu)來進(jìn)行支持。一方面是由于物理數(shù)據(jù)庫業(yè)務(wù)一般對(duì)

大數(shù)據(jù)平臺(tái)方案和平臺(tái)的限制,并非所有的數(shù)據(jù)庫都可以移

植到像虛擬化這樣的計(jì)算平臺(tái)上,另一方面,由于數(shù)據(jù)庫對(duì)

10的高要求,對(duì)于虛擬化的環(huán)境并不能提供充足的10支撐,

另外,數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的安全性要求很高,采用虛擬

化技術(shù)雖然可以提高大數(shù)據(jù)平臺(tái)方案的靈活性,但是同物理

設(shè)備上的其他大數(shù)據(jù)平臺(tái)方案會(huì)對(duì)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案

第23頁

產(chǎn)生一定的影響,提高大數(shù)據(jù)平臺(tái)方案的安全風(fēng)險(xiǎn)。所以綜

合以上三方面的原因,數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案在云計(jì)算中心

將采用物理設(shè)備集群的方式來部署。

為了使數(shù)據(jù)庫實(shí)現(xiàn)高可用,滿足高并發(fā)、高負(fù)載均衡的

需求,數(shù)據(jù)庫節(jié)點(diǎn)采用數(shù)據(jù)庫集群搭建,本項(xiàng)目采用實(shí)時(shí)應(yīng)

用集群,能夠?qū)崿F(xiàn)多節(jié)點(diǎn)之間負(fù)載均衡,同時(shí)多個(gè)節(jié)點(diǎn)共享

一套存儲(chǔ)大數(shù)據(jù)平臺(tái)方案,能有效防止數(shù)據(jù)庫單點(diǎn)故障;最

后,數(shù)據(jù)庫集群架構(gòu)具備動(dòng)態(tài)添加數(shù)據(jù)庫節(jié)點(diǎn)的功能,具有

良好的擴(kuò)展性。

1.OLTP1■務(wù)*提供捌理分區(qū)技術(shù)。

2.督機(jī)務(wù)至少握供三個(gè)物理分區(qū),等分區(qū)握

供4個(gè)物理CPU?16個(gè)計(jì)算梭心,,28G內(nèi)1

提假5。萬TPCC處理能力

3.JR務(wù)務(wù)為UNDd■符號(hào)

4.01AP9M摩JS符等單機(jī)提供12。計(jì)算核心

5.OLAP年合?努號(hào)提供2個(gè)物理分區(qū)技術(shù)

ittftSOQ8G*口

2.提偎trunkS:含技術(shù).NI同絡(luò)級(jí)或技術(shù)

3.存%虛擬化設(shè)備提供>8。萬2Ps能力?

提供48Gache.提供寫■存技術(shù)

4.提供di網(wǎng)絡(luò)40OG的SSD分層客■

£.存Nt*捺化單節(jié)點(diǎn)設(shè)答覆做>10萬

IOPS能力I量終塞到魁景的K)PS>

Upto2.itt景采用12GSAS成術(shù),

512GBSASiSft

Cache

Upto

Disks

本期項(xiàng)目中計(jì)劃將一卡通數(shù)據(jù)庫、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫

部署在oracleRAC集群上,后期還將把教務(wù)大數(shù)據(jù)平臺(tái)方

案的雙機(jī)集群接入進(jìn)來。

為提供數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的高可用性,后端使用存

第24頁

儲(chǔ)控制器連接高性能光纖盤陣的存儲(chǔ)資源池雙活架構(gòu)來支

撐,保證數(shù)據(jù)不會(huì)丟失,業(yè)務(wù)不受影響。最后,通過虛擬化

帶庫的備份大數(shù)據(jù)平臺(tái)方案對(duì)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)進(jìn)行備份,提

高數(shù)據(jù)的安全性,對(duì)于歷史數(shù)據(jù),采用物理帶庫歸檔保存技

術(shù)。

3.3.4存儲(chǔ)資源池建設(shè)

3.3.4.1項(xiàng)目需求

存儲(chǔ)資源池是教育云平臺(tái)的重要組成部分,根據(jù)教育數(shù)

據(jù)的不同類型應(yīng)該有著相應(yīng)的差異化的數(shù)據(jù)存儲(chǔ)處理方式。

按照數(shù)據(jù)類型主要可以分為兩類,即結(jié)構(gòu)化數(shù)據(jù)和非結(jié)

構(gòu)化數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù):即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫里,可以用二維

表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。例如一卡通刷卡記錄、學(xué)校

招生就業(yè)的信息、學(xué)生學(xué)籍信息、選課信息、圖書館館藏目

錄、圖書借閱信息等。其中一卡通數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的

數(shù)據(jù)需求在100G左右,數(shù)字校園基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方

案的數(shù)據(jù)量也應(yīng)該在100G以內(nèi),再加上二期可能加入的教

務(wù)大數(shù)據(jù)平臺(tái)方案數(shù)據(jù)幾百GB,這部分的數(shù)據(jù)量在1T左右。

非結(jié)構(gòu)化數(shù)據(jù):相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言,不方便用數(shù)據(jù)

庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有

格式的辦公文檔、學(xué)生和老師的文本文件、電子圖書、電子

期刊、各類報(bào)表、教學(xué)用的圖像和音頻/視頻信息等。本期

第25頁

項(xiàng)目中主要考慮校園視頻監(jiān)控?cái)?shù)據(jù)以及虛擬機(jī)鏡像數(shù)據(jù)等。

校園700個(gè)720P攝像頭的監(jiān)控?cái)?shù)據(jù)存放30天的數(shù)據(jù),700

個(gè)頭需要的總?cè)萘考坝?jì)算公式為:

256(碼流)X3600(1小時(shí))X24(1天)X30(1個(gè)

月)X700(路數(shù))4-0.9(磁盤格式化損耗)心0.6PB。

另外數(shù)據(jù)中心自己的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案的空間使用,

包含多媒體、一卡通、教務(wù)大數(shù)據(jù)平臺(tái)方案、圖書館、視頻

點(diǎn)播、HPC計(jì)算等空間需求,保證1.5PB的使用空間能滿足

當(dāng)前需求。

對(duì)于這兩類數(shù)據(jù),結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)資源池可采用傳統(tǒng)

的高性能磁盤陣列大數(shù)據(jù)平臺(tái)方案支撐;非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

資源池采用底層SAN網(wǎng)絡(luò)結(jié)構(gòu)加上集群NAS機(jī)頭,又能為用

戶提供文件大數(shù)據(jù)平臺(tái)方案的共享功能,是一個(gè)完全開放的、

共享的、跨平臺(tái)的大數(shù)據(jù)平臺(tái)方案,具有高性能、高可靠性、

使用維護(hù)簡單、性能和容量可線性擴(kuò)展的高端存儲(chǔ)大數(shù)據(jù)平

臺(tái)方案。差異化的存儲(chǔ)方案利于保護(hù)投資,充分考慮今后的

可擴(kuò)展性,最大限度的提升校園信息化服務(wù)的水平。

3.3.4.2存儲(chǔ)分類

數(shù)據(jù)庫存儲(chǔ):主要采用FCSAN存儲(chǔ)模式,通過數(shù)據(jù)庫

集群技術(shù)構(gòu)建集中存儲(chǔ)模式,按照不同的數(shù)據(jù)庫實(shí)例的構(gòu)建,

FCSAN還可以通過劃分不同的LAN來支撐不同業(yè)務(wù)數(shù)據(jù)的存

儲(chǔ);通過存儲(chǔ)虛擬化控制器實(shí)現(xiàn)性能的大幅度提升,以及冷

第26頁

熱數(shù)據(jù)的分層管理。

海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ):我們根據(jù)業(yè)務(wù)屬性不同,將非

結(jié)構(gòu)化數(shù)據(jù)分為2個(gè)主要需求,和教學(xué)相關(guān)的教學(xué)類非結(jié)構(gòu)

化存儲(chǔ),這樣的存儲(chǔ)需要雙向讀寫訪問,在教學(xué)高峰期,會(huì)

有較高的10訪問,因此需要采用集群化的非結(jié)構(gòu)數(shù)據(jù)解決

方案,在集群文件大數(shù)據(jù)平臺(tái)方案選擇上,需要選擇成熟的,

商業(yè)化的集群文件大數(shù)據(jù)平臺(tái)方案;對(duì)于安防數(shù)據(jù)的存儲(chǔ),

主要是考慮空間問題,這部分?jǐn)?shù)據(jù),以寫入為主,基本上很

少會(huì)讀訪問,因此采用專用的NAS存儲(chǔ)解決方案。

為了保證海量非結(jié)構(gòu)化數(shù)據(jù)(校園視頻監(jiān)控、教學(xué)視頻

等)存儲(chǔ)和數(shù)據(jù)分析的需求,該部分?jǐn)?shù)據(jù)采用專用NAS控制

器提供穩(wěn)定可靠的10解決方案。

備份數(shù)據(jù)存儲(chǔ):備份數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),

備份源可以是數(shù)據(jù)庫,也可以是操作大數(shù)據(jù)平臺(tái)方案、文件

夾等。

虛擬機(jī)鏡像數(shù)據(jù)存儲(chǔ):與非結(jié)構(gòu)化數(shù)據(jù)共用一個(gè)存儲(chǔ)空

間,也采用并行存儲(chǔ)大數(shù)據(jù)平臺(tái)方案構(gòu)建,為虛擬機(jī)的遷移

提供支持。具體存儲(chǔ)空間需根據(jù)虛擬機(jī)的個(gè)數(shù)和操作大數(shù)據(jù)

平臺(tái)方案來劃分。

第27頁

3.3.4.3數(shù)據(jù)庫存儲(chǔ)大數(shù)據(jù)平臺(tái)方案建設(shè)方案

3.3.5大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)

3.3.5.1基于虛擬化機(jī)頭的存儲(chǔ)虛擬化方案說明

生產(chǎn)中心存儲(chǔ)虛擬化部署示意圖

生產(chǎn)存錯(cuò)資源跡

存儲(chǔ)雙活、救據(jù)跨存錯(cuò)造像

圖示說明:

通過在SAN網(wǎng)絡(luò)層面,部署1套存儲(chǔ)虛擬化引擎(2個(gè)節(jié)

點(diǎn)、實(shí)現(xiàn)高可用集群),實(shí)現(xiàn)生產(chǎn)中心的虛擬化存儲(chǔ)基礎(chǔ)架

構(gòu).

新購SAN網(wǎng)絡(luò)存儲(chǔ),通過存儲(chǔ)虛擬化技術(shù),構(gòu)建統(tǒng)一存儲(chǔ)

資源池,實(shí)現(xiàn)存儲(chǔ)資源的集中統(tǒng)一規(guī)劃和分配、實(shí)現(xiàn)存儲(chǔ)資

源的集中監(jiān)控和管理.

通過存儲(chǔ)虛擬化技術(shù),實(shí)現(xiàn)2個(gè)存儲(chǔ)之間雙活架構(gòu).

第28頁

存儲(chǔ)虛擬化方案的優(yōu)勢(shì)

如今它在許多新的領(lǐng)域又展現(xiàn)了其盎然的生機(jī):從虛擬服務(wù)

器到虛擬存儲(chǔ),優(yōu)化的網(wǎng)絡(luò),虛擬環(huán)境中的工作站,以及應(yīng)

用虛擬化。虛擬化技術(shù)為企業(yè)帶來的潛在收益是巨大的,不

僅可以提高存儲(chǔ)設(shè)備的利用率和業(yè)務(wù)靈活性,而且還可降低

處理的總成本并提高可靠性。

存儲(chǔ)虛擬化有多年的發(fā)展歷程和擁有業(yè)界最多的客戶實(shí)際

使用案例,并支持虛擬化管理業(yè)界最廣泛的第三方存儲(chǔ)產(chǎn)品。

3.3.5.2存儲(chǔ)虛擬化工作原理和技術(shù)實(shí)現(xiàn)說明

虛擬化機(jī)頭實(shí)現(xiàn)了虛擬存儲(chǔ)層的功能,采用“虛擬存儲(chǔ)”

技術(shù)整合異構(gòu)存儲(chǔ)設(shè)備,可以支持包括各廠商在內(nèi)的130多

種磁盤存儲(chǔ)大數(shù)據(jù)平臺(tái)方案。虛擬化機(jī)頭是整個(gè)SAN網(wǎng)絡(luò)的

控制器,將整個(gè)SAN網(wǎng)絡(luò)中的各種存儲(chǔ)設(shè)備整合成一個(gè)巨大

的“存儲(chǔ)池”,使用戶充分利用存儲(chǔ)資源并可按需分配存儲(chǔ)

空間、性能和功能。

虛擬化機(jī)頭卷控制器產(chǎn)品要點(diǎn)包括:

可將不同磁盤大數(shù)據(jù)平臺(tái)方案的存儲(chǔ)容量整合至管理

更加高效的容量庫中

可通過為主機(jī)應(yīng)用程序提供更靈活的存儲(chǔ)容量訪問,幫

助提高存儲(chǔ)利用率

可通過使用簡單的通用界面實(shí)現(xiàn)異構(gòu)存儲(chǔ)大數(shù)據(jù)平臺(tái)

方案的自動(dòng)配置和便捷管理,從而幫助提高存儲(chǔ)管理員的工

第29頁

作效率

可通過消除幾乎任何與存儲(chǔ)相關(guān)的應(yīng)用程序中斷原因

以支持更高的應(yīng)用程序可用性

可實(shí)現(xiàn)分層存儲(chǔ)環(huán)境,從而使存儲(chǔ)成本可以與數(shù)據(jù)的價(jià)

值更好地相配

可支持從高成本到低成本的設(shè)備以及跨多個(gè)供應(yīng)商所

提供存儲(chǔ)大數(shù)據(jù)平臺(tái)方案的高級(jí)復(fù)制服務(wù)

可通過iSCSI主機(jī)連接降低成本并提高靈活性

可以在購置存儲(chǔ)時(shí)提供更高的靈活性

可通過對(duì)固態(tài)設(shè)備(SSD)的創(chuàng)新和緊密集成支持為

關(guān)鍵工作負(fù)載提供超強(qiáng)的性能

3.3.5.3虛擬化機(jī)頭的基本概念

虛擬化機(jī)頭采用In-Band方式進(jìn)行存儲(chǔ)虛擬化。大數(shù)

據(jù)平臺(tái)方案實(shí)際上是一個(gè)集群(Cluster)大數(shù)據(jù)平臺(tái)方案,

它由node組成。一個(gè)虛擬化機(jī)頭大數(shù)據(jù)平臺(tái)方案至少包含

2個(gè)node,每2個(gè)node組成一個(gè)I/OGroup,它用來為

Host提供I/O服務(wù)。到現(xiàn)在為止,一個(gè)虛擬化機(jī)頭大數(shù)據(jù)

平臺(tái)方案最多包含8個(gè)node,即4個(gè)I/OGroupo

在一個(gè)虛擬化機(jī)頭大數(shù)據(jù)平臺(tái)方案中,存儲(chǔ)子大數(shù)據(jù)平

臺(tái)方案中的一個(gè)或多個(gè)存儲(chǔ)單元被映射為虛擬化機(jī)頭內(nèi)部

的存儲(chǔ)單元,一個(gè)或多個(gè)單元可以被虛擬化為1個(gè)存儲(chǔ)池(稱

為MDG),所有的MDG對(duì)所有的I/OGroup均可見。MDG是

第30頁

一個(gè)存儲(chǔ)池,它根據(jù)一定的分配策略(如Striped,Image,

Sequential)分配虛擬的存儲(chǔ)單元,稱為VDisk。I/OGroup

以Vdisk為單位對(duì)Host提供LUNfasking(也稱為

LUN-Mapping)服務(wù),使得Host可通過HBA可訪問被提供

LUN-Masking服務(wù)的VDisko如下圖所示:

主機(jī)

Lun-Mapping

虛擬化機(jī)頭中的MDisk和MDG以及VDisk之間的關(guān)系

第31頁

加入葭鼠牝雙頭后加速對(duì)存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的訪

問I/O

3.3.5.4虛擬化機(jī)頭的工作原理

-不同級(jí)別的存儲(chǔ)虛擬化技術(shù)設(shè)計(jì)思想

正如以上所述,在存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案與主機(jī)之間引

入虛擬化機(jī)頭后,主機(jī)所有的I/O必然要經(jīng)過虛擬化機(jī)頭內(nèi)

部,相當(dāng)于虛擬化機(jī)頭要接管從主機(jī)過來的所有I/0o要做

到這一點(diǎn),虛擬化機(jī)頭內(nèi)部必須實(shí)現(xiàn)一個(gè)虛擬層,使得主機(jī)

仿佛可以直接訪問真正的物理存儲(chǔ)大數(shù)據(jù)平臺(tái)方案。這個(gè)虛

擬層的實(shí)現(xiàn)依賴于存儲(chǔ)虛擬化技術(shù)。存儲(chǔ)虛擬化的基本概念

是將實(shí)際的物理存儲(chǔ)實(shí)體與存儲(chǔ)的邏輯表示分離開來,應(yīng)用

服務(wù)器只與分配給它們的邏輯卷(或稱虛卷)打交道,而不用

關(guān)心其數(shù)據(jù)是在哪個(gè)物理存儲(chǔ)實(shí)體上。為實(shí)現(xiàn)存儲(chǔ)虛擬層,

虛擬化機(jī)頭借鑒了已有的存儲(chǔ)虛擬化技術(shù):

?存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案級(jí)別的虛擬化

存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案級(jí)別的虛擬化如下圖所示,使用

HostBusAdapter例如1394HostBusAdapter(Controller)

連接磁盤柜,通過1394controller驅(qū)動(dòng),物理磁盤被映射

為大數(shù)據(jù)平臺(tái)方案中的sda.sdb.sdc等SCSI磁盤塊設(shè)備,塊

設(shè)備上層的虛擬化原理上和主機(jī)級(jí)別子大數(shù)據(jù)平臺(tái)方案塊

設(shè)備的虛擬化類似。

第32頁

vglIvlvgllv2vgllv3vg2Ivlvg2lv2vg2lv3

「日一已-已「「百-日-gq

61邏輯層

vglvg2

----------—o-----------------------------------o------------------------------------

虛擬層

1394磁FC磁盤

盍控制控制器驅(qū)

招驅(qū)動(dòng)動(dòng)

存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案級(jí)別的存儲(chǔ)虛擬化(如Linux)

?網(wǎng)絡(luò)級(jí)別的存儲(chǔ)虛擬化

網(wǎng)絡(luò)級(jí)別的存儲(chǔ)虛擬化分兩種:OutofBand和InBando

如下圖所示是OutofBand存儲(chǔ)虛擬化的一種方式,存儲(chǔ)子

大數(shù)據(jù)平臺(tái)方案通過SAN使得3個(gè)不同類別的操作大數(shù)據(jù)平

臺(tái)方案在MetadataServer的Lock機(jī)制控制下共用存儲(chǔ)子

大數(shù)據(jù)平臺(tái)方案中的3個(gè)存儲(chǔ)單元。在每個(gè)Host上,3個(gè)存

儲(chǔ)單元被虛擬化為一個(gè)StripeGroup,使得各個(gè)Host可以

第33頁

采用統(tǒng)一的Stripe策略控制各自的I/O行為。

網(wǎng)絡(luò)級(jí)別(OutofBand)的存儲(chǔ)虛擬化

In-Band的方式實(shí)際上是通過數(shù)據(jù)通道(DataPath)上的

虛擬化軟件,把呈現(xiàn)在SAN中一個(gè)或多個(gè)存儲(chǔ)子大數(shù)據(jù)平臺(tái)

方案的存儲(chǔ)單元虛擬化成另外一種方式的虛擬存儲(chǔ)單元,稱

為VDisks.。如下圖所示是屬于In-Band存儲(chǔ)虛擬化。虛擬

化機(jī)頭使用In-Band的虛擬化方式,也就是說,虛擬化機(jī)頭

把主機(jī)級(jí)別的虛擬化實(shí)現(xiàn)在SAN的網(wǎng)絡(luò)層次上實(shí)現(xiàn)。

第34頁

Soloris主機(jī)Windows主機(jī)AIX主機(jī)

網(wǎng)絡(luò)級(jí)別(InBand)的存儲(chǔ)虛擬化

傳統(tǒng)的SAN網(wǎng)絡(luò)中,每種存儲(chǔ)大數(shù)據(jù)平臺(tái)方案都自成

一體,就像一個(gè)個(gè)獨(dú)立的孤島,無法構(gòu)成一片統(tǒng)一的大陸。

而虛擬化機(jī)頭,是存儲(chǔ)業(yè)界又一次嶄新的突破,就像存儲(chǔ)歷

史上的RAID,主機(jī)大數(shù)據(jù)平臺(tái)方案的存儲(chǔ)管理體系和虛擬磁

帶技術(shù)。虛擬化機(jī)頭是整個(gè)SAN網(wǎng)絡(luò)的控制器,它將整個(gè)

SAN中的各種存儲(chǔ)設(shè)備整合成一個(gè)巨大的存儲(chǔ)池,充分利用

存儲(chǔ)資源和按需分配存儲(chǔ)空間、性能和功能。

虛擬化機(jī)頭實(shí)現(xiàn)了虛擬存儲(chǔ)層的功能,將存儲(chǔ)智能加入

到SAN的網(wǎng)絡(luò)中?,F(xiàn)在用戶可以按照應(yīng)用不斷變化的需求來

第35頁

分配存儲(chǔ),而不再受制于存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案設(shè)備在功能

和性能上的限制。虛擬化機(jī)頭又是一個(gè)SAN網(wǎng)絡(luò)的中心管理

控制點(diǎn),而且它對(duì)服務(wù)器的操作大數(shù)據(jù)平臺(tái)方案和存儲(chǔ)子大

數(shù)據(jù)平臺(tái)方案是透明的。

以下是存儲(chǔ)池引入虛擬化機(jī)頭前后的對(duì)比圖:

SANsTodayBlockVirtualization

烏?怎,

ServersaremappedtospecificphysicaldisksServersaremappedtoavirtualdisk

i.e.,"physicalmapping"i.e.,"logicalmapping1*

3.3.5.5虛擬化機(jī)頭的可靠性、可用性

虛擬化機(jī)頭采用了RAS的設(shè)計(jì)思想:通過冗余組件使

大數(shù)據(jù)平臺(tái)方案具有極高的可靠性,可用性以及高服務(wù)性。

第36頁

?高度冗余的部件:由于虛擬化機(jī)頭是一個(gè)集群大數(shù)據(jù)

平臺(tái)方案,當(dāng)中的每個(gè)部件都有對(duì)應(yīng)的備份(Backup)

部件,例如,Node與Node之間互為備份,前端

(Front-End)FC端口之間可以互為備份。后端

(Back-End)FC端口之間也可以互為備份,整個(gè)大數(shù)

據(jù)平臺(tái)方案沒有單一的故障點(diǎn)。如下圖所示。虛擬化

機(jī)頭具有非常高的可靠性。

?Cache的同步保證數(shù)據(jù)的完整性

在一個(gè)虛擬化機(jī)頭I/OGroup中,當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)故障

時(shí),通過這個(gè)節(jié)點(diǎn)的所有I/O就會(huì)切換到另外一個(gè)節(jié)點(diǎn);

為了使節(jié)點(diǎn)中的Cache數(shù)據(jù)在出現(xiàn)故障時(shí)不丟失,該節(jié)點(diǎn)

在正常工作時(shí)會(huì)把每個(gè)I/O的Cache數(shù)據(jù)同步到另外一個(gè)

節(jié)點(diǎn)的Cache中,使得同一個(gè)I/OGroup里的2個(gè)節(jié)點(diǎn)維

護(hù)著相同的Cache元數(shù)據(jù),如下圖所示。因此,在某個(gè)節(jié)

第37頁

點(diǎn)出現(xiàn)故障時(shí),虛擬化機(jī)頭能夠保證100%的數(shù)據(jù)完整性。

主機(jī)10流

14

Cache

------SVC哼#2

3_____

1:主機(jī)W1節(jié).8發(fā)起102:10¥咬妾1可&Cxh?*

3:1一立Cache擊毀瑁引步蕓.2節(jié)電Cache豐

4:10先也從1■立速亙

同構(gòu)異構(gòu)存儲(chǔ)資源

虛擬化機(jī)頭是一個(gè)存儲(chǔ)虛擬化引擎,它屏蔽了各種所支

持的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的差別,對(duì)Host提供的I/O服務(wù)

均以統(tǒng)一的存儲(chǔ)單元Vdisk為單位。這種特征有利于提高

存儲(chǔ)大數(shù)據(jù)平臺(tái)方案的利用率,并且可進(jìn)行集中管理。

虛擬化機(jī)頭的加入并不影響現(xiàn)有SAN環(huán)境的拓?fù)?,?/p>

只是把自己連接到光纖交換機(jī)上。通過一定的配置操作,虛

擬化機(jī)頭能夠檢測(cè)到各種存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案中的存儲(chǔ)

單元,并且把這些存儲(chǔ)單元---■映射成一個(gè)個(gè)的MDiskSo

每個(gè)虛擬化機(jī)頭的節(jié)點(diǎn)都看到統(tǒng)一的Mdisks集合。虛擬化

機(jī)頭使用這些Mdisks創(chuàng)建MDG(MDiskGroup),并從MDG

中劃分VDisk(VirtualDisk)空間給主機(jī)使用。通過光纖

交換機(jī)的Zone劃分,主機(jī)只能識(shí)別到虛擬化機(jī)頭上的

Vdisko因此,虛擬化機(jī)頭屏蔽了各種存儲(chǔ)子大數(shù)據(jù)平臺(tái)方

第38頁

案的差別。同構(gòu)異構(gòu)的存儲(chǔ)資源帶來很多的好處:

>使主機(jī)端只需使用一種多路徑(MPIO)驅(qū)動(dòng)

在加入虛擬化機(jī)頭之前,主機(jī)所獲得的存儲(chǔ)資源可能來

自不同廠商的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案。為了提高I/O性能,

每個(gè)廠商根據(jù)自己存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的特性為主機(jī)端

提供專用的多路徑軟件。對(duì)于只使用一種廠商的存儲(chǔ)子大數(shù)

據(jù)平臺(tái)方案的用戶來說,這并沒有帶來很大的影響;但是,

企業(yè)往往會(huì)使用不同廠商的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案,因此,

要使用不同廠商的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案,主機(jī)端的大數(shù)據(jù)

平臺(tái)方案管理員必須把各個(gè)廠商提供的多路徑軟件都安裝

在主機(jī)上。在槽糕的情況下,這些多路徑軟件之間可能引起

沖突,導(dǎo)致大數(shù)據(jù)平臺(tái)方案無法正常使用。如下圖所示:

加入虛擬化機(jī)頭后,主機(jī)所有的I/O都由虛擬化機(jī)頭

第39頁

接管。為了優(yōu)化I/O性能,主機(jī)端只需要安裝虛擬化機(jī)頭

提供的多路徑軟件,如下圖所示:

統(tǒng)一管理存儲(chǔ)資源

虛擬化機(jī)頭能夠?qū)尤氲拇鎯?chǔ)子大數(shù)據(jù)平臺(tái)方案進(jìn)行

監(jiān)控,并提供自動(dòng)報(bào)警機(jī)制。例如A存儲(chǔ)子大數(shù)據(jù)平臺(tái)方

案中的一個(gè)磁盤出現(xiàn)故障,虛擬化機(jī)頭能夠檢查到它,并通

過SNMP報(bào)告給管理終端,管理終端通過郵件或者電話通知

管理員。因此,虛擬化機(jī)頭成為了一個(gè)集中管理點(diǎn),統(tǒng)一了

存儲(chǔ)資源的管理;否則,用戶必須安裝不同廠商的存儲(chǔ)子大

數(shù)據(jù)平臺(tái)方案管理軟件。

>可實(shí)現(xiàn)不同存儲(chǔ)大數(shù)據(jù)平臺(tái)方案中的容災(zāi)備份和數(shù)據(jù)

遷移

在沒有加入虛擬化機(jī)頭之前,企業(yè)中的數(shù)據(jù)可能存放在

不同廠商存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案中。企業(yè)必須要使用各個(gè)廠

商存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的容災(zāi)備份策略來防止企業(yè)數(shù)據(jù)

丟失,而且,不同存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案之間不能實(shí)現(xiàn)實(shí)時(shí)

的互為容災(zāi)備份,這給企業(yè)帶來很多不便,尤其在企業(yè)數(shù)據(jù)

變得越來越關(guān)鍵和龐大的時(shí)候。更重要的是,由于沒有統(tǒng)一

的容災(zāi)備份策略,企業(yè)往往需要在不同時(shí)刻,不同時(shí)間,投

入越來越多的成本保證企業(yè)數(shù)據(jù)不丟失。

使用了虛擬化機(jī)頭后,企業(yè)中的數(shù)據(jù)采用了統(tǒng)一的容

災(zāi)備份策略,因?yàn)樘摂M化機(jī)頭提供的高級(jí)的CopyService

第40頁

使得不同廠商之間可以輕松地實(shí)現(xiàn)實(shí)時(shí)的容災(zāi)備份以及數(shù)

據(jù)遷移,同時(shí)與其他廠商的容災(zāi)備份策略兼容。

QoS機(jī)制

虛擬化機(jī)頭和許多存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案一樣,提供了

有效的QoS(QualityofService)機(jī)制。QoS是一種保證和

控制主機(jī)I/O流量和帶寬的機(jī)制。例如,一個(gè)140MB每秒的影

像流必須精確地以140MB每秒的傳輸率傳輸?shù)酱鎯?chǔ)中

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論