版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
高校智慧校園云數(shù)據(jù)中心解決方案
目錄
1、大數(shù)據(jù)平臺(tái)方案概述................................1
2、需求分析..........................................2
3、大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)................................4
3.1建設(shè)原則......................................4
3.2總體方案設(shè)計(jì).................................6
3.2.1自主可控的教育云技術(shù)架構(gòu)...............6
3.2.2數(shù)據(jù)中心總體架構(gòu)規(guī)劃...................8
3.3云計(jì)算平臺(tái)建設(shè)...............................11
3.3.1計(jì)算資源池建設(shè).........................11
3.3.1.1項(xiàng)目需求.........................11
3.3.1.2X86虛擬化實(shí)現(xiàn)...................12
3.3.1.3計(jì)算資源池分區(qū)建設(shè)..............20
3.3.2基于物理機(jī)部署的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案.....22
3.3.3數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè)...............23
3.3.3.1項(xiàng)目需求.........................23
3.3.3.2數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè).......23
3.3.4存儲(chǔ)資源池建設(shè).........................25
3.3.4.1項(xiàng)目需求........................25
3.3.4.2存儲(chǔ)分類........................26
3.3.4.3數(shù)據(jù)庫存儲(chǔ)大數(shù)據(jù)平臺(tái)方案.........28
3.3.5大數(shù)據(jù)平臺(tái)方案設(shè)計(jì).....................28
3.3.5.1基于虛擬化機(jī)頭的方案..............28
3.3.5.2存儲(chǔ)虛擬化工作原理和說明.........29
3.3.5.3虛擬化機(jī)頭的基本概念..............30
3.3.5.4虛擬化機(jī)頭的工作原理..............32
3.3.5.5虛擬化機(jī)頭的可靠性、可用性.......36
3.3.6云管理平臺(tái)建設(shè)..........................48
3.3.6.1項(xiàng)目需求..........................48
3.3.6.2云管理平臺(tái)架構(gòu)設(shè)計(jì)...............49
3.3.6.3云管理平臺(tái)全方位的管理............52
3.3.6.4云資源管理.........................52
3.3.6.5服務(wù)管理..........................52
3.3.6.7運(yùn)維管理..........................53
3.3.6.8統(tǒng)一時(shí)鐘...........................53
3.3.6.9云管理平臺(tái)特性描述................53
4、配置清單............................................59
1、大數(shù)據(jù)平臺(tái)方案概述
高校智慧校園云數(shù)據(jù)中心建設(shè)是信息技術(shù)背景下學(xué)校的
一項(xiàng)基礎(chǔ)性、長期性和經(jīng)常性的工作,是學(xué)校建設(shè)和人才培
養(yǎng)的重要組成部分。高校智慧校園云數(shù)據(jù)中心的建設(shè)水平是
學(xué)校整體辦學(xué)水平、學(xué)校形象和地位的重要標(biāo)志。基于云計(jì)
算、大數(shù)據(jù)、HPC的高校智慧校園云數(shù)據(jù)中心建設(shè)是為了配
合學(xué)校的整體變革,提高學(xué)校核心競爭力,以期達(dá)到從分散
應(yīng)用向集中應(yīng)用轉(zhuǎn)化,從固定服務(wù)向個(gè)性化服務(wù)轉(zhuǎn)化,從部
門級(jí)應(yīng)用向校級(jí)應(yīng)用轉(zhuǎn)化,從信息管理向信息服務(wù)轉(zhuǎn)化。
以“物聯(lián)網(wǎng)”、“云計(jì)算”、“大數(shù)據(jù)”等技術(shù)為支撐,通
過3-5年的建設(shè),搭建“一個(gè)中心、三張網(wǎng)絡(luò)、四大體系”
即:一個(gè)中心一一權(quán)威可信的數(shù)據(jù)中心;三張網(wǎng)絡(luò)一一有線
網(wǎng)、無線網(wǎng)、物聯(lián)網(wǎng);四大體系一一智能化的教學(xué)體系、高
效靈活的管理體系、以人為本的服務(wù)體系、穩(wěn)定可靠的安全
和保障體系。使之成為促進(jìn)我校教育內(nèi)容、教學(xué)手段和方法
的現(xiàn)代化支柱,創(chuàng)新人才培養(yǎng)、科學(xué)研究和服務(wù)社會(huì)模式,
推動(dòng)文化傳承創(chuàng)新,促進(jìn)教育教學(xué)質(zhì)量全面提高。
第1頁
2、需求分析
1、建設(shè)適度超前的信息化基礎(chǔ)設(shè)施,實(shí)現(xiàn)基礎(chǔ)設(shè)施環(huán)
保、節(jié)能、智能化服務(wù)等高級(jí)功能
構(gòu)建集多業(yè)務(wù)為一體的“云”校園網(wǎng)大數(shù)據(jù)平臺(tái)方案。
基于“物聯(lián)網(wǎng)”技術(shù),對(duì)數(shù)據(jù)中心資產(chǎn)、設(shè)備、能源調(diào)度
等實(shí)現(xiàn)數(shù)字化、智能化的跟蹤監(jiān)控管理,實(shí)現(xiàn)全方位數(shù)據(jù)中
心機(jī)房內(nèi)動(dòng)態(tài)監(jiān)視,機(jī)柜內(nèi)智能監(jiān)控并實(shí)現(xiàn)聯(lián)網(wǎng)報(bào)警,并最
終統(tǒng)一到數(shù)據(jù)中心機(jī)群管理軟件上,實(shí)現(xiàn)可視化數(shù)據(jù)跟蹤和
監(jiān)控管理。最終以基礎(chǔ)架構(gòu)。
2、搭建基礎(chǔ)支撐平臺(tái),完善公共服務(wù)“云”平臺(tái)
實(shí)現(xiàn)平臺(tái)就是服務(wù),通過統(tǒng)一WEB服務(wù)窗口,基礎(chǔ)設(shè)施
即可實(shí)現(xiàn)計(jì)算資源、存儲(chǔ)資源、應(yīng)用大數(shù)據(jù)平臺(tái)方案等資源
的全自動(dòng)云計(jì)算技術(shù)智能化管理和一站式提供服務(wù)。
3、建立“HPC"高性能計(jì)算平臺(tái)
以學(xué)校使用為主,滿足當(dāng)前物理、化學(xué)材料分析方面的
高性能計(jì)算服務(wù),資源可通過統(tǒng)一云運(yùn)營平臺(tái)渠道可對(duì)外提
供收費(fèi)計(jì)算服務(wù)。
4、建成高效節(jié)能的“云存儲(chǔ)”數(shù)據(jù)中心
建設(shè)PB級(jí)并行云存儲(chǔ)數(shù)據(jù)中心,服務(wù)與全院非結(jié)構(gòu)化數(shù)
據(jù)、云計(jì)算數(shù)據(jù)、高性能計(jì)算數(shù)據(jù)集中統(tǒng)一存儲(chǔ)、具有完善
的數(shù)據(jù)安全保障機(jī)制和數(shù)據(jù)恢復(fù)機(jī)制,為數(shù)據(jù)安全提供最后
一道安全防線,降低數(shù)據(jù)中心運(yùn)維風(fēng)險(xiǎn)。以集中存儲(chǔ)為基礎(chǔ),
第2頁
為大數(shù)據(jù)分析挖掘做好數(shù)據(jù)準(zhǔn)備,為學(xué)校“評(píng)估與決策”大
數(shù)據(jù)平臺(tái)方案做好精細(xì)化數(shù)據(jù)管理服務(wù)。
5、建設(shè)統(tǒng)一身份認(rèn)證平臺(tái)
數(shù)據(jù)中心管理平臺(tái)實(shí)現(xiàn)統(tǒng)一身份認(rèn)證,云平臺(tái)軟件、高
性能平臺(tái)、大數(shù)據(jù)平臺(tái)、存儲(chǔ)大數(shù)據(jù)平臺(tái)方案需身份認(rèn)證登
陸,實(shí)現(xiàn)平臺(tái)使用的安全性。
6、建立大數(shù)據(jù)平臺(tái)
以數(shù)據(jù)為支撐的評(píng)估與決策平臺(tái)。建立好大數(shù)據(jù)軟硬件
支撐平臺(tái),為實(shí)現(xiàn)信息管理向信息服務(wù)轉(zhuǎn)化,利用深層次的
知識(shí)管理、大數(shù)據(jù)統(tǒng)計(jì)與分析、大數(shù)據(jù)挖掘等手段為評(píng)估與
決策服務(wù),從整體上提升學(xué)校業(yè)務(wù)管理和行政決策的科學(xué)化
水平做好保障。
第3頁
3、大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)
3.1建設(shè)原則
以《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010-2020)》
為指導(dǎo),貫徹落實(shí)《教育信息化十年發(fā)展規(guī)劃(2011-2020
年)》對(duì)高校教育信息化建設(shè)的總體部署和發(fā)展任務(wù)。從學(xué)
校發(fā)展的整體戰(zhàn)略出發(fā),與時(shí)俱進(jìn),滿足師生對(duì)教學(xué)、科研、
管理、校園生活服務(wù)的需求,提升教育服務(wù)社會(huì)的職能。堅(jiān)
持如下原則,實(shí)現(xiàn)我校信息化的可持續(xù)發(fā)展:
(1)堅(jiān)持“統(tǒng)籌規(guī)劃、分步實(shí)施”的原則。信息化建
設(shè)是一項(xiàng)跨部門、跨行業(yè)的綜合性大數(shù)據(jù)平臺(tái)方案工程,必
須堅(jiān)持從學(xué)校全局的高度統(tǒng)一規(guī)劃,各部門的相關(guān)業(yè)務(wù)和應(yīng)
用大數(shù)據(jù)平臺(tái)方案應(yīng)統(tǒng)一部署,避免無序建設(shè);要正確把握
基礎(chǔ)設(shè)施與應(yīng)用大數(shù)據(jù)平臺(tái)方案、硬件與軟件、專業(yè)數(shù)據(jù)與
信息共享、現(xiàn)實(shí)應(yīng)用與擴(kuò)展應(yīng)用、成本與效益的關(guān)系。同時(shí)
根據(jù)實(shí)際情況分步、分期實(shí)施具體項(xiàng)目,保證規(guī)劃的逐步落
實(shí)。
(2)堅(jiān)持“突出應(yīng)用,注重實(shí)效”的原則。堅(jiān)持以需
求為導(dǎo)向、大力推動(dòng)信息技術(shù)在教學(xué)、科研、管理、校園生
活服務(wù)中的普遍運(yùn)用,不斷提高教育質(zhì)量和教育管理服務(wù)水
平。同時(shí)避免全面鋪開,要抓重點(diǎn)項(xiàng)目,提高有限建設(shè)資源
的使用效率。
(3)堅(jiān)持“統(tǒng)一標(biāo)準(zhǔn)、資源共享”的原則。信息化建
第4頁
設(shè)應(yīng)參考國家及行業(yè)有關(guān)技術(shù)標(biāo)準(zhǔn)和管理規(guī)范,樹立“開放、
共享、交互、協(xié)作”的信息化理念,堅(jiān)持信息資源標(biāo)準(zhǔn)統(tǒng)一、
共建共享;建立信息資源共享交換體系和更新維護(hù)機(jī)制,確
保信息資源的規(guī)范性、時(shí)效性、準(zhǔn)確性。
(4)堅(jiān)持“面向服務(wù)、加深融合”的原則。樹立以用
戶為核心的服務(wù)理念,利用先進(jìn)網(wǎng)絡(luò)和信息技術(shù),整合資源,
促進(jìn)教育內(nèi)容、教育手段和方法的現(xiàn)代化;促進(jìn)人才培養(yǎng)、
科學(xué)研究、文化傳承和社會(huì)服務(wù)模式創(chuàng)新,推進(jìn)信息技術(shù)與
學(xué)校教育的深度融合。
第5頁
3.2總體方案設(shè)計(jì)
3.2.1自主可控的教育云技術(shù)架構(gòu)
高校智慧校園云數(shù)據(jù)中心一期工程的建設(shè)采用先進(jìn)成
熟的云計(jì)算、虛擬化存儲(chǔ)池等相關(guān)技術(shù),建設(shè)新校區(qū)高校智
慧校園云數(shù)據(jù)中心的基礎(chǔ)資源云平臺(tái),實(shí)現(xiàn)業(yè)務(wù)的統(tǒng)一管理、
統(tǒng)一部署、自動(dòng)化運(yùn)維等內(nèi)容,為學(xué)校各業(yè)務(wù)大數(shù)據(jù)平臺(tái)方
案的運(yùn)行提供良好的信息化支撐能力。
基礎(chǔ)資源云平臺(tái)的總體技術(shù)架構(gòu)設(shè)計(jì)如上圖,整個(gè)架構(gòu)
包括基礎(chǔ)設(shè)施層、云基礎(chǔ)架構(gòu)層、業(yè)務(wù)應(yīng)用平臺(tái)和云服務(wù)層
等。其中:
基礎(chǔ)設(shè)施層:云平臺(tái)的物理環(huán)境主要包括服務(wù)器、網(wǎng)絡(luò)
設(shè)備以及存儲(chǔ)等設(shè)備,以便在此基礎(chǔ)上采用虛擬化、分布式
存儲(chǔ)等云計(jì)算技術(shù),實(shí)現(xiàn)服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)的虛擬化,構(gòu)
第6頁
建計(jì)算資源池、存儲(chǔ)資源池和網(wǎng)絡(luò)資源池,實(shí)現(xiàn)基礎(chǔ)設(shè)施等
服務(wù)。
云基礎(chǔ)架構(gòu)層:在云基礎(chǔ)設(shè)施的基礎(chǔ)上,為了實(shí)現(xiàn)動(dòng)態(tài)
資源池的構(gòu)建,通過虛擬化技術(shù)對(duì)基礎(chǔ)設(shè)施(網(wǎng)絡(luò)、服務(wù)器
和存儲(chǔ)設(shè)備等)進(jìn)行資源池化、彈性管理,通過自主可控的
云計(jì)算操作大數(shù)據(jù)平臺(tái)方案,實(shí)現(xiàn)云平臺(tái)的服務(wù)管理及業(yè)務(wù)
管理的統(tǒng)一管理,提高運(yùn)維及運(yùn)營的效率。
業(yè)務(wù)應(yīng)用平臺(tái):通過建立統(tǒng)一的信息標(biāo)準(zhǔn),構(gòu)建統(tǒng)一
的信息門戶、統(tǒng)一的身份認(rèn)證大數(shù)據(jù)平臺(tái)方案和安全可靠的
公共數(shù)據(jù)交換大數(shù)據(jù)平臺(tái)方案,在此基礎(chǔ)上建設(shè)先進(jìn)實(shí)用的
應(yīng)用支撐大數(shù)據(jù)平臺(tái)方案(包括辦公自動(dòng)化、教務(wù)管理、科
技管理、學(xué)生綜合管理、人力資源管理、資產(chǎn)設(shè)備管理、財(cái)
務(wù)管理、圖書管理、學(xué)報(bào)管理、后勤服務(wù)管理、一卡通管理、
網(wǎng)絡(luò)教學(xué)平臺(tái)、實(shí)踐教學(xué)信息平臺(tái)、教學(xué)評(píng)估管理、研究生
管理、成教生管理與留學(xué)生管理等),實(shí)現(xiàn)各個(gè)應(yīng)用大數(shù)據(jù)
平臺(tái)方案之間的數(shù)據(jù)交換與數(shù)據(jù)共享,最終實(shí)現(xiàn)我校各項(xiàng)管
理工作的信息化。
云服務(wù)層:是云計(jì)算中心與最終用于交互的接口和平臺(tái),
通過該平臺(tái)能夠?qū)崿F(xiàn)云計(jì)算中心統(tǒng)一對(duì)外提供服務(wù),為用戶
提供整體的云應(yīng)用和服務(wù)。
運(yùn)維和業(yè)務(wù)支撐服務(wù):包括云平臺(tái)的計(jì)費(fèi)審計(jì)、資源監(jiān)
控、生命周期管理、容量規(guī)劃、報(bào)表分析等多項(xiàng)內(nèi)容。
第7頁
3.2.2數(shù)據(jù)中心總體架構(gòu)規(guī)劃
數(shù)據(jù)中心架構(gòu)圖
|能耗雨座園安全||智能教學(xué)|智能辦公HPC大數(shù)據(jù)j|*加
用數(shù)
統(tǒng)
層據(jù)云
住
一
資
運(yùn)
源
維
統(tǒng)
管
一
理
管
平
理
臺(tái)
平
數(shù)
臺(tái)
據(jù)
存
儲(chǔ)
rr層
非結(jié)構(gòu)數(shù)結(jié)構(gòu)化數(shù)篩份數(shù)歸檔數(shù)
據(jù)存儲(chǔ)區(qū)據(jù)存儲(chǔ)區(qū)據(jù)存儲(chǔ)區(qū)據(jù)存儲(chǔ)區(qū)
本項(xiàng)目規(guī)劃包含云計(jì)算平臺(tái)、大數(shù)據(jù)處理硬件平臺(tái)、高
性能計(jì)算硬件平臺(tái)幾大部分。其中,云計(jì)算平臺(tái)包括業(yè)務(wù)云
平臺(tái)、數(shù)據(jù)庫集群大數(shù)據(jù)平臺(tái)方案、物理機(jī)部署的應(yīng)用大數(shù)
據(jù)平臺(tái)方案以及后端支撐的存儲(chǔ)資源池。
業(yè)務(wù)云平臺(tái)主要支撐辦公大數(shù)據(jù)平臺(tái)方案、一卡通上層
應(yīng)用大數(shù)據(jù)平臺(tái)方案、學(xué)生管理大數(shù)據(jù)平臺(tái)方案、0A、財(cái)務(wù)、
教務(wù)等教育相關(guān)的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案。通過虛擬化等技術(shù)
提高業(yè)務(wù)的敏捷性,使得教育應(yīng)用在資源利用上彈性可伸縮。
通過將業(yè)務(wù)與具體物理機(jī)解耦合,實(shí)現(xiàn)業(yè)務(wù)在計(jì)算資源池內(nèi)
靈活遷移,不受具體物理機(jī)故障的影響。業(yè)務(wù)云的管理平臺(tái)
讓教育業(yè)務(wù)應(yīng)用的部署更加方便快捷,管理更加方便,運(yùn)維
工作也得到大大簡化。
第8頁
對(duì)于部分I/O密集型的關(guān)鍵數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案,如
一卡通數(shù)據(jù)庫、學(xué)?;A(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案采用物理服
務(wù)器的方式進(jìn)行部署。同時(shí),為了保證關(guān)鍵數(shù)據(jù)庫的高可用
性,數(shù)據(jù)庫采用集群RAC的方式部署,服務(wù)器采用可靠性很
高的高端4路X86服務(wù)器。本項(xiàng)目規(guī)劃的數(shù)據(jù)庫集群包括一
卡通后端的數(shù)據(jù)庫服務(wù)器、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)
方案以及二期考慮的教務(wù)大數(shù)據(jù)平臺(tái)方案。
數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案后端存儲(chǔ)采用存儲(chǔ)池化的方案,
實(shí)現(xiàn)后端數(shù)據(jù)的簡易管理,統(tǒng)一使用,并實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)
的高可用性。同時(shí),部署虛擬帶庫備份大數(shù)據(jù)平臺(tái)方案對(duì)這
些結(jié)構(gòu)化數(shù)據(jù)進(jìn)行備份,保證數(shù)據(jù)的安全性,并且采用物理
磁帶庫方式,提供對(duì)歷史數(shù)據(jù)的歸檔保存,對(duì)于備份軟件選
擇,采用業(yè)績成熟先進(jìn)的統(tǒng)一備份軟件,實(shí)現(xiàn)Lan-free備
份。
數(shù)據(jù)中心的非結(jié)構(gòu)化存儲(chǔ)資源池對(duì)高校智慧校園云數(shù)
據(jù)中心中的各類非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行支撐,對(duì)非結(jié)構(gòu)化數(shù)據(jù)按
照其重要性,采用分級(jí)保存的方法,對(duì)于包括校園內(nèi)700個(gè)
攝像頭的監(jiān)控?cái)?shù)據(jù)可存放30天的數(shù)據(jù)的存儲(chǔ)空間采用大容
量存儲(chǔ)解決方案,對(duì)于包括多媒體、一卡通、教務(wù)大數(shù)據(jù)平
臺(tái)方案、圖書館、視頻點(diǎn)播、HPC計(jì)算等需要的非結(jié)構(gòu)化數(shù)
據(jù)的存儲(chǔ)空間采用高性能非結(jié)構(gòu)化存儲(chǔ)空間解決方案。高性
能非結(jié)構(gòu)化方案,采用集群文件大數(shù)據(jù)平臺(tái)方案,提供統(tǒng)一
第9頁
的目錄管理,性能的負(fù)載均衡管理,集群支持橫向擴(kuò)展,當(dāng)
業(yè)務(wù)需要的時(shí)候,可以在線的擴(kuò)展集群。
第10頁
3.3云計(jì)算平臺(tái)建設(shè)
3.3.1計(jì)算資源池建設(shè)
3.3.1.1項(xiàng)目需求
計(jì)算資源池為教育各項(xiàng)業(yè)務(wù)應(yīng)用提供靈活敏捷的計(jì)算
能力。由于業(yè)務(wù)云平臺(tái)需要處理前端各類教育業(yè)務(wù)應(yīng)用進(jìn)來
的海量數(shù)據(jù),因此需要大量的計(jì)算機(jī)節(jié)點(diǎn)。傳統(tǒng)的計(jì)算中心
強(qiáng)調(diào)整體的計(jì)算能力,當(dāng)前的互聯(lián)網(wǎng)數(shù)據(jù)中心強(qiáng)調(diào)密度、帶
寬等因素。而作為整個(gè)學(xué)校信息化大數(shù)據(jù)平臺(tái)方案后端處理
中心的教育云中心需要的是強(qiáng)大的“處理能力”,這個(gè)“處
理能力”包含了計(jì)算能力、傳輸能力,甚至存儲(chǔ)能力。
同時(shí),云計(jì)算的核心技術(shù)是虛擬化技術(shù),CPU虛擬化技
術(shù)的原理是將核心的CPU運(yùn)算資源基于時(shí)間分片進(jìn)行切分,
CPU的選型就相當(dāng)重要,因不同廠商的CPU之間是不能做到
一個(gè)虛擬化池的,因此整個(gè)平臺(tái)如數(shù)據(jù)庫4路平臺(tái),和胖節(jié)
點(diǎn),及2路平臺(tái),建議采用一個(gè)廠商的CPU,并且考慮到運(yùn)
行維護(hù),以及采購來源,建議采用主流廠商,CPU廠商建議
采用在服務(wù)器市場(chǎng)占有率在70%以上的廠商。
其次,對(duì)云計(jì)算運(yùn)營者來講,在提供可靠服務(wù)的前提下,
通過大量先進(jìn)技術(shù)降低總體擁有成本是云計(jì)算中心基礎(chǔ)架
構(gòu)建設(shè)的核心目標(biāo)。因此,構(gòu)建云計(jì)算中心的一個(gè)重要標(biāo)準(zhǔn)
就是利用標(biāo)準(zhǔn)化的、性價(jià)比高的通用部件或者產(chǎn)品。因?yàn)椋?/p>
只有標(biāo)準(zhǔn)化、商品化的部件才有眾多的采購來源,并因?yàn)槠?/p>
第11頁
具開放性,從而具有較低的運(yùn)營成本。在虛擬化服務(wù)器的選
型上,既要考慮低部分的數(shù)據(jù)庫類型需求,和一般應(yīng)用需求,
所以少量的高端八路服務(wù)器作為云資源池里面的胖節(jié)點(diǎn),低
端雙路服務(wù)器相對(duì)成本較低適合大量使用,項(xiàng)目建設(shè)應(yīng)該權(quán)
衡性價(jià)比、資源可擴(kuò)展性、標(biāo)準(zhǔn)化以及通用性等各項(xiàng)因素,
因此,八路機(jī)架式服務(wù)器和兩路機(jī)架式服務(wù)器是作為虛擬化
物理節(jié)點(diǎn)最好的選擇,對(duì)于OLTP數(shù)據(jù)庫,需要很高的穩(wěn)定
性,建議采用模塊化設(shè)計(jì)的服務(wù)器,這樣可以保證,任何部
件損壞,可以快速維修,并且主要板卡支持熱插拔。
再次,云計(jì)算平臺(tái)的重要特征之一是實(shí)現(xiàn)資源的抽象和
封裝、構(gòu)建動(dòng)態(tài)化、彈性化的計(jì)算資源池,而虛擬化技術(shù)和
分層數(shù)據(jù)存儲(chǔ)是實(shí)現(xiàn)并達(dá)到這一目標(biāo)的重要手段。因此,計(jì)
算子大數(shù)據(jù)平臺(tái)方案應(yīng)該在虛擬化和分層數(shù)據(jù)存儲(chǔ)模型兩
個(gè)方面有較好的解決方案。
最后,除了具有通用性、標(biāo)準(zhǔn)化、資源池化等特征之外,
計(jì)算子大數(shù)據(jù)平臺(tái)方案還應(yīng)該具有易管理、低能耗的特征,
從而大大降低教育云中心的能耗、降低運(yùn)維成本。
3.3.1.2X86虛擬化實(shí)現(xiàn)
X86服務(wù)器虛擬化,就是在硬件和操作大數(shù)據(jù)平臺(tái)方案
之間引入虛擬化層,如下圖。虛擬化層允許多個(gè)操作大數(shù)據(jù)
平臺(tái)方案實(shí)例同時(shí)運(yùn)行在一臺(tái)物理服務(wù)器上,動(dòng)態(tài)分區(qū)和共
第12頁
享所有可用的物理資源,包括:CPU、內(nèi)存、存儲(chǔ)和I/O設(shè)
隨著服務(wù)器和臺(tái)式機(jī)的計(jì)算能力急劇增加,虛擬化技術(shù)
應(yīng)用廣泛普及,很多用戶已經(jīng)在開發(fā)/測(cè)試、服務(wù)器整合、
數(shù)據(jù)中心優(yōu)化和業(yè)務(wù)連續(xù)性方面證實(shí)了虛擬化的效用。虛擬
架構(gòu)已經(jīng)可以將操作大數(shù)據(jù)平臺(tái)方案和應(yīng)用從硬件上分離
出來,打包成獨(dú)立的、可移動(dòng)的虛擬機(jī),從而帶來極大的靈
活性。例如:可以通過虛擬架構(gòu),讓服務(wù)器24小時(shí)*365天
運(yùn)行,避免因?yàn)閭浞莼蚍?wù)器維護(hù)而帶來的停機(jī)。
對(duì)于X86虛擬化,有兩種常見的架構(gòu):寄居架構(gòu)和裸金
屬架構(gòu)。
1、寄居架構(gòu):將虛擬化層運(yùn)行在操作大數(shù)據(jù)平臺(tái)方案之
上,當(dāng)作一個(gè)應(yīng)用來運(yùn)行,對(duì)硬件的支持很廣泛。
2、裸金屬架構(gòu):直接將虛擬化層運(yùn)行在X86的硬件大數(shù)
據(jù)平臺(tái)方案上,可以直接訪問硬件資源,無需通過操作大數(shù)
據(jù)平臺(tái)方案實(shí)現(xiàn)硬件訪問,因此效率更高。
項(xiàng)目中建議采用性能更優(yōu)的裸金屬架構(gòu)作為底層的虛擬化
架構(gòu)。
3、虛擬化層
虛擬化層是運(yùn)行在虛擬機(jī)監(jiān)控器(VMM,VirtualMachine
Monitor)上面、負(fù)責(zé)管理所有虛擬機(jī)的軟件。如下圖所示,
虛擬化層就是Hypervisor(管理程序)直接運(yùn)行在硬件上,
第13頁
因此,Hypervisor的功能極大地取決于虛擬化架構(gòu)和實(shí)現(xiàn)。
運(yùn)行在Hypervisor(管理程序)上的每個(gè)VMM進(jìn)行了硬件抽
取,負(fù)責(zé)運(yùn)行傳統(tǒng)的操作大數(shù)據(jù)平臺(tái)方案。每個(gè)VMM必須進(jìn)
行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共享,從而實(shí)現(xiàn)大數(shù)據(jù)平
臺(tái)方案的虛擬化。
圖:Hypervisor通過VMM管理虛擬機(jī)
4、CPU虛擬化
根據(jù)最初設(shè)計(jì),X86上的操作大數(shù)據(jù)平臺(tái)方案需要直接
運(yùn)行在裸機(jī)上,因此默認(rèn)擁有和控制所有的硬件。如下圖所
示,X86架構(gòu)提供了四種特權(quán)級(jí)別Ring0、1、2和3,通過
這四種級(jí)別來控制和管理對(duì)硬件的訪問。通常,用戶級(jí)的應(yīng)
用一般運(yùn)行在Ring3級(jí)別,操作大數(shù)據(jù)平臺(tái)方案需要直接
訪問內(nèi)存和硬件,需要在Ring0執(zhí)行它的特權(quán)指令。為了
虛擬X86架構(gòu),需要在操作大數(shù)據(jù)平臺(tái)方案下面運(yùn)行虛擬化
層,由虛擬化層來創(chuàng)建和管理虛擬機(jī),進(jìn)行共享資源分配。
而有些敏感指令不能很好的進(jìn)行虛擬化,它們?cè)赗ing。以
外級(jí)別執(zhí)行時(shí),會(huì)出現(xiàn)不同的結(jié)果。如何在運(yùn)行時(shí)捕獲和翻
第14頁
譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn),使得X86架構(gòu)
虛擬化最初難以實(shí)現(xiàn)。
圖:X86架構(gòu)虛擬化前的特權(quán)級(jí)別
到目前為止,有三種典型的技術(shù)來解決X86虛擬化的難
題:
5、完全虛擬化;
6、操作大數(shù)據(jù)平臺(tái)方案幫助下的虛擬化,即半虛擬化;
7、硬件幫助的虛擬化。
8、完全虛擬化
完全虛擬化技術(shù)翻譯核心指令來代替那些不能虛擬化
的指令,通過翻譯后的指令直接訪問虛擬硬件。同時(shí),所有
用戶級(jí)指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能。
每個(gè)VMM為每個(gè)虛擬機(jī)提供完整的硬件支持服務(wù),包括虛擬
BIOS,虛擬設(shè)備和虛擬內(nèi)存管理。
完全虛擬化實(shí)現(xiàn)后,客戶操作大數(shù)據(jù)平臺(tái)方案可以通過
虛擬化層從物理硬件上完全抽取出來,客戶操作大數(shù)據(jù)平臺(tái)
方案感知不到是否發(fā)生虛擬化,完全不需進(jìn)行修改。完全虛
第15頁
擬化是迄今為止唯一不需硬件或操作大數(shù)據(jù)平臺(tái)方案協(xié)助
來進(jìn)行敏感和特權(quán)指令虛擬化的技術(shù),Hypervisor(管理程
序)可以翻譯所有的操作大數(shù)據(jù)平臺(tái)方案特權(quán)指令,并保存
在緩存里備用,而用戶級(jí)指令完全可以全速直接執(zhí)行。
完全虛擬化提供了最好的虛擬機(jī)隔離和安全性,簡化了
客戶操作大數(shù)據(jù)平臺(tái)方案遷移和移植能力。
9、半虛擬化
半虛擬化需要修改操作大數(shù)據(jù)平臺(tái)方案內(nèi)核,替換掉不
能虛擬化的指令,通過超級(jí)調(diào)用(Hypercall)直接和底層
的虛擬化層Hypervisor來通訊,Hypervisor同時(shí)也提供了
超級(jí)調(diào)用接口來滿足其他關(guān)鍵內(nèi)核操作,比如內(nèi)存管理、中
斷和時(shí)間保持,如下圖所示:
直接執(zhí)
行用戶
的請(qǐng)求
超級(jí)調(diào)用
虛擬化層
來替換不
可虛擬的
操作系統(tǒng)
指令
圖:操作大數(shù)據(jù)平臺(tái)方案協(xié)助的X86架構(gòu)虛擬化
半虛擬化和全虛擬化不同,全虛擬化不需要修改上面的
操作大數(shù)據(jù)平臺(tái)方案,敏感的操作大數(shù)據(jù)平臺(tái)方案指令可直
接處理。半虛擬化的價(jià)值在于降低了虛擬化的損耗,基于Xen
第16頁
的虛擬化是半虛擬化的代表,可通過修改Linux的內(nèi)核來實(shí)
現(xiàn)CPU和內(nèi)存的虛擬化,通過定制的操作大數(shù)據(jù)平臺(tái)方案驅(qū)
動(dòng)來實(shí)現(xiàn)I/O的虛擬化。
10、硬件輔助虛擬化
硬件廠商面對(duì)虛擬化投入了大量的精力來開發(fā)新的特
性用以簡化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強(qiáng)包括
IntelVirtualizationTechnology(VT-x)和AMD的AMD-V,
這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式,可以
讓VMM運(yùn)行在root模式下,而root模式位于Ring0的下
面。如下圖所示,特權(quán)和敏感指令自動(dòng)在Hypervisor上執(zhí)
行??蛻舨僮鞔髷?shù)據(jù)平臺(tái)方案的狀態(tài)保存在VT-x(Virtual
MachineControlStructure,虛擬機(jī)控制結(jié)構(gòu))中或
AMD-v(VirtualMachineControlBlock,虛擬機(jī)控制塊)。
支持IntelVT和AMD-V的CPU從2006年開始推向市場(chǎng)。
圖:硬件輔助的X86架構(gòu)虛擬化
11、內(nèi)存虛擬化
第17頁
除了CPU虛擬化,下一個(gè)關(guān)鍵是內(nèi)存虛擬化,通過內(nèi)存
虛擬化共享物理大數(shù)據(jù)平臺(tái)方案內(nèi)存,動(dòng)態(tài)分配給虛擬機(jī)。
虛擬機(jī)的內(nèi)存虛擬化很像現(xiàn)在的操作大數(shù)據(jù)平臺(tái)方案支持
的虛擬內(nèi)存方式,應(yīng)用程序看到鄰近的內(nèi)存地址空間,這個(gè)
地址空間無需和下面的物理機(jī)器內(nèi)存直接對(duì)應(yīng),操作大數(shù)據(jù)
平臺(tái)方案保持著虛擬頁到物理頁的映射?,F(xiàn)在所有的X86CPU
都包括了一個(gè)稱為內(nèi)存管理的模塊MMU(MemoryManagement
Unit)和TLB(TranslationLookasideBuffer),通過MMU
和TLB來優(yōu)化虛擬內(nèi)存的性能。
虛擬機(jī)1虛擬機(jī)2
進(jìn)程1進(jìn)程2
inw
圖:內(nèi)存虛擬化
為了在一臺(tái)機(jī)器上運(yùn)行多個(gè)虛擬機(jī),需要增加一個(gè)新的
內(nèi)存虛擬化層,也就是說,必須虛擬MMU來支持客戶操作大
數(shù)據(jù)平臺(tái)方案??蛻舨僮鞔髷?shù)據(jù)平臺(tái)方案繼續(xù)控制虛擬地址
到客戶內(nèi)存物理地址的映射,但是客戶操作大數(shù)據(jù)平臺(tái)方案
不能直接訪問實(shí)際機(jī)器內(nèi)存。VMM負(fù)責(zé)映射客戶物理內(nèi)存到
實(shí)際機(jī)器內(nèi)存,它通過影子頁表來加速映射。VMM使用TLB
硬件來映射虛擬內(nèi)存直接到機(jī)器內(nèi)存,從而避免了每次訪問
進(jìn)行兩次翻譯。當(dāng)客戶操作大數(shù)據(jù)平臺(tái)方案更改了虛擬內(nèi)存
第18頁
到物理內(nèi)存的映射表,VMM也會(huì)更新影子頁表來啟動(dòng)直接查
詢。MMU虛擬化引入了虛擬化損耗,第二代的硬件輔助虛擬
化將支持內(nèi)存的虛擬化輔助,從而大大降低因此而帶來的虛
擬化損耗,讓內(nèi)存虛擬化更高效。
12、設(shè)備和I/O虛擬化
最后一個(gè)模塊是設(shè)備和I/O虛擬化,也就是如何管理和
路由物理設(shè)備和虛擬設(shè)備之間的I/O請(qǐng)求。
井口串口
SCSI控制器IDE控制器鼠標(biāo)USB設(shè)備
圖:設(shè)備和I/O虛擬化
基于軟件的I/O虛擬化和管理為設(shè)備管理帶來了新的特
性和功能,讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例,通過虛擬
網(wǎng)卡和交換機(jī)可以在一臺(tái)物理機(jī)上不同虛擬機(jī)之間建立虛
擬網(wǎng)絡(luò),而這不會(huì)在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量;允許多個(gè)
物理網(wǎng)卡綁定成一個(gè)虛擬機(jī)網(wǎng)卡,提供了很好的容錯(cuò)能力,
同時(shí)保持了同一MAC地址。I/O虛擬化的關(guān)鍵是保持虛擬化
優(yōu)勢(shì)的同時(shí),盡量降低虛擬化給CPU造成的負(fù)擔(dān)。
第19頁
Hypervisor虛擬化物理硬件,為每臺(tái)虛擬機(jī)提供一套標(biāo)
準(zhǔn)的虛擬設(shè)備,如上圖所示。這些虛擬設(shè)備高效模擬常見的
物理硬件,將虛擬機(jī)的請(qǐng)求發(fā)送到物理硬件。該硬件標(biāo)準(zhǔn)化
的過程也讓虛擬機(jī)標(biāo)準(zhǔn)化,讓虛擬機(jī)更容易在各種平臺(tái)上自
由移動(dòng),而無需關(guān)心下面實(shí)際的物理硬件類型。
3.3.1.3計(jì)算資源池分區(qū)建設(shè)
云資源管理平臺(tái)的底層虛擬化組件提供基礎(chǔ)的虛擬化
功能,提供服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)的虛擬化功能,并向上對(duì)云
資源管理平臺(tái)提供接口。一個(gè)物理集群中可以把多臺(tái)服務(wù)器
劃分成一個(gè)邏輯集群(又叫HA資源池),一個(gè)計(jì)算資源池有
相同的調(diào)度策略,為了使用熱遷移相關(guān)的調(diào)度策略要求資源
池主機(jī)CPU同制。計(jì)算資源池不包括網(wǎng)絡(luò)資源與存儲(chǔ)資源。
一個(gè)物理集群中可以包含多個(gè)邏輯集群。
多個(gè)物理集群可以級(jí)聯(lián)(多個(gè)云資源管理平臺(tái)),由更
上層的云運(yùn)營管理平臺(tái)統(tǒng)一管理。
對(duì)于教育業(yè)務(wù)部門的主要業(yè)務(wù)應(yīng)用大數(shù)據(jù)平臺(tái)方案的
部署將采用全虛擬機(jī)部署方式,例如Web服務(wù)器、郵件服務(wù)
器等不同種應(yīng)用服務(wù)器都建議采用虛擬化的部署方式。虛擬
化技術(shù)不僅可以提高資源的利用率,并且通過與X86平臺(tái)計(jì)
算節(jié)點(diǎn)的配合,能夠有效的降低總的投資成本,提高大數(shù)據(jù)
平臺(tái)方案的安全性、可管理性,降低業(yè)務(wù)部署的復(fù)雜度和時(shí)
間需求。所以普通業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案推薦采用虛擬化與
第20頁
X86平臺(tái)的協(xié)同部署方式。
項(xiàng)目建設(shè)采用高端八路INTEL和低端2路多核心服務(wù)器
構(gòu)建虛擬計(jì)算資源平臺(tái),實(shí)現(xiàn)高性能、高密度、可伸縮、按
需配置、方案靈活的產(chǎn)品設(shè)計(jì)要求,可滿足虛擬化業(yè)務(wù)中多
樣且動(dòng)態(tài)變化的應(yīng)用需求。這些服務(wù)器分為1個(gè)云資源管理
分區(qū)和1個(gè)業(yè)務(wù)應(yīng)用分區(qū)。
1、業(yè)務(wù)應(yīng)用分區(qū)
核心應(yīng)用邏輯分區(qū)作為業(yè)務(wù)承載節(jié)點(diǎn),用于部署虛擬化
平臺(tái),承載應(yīng)用大數(shù)據(jù)平臺(tái)方案。
業(yè)務(wù)節(jié)點(diǎn)為能承載更多的虛擬機(jī)并保證虛擬機(jī)性能,建
議配置多路處理器,每路處理器核心數(shù)盡可能多、主頻盡可
能高,同時(shí)配置大容量內(nèi)存。同時(shí)還考慮兩方面:
1、高可用性:即承載某臺(tái)虛擬機(jī)的物理節(jié)點(diǎn)如果出現(xiàn)
故障需要維護(hù),那么需要進(jìn)行虛擬機(jī)動(dòng)態(tài)遷移,將故障節(jié)點(diǎn)
承載的虛擬機(jī)動(dòng)態(tài)遷移到核心應(yīng)用邏輯資源分區(qū)中其他正
常工作的物理節(jié)點(diǎn)上以實(shí)現(xiàn)高可用性,保證應(yīng)用大數(shù)據(jù)平臺(tái)
方案的不中斷;
2、彈性擴(kuò)展:即考慮到未來3-5年內(nèi)部分部門會(huì)上新
的應(yīng)用大數(shù)據(jù)平臺(tái)方案,從而需要新的虛擬機(jī)資源,到時(shí)核
心應(yīng)用邏輯資源分區(qū)還有資源可彈性分配給新的應(yīng)用大數(shù)
據(jù)平臺(tái)方案。
同時(shí),按照云計(jì)算平臺(tái)大項(xiàng)目建設(shè)經(jīng)驗(yàn),建議以1:3的
第21頁
比例預(yù)留動(dòng)態(tài)遷移及彈性可擴(kuò)展虛擬機(jī)資源,即預(yù)留一部分
虛擬機(jī)資源。
業(yè)務(wù)節(jié)點(diǎn)放置在業(yè)務(wù)區(qū)的服務(wù)器中。為保證虛擬化動(dòng)態(tài)
遷移時(shí)的大數(shù)據(jù)平臺(tái)方案性能,建議業(yè)務(wù)區(qū)域內(nèi)再按照業(yè)務(wù)
情況分為2?3個(gè)邏輯分區(qū)。
3、云資源管理分區(qū)
云資源管理分區(qū)分為虛擬化管理節(jié)點(diǎn)和云運(yùn)營管理節(jié)
點(diǎn)。虛擬化管理節(jié)點(diǎn)和云運(yùn)營管理服務(wù)器都可采用虛擬機(jī)的
方式部署。
虛擬化管理節(jié)點(diǎn):提供基本的虛擬機(jī)管理、監(jiān)控、分配
和使用功能,提供資源靜態(tài)分配及動(dòng)態(tài)調(diào)度管理功能。每個(gè)
業(yè)務(wù)區(qū)域應(yīng)該配置一套虛擬化管理平臺(tái),采用雙機(jī)的模式形
成一套高可用大數(shù)據(jù)平臺(tái)方案。
云運(yùn)營管理節(jié)點(diǎn):主要滿足云計(jì)算中心管理需求,提供
對(duì)云資源管理節(jié)點(diǎn)的統(tǒng)一管理,同時(shí)提供審批管理、計(jì)費(fèi)管
理、服務(wù)質(zhì)量管理功能。云運(yùn)營管理節(jié)點(diǎn)通常采用雙機(jī)模式
構(gòu)成高可用大數(shù)據(jù)平臺(tái)方案,每組云運(yùn)營管理節(jié)點(diǎn)可以管理
多組云資源管理節(jié)點(diǎn)。
3.3.2基于物理機(jī)部署的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案
對(duì)于個(gè)別如多媒體、視頻點(diǎn)播等這類業(yè)務(wù)大數(shù)據(jù)平臺(tái)方
案,出于業(yè)務(wù)和項(xiàng)目需要,采用胖節(jié)點(diǎn)物理機(jī)來支撐。在教
育云中心規(guī)劃一臺(tái)高端八路服務(wù)器來部署此類應(yīng)用。
第22頁
3.3.3數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè)
3.3.3.1項(xiàng)目需求
本期項(xiàng)目中計(jì)劃將一卡通數(shù)據(jù)庫、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫
部署在oracleRAC集群上,后期還將把教務(wù)大數(shù)據(jù)平臺(tái)方
案的雙機(jī)集群接入進(jìn)來。為了保證數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的
高性能、高可靠性以及負(fù)載均衡,項(xiàng)目建設(shè)需要考慮如下因
素:
4、如何提高處理速度,實(shí)現(xiàn)數(shù)據(jù)庫的負(fù)載均衡;
5、如何保證數(shù)據(jù)庫的可用性、數(shù)據(jù)安全性,以及如何
實(shí)現(xiàn)數(shù)據(jù)集群可擴(kuò)性。
6、數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案對(duì)事務(wù)實(shí)時(shí)處理性要求比較
高,對(duì)于數(shù)據(jù)庫服務(wù)器有性能上的要求,建議采用最新的處
理器型號(hào),最新的UNIX服務(wù)器產(chǎn)品技術(shù)架構(gòu)。
3.3.3.2數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案建設(shè)
對(duì)于數(shù)據(jù)庫的業(yè)務(wù),教育云中心建議采用傳統(tǒng)的物理服
務(wù)器架構(gòu)來進(jìn)行支持。一方面是由于物理數(shù)據(jù)庫業(yè)務(wù)一般對(duì)
大數(shù)據(jù)平臺(tái)方案和平臺(tái)的限制,并非所有的數(shù)據(jù)庫都可以移
植到像虛擬化這樣的計(jì)算平臺(tái)上,另一方面,由于數(shù)據(jù)庫對(duì)
10的高要求,對(duì)于虛擬化的環(huán)境并不能提供充足的10支撐,
另外,數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的安全性要求很高,采用虛擬
化技術(shù)雖然可以提高大數(shù)據(jù)平臺(tái)方案的靈活性,但是同物理
設(shè)備上的其他大數(shù)據(jù)平臺(tái)方案會(huì)對(duì)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案
第23頁
產(chǎn)生一定的影響,提高大數(shù)據(jù)平臺(tái)方案的安全風(fēng)險(xiǎn)。所以綜
合以上三方面的原因,數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案在云計(jì)算中心
將采用物理設(shè)備集群的方式來部署。
為了使數(shù)據(jù)庫實(shí)現(xiàn)高可用,滿足高并發(fā)、高負(fù)載均衡的
需求,數(shù)據(jù)庫節(jié)點(diǎn)采用數(shù)據(jù)庫集群搭建,本項(xiàng)目采用實(shí)時(shí)應(yīng)
用集群,能夠?qū)崿F(xiàn)多節(jié)點(diǎn)之間負(fù)載均衡,同時(shí)多個(gè)節(jié)點(diǎn)共享
一套存儲(chǔ)大數(shù)據(jù)平臺(tái)方案,能有效防止數(shù)據(jù)庫單點(diǎn)故障;最
后,數(shù)據(jù)庫集群架構(gòu)具備動(dòng)態(tài)添加數(shù)據(jù)庫節(jié)點(diǎn)的功能,具有
良好的擴(kuò)展性。
1.OLTP1■務(wù)*提供捌理分區(qū)技術(shù)。
2.督機(jī)務(wù)至少握供三個(gè)物理分區(qū),等分區(qū)握
供4個(gè)物理CPU?16個(gè)計(jì)算梭心,,28G內(nèi)1
提假5。萬TPCC處理能力
3.JR務(wù)務(wù)為UNDd■符號(hào)
4.01AP9M摩JS符等單機(jī)提供12。計(jì)算核心
5.OLAP年合?努號(hào)提供2個(gè)物理分區(qū)技術(shù)
ittftSOQ8G*口
2.提偎trunkS:含技術(shù).NI同絡(luò)級(jí)或技術(shù)
3.存%虛擬化設(shè)備提供>8。萬2Ps能力?
提供48Gache.提供寫■存技術(shù)
4.提供di網(wǎng)絡(luò)40OG的SSD分層客■
£.存Nt*捺化單節(jié)點(diǎn)設(shè)答覆做>10萬
IOPS能力I量終塞到魁景的K)PS>
Upto2.itt景采用12GSAS成術(shù),
512GBSASiSft
Cache
Upto
Disks
本期項(xiàng)目中計(jì)劃將一卡通數(shù)據(jù)庫、數(shù)字校園基礎(chǔ)數(shù)據(jù)庫
部署在oracleRAC集群上,后期還將把教務(wù)大數(shù)據(jù)平臺(tái)方
案的雙機(jī)集群接入進(jìn)來。
為提供數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的高可用性,后端使用存
第24頁
儲(chǔ)控制器連接高性能光纖盤陣的存儲(chǔ)資源池雙活架構(gòu)來支
撐,保證數(shù)據(jù)不會(huì)丟失,業(yè)務(wù)不受影響。最后,通過虛擬化
帶庫的備份大數(shù)據(jù)平臺(tái)方案對(duì)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)進(jìn)行備份,提
高數(shù)據(jù)的安全性,對(duì)于歷史數(shù)據(jù),采用物理帶庫歸檔保存技
術(shù)。
3.3.4存儲(chǔ)資源池建設(shè)
3.3.4.1項(xiàng)目需求
存儲(chǔ)資源池是教育云平臺(tái)的重要組成部分,根據(jù)教育數(shù)
據(jù)的不同類型應(yīng)該有著相應(yīng)的差異化的數(shù)據(jù)存儲(chǔ)處理方式。
按照數(shù)據(jù)類型主要可以分為兩類,即結(jié)構(gòu)化數(shù)據(jù)和非結(jié)
構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù):即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫里,可以用二維
表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。例如一卡通刷卡記錄、學(xué)校
招生就業(yè)的信息、學(xué)生學(xué)籍信息、選課信息、圖書館館藏目
錄、圖書借閱信息等。其中一卡通數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方案的
數(shù)據(jù)需求在100G左右,數(shù)字校園基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)方
案的數(shù)據(jù)量也應(yīng)該在100G以內(nèi),再加上二期可能加入的教
務(wù)大數(shù)據(jù)平臺(tái)方案數(shù)據(jù)幾百GB,這部分的數(shù)據(jù)量在1T左右。
非結(jié)構(gòu)化數(shù)據(jù):相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言,不方便用數(shù)據(jù)
庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有
格式的辦公文檔、學(xué)生和老師的文本文件、電子圖書、電子
期刊、各類報(bào)表、教學(xué)用的圖像和音頻/視頻信息等。本期
第25頁
項(xiàng)目中主要考慮校園視頻監(jiān)控?cái)?shù)據(jù)以及虛擬機(jī)鏡像數(shù)據(jù)等。
校園700個(gè)720P攝像頭的監(jiān)控?cái)?shù)據(jù)存放30天的數(shù)據(jù),700
個(gè)頭需要的總?cè)萘考坝?jì)算公式為:
256(碼流)X3600(1小時(shí))X24(1天)X30(1個(gè)
月)X700(路數(shù))4-0.9(磁盤格式化損耗)心0.6PB。
另外數(shù)據(jù)中心自己的業(yè)務(wù)大數(shù)據(jù)平臺(tái)方案的空間使用,
包含多媒體、一卡通、教務(wù)大數(shù)據(jù)平臺(tái)方案、圖書館、視頻
點(diǎn)播、HPC計(jì)算等空間需求,保證1.5PB的使用空間能滿足
當(dāng)前需求。
對(duì)于這兩類數(shù)據(jù),結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)資源池可采用傳統(tǒng)
的高性能磁盤陣列大數(shù)據(jù)平臺(tái)方案支撐;非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)
資源池采用底層SAN網(wǎng)絡(luò)結(jié)構(gòu)加上集群NAS機(jī)頭,又能為用
戶提供文件大數(shù)據(jù)平臺(tái)方案的共享功能,是一個(gè)完全開放的、
共享的、跨平臺(tái)的大數(shù)據(jù)平臺(tái)方案,具有高性能、高可靠性、
使用維護(hù)簡單、性能和容量可線性擴(kuò)展的高端存儲(chǔ)大數(shù)據(jù)平
臺(tái)方案。差異化的存儲(chǔ)方案利于保護(hù)投資,充分考慮今后的
可擴(kuò)展性,最大限度的提升校園信息化服務(wù)的水平。
3.3.4.2存儲(chǔ)分類
數(shù)據(jù)庫存儲(chǔ):主要采用FCSAN存儲(chǔ)模式,通過數(shù)據(jù)庫
集群技術(shù)構(gòu)建集中存儲(chǔ)模式,按照不同的數(shù)據(jù)庫實(shí)例的構(gòu)建,
FCSAN還可以通過劃分不同的LAN來支撐不同業(yè)務(wù)數(shù)據(jù)的存
儲(chǔ);通過存儲(chǔ)虛擬化控制器實(shí)現(xiàn)性能的大幅度提升,以及冷
第26頁
熱數(shù)據(jù)的分層管理。
海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ):我們根據(jù)業(yè)務(wù)屬性不同,將非
結(jié)構(gòu)化數(shù)據(jù)分為2個(gè)主要需求,和教學(xué)相關(guān)的教學(xué)類非結(jié)構(gòu)
化存儲(chǔ),這樣的存儲(chǔ)需要雙向讀寫訪問,在教學(xué)高峰期,會(huì)
有較高的10訪問,因此需要采用集群化的非結(jié)構(gòu)數(shù)據(jù)解決
方案,在集群文件大數(shù)據(jù)平臺(tái)方案選擇上,需要選擇成熟的,
商業(yè)化的集群文件大數(shù)據(jù)平臺(tái)方案;對(duì)于安防數(shù)據(jù)的存儲(chǔ),
主要是考慮空間問題,這部分?jǐn)?shù)據(jù),以寫入為主,基本上很
少會(huì)讀訪問,因此采用專用的NAS存儲(chǔ)解決方案。
為了保證海量非結(jié)構(gòu)化數(shù)據(jù)(校園視頻監(jiān)控、教學(xué)視頻
等)存儲(chǔ)和數(shù)據(jù)分析的需求,該部分?jǐn)?shù)據(jù)采用專用NAS控制
器提供穩(wěn)定可靠的10解決方案。
備份數(shù)據(jù)存儲(chǔ):備份數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),
備份源可以是數(shù)據(jù)庫,也可以是操作大數(shù)據(jù)平臺(tái)方案、文件
夾等。
虛擬機(jī)鏡像數(shù)據(jù)存儲(chǔ):與非結(jié)構(gòu)化數(shù)據(jù)共用一個(gè)存儲(chǔ)空
間,也采用并行存儲(chǔ)大數(shù)據(jù)平臺(tái)方案構(gòu)建,為虛擬機(jī)的遷移
提供支持。具體存儲(chǔ)空間需根據(jù)虛擬機(jī)的個(gè)數(shù)和操作大數(shù)據(jù)
平臺(tái)方案來劃分。
第27頁
3.3.4.3數(shù)據(jù)庫存儲(chǔ)大數(shù)據(jù)平臺(tái)方案建設(shè)方案
3.3.5大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)
3.3.5.1基于虛擬化機(jī)頭的存儲(chǔ)虛擬化方案說明
生產(chǎn)中心存儲(chǔ)虛擬化部署示意圖
生產(chǎn)存錯(cuò)資源跡
存儲(chǔ)雙活、救據(jù)跨存錯(cuò)造像
圖示說明:
通過在SAN網(wǎng)絡(luò)層面,部署1套存儲(chǔ)虛擬化引擎(2個(gè)節(jié)
點(diǎn)、實(shí)現(xiàn)高可用集群),實(shí)現(xiàn)生產(chǎn)中心的虛擬化存儲(chǔ)基礎(chǔ)架
構(gòu).
新購SAN網(wǎng)絡(luò)存儲(chǔ),通過存儲(chǔ)虛擬化技術(shù),構(gòu)建統(tǒng)一存儲(chǔ)
資源池,實(shí)現(xiàn)存儲(chǔ)資源的集中統(tǒng)一規(guī)劃和分配、實(shí)現(xiàn)存儲(chǔ)資
源的集中監(jiān)控和管理.
通過存儲(chǔ)虛擬化技術(shù),實(shí)現(xiàn)2個(gè)存儲(chǔ)之間雙活架構(gòu).
第28頁
存儲(chǔ)虛擬化方案的優(yōu)勢(shì)
如今它在許多新的領(lǐng)域又展現(xiàn)了其盎然的生機(jī):從虛擬服務(wù)
器到虛擬存儲(chǔ),優(yōu)化的網(wǎng)絡(luò),虛擬環(huán)境中的工作站,以及應(yīng)
用虛擬化。虛擬化技術(shù)為企業(yè)帶來的潛在收益是巨大的,不
僅可以提高存儲(chǔ)設(shè)備的利用率和業(yè)務(wù)靈活性,而且還可降低
處理的總成本并提高可靠性。
存儲(chǔ)虛擬化有多年的發(fā)展歷程和擁有業(yè)界最多的客戶實(shí)際
使用案例,并支持虛擬化管理業(yè)界最廣泛的第三方存儲(chǔ)產(chǎn)品。
3.3.5.2存儲(chǔ)虛擬化工作原理和技術(shù)實(shí)現(xiàn)說明
虛擬化機(jī)頭實(shí)現(xiàn)了虛擬存儲(chǔ)層的功能,采用“虛擬存儲(chǔ)”
技術(shù)整合異構(gòu)存儲(chǔ)設(shè)備,可以支持包括各廠商在內(nèi)的130多
種磁盤存儲(chǔ)大數(shù)據(jù)平臺(tái)方案。虛擬化機(jī)頭是整個(gè)SAN網(wǎng)絡(luò)的
控制器,將整個(gè)SAN網(wǎng)絡(luò)中的各種存儲(chǔ)設(shè)備整合成一個(gè)巨大
的“存儲(chǔ)池”,使用戶充分利用存儲(chǔ)資源并可按需分配存儲(chǔ)
空間、性能和功能。
虛擬化機(jī)頭卷控制器產(chǎn)品要點(diǎn)包括:
可將不同磁盤大數(shù)據(jù)平臺(tái)方案的存儲(chǔ)容量整合至管理
更加高效的容量庫中
可通過為主機(jī)應(yīng)用程序提供更靈活的存儲(chǔ)容量訪問,幫
助提高存儲(chǔ)利用率
可通過使用簡單的通用界面實(shí)現(xiàn)異構(gòu)存儲(chǔ)大數(shù)據(jù)平臺(tái)
方案的自動(dòng)配置和便捷管理,從而幫助提高存儲(chǔ)管理員的工
第29頁
作效率
可通過消除幾乎任何與存儲(chǔ)相關(guān)的應(yīng)用程序中斷原因
以支持更高的應(yīng)用程序可用性
可實(shí)現(xiàn)分層存儲(chǔ)環(huán)境,從而使存儲(chǔ)成本可以與數(shù)據(jù)的價(jià)
值更好地相配
可支持從高成本到低成本的設(shè)備以及跨多個(gè)供應(yīng)商所
提供存儲(chǔ)大數(shù)據(jù)平臺(tái)方案的高級(jí)復(fù)制服務(wù)
可通過iSCSI主機(jī)連接降低成本并提高靈活性
可以在購置存儲(chǔ)時(shí)提供更高的靈活性
可通過對(duì)固態(tài)設(shè)備(SSD)的創(chuàng)新和緊密集成支持為
關(guān)鍵工作負(fù)載提供超強(qiáng)的性能
3.3.5.3虛擬化機(jī)頭的基本概念
虛擬化機(jī)頭采用In-Band方式進(jìn)行存儲(chǔ)虛擬化。大數(shù)
據(jù)平臺(tái)方案實(shí)際上是一個(gè)集群(Cluster)大數(shù)據(jù)平臺(tái)方案,
它由node組成。一個(gè)虛擬化機(jī)頭大數(shù)據(jù)平臺(tái)方案至少包含
2個(gè)node,每2個(gè)node組成一個(gè)I/OGroup,它用來為
Host提供I/O服務(wù)。到現(xiàn)在為止,一個(gè)虛擬化機(jī)頭大數(shù)據(jù)
平臺(tái)方案最多包含8個(gè)node,即4個(gè)I/OGroupo
在一個(gè)虛擬化機(jī)頭大數(shù)據(jù)平臺(tái)方案中,存儲(chǔ)子大數(shù)據(jù)平
臺(tái)方案中的一個(gè)或多個(gè)存儲(chǔ)單元被映射為虛擬化機(jī)頭內(nèi)部
的存儲(chǔ)單元,一個(gè)或多個(gè)單元可以被虛擬化為1個(gè)存儲(chǔ)池(稱
為MDG),所有的MDG對(duì)所有的I/OGroup均可見。MDG是
第30頁
一個(gè)存儲(chǔ)池,它根據(jù)一定的分配策略(如Striped,Image,
Sequential)分配虛擬的存儲(chǔ)單元,稱為VDisk。I/OGroup
以Vdisk為單位對(duì)Host提供LUNfasking(也稱為
LUN-Mapping)服務(wù),使得Host可通過HBA可訪問被提供
LUN-Masking服務(wù)的VDisko如下圖所示:
主機(jī)
Lun-Mapping
虛擬化機(jī)頭中的MDisk和MDG以及VDisk之間的關(guān)系
第31頁
加入葭鼠牝雙頭后加速對(duì)存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的訪
問I/O
3.3.5.4虛擬化機(jī)頭的工作原理
-不同級(jí)別的存儲(chǔ)虛擬化技術(shù)設(shè)計(jì)思想
正如以上所述,在存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案與主機(jī)之間引
入虛擬化機(jī)頭后,主機(jī)所有的I/O必然要經(jīng)過虛擬化機(jī)頭內(nèi)
部,相當(dāng)于虛擬化機(jī)頭要接管從主機(jī)過來的所有I/0o要做
到這一點(diǎn),虛擬化機(jī)頭內(nèi)部必須實(shí)現(xiàn)一個(gè)虛擬層,使得主機(jī)
仿佛可以直接訪問真正的物理存儲(chǔ)大數(shù)據(jù)平臺(tái)方案。這個(gè)虛
擬層的實(shí)現(xiàn)依賴于存儲(chǔ)虛擬化技術(shù)。存儲(chǔ)虛擬化的基本概念
是將實(shí)際的物理存儲(chǔ)實(shí)體與存儲(chǔ)的邏輯表示分離開來,應(yīng)用
服務(wù)器只與分配給它們的邏輯卷(或稱虛卷)打交道,而不用
關(guān)心其數(shù)據(jù)是在哪個(gè)物理存儲(chǔ)實(shí)體上。為實(shí)現(xiàn)存儲(chǔ)虛擬層,
虛擬化機(jī)頭借鑒了已有的存儲(chǔ)虛擬化技術(shù):
?存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案級(jí)別的虛擬化
存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案級(jí)別的虛擬化如下圖所示,使用
HostBusAdapter例如1394HostBusAdapter(Controller)
連接磁盤柜,通過1394controller驅(qū)動(dòng),物理磁盤被映射
為大數(shù)據(jù)平臺(tái)方案中的sda.sdb.sdc等SCSI磁盤塊設(shè)備,塊
設(shè)備上層的虛擬化原理上和主機(jī)級(jí)別子大數(shù)據(jù)平臺(tái)方案塊
設(shè)備的虛擬化類似。
第32頁
vglIvlvgllv2vgllv3vg2Ivlvg2lv2vg2lv3
「日一已-已「「百-日-gq
61邏輯層
vglvg2
----------—o-----------------------------------o------------------------------------
虛擬層
1394磁FC磁盤
盍控制控制器驅(qū)
招驅(qū)動(dòng)動(dòng)
存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案級(jí)別的存儲(chǔ)虛擬化(如Linux)
?網(wǎng)絡(luò)級(jí)別的存儲(chǔ)虛擬化
網(wǎng)絡(luò)級(jí)別的存儲(chǔ)虛擬化分兩種:OutofBand和InBando
如下圖所示是OutofBand存儲(chǔ)虛擬化的一種方式,存儲(chǔ)子
大數(shù)據(jù)平臺(tái)方案通過SAN使得3個(gè)不同類別的操作大數(shù)據(jù)平
臺(tái)方案在MetadataServer的Lock機(jī)制控制下共用存儲(chǔ)子
大數(shù)據(jù)平臺(tái)方案中的3個(gè)存儲(chǔ)單元。在每個(gè)Host上,3個(gè)存
儲(chǔ)單元被虛擬化為一個(gè)StripeGroup,使得各個(gè)Host可以
第33頁
采用統(tǒng)一的Stripe策略控制各自的I/O行為。
網(wǎng)絡(luò)級(jí)別(OutofBand)的存儲(chǔ)虛擬化
In-Band的方式實(shí)際上是通過數(shù)據(jù)通道(DataPath)上的
虛擬化軟件,把呈現(xiàn)在SAN中一個(gè)或多個(gè)存儲(chǔ)子大數(shù)據(jù)平臺(tái)
方案的存儲(chǔ)單元虛擬化成另外一種方式的虛擬存儲(chǔ)單元,稱
為VDisks.。如下圖所示是屬于In-Band存儲(chǔ)虛擬化。虛擬
化機(jī)頭使用In-Band的虛擬化方式,也就是說,虛擬化機(jī)頭
把主機(jī)級(jí)別的虛擬化實(shí)現(xiàn)在SAN的網(wǎng)絡(luò)層次上實(shí)現(xiàn)。
第34頁
Soloris主機(jī)Windows主機(jī)AIX主機(jī)
網(wǎng)絡(luò)級(jí)別(InBand)的存儲(chǔ)虛擬化
傳統(tǒng)的SAN網(wǎng)絡(luò)中,每種存儲(chǔ)大數(shù)據(jù)平臺(tái)方案都自成
一體,就像一個(gè)個(gè)獨(dú)立的孤島,無法構(gòu)成一片統(tǒng)一的大陸。
而虛擬化機(jī)頭,是存儲(chǔ)業(yè)界又一次嶄新的突破,就像存儲(chǔ)歷
史上的RAID,主機(jī)大數(shù)據(jù)平臺(tái)方案的存儲(chǔ)管理體系和虛擬磁
帶技術(shù)。虛擬化機(jī)頭是整個(gè)SAN網(wǎng)絡(luò)的控制器,它將整個(gè)
SAN中的各種存儲(chǔ)設(shè)備整合成一個(gè)巨大的存儲(chǔ)池,充分利用
存儲(chǔ)資源和按需分配存儲(chǔ)空間、性能和功能。
虛擬化機(jī)頭實(shí)現(xiàn)了虛擬存儲(chǔ)層的功能,將存儲(chǔ)智能加入
到SAN的網(wǎng)絡(luò)中?,F(xiàn)在用戶可以按照應(yīng)用不斷變化的需求來
第35頁
分配存儲(chǔ),而不再受制于存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案設(shè)備在功能
和性能上的限制。虛擬化機(jī)頭又是一個(gè)SAN網(wǎng)絡(luò)的中心管理
控制點(diǎn),而且它對(duì)服務(wù)器的操作大數(shù)據(jù)平臺(tái)方案和存儲(chǔ)子大
數(shù)據(jù)平臺(tái)方案是透明的。
以下是存儲(chǔ)池引入虛擬化機(jī)頭前后的對(duì)比圖:
SANsTodayBlockVirtualization
烏?怎,
ServersaremappedtospecificphysicaldisksServersaremappedtoavirtualdisk
i.e.,"physicalmapping"i.e.,"logicalmapping1*
3.3.5.5虛擬化機(jī)頭的可靠性、可用性
虛擬化機(jī)頭采用了RAS的設(shè)計(jì)思想:通過冗余組件使
大數(shù)據(jù)平臺(tái)方案具有極高的可靠性,可用性以及高服務(wù)性。
第36頁
?高度冗余的部件:由于虛擬化機(jī)頭是一個(gè)集群大數(shù)據(jù)
平臺(tái)方案,當(dāng)中的每個(gè)部件都有對(duì)應(yīng)的備份(Backup)
部件,例如,Node與Node之間互為備份,前端
(Front-End)FC端口之間可以互為備份。后端
(Back-End)FC端口之間也可以互為備份,整個(gè)大數(shù)
據(jù)平臺(tái)方案沒有單一的故障點(diǎn)。如下圖所示。虛擬化
機(jī)頭具有非常高的可靠性。
?Cache的同步保證數(shù)據(jù)的完整性
在一個(gè)虛擬化機(jī)頭I/OGroup中,當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)故障
時(shí),通過這個(gè)節(jié)點(diǎn)的所有I/O就會(huì)切換到另外一個(gè)節(jié)點(diǎn);
為了使節(jié)點(diǎn)中的Cache數(shù)據(jù)在出現(xiàn)故障時(shí)不丟失,該節(jié)點(diǎn)
在正常工作時(shí)會(huì)把每個(gè)I/O的Cache數(shù)據(jù)同步到另外一個(gè)
節(jié)點(diǎn)的Cache中,使得同一個(gè)I/OGroup里的2個(gè)節(jié)點(diǎn)維
護(hù)著相同的Cache元數(shù)據(jù),如下圖所示。因此,在某個(gè)節(jié)
第37頁
點(diǎn)出現(xiàn)故障時(shí),虛擬化機(jī)頭能夠保證100%的數(shù)據(jù)完整性。
主機(jī)10流
■
14
Cache
------SVC哼#2
3_____
1:主機(jī)W1節(jié).8發(fā)起102:10¥咬妾1可&Cxh?*
3:1一立Cache擊毀瑁引步蕓.2節(jié)電Cache豐
4:10先也從1■立速亙
同構(gòu)異構(gòu)存儲(chǔ)資源
虛擬化機(jī)頭是一個(gè)存儲(chǔ)虛擬化引擎,它屏蔽了各種所支
持的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的差別,對(duì)Host提供的I/O服務(wù)
均以統(tǒng)一的存儲(chǔ)單元Vdisk為單位。這種特征有利于提高
存儲(chǔ)大數(shù)據(jù)平臺(tái)方案的利用率,并且可進(jìn)行集中管理。
虛擬化機(jī)頭的加入并不影響現(xiàn)有SAN環(huán)境的拓?fù)?,?/p>
只是把自己連接到光纖交換機(jī)上。通過一定的配置操作,虛
擬化機(jī)頭能夠檢測(cè)到各種存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案中的存儲(chǔ)
單元,并且把這些存儲(chǔ)單元---■映射成一個(gè)個(gè)的MDiskSo
每個(gè)虛擬化機(jī)頭的節(jié)點(diǎn)都看到統(tǒng)一的Mdisks集合。虛擬化
機(jī)頭使用這些Mdisks創(chuàng)建MDG(MDiskGroup),并從MDG
中劃分VDisk(VirtualDisk)空間給主機(jī)使用。通過光纖
交換機(jī)的Zone劃分,主機(jī)只能識(shí)別到虛擬化機(jī)頭上的
Vdisko因此,虛擬化機(jī)頭屏蔽了各種存儲(chǔ)子大數(shù)據(jù)平臺(tái)方
第38頁
案的差別。同構(gòu)異構(gòu)的存儲(chǔ)資源帶來很多的好處:
>使主機(jī)端只需使用一種多路徑(MPIO)驅(qū)動(dòng)
在加入虛擬化機(jī)頭之前,主機(jī)所獲得的存儲(chǔ)資源可能來
自不同廠商的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案。為了提高I/O性能,
每個(gè)廠商根據(jù)自己存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的特性為主機(jī)端
提供專用的多路徑軟件。對(duì)于只使用一種廠商的存儲(chǔ)子大數(shù)
據(jù)平臺(tái)方案的用戶來說,這并沒有帶來很大的影響;但是,
企業(yè)往往會(huì)使用不同廠商的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案,因此,
要使用不同廠商的存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案,主機(jī)端的大數(shù)據(jù)
平臺(tái)方案管理員必須把各個(gè)廠商提供的多路徑軟件都安裝
在主機(jī)上。在槽糕的情況下,這些多路徑軟件之間可能引起
沖突,導(dǎo)致大數(shù)據(jù)平臺(tái)方案無法正常使用。如下圖所示:
加入虛擬化機(jī)頭后,主機(jī)所有的I/O都由虛擬化機(jī)頭
第39頁
接管。為了優(yōu)化I/O性能,主機(jī)端只需要安裝虛擬化機(jī)頭
提供的多路徑軟件,如下圖所示:
統(tǒng)一管理存儲(chǔ)資源
虛擬化機(jī)頭能夠?qū)尤氲拇鎯?chǔ)子大數(shù)據(jù)平臺(tái)方案進(jìn)行
監(jiān)控,并提供自動(dòng)報(bào)警機(jī)制。例如A存儲(chǔ)子大數(shù)據(jù)平臺(tái)方
案中的一個(gè)磁盤出現(xiàn)故障,虛擬化機(jī)頭能夠檢查到它,并通
過SNMP報(bào)告給管理終端,管理終端通過郵件或者電話通知
管理員。因此,虛擬化機(jī)頭成為了一個(gè)集中管理點(diǎn),統(tǒng)一了
存儲(chǔ)資源的管理;否則,用戶必須安裝不同廠商的存儲(chǔ)子大
數(shù)據(jù)平臺(tái)方案管理軟件。
>可實(shí)現(xiàn)不同存儲(chǔ)大數(shù)據(jù)平臺(tái)方案中的容災(zāi)備份和數(shù)據(jù)
遷移
在沒有加入虛擬化機(jī)頭之前,企業(yè)中的數(shù)據(jù)可能存放在
不同廠商存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案中。企業(yè)必須要使用各個(gè)廠
商存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案的容災(zāi)備份策略來防止企業(yè)數(shù)據(jù)
丟失,而且,不同存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案之間不能實(shí)現(xiàn)實(shí)時(shí)
的互為容災(zāi)備份,這給企業(yè)帶來很多不便,尤其在企業(yè)數(shù)據(jù)
變得越來越關(guān)鍵和龐大的時(shí)候。更重要的是,由于沒有統(tǒng)一
的容災(zāi)備份策略,企業(yè)往往需要在不同時(shí)刻,不同時(shí)間,投
入越來越多的成本保證企業(yè)數(shù)據(jù)不丟失。
使用了虛擬化機(jī)頭后,企業(yè)中的數(shù)據(jù)采用了統(tǒng)一的容
災(zāi)備份策略,因?yàn)樘摂M化機(jī)頭提供的高級(jí)的CopyService
第40頁
使得不同廠商之間可以輕松地實(shí)現(xiàn)實(shí)時(shí)的容災(zāi)備份以及數(shù)
據(jù)遷移,同時(shí)與其他廠商的容災(zāi)備份策略兼容。
QoS機(jī)制
虛擬化機(jī)頭和許多存儲(chǔ)子大數(shù)據(jù)平臺(tái)方案一樣,提供了
有效的QoS(QualityofService)機(jī)制。QoS是一種保證和
控制主機(jī)I/O流量和帶寬的機(jī)制。例如,一個(gè)140MB每秒的影
像流必須精確地以140MB每秒的傳輸率傳輸?shù)酱鎯?chǔ)中
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年技術(shù)轉(zhuǎn)讓合同(含技術(shù)支持)
- 《瑤族《盤王大歌》手抄本研究》
- 《BE襪業(yè)公司應(yīng)收賬款管理優(yōu)化研究》
- 《基于古今醫(yī)案數(shù)據(jù)分析的肺癰證治規(guī)律研究》
- 《SIP協(xié)議性能測(cè)試工具SIPGen的設(shè)計(jì)與實(shí)現(xiàn)》
- 《熔融法制備Fe@C催化劑及其費(fèi)托合成反應(yīng)性能研究》
- 《中老年女性精細(xì)動(dòng)作能力變化特點(diǎn)及外周機(jī)制的研究》
- 2024年搬廠物流全程服務(wù)合同
- 2024年建筑項(xiàng)目安裝合作合同
- 2024年技術(shù)合作合同:人工智能聯(lián)合研發(fā)
- 原發(fā)性骨髓纖維化課件
- 消防工程施工驗(yàn)收單樣板
- 中央空調(diào)人員培訓(xùn)內(nèi)容表
- 發(fā)現(xiàn)生活中的美-完整版PPT
- 小學(xué)道德與法治人教三年級(jí)上冊(cè)第三單元安全護(hù)我成長-《遭遇陌生人》教案
- CAMDS操作方法及使用技巧
- 平狄克《微觀經(jīng)濟(jì)學(xué)》(第8版)筆記和課后習(xí)題詳解
- 最優(yōu)化理論與算法課程教學(xué)大綱
- 2022年湖北省武漢市江岸區(qū)育才第二小學(xué)六上期中數(shù)學(xué)試卷
- (最新版)中小學(xué)思政課一體化建設(shè)實(shí)施方案三篇
- PSA提氫裝置操作規(guī)程
評(píng)論
0/150
提交評(píng)論