高校數(shù)據(jù)中心基礎(chǔ)設(shè)施云建設(shè)研究

高校數(shù)據(jù)中心基礎(chǔ)設(shè)施云建設(shè)研究

云計(jì)算是一種基于互聯(lián)網(wǎng)的超級(jí)計(jì)算模式。這是基于分布計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展的?；驹瓌t是使用非本地或遠(yuǎn)程服務(wù)器（集群）的分布式計(jì)算機(jī)為互聯(lián)網(wǎng)用戶提供服務(wù)（計(jì)算、存儲(chǔ)、硬件和其他服務(wù)）。近年來(lái)，如何在大學(xué)建立私云信息服務(wù)，以及教師和學(xué)生之間的服務(wù)，成為一個(gè)非常受歡迎的話題。其中，基礎(chǔ)設(shè)施云在大學(xué)建設(shè)中的應(yīng)用越來(lái)越廣泛。1云基礎(chǔ)設(shè)施的內(nèi)容和建設(shè)思路1.1資源池建設(shè)基礎(chǔ)設(shè)施云的核心理念是將基礎(chǔ)設(shè)施中的相關(guān)資源組成資源池,利用資源池實(shí)現(xiàn)資源的動(dòng)態(tài)調(diào)配,從而實(shí)現(xiàn)資源的快速部署.從現(xiàn)階段來(lái)看,在數(shù)據(jù)中心基礎(chǔ)設(shè)施云的私有云建設(shè)中,資源池主要包含了兩個(gè)方面:計(jì)算資源池與存儲(chǔ)資源池.計(jì)算資源池主要依賴虛擬化技術(shù),將物理機(jī)通過(guò)虛擬化技術(shù)進(jìn)行計(jì)算能力的拆分,實(shí)現(xiàn)計(jì)算能力的靈活調(diào)配.存儲(chǔ)資源池主要依靠建立統(tǒng)一的、廉價(jià)的、海量的、可靠的存儲(chǔ)系統(tǒng)為用戶提供存儲(chǔ)服務(wù).在基礎(chǔ)設(shè)施云建設(shè)中,一般需要建立用戶的自服務(wù)系統(tǒng),用戶可以通過(guò)自服務(wù)系統(tǒng)申請(qǐng)相關(guān)的資源,可以通過(guò)自服務(wù)系統(tǒng)自行創(chuàng)建和銷(xiāo)毀計(jì)算資源(操作系統(tǒng)).計(jì)算資源和存儲(chǔ)資源的使用情況可以進(jìn)行較為精確的統(tǒng)計(jì),從而實(shí)現(xiàn)按需或按使用量進(jìn)行計(jì)費(fèi).1.2底層系統(tǒng)建設(shè)在基礎(chǔ)設(shè)施云的調(diào)研和測(cè)試過(guò)程中發(fā)現(xiàn),雖然私有云的建設(shè)方法和產(chǎn)品多種多樣,但是從起源上看基礎(chǔ)設(shè)施云可以分為兩種:為企業(yè)信息系統(tǒng)設(shè)計(jì)的云計(jì)算產(chǎn)品和為互聯(lián)網(wǎng)行業(yè)應(yīng)用設(shè)計(jì)的云計(jì)算產(chǎn)品.為企業(yè)信息系統(tǒng)設(shè)計(jì)的產(chǎn)品更多地考慮了企業(yè)應(yīng)用系統(tǒng)業(yè)務(wù)復(fù)雜、修改困難、可用性要求高,但應(yīng)用程序本身的高可用支持有限;互聯(lián)網(wǎng)行業(yè)應(yīng)用可用性一般由應(yīng)用系統(tǒng)實(shí)現(xiàn),底層系統(tǒng)無(wú)需過(guò)多高可用性要求.私有云的建設(shè)思路一般有兩種:高可用虛擬機(jī)模式和云計(jì)算模式.高可用虛擬機(jī)模式是在建設(shè)私有云過(guò)程中使用支持高可用的虛擬化軟件,使用集中式存儲(chǔ)統(tǒng)一存儲(chǔ)虛擬機(jī)的模式.云計(jì)算模式在建設(shè)私有云過(guò)程中,虛擬機(jī)及相關(guān)的存儲(chǔ)本身并不需要支持高可用,而是采用分布在多個(gè)計(jì)算節(jié)點(diǎn)的多臺(tái)虛擬機(jī)實(shí)現(xiàn)高可靠和性能的擴(kuò)充的模式.這兩種模式實(shí)現(xiàn)的基礎(chǔ)設(shè)施云功能有一定差別,支持的應(yīng)用也不相同,達(dá)到的效果也不完全相同.從表1中可以看出,這兩種模式的主要區(qū)別在于可用性與橫向擴(kuò)展性的考慮有所不同.在高可用虛擬機(jī)模式中,由于虛擬機(jī)內(nèi)存儲(chǔ)業(yè)務(wù)數(shù)據(jù),因此虛擬機(jī)需要較高的穩(wěn)定性,一旦虛擬機(jī)出現(xiàn)問(wèn)題則可能導(dǎo)致業(yè)務(wù)中斷,因此虛擬機(jī)支持備份及高可用.而在云計(jì)算模式中,數(shù)據(jù)并不存儲(chǔ)在虛擬機(jī)中,而是存儲(chǔ)在專(zhuān)門(mén)的存儲(chǔ)系統(tǒng)中,虛擬機(jī)本身無(wú)需高可用,當(dāng)業(yè)務(wù)需要高連續(xù)性時(shí)可以采用多臺(tái)虛擬機(jī)分布在不同的物理服務(wù)器上,同時(shí)為用戶提供服務(wù)來(lái)實(shí)現(xiàn).但是云計(jì)算模式中,傳統(tǒng)應(yīng)用系統(tǒng)將數(shù)據(jù)寫(xiě)入服務(wù)器本地磁盤(pán)的模式必須進(jìn)行改變,否則無(wú)法實(shí)現(xiàn)較好的橫向擴(kuò)展和高可用性.1.3云計(jì)算模式下的存儲(chǔ)能力提升技術(shù)高可用虛擬機(jī)模式現(xiàn)階段比較成熟,Vmware,Citrix等公司都有比較成熟的解決方案,因此這里主要討論有關(guān)云計(jì)算模式的相關(guān)內(nèi)容.在云計(jì)算模式下,計(jì)算資源和存儲(chǔ)資源總體上追求的是在保證一定性能和功能的前提下,通過(guò)水平擴(kuò)展實(shí)現(xiàn)計(jì)算和存儲(chǔ)能力的提升.在云計(jì)算模式下,計(jì)算資源可靠性可以通過(guò)將計(jì)算需求分布在多個(gè)節(jié)點(diǎn)上,通過(guò)多個(gè)節(jié)點(diǎn)的冗余實(shí)現(xiàn)計(jì)算資源的冗余.由于需要實(shí)現(xiàn)水平擴(kuò)展,計(jì)算資源在此種模式下希望是無(wú)狀態(tài)的,也就是說(shuō)計(jì)算節(jié)點(diǎn)內(nèi)不應(yīng)存儲(chǔ)系統(tǒng)的狀態(tài)和相關(guān)的數(shù)據(jù),在此種架構(gòu)下,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)由于其更強(qiáng)調(diào)事務(wù)和一致性,因此成為主要詬病的對(duì)象.在云計(jì)算模式下,存儲(chǔ)資源一般不采用廠商的高端集中存儲(chǔ),而是采用多臺(tái)存儲(chǔ)服務(wù)器實(shí)現(xiàn).在存儲(chǔ)需要擴(kuò)容時(shí)可以通過(guò)增加存儲(chǔ)服務(wù)器的方式實(shí)現(xiàn)擴(kuò)容.為了保證數(shù)據(jù)的可靠性,一般采用將數(shù)據(jù)存儲(chǔ)在3臺(tái)存儲(chǔ)服務(wù)器上的方式實(shí)現(xiàn)傳統(tǒng)RAID的功能.由于在云計(jì)算模式下,業(yè)務(wù)要求有大量的數(shù)據(jù)(數(shù)量多、容量要求大)進(jìn)行存儲(chǔ),因此在此模式下,應(yīng)盡量采用無(wú)中心架構(gòu)的存儲(chǔ)方案.2數(shù)據(jù)中心云計(jì)算軟件選型云計(jì)算及相關(guān)的技術(shù)最初主要是從Goolge、亞馬遜等互聯(lián)網(wǎng)公司發(fā)展起來(lái)的,因此將這些技術(shù)直接引入高校數(shù)據(jù)中心中就存在很多問(wèn)題.經(jīng)過(guò)我們分析,高校數(shù)據(jù)中心有如下特點(diǎn):①應(yīng)用負(fù)載相對(duì)較小:由于用戶量有限,因此應(yīng)用的負(fù)載相對(duì)比較小;②伸縮需求較高:由于應(yīng)用的高峰時(shí)點(diǎn)不同,因此應(yīng)用的性能彈性比較大;③應(yīng)用升級(jí)相對(duì)頻繁:由于我國(guó)高校正處于管理體制的變革時(shí)期,因此管理制度變化較大,導(dǎo)致信息系統(tǒng)隨管理制度進(jìn)行升級(jí),導(dǎo)致升級(jí)需求較為頻繁;④高校數(shù)據(jù)中心管理的設(shè)備數(shù)量比較有限;⑤教學(xué)過(guò)程和科研過(guò)程支撐逐步增加:原有信息系統(tǒng)主要是對(duì)教學(xué)和科研的管理進(jìn)行支撐,隨著信息化發(fā)展,信息系統(tǒng)對(duì)教學(xué)和科研過(guò)程的支撐越來(lái)越多.這種支撐一般是課題組使用資源,但資源要求不固定,且資源使用有很強(qiáng)的周期性.根據(jù)現(xiàn)階段云技術(shù)的情況以及高校數(shù)據(jù)中心的特點(diǎn),我們認(rèn)為,在高校數(shù)據(jù)中心中應(yīng)該采用高可用虛擬機(jī)和云計(jì)算混合模式.采用高可用虛擬機(jī)模式,使用少量高性能服務(wù)器、商用集中存儲(chǔ)支撐傳統(tǒng)信息系統(tǒng)業(yè)務(wù),提高基礎(chǔ)設(shè)施靈活性,降低資源消耗;采用云計(jì)算模式,支持教學(xué)、科研過(guò)程,支持新型互聯(lián)網(wǎng)類(lèi)應(yīng)用,實(shí)現(xiàn)自服務(wù)和較大規(guī)模擴(kuò)展.3實(shí)踐與經(jīng)驗(yàn)3.1高可用虛擬機(jī)環(huán)境建設(shè)清華大學(xué)數(shù)據(jù)中心從2007年開(kāi)始在生產(chǎn)環(huán)境實(shí)施虛擬化,在2010年底實(shí)施了虛擬化平臺(tái)的整合工作,現(xiàn)階段數(shù)據(jù)中心共有260多臺(tái)虛擬機(jī),其中運(yùn)行環(huán)境采用3臺(tái)物理服務(wù)器,其上運(yùn)行著100多臺(tái)虛擬機(jī).一卡通系統(tǒng)、經(jīng)管學(xué)院ERP系統(tǒng)、應(yīng)用容災(zāi)除數(shù)據(jù)庫(kù)外全部使用虛擬機(jī).在建設(shè)高可用虛擬機(jī)環(huán)境時(shí),我們以無(wú)特殊外設(shè)要求、內(nèi)存和IO壓力不高為原則,將數(shù)據(jù)中心中服務(wù)器實(shí)施虛擬化.經(jīng)過(guò)近2年運(yùn)行,整體上看,運(yùn)行狀態(tài)良好,CPU使用率不超過(guò)30%,內(nèi)存使用率60%,整合比超過(guò)1∶40,高可用虛擬機(jī)架構(gòu)如圖1所示.在集中存儲(chǔ)建設(shè)上,除了采用商用存儲(chǔ)外,數(shù)據(jù)中心引入了分布式文件系統(tǒng)MooseFS建立廉價(jià)的存儲(chǔ)池,除使用MooseFS的專(zhuān)用協(xié)議外,還實(shí)現(xiàn)了CIFS、NFS和iSCSI接入.存儲(chǔ)池裸容量66TB,共3臺(tái)服務(wù)器,已經(jīng)使用27TB,按照數(shù)據(jù)級(jí)別設(shè)置不同的保留份數(shù),主要存放了歸檔、備份和視頻數(shù)據(jù).3.2基于fpga的對(duì)象存儲(chǔ)云計(jì)算模式屬于比較新的計(jì)算架構(gòu),數(shù)據(jù)中心也在不斷進(jìn)行研究和測(cè)試.在數(shù)據(jù)中心中,使用Openstack項(xiàng)目中的Swift存儲(chǔ),構(gòu)建了無(wú)中心的、支持大規(guī)模擴(kuò)展和使用的對(duì)象存儲(chǔ).此對(duì)象存儲(chǔ)支持SwiftAPI和亞馬遜的S3API,與數(shù)據(jù)中心中的知識(shí)管理和網(wǎng)盤(pán)實(shí)現(xiàn)了對(duì)接.現(xiàn)在此存儲(chǔ)共有3臺(tái)服務(wù)器,每臺(tái)裸容量8TB,數(shù)據(jù)保留3份.為了保證性能和可靠性,前端采用數(shù)據(jù)中心原有的負(fù)載均衡設(shè)備實(shí)現(xiàn)負(fù)載均衡.Swift的整體架構(gòu)如圖2所示.3.3數(shù)據(jù)中心建設(shè)基礎(chǔ)設(shè)施云環(huán)境建設(shè)過(guò)程中,除了基本的硬件設(shè)施及管理軟件外,日常管理及相關(guān)的工具也是必不可少的內(nèi)容.數(shù)據(jù)中心主要圍繞著自動(dòng)化和標(biāo)準(zhǔn)化進(jìn)行了建設(shè).在自動(dòng)化方面,數(shù)據(jù)中心建設(shè)了自動(dòng)監(jiān)控平臺(tái)、自動(dòng)服務(wù)器安裝平臺(tái).在標(biāo)準(zhǔn)化方面實(shí)現(xiàn)了標(biāo)準(zhǔn)的服務(wù)器配置模版、標(biāo)準(zhǔn)的平臺(tái)型運(yùn)行環(huán)境.數(shù)據(jù)中心還使用了基于ITIL的運(yùn)維管理系統(tǒng),在運(yùn)維管理系統(tǒng)中對(duì)軟硬件環(huán)境配置進(jìn)行記錄并實(shí)施了實(shí)踐、變更、問(wèn)題、日常巡檢等流程.4推廣階段:云計(jì)算模式到創(chuàng)基礎(chǔ)設(shè)施云是高校數(shù)據(jù)中心后期的發(fā)展方