智慧交通云計算中心解決方案_第1頁
智慧交通云計算中心解決方案_第2頁
智慧交通云計算中心解決方案_第3頁
智慧交通云計算中心解決方案_第4頁
智慧交通云計算中心解決方案_第5頁
已閱讀5頁,還剩67頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)

文檔簡介

大連市智慧交通云計算中心解決方案

目錄智慧交通云計算中心總體設(shè)計...........................................................1.1總體設(shè)計方案.......................................................................................11。1。1設(shè)計原則......................................................................................11。1.2支撐平臺技術(shù)架構(gòu)設(shè)計...........................................................................21。1.3支撐平臺網(wǎng)絡(luò)拓?fù)湓O(shè)計...........................................................................21。1.4通過云操作系統(tǒng)實現(xiàn)云計算中心運營管理..........................................................31。1。5層次清晰的云計算中心部署架構(gòu)設(shè)計..............................................................41。2項目技術(shù)路線.......................................................................................41。2.1X86系統(tǒng)架構(gòu)...................................................................................41.2。2資源池化.......................................................................................61。2.3彈性擴展.......................................................................................81。2。4智能化云管理.................................................................................91。2。5充分考慮利舊.................................................................................92。云計算建設(shè)方案.......................................................................102.1網(wǎng)絡(luò)子系統(tǒng)建設(shè)......................................................................................102.2計算資源池建設(shè)......................................................................................112.2。1計算資源池定位.................................................................................112.2。2X86虛擬化實現(xiàn).................................................................................162.2。3計算資源池總體設(shè)計............................................................................202。2.4計算資源池建設(shè)方案............................................................................242。2。5選型建議......................................................................................252。3存儲資源池建設(shè).....................................................................................262.3.1數(shù)據(jù)類型分析.....................................................................................262.3。2存儲網(wǎng)絡(luò)設(shè)計..................................................................................272.3.3統(tǒng)一存儲平臺設(shè)計................................................................................302.4數(shù)據(jù)庫子系統(tǒng)建設(shè).....................................................................................362。4.1構(gòu)建高性能集群數(shù)據(jù)庫系統(tǒng)......................................................................362.4.2集群數(shù)據(jù)庫建設(shè)方案...............................................................................372.5云計算資源管理平臺建設(shè)...............................................................................382.6云平臺安全體系建設(shè).................................................................................392。6。1安全技術(shù)體系設(shè)計.............................................................................402。6.2安全管理體系設(shè)計...............................................................................402.7云平臺災(zāi)備子系統(tǒng)建設(shè)................................................................................402.7.1本地數(shù)據(jù)備份....................................................................................402。7.2異地數(shù)據(jù)級容災(zāi)................................................................................412。8機房子系統(tǒng)........................................................................................412。8.1機房基礎(chǔ)設(shè)施建設(shè)方案..........................................................................412。8.2總述...........................................................................................442.8.3主設(shè)備配置清單.................................................................................462.8.4機房整體規(guī)劃.....................................................................................472。8.5空調(diào)系統(tǒng).......................................................................................492。8。6機柜微環(huán)境系統(tǒng)................................................................................522.8。7電氣系統(tǒng)設(shè)計..................................................................................552。8。8裝修系統(tǒng)設(shè)計.................................................................................622。8。9安防系統(tǒng)設(shè)計.................................................................................642.8。10消防系統(tǒng)設(shè)計..................................................................................67

1.智慧交通云計算中心總體設(shè)計1.1總體設(shè)計方案1.1.1設(shè)計原則先進性智慧交通云計算中心的建設(shè)采用業(yè)界主流的云計算理念,廣泛采用虛擬化、分布式存儲、分布式計算等先進技術(shù)與應(yīng)用模式,并與電子政務(wù)業(yè)務(wù)相結(jié)合,確保先進技術(shù)與模式應(yīng)用的有效與適用??蓴U展性政務(wù)云計算中心的計算、存儲、網(wǎng)絡(luò)等基礎(chǔ)資源需要根據(jù)業(yè)務(wù)應(yīng)用工作負(fù)荷的需求進行伸縮。在系統(tǒng)進行容量擴展時,只需增加相應(yīng)數(shù)量的硬件設(shè)備,并在其上部署、配置相應(yīng)的資源調(diào)度管理軟件和業(yè)務(wù)應(yīng)用軟件,即可實現(xiàn)系統(tǒng)擴展.成熟性智慧交通云計算中心建設(shè),要考慮采用成熟各種技術(shù)手段,實現(xiàn)各種功能,保證云計算中心的良好運行,滿足業(yè)務(wù)需要.開放性與兼容性智慧交通云計算中心采用開放性架構(gòu)體系,能夠兼容業(yè)界通用的設(shè)備及主流的操作系統(tǒng)、虛擬化軟件、應(yīng)用程序,從而使得政務(wù)云計算中心大大降低開發(fā)、運營、維護等成本。可靠性智慧交通云計算中心需提供可靠的計算、存儲、網(wǎng)絡(luò)等資源。系統(tǒng)需要在硬件、網(wǎng)絡(luò)、軟件等方面考慮適當(dāng)冗余,避免單點故障,保證政務(wù)云計算中心可靠運行。安全性智慧交通云計算中心與省政務(wù)外網(wǎng)、區(qū)縣政務(wù)外網(wǎng)及互聯(lián)網(wǎng)分別連接,必須防范網(wǎng)絡(luò)入侵攻擊、病毒感染;同時,政務(wù)云計算中心的資源共享給不同的系統(tǒng)使用,必須保證它們之間不會發(fā)生數(shù)據(jù)泄漏。因此,政務(wù)云計算中心應(yīng)該在各個層面進行完善的安全防護,確保信息的安全和私密性。多業(yè)務(wù)性智慧交通云計算中心的規(guī)劃設(shè)計中,充分考慮了需要支撐多用戶、多業(yè)務(wù)的特征,保證基礎(chǔ)資源在不同的應(yīng)用和用戶間根據(jù)需求自動動態(tài)調(diào)度的同時,使得不同的業(yè)務(wù)能夠彼此隔離,保證多種業(yè)務(wù)的同時良好運行.自主可控智慧交通云計算中心的建設(shè)在產(chǎn)品選型中,優(yōu)先選擇自主可控的軟硬件產(chǎn)品,一方面保證整個云計算中心的安全,另一方面也能夠促進本地信息化產(chǎn)業(yè)鏈的發(fā)展。1.1.2支撐平臺技術(shù)架構(gòu)設(shè)計圖支撐平臺技術(shù)架構(gòu)支撐平臺總體技術(shù)架構(gòu)設(shè)計如上,整個架構(gòu)從下往上包括云計算基礎(chǔ)設(shè)施層、云計算平臺資源層、云計算業(yè)務(wù)數(shù)據(jù)層、云計算管理層和云計算服務(wù)層。其中:云計算基礎(chǔ)設(shè)施層:主要包括云計算中心的物理機房環(huán)境;云計算平臺資源層:在云計算中心安全的物理環(huán)境基礎(chǔ)上,采用虛擬化、分布式存儲等云計算技術(shù),實現(xiàn)服務(wù)器、網(wǎng)絡(luò)、存儲的虛擬化,構(gòu)建計算資源池、存儲資源池和網(wǎng)絡(luò)資源池,實現(xiàn)基礎(chǔ)設(shè)施即服務(wù)。云計算業(yè)務(wù)數(shù)據(jù)層:主要為實現(xiàn)業(yè)務(wù)數(shù)據(jù)的安全存儲,同時針對云平臺的各個虛擬機鏡像數(shù)據(jù)和模板數(shù)據(jù)進行共享存儲,支持虛擬機的動態(tài)遷移和數(shù)據(jù)的遷移;實現(xiàn)部門間數(shù)據(jù)共享與交換;實現(xiàn)業(yè)務(wù)應(yīng)用接入.云計算管理層:通過自主可控的云計算操作系統(tǒng),實現(xiàn)云計算中心的服務(wù)管理及業(yè)務(wù)管理的協(xié)調(diào)統(tǒng)一,提高運維及運營的效率.云計算服務(wù)層:是云計算中心與最終用于交互的接口和平臺,通過該平臺能夠?qū)崿F(xiàn)云計算中心統(tǒng)一對外提供服務(wù),為客戶人員提供整體的云應(yīng)用和服務(wù).支撐平臺通過統(tǒng)一的云服務(wù)平臺對外提供服務(wù)。1.1.3支撐平臺網(wǎng)絡(luò)拓?fù)湓O(shè)計圖云計算中心拓?fù)浼軜?gòu)圖支撐平臺建設(shè)基于以物理分區(qū)為基本單元的設(shè)計理念,整個云計算中心可分為:核心交換區(qū)、管理區(qū)、DMZ區(qū)、業(yè)務(wù)應(yīng)用區(qū)以及云存儲區(qū).其中:核心交換區(qū):負(fù)責(zé)核心網(wǎng)絡(luò)交換;管理區(qū):對云計算平臺進行整體管理,單獨建設(shè)一套管理網(wǎng)絡(luò);DMZ區(qū):考慮云計算中心整體安全性,設(shè)置專門的DMZ區(qū),承載各業(yè)務(wù)部門的業(yè)務(wù)應(yīng)用系統(tǒng)的WEB發(fā)布,同時支撐云計算中心互聯(lián)網(wǎng)的接入,該區(qū)可采用全虛擬機進行支撐或者采用虛擬機和物理服務(wù)器共同支撐;業(yè)務(wù)應(yīng)用區(qū)包括兩部分:數(shù)據(jù)庫邏輯分區(qū)和應(yīng)用系統(tǒng)邏輯分區(qū)。其中:數(shù)據(jù)庫邏輯分區(qū)用高端八路物理機支撐;應(yīng)用系統(tǒng)邏輯分區(qū)采用虛擬化和物理服務(wù)器支撐,根據(jù)具體的業(yè)務(wù)應(yīng)用特點決定支撐平臺選用虛擬機還是物理服務(wù)器.數(shù)據(jù)庫分區(qū):主要建設(shè)支撐各應(yīng)用系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫,考慮到數(shù)據(jù)庫數(shù)據(jù)量的龐大和系統(tǒng)對數(shù)據(jù)的訪問I/O吞吐,該區(qū)建議采用高端物理機進行支撐;業(yè)務(wù)應(yīng)用邏輯分區(qū):主要根據(jù)業(yè)務(wù)部門的不同業(yè)務(wù)需求及業(yè)務(wù)部門對平臺安全級別要求的不同,采用虛擬機和物理服務(wù)器共同支撐。未來,隨著云計算中心業(yè)務(wù)量的增加和復(fù)雜度的增加,可以按照相同的架構(gòu)進行節(jié)點的擴展,達(dá)到整個云計算平臺的可擴展性和很好的伸縮性。1.1.4通過云操作系統(tǒng)實現(xiàn)云計算中心運營管理圖云計算中心邏輯架構(gòu)圖整個云計算中心設(shè)計采用業(yè)務(wù)區(qū)域的理念.業(yè)務(wù)區(qū)域(即以服務(wù)器集群為核心的物理資源區(qū)域,不同的業(yè)務(wù)區(qū)域設(shè)備配置可以不同)是系統(tǒng)的基本硬件組成單元,整個系統(tǒng)共包括若干個業(yè)務(wù)區(qū)域.系統(tǒng)規(guī)模的擴大可以通過增加業(yè)務(wù)區(qū)域方式,使得整個系統(tǒng)具有很好的可擴展性。業(yè)務(wù)區(qū)域的業(yè)務(wù)網(wǎng)絡(luò)交換機通過萬兆方式上聯(lián)到核心交換區(qū),通過核心交換區(qū)與其他業(yè)務(wù)區(qū)域和域外系統(tǒng)互聯(lián)。在每個業(yè)務(wù)區(qū)域內(nèi),通過云資源管理平臺的云計算運營中心節(jié)點實現(xiàn)在X86業(yè)務(wù)節(jié)點上部署Hypervisor,并形成一個或多個獨立的邏輯資源池,提供給應(yīng)用使用;通過云計算虛擬化管理中心在邏輯資源池內(nèi)可實現(xiàn)資源的共享和動態(tài)分配。每個業(yè)務(wù)區(qū)域包括:云計算虛擬化管理中心節(jié)點、業(yè)務(wù)節(jié)點、業(yè)務(wù)網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、心跳網(wǎng)絡(luò)、本地鏡像存儲;業(yè)務(wù)區(qū)域根據(jù)各自的業(yè)務(wù)需要訪問FC存儲或并行存儲等業(yè)務(wù)數(shù)據(jù)存儲區(qū)域。云計算平臺配置多臺云計算服務(wù)門戶節(jié)點,為最終用戶的系統(tǒng)管理員提供自助門戶服務(wù)。采用以上設(shè)計理念,使得整個系統(tǒng)具有超高的可擴展性,可使整個系統(tǒng)擴展到上千臺物理服務(wù)器規(guī)模。1.1.5層次清晰的云計算中心部署架構(gòu)設(shè)計圖云計算中心部署架構(gòu)圖依據(jù)云計算中心建設(shè)的總體需求,勾畫整個項目的部署架構(gòu),指導(dǎo)項目整體建設(shè)。云計算中心部署主要包括幾個層面:計算資源池的構(gòu)建、業(yè)務(wù)數(shù)據(jù)的分區(qū)規(guī)劃、共享存儲的設(shè)計等。從整個部署架構(gòu)來看:計算資源池的構(gòu)建主要采用高端多核心X86服務(wù)器作為服務(wù)器基礎(chǔ)支撐,通過虛擬化技術(shù)實現(xiàn)底層物理資源的虛擬化,通過云資源管理平臺進行虛擬機的創(chuàng)建、動態(tài)分配、遷移及管理,形成統(tǒng)一的計算資源池。考慮到云計算的安全性、可靠性及重要性,在本方案中數(shù)據(jù)庫分區(qū)采用物理機支撐,以夠保證整個數(shù)據(jù)庫的穩(wěn)定、高I/O吞吐和訪問,主要通過高端X86高性能服務(wù)器通過集群技術(shù)進行部署,支撐相關(guān)業(yè)務(wù)數(shù)據(jù)的存儲和管理。共享存儲設(shè)計的存儲數(shù)據(jù)主要包括重要業(yè)務(wù)數(shù)據(jù)和虛擬機鏡像數(shù)據(jù),其中:重要業(yè)務(wù)數(shù)據(jù)主要通過Oracle/DB2/SQLServer/MySQL等數(shù)據(jù)庫進行數(shù)據(jù)管理,結(jié)構(gòu)化數(shù)據(jù)存儲利用高端私有云存儲設(shè)備來支撐,在未來需要對存儲容量進行擴展時可方便的橫向縱向擴展;虛擬機鏡像數(shù)據(jù)主要存放在共享存儲部分,通過共享存儲設(shè)備來支撐虛擬機鏡像數(shù)據(jù)的存放,共享存儲建議使用并行存儲系統(tǒng)來支撐.1.2項目技術(shù)路線本項目建設(shè)云計算中心的基本技術(shù)路線主要包括:X86系統(tǒng)架構(gòu)、資源池化、彈性擴展、智能化云管理以及充分考慮利舊.1.2.1X86系統(tǒng)架構(gòu)基于X86平臺的服務(wù)器使用IntelXeon或者AMDOpteron作為處理器,也就是通常所說的PC服務(wù)器.近年來,IntelXeon和AMDOpteron的性能獲得巨大的提高,大量的先進技術(shù)和工藝先后被Intel/AMD引人其處理器的設(shè)計和制造中,比如,64位計算、直連結(jié)構(gòu)、內(nèi)嵌內(nèi)存控制器、多核(目前,IntelXeon最多可以做到10核;AMDOpteron可以做到16核)、硬件輔助虛擬化技術(shù)(IntelVT、AMD-V)、32nm等等。在國際權(quán)威測試機構(gòu)TPC組織發(fā)布的結(jié)果中,采用X86架構(gòu)服務(wù)器價格/性能比最佳.X86服務(wù)器主要優(yōu)勢表現(xiàn)在界面友好,系統(tǒng)安裝、網(wǎng)絡(luò)裝置、客戶機設(shè)置簡易,設(shè)置、管理系統(tǒng)直觀、方便,系統(tǒng)擴展靈活等優(yōu)點,對構(gòu)建大型應(yīng)用集群具有較好的優(yōu)勢。同時,基于X86架構(gòu)的服務(wù)器因為其開放的架構(gòu),開放的生態(tài)系統(tǒng),使其具有較低的運維成本,這也是傳統(tǒng)小型機等封閉系統(tǒng)所不能比擬的。此外,從可靠性的角度,在云計算環(huán)境下,通常大量采用虛擬化、分布式、并行計算等模式,有力的保證了計算系統(tǒng)的可靠性。同時,基于X86架構(gòu)的服務(wù)器因為其開放的架構(gòu),開放的生態(tài)系統(tǒng),使其具有較低的運維成本,這也是傳統(tǒng)小型機等封閉系統(tǒng)所不能比擬的.此外,從可靠性的角度,在云計算環(huán)境下,通常大量采用虛擬化、分布式、并行計算等模式,有力的保證了計算系統(tǒng)的可靠性。國內(nèi)外幾大互聯(lián)網(wǎng)巨頭,Google、Amazon、百度、阿里巴巴等,無不大量采用X86架構(gòu)的設(shè)備,支撐海量的互聯(lián)網(wǎng)檢索和訪問.X86架構(gòu)的服務(wù)器已經(jīng)成為構(gòu)建云計算中心虛擬化平臺的最佳選擇。X86服務(wù)器相對于小型機的優(yōu)勢如下表所示:表表X86服務(wù)器與RISC架構(gòu)小型機的區(qū)別特性小型機X86服務(wù)器軟件層操作系統(tǒng)Unix為主Unix、Linux、windows全部支持支持應(yīng)用的數(shù)量較少很多操作數(shù)大小64位32位、64位全部支持可管理性管理成本很高較低是否支持易購買的零部件否是故障排除難度高低是否有國產(chǎn)廠商提供很少很多可靠性是否能夠提供冗余是是性能價格比和可擴展性性能高高價格很高較低可擴展性低高top500中的數(shù)量很少絕大多數(shù)總之,X86服務(wù)器相對于RISC架構(gòu)的小型機其優(yōu)勢如下:性能價格比高X86服務(wù)器目前已經(jīng)成為高性能計算機的發(fā)展方向,世界上top500排行榜的高性能計算機系統(tǒng)絕大多數(shù)是由性價比更好的X86服務(wù)器組成的集群系統(tǒng),小型機系統(tǒng)則很少??蓴U展性好X86服務(wù)器可以通過原有預(yù)留的擴展接口進行無縫的擴展,且相關(guān)擴展接口都是業(yè)界通用的,非專用接口,這是小型機系統(tǒng)所無法做到的.X86服務(wù)器組成的集群系統(tǒng)擴展成本更低,可以實現(xiàn)按需擴展??晒芾硇院肵86服務(wù)器復(fù)雜度小于小型機,通常管理一個X86服務(wù)器組成的集群系統(tǒng)要比管理一個小型機系統(tǒng)要簡單得多,這也同時意味著培養(yǎng)一個小型機的管理人才將耗費大量的費用和支出。維護與升級更容易X86服務(wù)器都是采用了標(biāo)準(zhǔn)的硬件設(shè)備,那就意味著這些設(shè)備可以輕松地拿到,在關(guān)鍵時候客戶即使沒有硬件廠商的提供也可以自行配置出臨時的解決辦法,使用通用的X86架構(gòu)服務(wù)器不會輕易受制于服務(wù)器制造商;然而,小型機的每個配件都是專用的,那就意味著用戶在一些關(guān)鍵的業(yè)務(wù)上需要等待小型機廠商的服務(wù)響應(yīng)時間,受制于小型機設(shè)備制造商,將自己的工作帶向了被動。對應(yīng)用系統(tǒng)的更多的支持小型機系統(tǒng)只能支持相對較少的操作系統(tǒng)和64位軟件,而X86服務(wù)器可以支持大部分主流操作系統(tǒng)并且可以支持同時存在多種操作系統(tǒng),也支持32位和64位的軟件系統(tǒng),在X86服務(wù)器上可運行的軟件是小型機系統(tǒng)的成百上千倍。1.2.2資源池化資源池化就是將計算資源、存儲資源、網(wǎng)絡(luò)資源通過虛擬化技術(shù),將構(gòu)成相應(yīng)資源的眾多物理設(shè)備組合成一個整體,形成相應(yīng)的計算資源池、存儲資源池、網(wǎng)絡(luò)資源池,提供給上層應(yīng)用軟件.資源虛擬化是對上層應(yīng)用屏蔽底層設(shè)備或架構(gòu)的資源封裝手段,是實現(xiàn)云計算資源池化的重要技術(shù)基礎(chǔ)。虛擬化技術(shù)由來已久,所謂虛擬化是相對于物理實體而言的,即將真實存在的物理實體,通過切分或(和)聚合的封裝手段形成新的表現(xiàn)形態(tài).聚合封裝是將多個物理實體通過技術(shù)手段封裝為單一虛擬映像/實例,可用于完成某個業(yè)務(wù)。例如SMP、計算集群(Cluster、負(fù)載均衡集群() LoadBalance)、RAID技術(shù)、虛擬存儲、端口匯聚(porttrunk)、交換機堆疊(stack)等。切分封裝是將單個物理實體通過技術(shù)手段封裝為多個虛擬映像/實例,可用于執(zhí)行不同業(yè)務(wù)。例如主機虛擬化、存儲分區(qū)、虛擬局域網(wǎng)(VLAN)等.其中:SMP、計算集群、負(fù)載均衡、主機虛擬化等屬于計算虛擬化的范疇;存儲分區(qū)、RAID技術(shù)、虛擬存儲等屬于存儲虛擬化的范疇;虛擬局域網(wǎng)(VLAN)、交換機堆疊、端口匯聚等則屬于網(wǎng)絡(luò)虛擬化的范疇.對于虛擬化技術(shù)也可以組合使用,以靈活地滿足各種應(yīng)用環(huán)境。例如:存儲分區(qū)可以是對單個磁盤,也可以是針對RAID磁盤組;虛擬化主機通過負(fù)載均衡又可以實現(xiàn)應(yīng)用單一映像。虛擬化技術(shù)的一個重要結(jié)果是降低IT架構(gòu)中部件之間的依賴關(guān)系,以計算虛擬化為例,集群、主機虛擬化等計算虛擬化技術(shù)實現(xiàn)了應(yīng)用軟件與物理基礎(chǔ)設(shè)施解耦合,這個過程類似與從C/S架構(gòu)到B/S架構(gòu),繼而發(fā)展為多層體系結(jié)構(gòu)的發(fā)展,都是由于原有的體系發(fā)展出現(xiàn)瓶頸或問題而出現(xiàn)的。C/S架構(gòu)到B/S架構(gòu)是通過應(yīng)用計算與客戶端的解耦合,在客戶端與數(shù)據(jù)庫之間增加了webserver這樣的中間層,減少了客戶端和數(shù)據(jù)庫的處理壓力。圖C/S架構(gòu)到B/S架構(gòu)轉(zhuǎn)化圖B/S結(jié)構(gòu)到多層體系結(jié)構(gòu)是通過數(shù)據(jù)處理與webserver的解耦,在webserver之間增加applicationserver,減少了webserver的處理壓力。圖B/S結(jié)構(gòu)到多層體系結(jié)構(gòu)轉(zhuǎn)化圖C/S結(jié)構(gòu)到B/S多層體系結(jié)構(gòu)的發(fā)展,優(yōu)化了應(yīng)用處理的過程,提高了應(yīng)用系統(tǒng)的處理能力,而且也解決了應(yīng)用系統(tǒng)的擴展能力,使大規(guī)模應(yīng)用處理成為可能。云計算平臺的計算虛擬化技術(shù)形式眾多,所要解決的問題也各不相同。例如:集群技術(shù)使得應(yīng)用處理獲得了更大的處理能力;主機虛擬化技術(shù)則是提高服務(wù)器處理能力的利用率。圖集群技術(shù)及主機虛擬技術(shù)優(yōu)勢圖但是從最終的效果而言都是分離了應(yīng)用軟件與物理基礎(chǔ)設(shè)施,解除或弱化了它們之間的耦合,從而也就削弱了各自的技術(shù)發(fā)展所受到的相互限制,拓展了技術(shù)發(fā)展的空間和靈活性.圖傳統(tǒng)數(shù)據(jù)中心向云計算中心遷移示意圖1.2.3彈性擴展云計算中心要實現(xiàn)所提供服務(wù)的質(zhì)量,動態(tài)的資源調(diào)度是必不可少的?,F(xiàn)有數(shù)據(jù)中心的IT基礎(chǔ)架構(gòu)采用固態(tài)配置,靈活性很差,當(dāng)業(yè)務(wù)發(fā)展超出預(yù)期時,無法及時根據(jù)業(yè)務(wù)需求調(diào)整資源供給,難以滿足業(yè)務(wù)快速增長的需求。而且系統(tǒng)資源擴展需要一定的周期,在此過程中,業(yè)務(wù)系統(tǒng)將處于高危運行狀態(tài),造成服務(wù)質(zhì)量下降。而為了應(yīng)用峰值而擴展的資源在正常情況下,將處于低負(fù)荷狀態(tài),造成資源浪費。而云計算中心要避免這樣的情況出現(xiàn),就必須要實現(xiàn)動態(tài)的資源調(diào)度,實現(xiàn)業(yè)務(wù)系統(tǒng)資源配備的按需調(diào)整,結(jié)合管理系統(tǒng)的資源監(jiān)控,根據(jù)業(yè)務(wù)負(fù)載等情況,調(diào)整業(yè)務(wù)資源配給,保障業(yè)務(wù)系統(tǒng)的資源供給,滿足其運行需要,也就保障了業(yè)務(wù)的服務(wù)質(zhì)量。云計算中心弱化了應(yīng)用軟件與底層物理資源依賴關(guān)系,使得物理資源能夠更加靈活地向優(yōu)化系統(tǒng)性能、提高可靠性、提高易用性、提高運維效率等方面發(fā)展,使得動態(tài)資源調(diào)度成為可能,從而為上層的應(yīng)用軟件提供更好的服務(wù)質(zhì)量。而提高底層的計算、存儲、網(wǎng)絡(luò)等物理資源的耦合性,對于解決上述問題具有關(guān)鍵作用。首先通過對計算資源、存儲資源、網(wǎng)絡(luò)資源進行優(yōu)化配給,提高資源能力的耦合性,則可以更好地提高云計算平臺的整體性能。然后智能化地根據(jù)用戶需要封裝、分配資源,形成虛擬應(yīng)用平臺,用戶在簡單地部署自己的應(yīng)用或數(shù)據(jù)后,應(yīng)用系統(tǒng)即可投入使用。利用整合了計算、存儲、網(wǎng)絡(luò)等方面資源的運維專家系統(tǒng),只需基于虛擬應(yīng)用平臺對物理資源的使用分析,即可動態(tài)地對其所用物理資源進行優(yōu)化調(diào)整,以提高用戶應(yīng)用的運行效率和服務(wù)質(zhì)量。在云計算中心,運維人員無需過分關(guān)心上層應(yīng)用的情況,只需基于虛擬應(yīng)用平臺對物理資源的使用分析,進行資源優(yōu)化調(diào)整,保證云計算中心的穩(wěn)定高效即可。圖云計算中心彈性擴展示例圖1.2.4智能化云管理云計算中心具有IaaS、PaaS、SaaS等眾多的服務(wù)模型,提供計算服務(wù)、存儲服務(wù)、乃至整合各種資源的綜合性服務(wù),其資源的構(gòu)成更加復(fù)雜、規(guī)模更加龐大.為了提高易用性和可維護性,各種資源構(gòu)成之間的關(guān)系復(fù)雜。為了保證云計算中心的服務(wù)質(zhì)量,對于眾多用戶資源配給的調(diào)整也要求更精準(zhǔn)的、更及時。這些要求已經(jīng)不是依靠運維人員的能力所能滿足的,需要采用更加智能化的自適應(yīng)運維管理。云計算中心運維管理要適應(yīng)云服務(wù)對資源管理所提出的新需求:緊耦合的資源管理云計算中心采用資源綜合管理,即將系統(tǒng)中的計算、存儲、網(wǎng)絡(luò)等資源視為整體系統(tǒng),實施統(tǒng)一管理,這有利于優(yōu)化整體性能、精確定位問題、是實現(xiàn)動態(tài)資源調(diào)度的重要因素。多維度的資源管理云計算中心的資源具有多種視圖,例如物理資源視圖、虛擬資源視圖、虛擬組織視圖,因此,云管理也應(yīng)該是多維的。1.2.5充分考慮利舊項目建設(shè)應(yīng)充分考慮利舊,建設(shè)新系統(tǒng)并將業(yè)務(wù)系統(tǒng)遷移至新系統(tǒng)之后,先前采購的設(shè)備應(yīng)繼續(xù)利用,避免浪費已有投資。主要包括以下幾個方面:服務(wù)器設(shè)備:經(jīng)過性能和穩(wěn)定性衡量之后,可以用來做對性能要求較低的前置機或者在云計算分區(qū)中添加一個利舊服務(wù)器組成的云區(qū)域,承擔(dān)重要性稍差的業(yè)務(wù)系統(tǒng);存儲設(shè)備:可以用來做容災(zāi),以充實存儲空間;網(wǎng)絡(luò)設(shè)備:經(jīng)過性能和穩(wěn)定性衡量之后,可以用來和新購網(wǎng)絡(luò)設(shè)備一起組成云計算中心的網(wǎng)絡(luò)體系。2.云計算建設(shè)方案2.1網(wǎng)絡(luò)子系統(tǒng)建設(shè)網(wǎng)絡(luò)拓?fù)浞桨敢话阌腥龑咏M網(wǎng)方案和二層組網(wǎng)方案.傳統(tǒng)的網(wǎng)絡(luò)設(shè)計方案中,通常采用三層方案。三層方案將云計算中心基礎(chǔ)網(wǎng)絡(luò)分成核心、匯聚和接入三層架構(gòu)。通常情況下,核心與匯聚之間通過路由技術(shù)進行流量的控制,匯聚層設(shè)備可以部署安全模塊作為業(yè)務(wù)分區(qū)的邊界網(wǎng)關(guān),匯聚層以下普遍采用二層接入,運行STP/MSTP等協(xié)議來降低二層環(huán)路帶來的隱患.三層結(jié)構(gòu)的優(yōu)點在于:網(wǎng)絡(luò)分區(qū)清晰,以匯聚層設(shè)備區(qū)分業(yè)務(wù)部署,易于擴展、管理和維護;匯聚層可以靈活控制縱向網(wǎng)絡(luò)的收斂比,不同性能要求的區(qū)域按照不同的規(guī)劃進行設(shè)計,降低核心設(shè)備的端口壓力;布線方式清晰、靈活,不會出現(xiàn)集中布線帶來的散熱、維護等問題;因接入層設(shè)備采用低端產(chǎn)品,匯聚層設(shè)備可按照收斂比靈活控制成本,整體組網(wǎng)成本相對較低。三層結(jié)構(gòu)的缺點在于:組網(wǎng)結(jié)構(gòu)復(fù)雜,需要部署MSTP和VRRP等冗余協(xié)議;在匯聚層收斂比較大,性能容易出現(xiàn)瓶頸;三層結(jié)構(gòu)在部署時,網(wǎng)關(guān)部署在匯聚層,匯聚層以上采用路由協(xié)議進行流量控制,而路由收斂較慢,路由路徑及節(jié)點增多,管理難度加大;匯聚層以下使用二層,仍然存在出現(xiàn)環(huán)路的風(fēng)險;從整體規(guī)劃上,三層結(jié)構(gòu)較復(fù)雜。隨著信息技術(shù)的不斷發(fā)展,高端交換機的轉(zhuǎn)發(fā)性能和接入密度都在不斷的提高,因此匯聚層高端交換機設(shè)備具備足夠的能力直接提供高密度的千兆接入和萬兆上行能力,從而精簡大量的接入層設(shè)備,使網(wǎng)絡(luò)架構(gòu)趨向于扁平化.在核心與匯聚接入層設(shè)備之間運行二層交換,vlan配置靈活,并可通過新一代交換機虛擬化功能替代傳統(tǒng)的STP/MSTP,通過vlan映射業(yè)務(wù)分區(qū),網(wǎng)絡(luò)結(jié)構(gòu)簡潔、清晰。二層結(jié)構(gòu)的優(yōu)點在于:扁平化組網(wǎng),簡化網(wǎng)絡(luò)拓?fù)?,減少了單點故障和性能瓶頸,易于管理、維護;二層組網(wǎng)均采用高端設(shè)備,能夠搭建一套具備極高轉(zhuǎn)發(fā)性能的云計算中心高端網(wǎng)絡(luò),同時高端設(shè)備的可靠性更高,能夠為云計算中心應(yīng)用保駕護航;新一代高端交換機設(shè)備支持虛擬化技術(shù),能夠消除大量的環(huán)路設(shè)計,消除STP/MSTP等協(xié)議帶來的運維、管理的復(fù)雜性;適合于大規(guī)模、集中部署,且高性能需求較高的云計算中心。根據(jù)云計算服務(wù)器數(shù)量多、擴展速度快、可靠性要求較低、網(wǎng)絡(luò)結(jié)構(gòu)獨立的幾個特點,將服務(wù)器群接入網(wǎng)絡(luò)物理采用二層網(wǎng)絡(luò)設(shè)計,在邏輯上虛擬成一層考慮。根據(jù)二層組網(wǎng)原則,本項目組網(wǎng)邏輯架構(gòu)拓?fù)淙缦聢D所示。圖組網(wǎng)邏輯架構(gòu)拓?fù)?.2計算資源池建設(shè)2.2.1計算資源池定位2.2.1.1計算資源池特性由于云計算中心需要處理前端進來的海量數(shù)據(jù),因此需要大量的計算機節(jié)點。傳統(tǒng)的超級計算中心強調(diào)整體的計算能力,當(dāng)前的互聯(lián)網(wǎng)數(shù)據(jù)中心強調(diào)密度、帶寬等因素.而云計算中心,特別是作為物聯(lián)網(wǎng)后端處理中心的物理網(wǎng)云計算中心需要的是強大的“處理能力”這個,“處理能力”包含了計算能力、傳輸能力,甚至存儲能力。畢竟云計算中心不同于傳統(tǒng)的超級計算中心,不是長時間運行同一個計算程序,而是要同時處理成千上萬個服務(wù)請求,要求響應(yīng)時間很短、對通信帶寬和存儲容量有巨大的需求。因此,云計算中心需要具有高通量特征的計算機系統(tǒng)。其次,對云計算運營者來講,在提供可靠服務(wù)的前提下,通過大量先進技術(shù)降低總體擁有成本是云計算中心基礎(chǔ)架構(gòu)建設(shè)的核心目標(biāo)。因此,構(gòu)建云計算中心的一個重要標(biāo)準(zhǔn)就是利用標(biāo)準(zhǔn)化的、性價比高的通用部件或者產(chǎn)品。因為,只有標(biāo)準(zhǔn)化、商品化的部件才有眾多的采購來源,并因為其開放性,從而具有較低的運營成本。再次,云計算平臺的重要特征之一是實現(xiàn)資源的抽象和封裝、構(gòu)建動態(tài)化、彈性化的計算資源池,而虛擬化技術(shù)和分布式數(shù)據(jù)存儲、分析技術(shù)是實現(xiàn)達(dá)到這一目標(biāo)的重要手段。因此,計算子系統(tǒng)應(yīng)該在虛擬化和分布式數(shù)據(jù)存儲模型兩個方面有較好的解決方案。最后,除了具有通用性、標(biāo)準(zhǔn)化、資源池化等特征之外,計算子系統(tǒng)還應(yīng)該具有易管理、低能耗的特征,從而大大降低云計算中心的能耗、降低運維成本.2.2.1.2主要技術(shù)路線1)計算虛擬化技術(shù)計算虛擬化技術(shù)是實現(xiàn)云計算中心資源池化的關(guān)鍵技術(shù)之一,是實現(xiàn)高可用、彈性擴展云計算平臺的技術(shù)基礎(chǔ)。計算虛擬化是一個抽象層,是對上層應(yīng)用屏蔽底層計算設(shè)備的資源封裝手段,將構(gòu)成計算資源的眾多物理設(shè)備組合成一個整體,形成計算資源池,提供給上層應(yīng)用軟件,從而提供更高的IT資源利用率和靈活性。計算虛擬化技術(shù)將真實存在的物理計算資源,通過切分或(和)聚合的封裝手段形成新的表現(xiàn)形態(tài)。聚合封裝是將多個物理實體通過技術(shù)手段封裝為單一虛擬映像/實例,可用于完成某個業(yè)務(wù)。就計算資源而言,通常采用計算集群(Cluster)、負(fù)載均衡集群(LoadBalance)等。切分封裝是將單個物理實體通過技術(shù)手段封裝為多個虛擬映像/實例,可用于執(zhí)行不同業(yè)務(wù)。通常采用主機虛擬化,如VmwareESX、Xen、MSHyper-V等產(chǎn)品。無論是計算集群(Cluster、負(fù)載均衡集群) (LoadBalance),還是主機虛擬化,都屬于計算資源虛擬化技術(shù),多種虛擬化技術(shù)也可以組合使用,使得計算資源池的使用更加靈活.2)基于X86架構(gòu)的計算平臺云計算中心采用標(biāo)準(zhǔn)的X86架構(gòu)服務(wù)器作為“云"的節(jié)點機?;赬86平臺的服務(wù)器使用IntelXeon或者AMDOpteron作為處理器,也就是通常所說的PC服務(wù)器。X86架構(gòu)的服務(wù)器使用標(biāo)準(zhǔn)化、商業(yè)化的部件,從而成為構(gòu)建大型云計算中心的最佳選擇。近年來,IntelXeon和AMDOpteron的性能獲得巨大的提高,大量的先進技術(shù)和工藝先后被Intel/AMD引人其處理器的設(shè)計和制造中,比如,64位計算、直連結(jié)構(gòu)、內(nèi)嵌內(nèi)存控制器、多核(目前,IntelXeon最多可以做到10核;AMDOpteron可以做到16核)、硬件輔助虛擬化技術(shù)(IntelVT、AMD-V)、32nm制程等等。在國際權(quán)威的測試機構(gòu)TPC組織發(fā)布的結(jié)果中,采用X86架構(gòu)的服務(wù)器價格/性能比最佳.從性能角度,4顆IntelXeon7560的tpmC值就可達(dá)到24顆POWER7的23%。最后,基于X86架構(gòu)的服務(wù)器因為其開放的架構(gòu),開放的生態(tài)系統(tǒng),使其具有較低的運維成本,這也是小型機等封閉系統(tǒng)所不能比擬的。從可靠性的角度,在云計算環(huán)境下,通常大量采用虛擬化、分布式、并行計算等模式,有力的保證了計算系統(tǒng)的可靠性.全球幾大互聯(lián)網(wǎng)巨頭,Google、Amazon、百度、阿里巴巴等,無不大量采用X86架構(gòu)的設(shè)備,支撐海量的互聯(lián)網(wǎng)檢索和訪問。并行計算技術(shù)高性能并行處理技術(shù)主要包括基于共享內(nèi)存的OpenMP和多線程以及基于分布式消息傳遞的MPI,其中MPI技術(shù)可擴展性強、計算效率高,是目前業(yè)界最流行的高性能并行處理技術(shù).MPI和OpenMP等并行處理技術(shù)的能力可以很好的滿足物聯(lián)網(wǎng)計算密集類應(yīng)用的高性能處理需求。圖:并行計算思想:分而治之Map/Reduce分布式計算Hadoop系統(tǒng)是Apache開源組織的一個分布式計算開源框架,在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用,如亞馬遜、Facebook和Yahoo等等。Hadoop設(shè)計了用來在由通用計算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架,利用了分布式文件系統(tǒng)的備份恢復(fù)機制保證了系統(tǒng)的高可靠性,為用戶提供了一個全新的穩(wěn)定的存儲系統(tǒng)和分析系統(tǒng)。其主要部分是模擬Google的GFS和Map/Reduce框架完成的,下圖顯示了Hadoop的體系結(jié)構(gòu),存儲系統(tǒng)是用HDFS實現(xiàn)的,而分析系統(tǒng)使用Map/Reduce實現(xiàn)。Hadoop的工程本身還包括其它子系統(tǒng),如HBase、ZooKeeper等.圖:HADOOP的體系結(jié)構(gòu)5)可重構(gòu)計算技術(shù)根據(jù)摩爾定律,CPU處理能力每18個月翻一倍,過去30年都是按照這個速度在不斷提高。在此過程中解決了一個又一個的技術(shù)難題,如時鐘頻率、超標(biāo)量架構(gòu)、流水線技術(shù)等,使處理能力得到了極大地提高。然而根據(jù)吉爾德定律,在未來25年,主干網(wǎng)的帶寬每6個月增長一倍,換句話說,也可以理解為需要處理的內(nèi)容的增長速度是CPU處理能力的3倍,也就是說在信息處理系統(tǒng)的建設(shè)中,系統(tǒng)規(guī)模將會呈現(xiàn)持續(xù)上升,而不會因為CPU的發(fā)展而有所緩解?;诳芍貥?gòu)計算技術(shù)來實現(xiàn)特殊應(yīng)用的加速是目前主流的方案。云計算技術(shù)在提供傳統(tǒng)計算手段之外,還應(yīng)該針對具體應(yīng)用需求,提供眾核協(xié)處理器、GPU計算和FPGA三種可重構(gòu)計算模式,適應(yīng)不同類型應(yīng)用的需求。例如在網(wǎng)絡(luò)數(shù)據(jù)處理、音視頻信息處理等方面,即可針對應(yīng)用處理要求,選用相應(yīng)的可重構(gòu)計算模式,以提高處理能力,降低系統(tǒng)規(guī)模的過快增長。6)主機虛擬化技術(shù)主機虛擬化技術(shù)是實現(xiàn)資源池化的重要手段之一。近年來,X86架構(gòu)上的主機虛擬化技術(shù)逐漸成熟,涌現(xiàn)出不少技術(shù)和產(chǎn)品,VMwareESX、Xen、微軟Hyper-V就是其中的代表。作為第一個(1998年)將主機虛擬化技術(shù)引入X86平臺的廠商,VMware目前在X86平臺的虛擬化市場上處于領(lǐng)先地位,ESX的最新版本是6.0。作為與ESX相類似(同屬裸金屬架構(gòu))的Hypervisor和ESX的競爭者,Xen和Hyper—V也越來越強大。Xen是劍橋大學(xué)于2005年發(fā)布的一個開源的Hypervisor,已被吸收到Redhat、SuSE、OracleVM中。Xen已經(jīng)于2007年被Citrix收購,但目前仍然作為一個開源項目由Citrix維護,代表著開源社區(qū)的力量。目前,Xen的最新版本是4.0.1,而CitrixXenServer的最新版本是5。6。微軟于2008年發(fā)布了自己的Hypervisor——Hyper—V,目前已經(jīng)更新到Hyper—Vr2版本。2.2.2X86虛擬化實現(xiàn)X86服務(wù)器虛擬化,就是在硬件和操作系統(tǒng)之間引入虛擬化層,如下圖.虛擬化層允許多個操作系統(tǒng)實例同時運行在一臺物理服務(wù)器上,動態(tài)分區(qū)和共享所有可用的物理資源,包括:CPU、內(nèi)存、存儲和I/O設(shè)備。隨著服務(wù)器和臺式機的計算能力急劇增加,虛擬化技術(shù)應(yīng)用廣泛普及,很多用戶已經(jīng)在開發(fā)/測試、服務(wù)器整合、數(shù)據(jù)中心優(yōu)化和業(yè)務(wù)連續(xù)性方面證實了虛擬化的效用。虛擬架構(gòu)已經(jīng)可以將操作系統(tǒng)和應(yīng)用從硬件上分離出來,打包成獨立的、可移動的虛擬機,從來帶來極大的靈活性。例如:可以通過虛擬架構(gòu),讓服務(wù)器24小時*365天運行,避免因為備份或服務(wù)器維護而帶來的停機。對于X86虛擬化,有兩種常見的架構(gòu):寄居架構(gòu)和裸金屬架構(gòu).寄居架構(gòu):將虛擬化層運行在操作系統(tǒng)之上,當(dāng)作一個應(yīng)用來運行,對硬件的支持很廣泛。裸金屬架構(gòu):直接將虛擬化層運行在X86的硬件系統(tǒng)上,可以直接訪問硬件資源,無需通過操作系統(tǒng)實現(xiàn)硬件訪問,因此效率更高。2.2.2.1虛擬化層虛擬化層是運行在虛擬機監(jiān)控器(VMM,VirtualMachineMonitor)上面、負(fù)責(zé)管理所有虛擬機的軟件。如下圖所示,虛擬化層就是Hypervisor(管理程序)直接運行在硬件上,因此,Hypervisor的功能極大地取決于虛擬化架構(gòu)和實現(xiàn)。運行在Hypervisor(管理程序)上的每個VMM進行了硬件抽取,負(fù)責(zé)運行傳統(tǒng)的操作系統(tǒng)。每個VMM必須進行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共享,從而實現(xiàn)系統(tǒng)的虛擬化。圖:HYPERVISOR通過VMM管理虛擬機2.2.2.2CPU虛擬化根據(jù)最初設(shè)計,X86上的操作系統(tǒng)需要直接運行在裸機上,因此默認(rèn)擁有和控制所有的硬件.如下圖所示,X86架構(gòu)提供了四種特權(quán)級別Ring0、1、2和3,通過這四種級別來控制和管理對硬件的訪問。通常,用戶級的應(yīng)用一般運行在Ring3級別,操作系統(tǒng)需要直接訪問內(nèi)存和硬件,需要在Ring0執(zhí)行它的特權(quán)指令。為了虛擬X86架構(gòu),需要在操作系統(tǒng)下面運行虛擬化層,由虛擬化層來創(chuàng)建和管理虛擬機,進行共享資源分配.而有些敏感指令不能很好的進行虛擬化,它們在Ring0以外級別執(zhí)行時,會出現(xiàn)不同的結(jié)果。如何在運行時捕獲和翻譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn),使得X86架構(gòu)虛擬化最初難以實現(xiàn).圖:X86架構(gòu)虛擬化前的特權(quán)級別到目前為止,有三種典型的技術(shù)來解決X86虛擬化的難題:完全虛擬化;操作系統(tǒng)幫助下的虛擬化,即半虛擬化;硬件幫助的虛擬化。2.2.2.2.1完全虛擬化完全虛擬化技術(shù)翻譯核心指令來代替那些不能虛擬化的指令,通過翻譯后的指令直接訪問虛擬硬件.同時,所有用戶級指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能.每個VMM為每個虛擬機提供完整的硬件支持服務(wù),包括虛擬BIOS、虛擬設(shè)備和虛擬內(nèi)存管理。完全虛擬化實現(xiàn)后,客戶操作系統(tǒng)可以通過虛擬化層從物理硬件上完全抽取出來,客戶操作系統(tǒng)感知不到是否發(fā)生虛擬化,完全不需進行修改。完全虛擬化是迄今為止唯一不需硬件或操作系統(tǒng)協(xié)助來進行敏感和特權(quán)指令虛擬化的技術(shù),Hypervisor(管理程序)可以翻譯所有的操作系統(tǒng)特權(quán)指令,并保存在緩存里備用,而用戶級指令完全可以全速直接執(zhí)行。完全虛擬化提供了最好的虛擬機隔離和安全性,簡化了客戶操作系統(tǒng)遷移和移植能力。2.2.2.2.2半虛擬化半虛擬化需要修改操作系統(tǒng)內(nèi)核,替換掉不能虛擬化的指令,通過超級調(diào)用(Hypercall)直接和底層的虛擬化層Hypervisor來通訊,Hypervisor同時也提供了超級調(diào)用接口來滿足其他關(guān)鍵內(nèi)核操作,比如內(nèi)存管理、中斷和時間保持,如下圖所示:圖:操作系統(tǒng)協(xié)助的X86架構(gòu)虛擬化半虛擬化和全虛擬化不同,全虛擬化不需要修改上面的操作系統(tǒng),敏感的操作系統(tǒng)指令可直接處理。半虛擬化的價值在于降低了虛擬化的損耗,基于Xen的虛擬化是半虛擬化的代表,可通過修改Linux的內(nèi)核來實現(xiàn)CPU和內(nèi)存的虛擬化,通過定制的操作系統(tǒng)驅(qū)動來實現(xiàn)I/O的虛擬化。2.2.2.2.3硬件輔助虛擬化硬件廠商面對虛擬化投入了大量的精力來開發(fā)新的特性用以簡化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強包括IntelVirtualizationTechnology(VT-x)和AMD的AMD-V,這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式,可以讓VMM運行在root模式下,而root模式位于Ring0的下面。如下圖所示,特權(quán)和敏感指令自動在Hypervisor上執(zhí)行??蛻舨僮飨到y(tǒng)的狀態(tài)保存在VT-x(VirtualMachineControlStructure,虛擬機控制結(jié)構(gòu))中或AMD-v(VirtualMachineControlBlock,虛擬機控制塊)。支持IntelVT和AMD-V的CPU從2006年開始推向市場。圖:硬件輔助的X86架構(gòu)虛擬化2.2.2.3內(nèi)存虛擬化除了CPU虛擬化,下一個關(guān)鍵是內(nèi)存虛擬化,通過內(nèi)存虛擬化共享物理系統(tǒng)內(nèi)存,動態(tài)分配給虛擬機。虛擬機的內(nèi)存虛擬化很像現(xiàn)在的操作系統(tǒng)支持的虛擬內(nèi)存方式,應(yīng)用程序看到鄰近的內(nèi)存地址空間,這個地址空間無需和下面的物理機器內(nèi)存直接對應(yīng),操作系統(tǒng)保持著虛擬頁到物理頁的映射?,F(xiàn)在所有的X86CPU都包括了一個稱為內(nèi)存管理的模塊MMU(MemoryManagementUnit)和TLB(TranslationLookasideBuffer),通過MMU和TLB來優(yōu)化虛擬內(nèi)存的性能.圖:內(nèi)存虛擬化為了在一臺機器上運行多個虛擬機,需要增加一個新的內(nèi)存虛擬化層,也就是說,必須虛擬MMU來支持客戶操作系統(tǒng).客戶操作系統(tǒng)繼續(xù)控制虛擬地址到客戶內(nèi)存物理地址的映射,但是客戶操作系統(tǒng)不能直接訪問實際機器內(nèi)存.VMM負(fù)責(zé)映射客戶物理內(nèi)存到實際機器內(nèi)存,它通過影子頁表來加速映射。VMM使用TLB硬件來映射虛擬內(nèi)存直接到機器內(nèi)存,從而避免了每次訪問進行兩次翻譯.當(dāng)客戶操作系統(tǒng)更改了虛擬內(nèi)存到物理內(nèi)存的映射表,VMM也會更新影子頁表來啟動直接查詢。MMU虛擬化引入了虛擬化損耗,第二代的硬件輔助虛擬化將支持內(nèi)存的虛擬化輔助,從而大大降低因此而帶來的虛擬化損耗,讓內(nèi)存虛擬化更高效。2.2.2.4設(shè)備和I/O虛擬化最后一個模塊是設(shè)備和I/O虛擬化,也就是如何管理和路由物理設(shè)備和虛擬設(shè)備之間的I/O請求。圖:設(shè)備和I/O虛擬化基于軟件的I/O虛擬化和管理為設(shè)備管理帶來了新的特性和功能,讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例,通過虛擬網(wǎng)卡和交換機可以在一臺物理機上不同虛擬機之間建立虛擬網(wǎng)絡(luò),而這不會在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量;允許多個物理網(wǎng)卡綁定成一個虛擬機網(wǎng)卡,提供了很好的容錯能力,同時保持了同一MAC地址。I/O虛擬化的關(guān)鍵是保持虛擬化優(yōu)勢的同時,盡量降低虛擬化給CPU造成的負(fù)擔(dān)。Hypervisor虛擬化物理硬件,為每臺虛擬機提供一套標(biāo)準(zhǔn)的虛擬設(shè)備,如上圖所示。這些虛擬設(shè)備高效模擬常見的物理硬件,將虛擬機的請求發(fā)送到物理硬件.該硬件標(biāo)準(zhǔn)化的過程也讓虛擬機標(biāo)準(zhǔn)化,讓虛擬機更容易在各種平臺上自由移動,而無需關(guān)心下面實際的物理硬件類型.2.2.3計算資源池總體設(shè)計2.2.3.1設(shè)計原則可靠性云計算中心作為一種公共IT基礎(chǔ)設(shè)施,就如同水和電一樣,成為人們生活的必須,因此,云計算中心能否可靠運轉(zhuǎn)成為云計算中心設(shè)計方案最重要的目標(biāo)。高性能為了滿足高并發(fā)、高吞吐率的訪問,云計算中心的基礎(chǔ)平臺必須有足夠的處理能力.動態(tài)化云計算中心需要負(fù)載多種業(yè)務(wù),而各種業(yè)務(wù)的壓力峰值出現(xiàn)的時機可能不同,因此,云計算中心基礎(chǔ)平臺就需要做到動態(tài)可伸縮,從而保證按需平衡資源供給。可擴展必須保證計算子系統(tǒng)具有高可擴展的能力,從而保護投資,作為分期建設(shè)。自動化實際上,自動化是數(shù)據(jù)中心永恒的追求目標(biāo),更高的自動化意味著更低的運維成本。節(jié)能降耗大型數(shù)據(jù)中心需要大量的電力,計算子系統(tǒng)作為電力消耗的大頭,需要有切實的措施保證節(jié)能.2.2.3.2整體架構(gòu)大連市交通云計算中心通過虛擬化技術(shù),將物理的計算資源虛擬成計算資源池,以支撐上層業(yè)務(wù)應(yīng)用.如下圖所示:圖:計算資源池示意圖如上圖,本項目建設(shè)的計算資源池同樣包括兩部分區(qū)域的計算資源池,一部分是GNC區(qū)計算資源池,另一部分是CEGN區(qū)計算資源池.計算資源池主要由基于X86架構(gòu)的服務(wù)器設(shè)備組成。根據(jù)基礎(chǔ)平臺總體架構(gòu)以及網(wǎng)絡(luò)架構(gòu)設(shè)計中對功能區(qū)的劃分原則,將計算設(shè)備按照需要實現(xiàn)的功能劃分為多個功能分區(qū),支撐不同的上層業(yè)務(wù)應(yīng)用,同時也對應(yīng)不同的安全和管理功能。根據(jù)基礎(chǔ)平臺所承擔(dān)的大連市交通云計算中心應(yīng)用系統(tǒng)的特點和未來3—5年的業(yè)務(wù)規(guī)劃,可以把計算資源池分為數(shù)據(jù)庫區(qū)、大數(shù)據(jù)量系統(tǒng)支撐區(qū)、DMZ區(qū)、業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)、管理區(qū)。每個區(qū)域部署的位置見如上計算資源池示意圖。其中,數(shù)據(jù)庫區(qū)和大數(shù)據(jù)量系統(tǒng)支撐區(qū)用物理機的形式進行支撐.數(shù)據(jù)庫區(qū)因為數(shù)據(jù)庫應(yīng)用對業(yè)務(wù)并發(fā)量以及安全性等的要求,建議使用X86服務(wù)器集群架構(gòu)進行支撐,而且選用8路X86高性能服務(wù)器以支撐。大連市交通云計算中心支撐各委辦局的業(yè)務(wù)應(yīng)用系統(tǒng),交通、社保、醫(yī)療等相關(guān)領(lǐng)域存在若干業(yè)務(wù)壓力較大的應(yīng)用系統(tǒng),這些應(yīng)用系統(tǒng)不適用于通過切分提高資源利用率實現(xiàn)而的虛擬化分區(qū)以支撐,因此這些應(yīng)用系統(tǒng)也要用物理機支撐,同時考慮節(jié)能降耗等因素,考慮用高性能X86刀片服務(wù)器支撐。另外的業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)通過虛擬化技術(shù)以支撐。Hypervisor通過主機虛擬化技術(shù),將物理計算資源進行精細(xì)切分,可以有效提高計算資源的利用率,通常適用于這些業(yè)務(wù)邏輯計算應(yīng)用等。業(yè)務(wù)資源邏輯區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)基于X86架構(gòu)機架式服務(wù)器,通過部署云操作系統(tǒng)的虛擬化管理中心模塊,基于Xen、Vmware等主流虛擬化技術(shù),提供基本的虛擬機管理、監(jiān)控、分配和使用功能,提供資源靜態(tài)分配及動態(tài)調(diào)度管理功能,如下圖所示:圖:虛擬化管理中心管理區(qū)基于雙路X86服務(wù)器進行構(gòu)建,部署具備HA架構(gòu)的云操作系統(tǒng),基于云管理平臺的虛擬組織功能,可以根據(jù)計算資源池上運行的應(yīng)用之間的關(guān)聯(lián)關(guān)系,形成虛擬數(shù)據(jù)中心,為大連市交通各委辦局用戶提供更好的使用體驗.如下圖:圖:云管理平臺2.2.3.3實現(xiàn)功能本項目建設(shè)的云計算中心計算資源池相關(guān)分區(qū)主要可實現(xiàn)如下五方面功能:按需自助服務(wù)大連市交通相關(guān)委辦局用戶可以根據(jù)需要通過云計算服務(wù)門戶自助獲取云計算資源,如服務(wù)器的使用時間和網(wǎng)絡(luò)存儲,這個過程對本項目云計算服務(wù)提供者來說可不需人工干預(yù).廣泛網(wǎng)絡(luò)接入云計算能力可以通過網(wǎng)絡(luò)獲取,并利用標(biāo)準(zhǔn)的機制來促進對各種胖或瘦的客戶平臺的使用。本項目相關(guān)委辦局用戶可以通過包括移動電話、平板電腦、筆記本電腦和工作站等多樣化的終端通過網(wǎng)絡(luò)使用云計算服務(wù).資源池本項目建設(shè)的計算資源池是一個遵循多租戶模型,為眾多委辦局用戶按需分配和重分配物理的以及虛擬的資源的資源池。用戶可以獲取并使用池中的資源包括:存儲、計算、內(nèi)存和網(wǎng)絡(luò)帶寬.快速彈性獲取資源在某些情況下,計算資源可以自動地被獲取和釋放,以快速的滿足用戶的需求.對于用戶,在任何時間都可以無限制地獲取任意數(shù)量的資源。服務(wù)可測量云計算運營中心自動控制和優(yōu)化資源的使用,其機制是根據(jù)測量,并在某些抽象級別上影響分配給不同類型服務(wù)資源的數(shù)量(如存儲、計算、帶寬、活動用戶數(shù)等).資源的利用率可以被測量、控制和報告,無論是提供者還是使用者,都可以獲得服務(wù)使用方面的透明度。尤其是從服務(wù)提供者的角度,可以通過可計量的服務(wù),準(zhǔn)確衡量需要的計算資源量以及未來的需要量,有利于信息化整體規(guī)劃。2.2.4計算資源池建設(shè)方案智能高速公路支撐平臺建設(shè)可用若干臺X86服務(wù)器組成虛擬計算資源平臺。業(yè)務(wù)節(jié)點為能承載更多的虛擬機并保證虛擬機性能,建議配置4路處理器,每顆處理器核心數(shù)盡可能多、主頻盡可能高,同時配置大容量內(nèi)存,配置4個千兆自適應(yīng)網(wǎng)口(電口),用于業(yè)務(wù)與管理.同時還考慮兩方面:高可用性:即承載某臺虛擬機的物理節(jié)點如果出現(xiàn)故障需要維護,那么需要進行虛擬機動態(tài)遷移,將故障節(jié)點承載的虛擬機動態(tài)遷移到核心應(yīng)用邏輯資源分區(qū)中其他正常工作的物理節(jié)點上以實現(xiàn)高可用性,保證應(yīng)用系統(tǒng)的不中斷;彈性擴展:即考慮到未來3—5年內(nèi)部分部門會上新的應(yīng)用系統(tǒng),從而需要新的虛擬機資源,到時核心應(yīng)用邏輯資源分區(qū)還有資源可彈性分配給新的應(yīng)用系統(tǒng)。業(yè)務(wù)節(jié)點放置在業(yè)務(wù)區(qū)機柜中。為保證虛擬化動態(tài)遷移時的系統(tǒng)性能,業(yè)務(wù)區(qū)域內(nèi)的若干臺業(yè)務(wù)承載節(jié)點建議按照每個邏輯分區(qū)5~10臺物理節(jié)點的劃分方式分為相應(yīng)數(shù)目的邏輯分區(qū).2.2.5選型建議天闊A620r-G是一款2U雙路路64位機架式服務(wù)器,該機型支持AMDOpteron6200、6300系列處理器,采用HT3.0直連架構(gòu)。四通道DDR3ECC內(nèi)存技術(shù),內(nèi)存容量最大可達(dá)1TB。A840r—G采用4U機架式設(shè)計,優(yōu)良的外觀工藝水平,模塊化設(shè)計,智能散熱系統(tǒng)和監(jiān)控系統(tǒng),大大提升了機器可靠性、易用性。能穩(wěn)定運行Windows,Redhat,Vmware等多種主流操作系統(tǒng),是能適應(yīng)核心級應(yīng)用的新一代服務(wù)器,具有處理速度快、可用性強、易管理、可靠性高等特點。系統(tǒng)還提供多種獨特功能部件,包括熱插拔大功率高效電源,熱插拔風(fēng)扇冗余模組,智能故障指示系統(tǒng)等。TC6600是一款10U14片融合架構(gòu)刀片服務(wù)器,實現(xiàn)了高性能、高密度、可伸縮、方案靈活的產(chǎn)品設(shè)計要求。TC6600刀片系統(tǒng)目前支持基于IntelGrantley平臺。即E5-2600V3系列的雙路計算刀片、IntelE7—4800V2的四路計算刀片、AMD6300系列的四路計算刀片,單箱刀片可支持高達(dá)14片半高計算節(jié)點或7片全高計算節(jié)點;可通過模塊化設(shè)計,為計算刀片提供多種網(wǎng)絡(luò)接口:系統(tǒng)可支持1Gb以太網(wǎng)絡(luò),10G以太網(wǎng),8G或16GFC網(wǎng)絡(luò),100G高速網(wǎng)絡(luò)。對于系統(tǒng)的關(guān)鍵部件和功能模塊,TC6600采用冗余設(shè)計,實現(xiàn)了企業(yè)級的RAS特性,可滿足關(guān)鍵應(yīng)用的需求。曙光“龍芯操作風(fēng)險管理系統(tǒng)(OperaFirm)”是基于龍芯軟硬件一體的系統(tǒng)設(shè)備,是同類中唯一全國產(chǎn)自主知識產(chǎn)權(quán)安全產(chǎn)品.OperaFirm是一款采用全新設(shè)計理念的新一代運維堡壘機系統(tǒng),可以實現(xiàn)強認(rèn)證身份管理、細(xì)粒度訪問控制、全面的操作追蹤、自適應(yīng)的口令托管和完備的合規(guī)報表等功能,支持UNIX、LINUX、WINDOWS 服務(wù)器以及各類網(wǎng)絡(luò)設(shè)備.OperaFirm可廣泛應(yīng)用于政府、公檢法司、軍工、部隊、金融、能源、運營商、交通和互聯(lián)網(wǎng)等對數(shù)據(jù)安全要求較高的領(lǐng)域.曙光XData大數(shù)據(jù)一體機將數(shù)據(jù)存儲單元和處理單元分離,通過構(gòu)架高效的服務(wù)中間件,將底層采用無共享(shared—nothing)結(jié)構(gòu)的數(shù)據(jù)存儲節(jié)點,聚合成一個單一的數(shù)據(jù)處理系統(tǒng)映像,達(dá)到較高的數(shù)據(jù)讀寫并發(fā)度,計算并發(fā)度,以及良好的系統(tǒng)擴展性,可靠性和可維護性.XData可廣泛的應(yīng)用在電信數(shù)據(jù)統(tǒng)計分析,互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡(luò)的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計和挖掘等眾多領(lǐng)域。XData向用戶提供統(tǒng)一的類SQL的客戶端編程接口,向下管理分布在不同存儲模塊上的多種類型的數(shù)據(jù),并提供簡易的用戶管理界面。XData系統(tǒng)的核心技術(shù)包括自動的服務(wù)注冊和負(fù)載均衡,可擴展的數(shù)據(jù)劃分和分布策略,高效的批量數(shù)據(jù)加載,通用的并行查詢分析和處理引擎,結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一訪問,不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索,以及全方位的系統(tǒng)故障和恢復(fù)處理等多項技術(shù).DBstor100備份存儲系統(tǒng)可以針對多平臺的復(fù)雜IT環(huán)境提供企業(yè)級數(shù)據(jù)保護,幫助你應(yīng)付所有的挑戰(zhàn).DBstor100靈活的模塊化結(jié)構(gòu),有著無可匹敵的靈活性和可靠性,一個系統(tǒng)就可滿足客戶目前和將來的需求,大大降低了配置成本和TCO。DBstor100虛擬帶庫備份存儲系統(tǒng),支持高速、高效、大容量的虛擬磁帶庫(VTL)功能;支持SmartDisk技術(shù)并與重復(fù)數(shù)據(jù)刪除技術(shù)的有機結(jié)合;備份策略的自動化管理;完善的介質(zhì)控制功能;多應(yīng)用及異構(gòu)操作系統(tǒng)支持;多種數(shù)據(jù)庫,操作系統(tǒng),應(yīng)用程序在線備份;容量可根據(jù)需求進行配置,滿足客戶多種需求;支持簡單遠(yuǎn)程容災(zāi)。2.3存儲資源池建設(shè)2.3.1數(shù)據(jù)類型分析存儲資源池主要用于大連市交通云計算中心所有相關(guān)的業(yè)務(wù)數(shù)據(jù)、統(tǒng)計數(shù)據(jù)等重要數(shù)據(jù)存儲于存儲。按照數(shù)據(jù)類型主要可以分為兩類,即結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。2.3.1.1結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù),存儲在數(shù)據(jù)庫里,可以用二維表結(jié)構(gòu)來邏輯表達(dá)實現(xiàn)的數(shù)據(jù)。2.3.1.2非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言,不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等。非結(jié)構(gòu)化數(shù)據(jù)庫是指其字段長度可變,并且每個字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成的數(shù)據(jù)庫,用它不僅可以處理結(jié)構(gòu)化數(shù)據(jù)(如數(shù)字、符號等信息)而且更適合處理非結(jié)構(gòu)化數(shù)據(jù)(全文文本、圖像、聲音、影視、超媒體等信息)。非結(jié)構(gòu)化WEB數(shù)據(jù)庫主要是針對非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的,與以往流行的關(guān)系數(shù)據(jù)庫相比,其最大區(qū)別在于它突破了關(guān)系數(shù)據(jù)庫結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長的限制,支持重復(fù)字段、子字段以及變長字段并實現(xiàn)了對變長數(shù)據(jù)和重復(fù)字段進行處理和數(shù)據(jù)項的變長存儲管理,在處理連續(xù)信息(包括全文信息)和非結(jié)構(gòu)化信息(包括各種多媒體信息)中有著傳統(tǒng)關(guān)系型數(shù)據(jù)庫所無法比擬的優(yōu)勢.統(tǒng)一大數(shù)據(jù)存儲平臺具備如下特性:必須具有高性能、高可靠性和足夠的容錯特性,提供多種信息保護、共享、管理方案,以保證信息的高可用性;必須擁有足夠的系統(tǒng)擴充性,以支持目前的數(shù)據(jù)容量,同時還要考慮未來業(yè)務(wù)的發(fā)展;具備多平臺、企業(yè)級連接能力,便于主機的選型和系統(tǒng)的整合;滿足作數(shù)據(jù)遠(yuǎn)程鏡像備份(容災(zāi))的要求.2.3.2存儲網(wǎng)絡(luò)設(shè)計隨著計算機網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,網(wǎng)絡(luò)存儲方式也隨之發(fā)展,但由于商業(yè)企業(yè)規(guī)模不同,對網(wǎng)絡(luò)存儲的需求也應(yīng)有所不同,選擇不當(dāng)?shù)木W(wǎng)絡(luò)存儲技術(shù),往往會使得企業(yè)在網(wǎng)絡(luò)建設(shè)中盲目投資不需要的設(shè)備,或者造成企業(yè)的網(wǎng)絡(luò)性能低下,影響企業(yè)信息化發(fā)展,因此了解相關(guān)網(wǎng)絡(luò)存儲知識,選擇適當(dāng)網(wǎng)絡(luò)存儲方式是非常重要的.2.3.2.1存儲網(wǎng)絡(luò)種類目前高端服務(wù)器所使用的專業(yè)存儲方案有DAS、NAS、SAN幾種,下面介紹其相關(guān)網(wǎng)絡(luò)存儲知識.2.3.2.1.1直接附加存儲直接附加存儲(DAS)是指將存儲設(shè)備通過SCSI接口直接連接到一臺服務(wù)器上使用.DAS購置成本低,配置簡單,使用過程和使用本機硬盤并無太大差別,對于服務(wù)器的要求僅僅是一個外接的SCSI口,因此對于小型企業(yè)很有吸引力。但是DAS也存在諸多問題:服務(wù)器本身容易成為系統(tǒng)瓶頸;服務(wù)器發(fā)生故障,數(shù)據(jù)不可訪問;對于存在多個服務(wù)器的系統(tǒng)來說,設(shè)備分散,不便管理。同時多臺服務(wù)器使用DAS時,存儲空間不能在服務(wù)器之間動態(tài)分配,可能造成相當(dāng)?shù)馁Y源浪費;數(shù)據(jù)備份操作復(fù)雜。2.3.2.1.2網(wǎng)絡(luò)附加存儲網(wǎng)絡(luò)附加存儲(NAS)是一種帶有瘦服務(wù)器的存儲設(shè)備。這個瘦服務(wù)器實際是一臺網(wǎng)絡(luò)文件服務(wù)器。NAS設(shè)備直接連接到TCP/IP網(wǎng)絡(luò)上,網(wǎng)絡(luò)服務(wù)器通過TCP/IP網(wǎng)絡(luò)存取管理數(shù)據(jù).NAS作為一種瘦服務(wù)器系統(tǒng),易于安裝和部署,管理使用也很方便。同時由于可以允許客戶機不通過服務(wù)器直接在NAS中存取數(shù)據(jù),因此對服務(wù)器來說可以減少系統(tǒng)開銷。NAS為異構(gòu)平臺使用統(tǒng)一存儲系統(tǒng)提供了解決方案。由于NAS只需要在一個基本的磁盤陣列柜外增加一套瘦服務(wù)器系統(tǒng),對硬件要求很低,軟件成本也不高,甚至可以使用免費的LINUX解決方案,成本只比直接附加存儲略高。NAS存在的主要問題是:由于存儲數(shù)據(jù)通過普通數(shù)據(jù)網(wǎng)絡(luò)傳輸,因此易受網(wǎng)絡(luò)上其它流量的影響。當(dāng)網(wǎng)絡(luò)上有其它大數(shù)據(jù)流量時會嚴(yán)重影響系統(tǒng)性能;由于存儲數(shù)據(jù)通過普通數(shù)據(jù)網(wǎng)絡(luò)傳輸,因此容易產(chǎn)生數(shù)據(jù)泄漏等安全問題;存儲只能以文件方式訪問,而不能像普通文件系統(tǒng)一樣直接訪問物理數(shù)據(jù)塊,因此會在某些情況下嚴(yán)重影響系統(tǒng)效率,比如大型數(shù)據(jù)庫就不能使用NAS。2.3.2.1.3存儲區(qū)域網(wǎng)存儲區(qū)域網(wǎng)(SAN)是一種專門為存儲建立的獨立于TCP/IP網(wǎng)絡(luò)之外的專用網(wǎng)絡(luò)。目前一般的SAN提供4Gb/S到16Gb/S的傳輸數(shù)率,同時SAN網(wǎng)絡(luò)獨立于數(shù)據(jù)網(wǎng)絡(luò)存在,因此存取速度很快,另外SAN一般采用高端的RAID陣列,使SAN的性能在幾種專業(yè)存儲方案中傲視群雄。SAN由于其基礎(chǔ)是一個專用網(wǎng)絡(luò),因此擴展性很強,不管是在一個SAN系統(tǒng)中增加一定的存儲空間還是增加幾臺使用存儲空間的服務(wù)器都非常方便。通過SAN接口的磁帶機,SAN系統(tǒng)可以方便高效的實現(xiàn)數(shù)據(jù)的集中備份.SAN作為一種新興的存儲方式,是未來存儲技術(shù)的發(fā)展方向,但是,它也存在一些缺點:價格昂貴,不論是SAN陣列柜還是SAN必須的光纖通道交換機價格都是十分昂貴的,就連服務(wù)器上使用的光通道卡的價格也是不容易被小型商業(yè)企業(yè)所接受的;需要單獨建立光纖網(wǎng)絡(luò),異地擴展比較困難。2.3.2.2存儲網(wǎng)絡(luò)選擇大連市交通云計算中心的數(shù)據(jù)主要包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),在本項目存儲系統(tǒng)設(shè)計時采用兩種存儲網(wǎng)絡(luò)模式來對不同數(shù)據(jù)提供高效的數(shù)據(jù)存儲。FC存儲網(wǎng)絡(luò):所有服務(wù)器通過FC網(wǎng)絡(luò)連接到FC存儲系統(tǒng),F(xiàn)C存儲系統(tǒng)向所有服務(wù)器提供塊設(shè)備級共享存儲系統(tǒng)。同時為了保證系統(tǒng)的可靠性,存儲網(wǎng)(FC網(wǎng)絡(luò))采用雙路徑設(shè)計。如下圖所示:圖:采用FC存儲模式的業(yè)務(wù)區(qū)域目前,業(yè)界的FCSAN存儲網(wǎng)絡(luò)通常有兩種組網(wǎng)方案:采用大型的FCSAN交換設(shè)備,可提供8Gps的全雙工光纖端口的線速互聯(lián),但是價格較高。采用業(yè)務(wù)區(qū)域的方法,根據(jù)業(yè)務(wù)特點劃分物理資源池。業(yè)務(wù)區(qū)域內(nèi)配置2臺SAN交換機,實現(xiàn)服務(wù)器與SAN存儲設(shè)備的8Gbps端到端互聯(lián);業(yè)務(wù)區(qū)域之間采用級聯(lián)的方式實現(xiàn)弱連接(非線速互聯(lián)),業(yè)務(wù)資源池之間實現(xiàn)松耦合.這樣可以大大降低云平臺構(gòu)建成本。大數(shù)據(jù)存儲模式:采用存儲服務(wù)器,通過海量存儲區(qū)的匯聚交換機萬兆上鏈至核心交換機,實現(xiàn)與業(yè)務(wù)網(wǎng)段的互聯(lián)互通,供各個業(yè)務(wù)分區(qū)訪問.海量存儲系統(tǒng)對外提供萬兆以太網(wǎng)接口,用于存儲訪問。海量存儲系統(tǒng)可以通過萬兆上聯(lián)的方式連接到業(yè)務(wù)網(wǎng)核心交換機,服務(wù)器通過業(yè)務(wù)網(wǎng)絡(luò),以NFS、CIFS、私有協(xié)議的方式訪問海量存儲系統(tǒng)。大數(shù)據(jù)存儲系統(tǒng)向所有服務(wù)器提供文件級高性能共享存儲系統(tǒng)。如下圖所示:圖:采用大數(shù)據(jù)存儲模式的業(yè)務(wù)區(qū)域根據(jù)存儲對象的不同特性,將存儲系統(tǒng)集中并分離為結(jié)構(gòu)化數(shù)據(jù)存儲和非結(jié)構(gòu)化數(shù)據(jù)(包括照片、視頻等數(shù)據(jù))存儲兩大模塊,每個模塊采用高性能、虛擬化、擴展性能強的獨立存儲系統(tǒng)進行支持.2.3.3統(tǒng)一存儲平臺設(shè)計2.3.3.1統(tǒng)一存儲平臺定位現(xiàn)有數(shù)據(jù)中心采用的存儲設(shè)備種類繁多:存儲介質(zhì)包括磁盤、磁帶、SSD(固態(tài)硬盤)、光盤等,其接口類型包括FC、SAS、SATA、SCSI、IDE/ATA等;海量存儲設(shè)備包括磁盤陣列、磁帶庫、光盤塔等,其接口類型又包括FC、IP、IB、SAS、SCSI等;磁盤存儲設(shè)備按照使用模式又可以分為塊設(shè)備、網(wǎng)絡(luò)文件系統(tǒng)(NAS)等;存儲網(wǎng)絡(luò)類型則包括FC-SAN、IP-SAN、IB—SAN等。然而,隨著存儲系統(tǒng)容量需求從GB、TB發(fā)展到現(xiàn)在的PB級,磁盤從MB、GB發(fā)展到TB級,傳統(tǒng)存儲系統(tǒng)由于先天的技術(shù)限制,在發(fā)展上產(chǎn)生諸多問題,建設(shè)統(tǒng)一存儲平臺,可以解決如下問題:解決數(shù)據(jù)安全性惡化的問題傳統(tǒng)存儲設(shè)備保護數(shù)據(jù)最常用的手段就是引入RAID技術(shù),尤其是RAID5,可以在數(shù)據(jù)安全性和容量利用率之間獲得較好的平衡,并且具有良好的性能。RAID的數(shù)據(jù)安全性的基礎(chǔ)是數(shù)據(jù)異或(XOR)校驗運算,因此數(shù)據(jù)恢復(fù)過程要產(chǎn)生較高的存儲I/O,會對系統(tǒng)性能產(chǎn)生一定影響,然而RAID技術(shù)產(chǎn)生時磁盤容量較?。∕B、GB級),因此RAID尤其是RAID5的數(shù)據(jù)恢復(fù)過程較短,對數(shù)據(jù)校驗所帶來的數(shù)據(jù)安全性產(chǎn)生的影響很小,對于性能的影響也在可接受的范圍,因此被廣泛使用。然而,現(xiàn)在磁盤容量已經(jīng)達(dá)到TB級別,因此RAID5的數(shù)據(jù)恢復(fù)過程大幅提高,從而大幅度提高了數(shù)據(jù)恢復(fù)過程產(chǎn)生次生破壞的可能性,進而使數(shù)據(jù)安全性惡化.因而,傳統(tǒng)存儲的安全性和性能都面臨巨大的挑戰(zhàn)。解決單系統(tǒng)縱向擴展能力有限的問題傳統(tǒng)存儲設(shè)備只具有局部的縱向擴展(scale-in能力,即通過增加磁盤擴展存儲設(shè)備)的容量,通過增加控制器的cache擴展存儲設(shè)備的性能.這種縱向擴展是有局限性的,受存儲設(shè)備的擴展能力的制約,而且性能擴展的影響很小,并不足以滿足高速發(fā)展的應(yīng)用系統(tǒng)對存儲性能的需求.而且這種性能擴展對應(yīng)用系統(tǒng)有較大影響,因為擴展過程是需要存儲設(shè)備離線的,在擴展過程中,應(yīng)用系統(tǒng)不能使用存儲設(shè)備。解決負(fù)載不平衡造成性能瓶頸的問題為了獲得更好的存儲性能,可以通過增加存儲設(shè)備(如另一臺磁盤陣列)的方式來擴展匯聚帶寬.但是在存儲設(shè)備中,特定數(shù)據(jù)被存放在指定的LUN中,且只能通過指定的控制器訪問到,因此即使擴展了存儲設(shè)備,并不能提高特定數(shù)據(jù)的訪問速度。解決存儲空間利用率低的問題據(jù)統(tǒng)計,在實際使用中,存儲設(shè)備的空間利用率不到50%。因為:首先,在選擇存儲設(shè)備的容量,或者從現(xiàn)有存儲設(shè)備中申請存儲空間時,其容量需求都是來自于對應(yīng)用系統(tǒng)的預(yù)估,因此存在著較大誤差,而存儲設(shè)備所提供的存儲空間(LUNs)一旦分配給某個應(yīng)用系統(tǒng)或用戶,就處于獨占狀態(tài),未來即使該存儲空間有空閑容量,其它的應(yīng)用系統(tǒng)或用戶不能使用,造成較大的浪費.其次,由于存儲系統(tǒng)多采用RAID5技術(shù),為了獲得最佳的讀寫性能,RAID卷組的配置為7D+1P,即每個RAID卷組有相當(dāng)于1塊磁盤的空間用于存儲XOR校驗數(shù)據(jù),則實際容量利用率只有7/8,同樣會造成一定的浪費。總之,統(tǒng)一存儲平臺要達(dá)到存儲的數(shù)據(jù)管理目標(biāo),其特性如下:可靠性數(shù)據(jù)集中到統(tǒng)一存儲平臺中,必然對系統(tǒng)設(shè)備的可靠性提出更高的要求。同時需要建立數(shù)據(jù)備份、容災(zāi)系統(tǒng)進行配合,提高數(shù)據(jù)安全性。可擴展性網(wǎng)絡(luò)時代業(yè)務(wù)發(fā)展的不確定性和數(shù)據(jù)的高速膨脹,對獨立于計算資源池之外的統(tǒng)一存儲平臺,必然提出高可擴展性的要求.這種擴展性并非是簡單的容量擴展,同時還必須包括數(shù)據(jù)處理能力、數(shù)據(jù)交換帶寬和數(shù)據(jù)管理功能的擴展。兼容性雖然統(tǒng)一存儲平臺已分離于計算資源池之外,但今天主機系統(tǒng)對數(shù)據(jù)的使用方式,仍舊以文件系統(tǒng),數(shù)據(jù)庫系統(tǒng)為主要手段。統(tǒng)一存儲平臺要適應(yīng)各種主機系統(tǒng)的數(shù)據(jù)I/O要求,就必須要能夠兼容各種操作系統(tǒng)、文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等各種傳統(tǒng)數(shù)據(jù)管理手段??晒芾硇灾С指鞣N主流的管理協(xié)議和管理架構(gòu),能夠與網(wǎng)絡(luò)、計算機等各種設(shè)備統(tǒng)一管理和集中管理,能夠在各種復(fù)雜的環(huán)境中實現(xiàn)方便統(tǒng)一的設(shè)備和數(shù)據(jù)管理功能.性能能夠根據(jù)不同應(yīng)用類型要求提供帶寬、IOPS(IOPerSeco

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論