淺述高性能計算云研究現(xiàn)狀_第1頁
淺述高性能計算云研究現(xiàn)狀_第2頁
淺述高性能計算云研究現(xiàn)狀_第3頁
淺述高性能計算云研究現(xiàn)狀_第4頁
淺述高性能計算云研究現(xiàn)狀_第5頁
已閱讀5頁,還剩7頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載淺述高性能計算云研究現(xiàn)狀本文從網(wǎng)絡(luò)收集而來,上傳到平臺為了幫到更多的人,如果您需要使用本文檔, 請點擊下載按鈕下載本文檔(有償下載),另外祝您生活愉快,工作順利,萬事 如意!1引言云計算是一種新興的計算模型,很多專家認為, 云計算會改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ),甚至會影響整個產(chǎn) 業(yè)的格局。正因為如此,很多大型企業(yè)都在研究云計 算技術(shù)和基于云計算的服務(wù),亞馬遜、谷歌、微軟、 IBM,SUN等IT巨頭都在其中。幾年之內(nèi),云計算 已從新興技術(shù)發(fā)展成為當今的熱點技術(shù)。云計算有諸 如可擴展性、隔離性、遷移性和可定制以及彈性資源 等很多優(yōu)點,而這

2、些優(yōu)點為傳統(tǒng)的高性能計算集群提 供了豐富的軟件環(huán)境、應用程序隔離和高效率的工作 負載管理機制,隨著云計算的深入應用,為用戶提供 高質(zhì)量的遠程高性能云服務(wù)成為當前研究的熱點,在 云中計算作為服務(wù)”已鼓勵了高性能計算延伸到更廣 泛的科學和工業(yè)社區(qū),許多小型和中等規(guī)模的HPC用 戶都在探索基礎(chǔ)設(shè)施云作為運行他們應用程序的一個 可能平臺,同時也指出了HPC應用作為一個服務(wù)(HPC-as-a-Service的思想。然而,系統(tǒng)級的虛擬化帶 來的性能開銷和網(wǎng)絡(luò)性能等因素是一些在云中執(zhí)行本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需

3、本文,請下載HPC應用程序所面臨的挑戰(zhàn)。機遇和挑戰(zhàn)同時并存, HPC云必將帶來又一波的研究熱潮。本文分析了高性 能計算云(HPC inthe Cloud)相關(guān)研究的進展,展望了其 未來研究方向及面臨的挑戰(zhàn)。2高性能計算云產(chǎn)生的合理性和必要性伴隨著高性能計算性能的不斷提升和系統(tǒng)的日益 龐大,單一計算平臺與不同應用多樣化需求的矛盾也 日益突出,同時后期部署、管理、能耗、散熱等成本 也不斷提高,傳統(tǒng)的高性能計算正面臨著很多嚴峻的 問題。云計算的關(guān)鍵技術(shù)之一是虛擬化技術(shù),由于虛 擬化實現(xiàn)機制的不同,許多平臺對I/O性能產(chǎn)生了嚴 重影響,降低了整體性能,除此之外,還包括數(shù)據(jù)管 理、負載管理和資源配送等挑

4、戰(zhàn)。然而,把高性能計算與傳統(tǒng)的云計算結(jié)合起來就 是高性能計算云,高性能計算云(HPC in the Cloud)是 一種基于云計算環(huán)境下的高性能計算資源管理和服務(wù) 的模式,它向用戶提供可靠的 HPC運行機制和自主 管理計算資源的能力,并向用戶提供可定制HPC環(huán)境以適應不同應用的需要。3高性能計算云研究Mauch、Kunze等人研究了基于云的IaaS為高性 能計算應用程序提供更大的靈活性,也節(jié)省了成本,本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載在這種模式下,虛擬化和彈性的資源從大型的云計算 服務(wù)提供商那

5、里以按需的方式被利用,以構(gòu)建虛擬集 群,來符合客戶的具體需求,同時在高性能云計算環(huán) 境中,提出了一個新的方法來使用高速集群互連(如InfiniBand)。允許在虛擬機上掛載HPC應用,可以 無縫的橋接分布式云資源和緊耦合的超級計算,從而 實現(xiàn)可靠的集群資源,主要描述了虛擬網(wǎng)絡(luò)系統(tǒng)的設(shè) 計、實施和對網(wǎng)絡(luò)延遲、帶寬開銷的評估,最后證明 針對高性能計算云來說,VNET/P是可行、擴展的基 于軟件的覆蓋網(wǎng)絡(luò)。面向眾核平臺的一個輕量級高性 能虛擬機監(jiān)控器 蜂鳥(Trochilidae)被設(shè)計并已實 現(xiàn),多操作系統(tǒng)可以同時運行在此虛擬機監(jiān)控器之上, 同時對操作系統(tǒng)性能無損失,在提供傳統(tǒng)虛擬機監(jiān)控 器功能的

6、基礎(chǔ)上,蜂鳥的代碼量僅4 000行左右(包括 匯編與C代碼),降低了系統(tǒng)的復雜度,便于系統(tǒng)的 維護與調(diào)試。以上是國內(nèi)外對高性能計算與云計算相 互結(jié)合的研究,本文主要從性能評測和解決方案兩大 部分進行闡述。性能評測本節(jié)主要從性能評測平臺方面綜述了在云計算環(huán) 境中實施高性能計算的研究情況。要進行性能評測, 首先要有方法,即基準測試程序,基準測試程序包括本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載微觀基準測試程序(HPCC、PARSECBenchmark、 LMBench等)和宏觀基準測試程序(NAS、SPE

7、C)兩類, 使用這些基準測試程序在不同測試平臺上進行綜合性 能評估及性能瓶頸分析;其次是性能測試平臺,由于根 據(jù)不同的平臺、不同的測試負載會給出不一樣的測試 結(jié)果,同時,不同的測試方法可能給出完全不同的測 試精度,下面主要介紹一下主流的性能評測平臺。FutureSystemFutureSystem測試床包括在地理上分布的異構(gòu)計 算系統(tǒng)、持有元數(shù)據(jù)和不斷增長的軟件映像庫的數(shù)據(jù) 管理系統(tǒng),以及一個保持隔離和安全實驗的專用網(wǎng)絡(luò)。 該測試床支持基于虛擬機的環(huán)境以及本地操作系統(tǒng)的 實驗,目的是最大限度減少開銷和提高性能。該項目 的合作伙伴,將整合現(xiàn)有的開放源代碼軟件包來創(chuàng)建 一個易于使用的軟件環(huán)境,支持

8、網(wǎng)格和云計算實驗的 實例、執(zhí)行和記錄。FutureSystem為研究人員提供了 處理網(wǎng)格計算、云計算使用和安全性方面的挑戰(zhàn),包 括身份驗證、授權(quán)、調(diào)度、虛擬化、高性能、中間件 的設(shè)計和網(wǎng)絡(luò)安全。支持的研究領(lǐng)域包括天文、化學、 生物工程、大氣科學和流行病學等。這個項目由國家 科學基金會(NSF)所支持(),其合作伙伴包括印第安那 大學、芝加哥大學、佛羅里達大學、圣地亞哥超級計本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載算機中心、德克薩斯高級計算中心、弗吉尼亞大學、 美國田納西大學、美國南加州大學、德累斯頓

9、、美國 普渡大學和Grid5000o在虛擬集群測試中,隨著集群節(jié)點的增多,網(wǎng)絡(luò) 通信和數(shù)據(jù)的讀寫速度成了性能上的主要瓶頸,隨著 計算規(guī)模的擴大,性能顯示下滑的趨勢。根據(jù)側(cè)重點 的不同,可分為擴展性測試和花費有效性測試。(1)擴展性。從擴展性的角度描述了一個科學的 工作流應用程序在云中運行的經(jīng)驗。這個應用程序是 去處理由Kepler項目發(fā)布的天文數(shù)據(jù),這些天文數(shù)據(jù) 是NASA的使命去尋找類似地球的行星圍繞其他恒星 所產(chǎn)生的數(shù)據(jù)。使用Pegasus工作流管理系統(tǒng),通過 把工作流映射在多個云中(包括FutureSystem、 Magellan云和AmazonEC2云)評估它的性能,并討 論了在云中部

10、署和執(zhí)行工作流所面臨的挑戰(zhàn)。同時演 示了 Pegasus如何支持同時跨多個云基礎(chǔ)設(shè)施的天空 計算(skycomputing)。最后得出結(jié)論:天空計算對一些 科學的工作流來說是一個可行且有效的解決方案。(2)花費有效性。描述了計算機集群中節(jié)點數(shù)量 與每美元所獲得的計算性能的關(guān)系,指出隨著節(jié)點數(shù) 量的增加,單位成本所獲得的計算性能在急劇減少, 所以運算的規(guī)模越大,云計算所提供的計算性價比就本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載越低,這是當前制約在云計算環(huán)境中進行科學計算的 主要原因之一。Magella

11、nMagellan由國家能源研究科學計算中心 (NERSC) 部署的一個具有一定靈活性和性能的分布式測試床, Magellan主要研究以下幾個問題:(1)開源云計算軟件庫是否能夠滿足美國能源部 (DOE)利用高性能計算開展科研的需求;(2)DOE的網(wǎng)絡(luò)安全要求能否在云中得到實現(xiàn);(3)新的云計算編程模式對科學計算是否有價值;(4)DOE高性能計算應用程序能否在云中有效運 行與哪些應用適用于云。采用了 Magellan測試床,項目Magellan研究針 對科學計算的云計算,并指出當前云計算對科學應用 有很多的差距和挑戰(zhàn)。AmazonEC2Amazon Elastic Compute Cloud(

12、EC2)是 Amazon 提供的云計算環(huán)境的基本平臺。通過使用EC2,可以在任何時候根據(jù)個人或企業(yè)的需要簡便地創(chuàng)建、啟動 和供應虛擬實例。根據(jù)實例的類型和每小時的實際使 用量付費。虛擬服務(wù)器在Amazon數(shù)據(jù)中心的安全環(huán) 境中運行。EC2可以為 Web范圍的應用程序提供動本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載態(tài)地配置計算需求和根據(jù)需要調(diào)整計算能力的功能。采用AmazonEC2測試床進行相關(guān)的研究在中有相關(guān)的介紹,它詳細描述了基準測試結(jié)果所特有的 虛擬化開銷和其對性能的影響,同時檢查了各種互連 技術(shù)

13、的性能,以了解各種選擇對性能的影響。研究結(jié) 果顯示,虛擬化對性能有顯著的影響;同時也顯示了能 力較差的互連技術(shù)顯著影響典型的 HPC應用的性能, 評估了 Amazon的集群計算實例(Amazon Cluster Compute Instance片勺性能。為了更清楚地理解云的優(yōu) 點和限制,比較了云和 HPC集群的性能,同時關(guān)注 虛擬化和基礎(chǔ)網(wǎng)絡(luò)怎樣影響 HPC應用的性能,最后 得出在云計算中可獲得與 HPC集群一樣的性能主要 取決于所運行的應用程序的類型的結(jié)論。LLGrid麻省理工學院林肯實驗室網(wǎng)格(MIT Lincoln LaboratoryGrid, LLgrid)項目的目標是開發(fā)按需網(wǎng)格計

14、 算能力,使用主流編程語言MATLAB,實施數(shù)值計算, 被廣泛用于算法開發(fā)、仿真、數(shù)據(jù)縮減、測試和系統(tǒng) 評估領(lǐng)域。麻省理工學院林肯實驗室有一千多的 MATLAB用戶,近200個用戶長時間運行并行處理 的任務(wù)。為了使這些用戶使用LLgrid的計算資源能夠透明地運行并行的 MATLAB 任務(wù),LLgrid項目已本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載開發(fā)了三種技術(shù):點到點(point-point)消息MatlabMPI; 全局數(shù)組語義pMatlab(類似高性能Fortran);把用戶計 算機整合到LLg

15、ird且自動分配網(wǎng)格計算資源的 gridMatlab。解決方案性能優(yōu)化著眼于可靠性,相比之下,解決方案則 側(cè)重于可行性,即HPC計算資源與云計算相整合是 否是可行的,高性能計算云有哪些解決方案和成功案 例。對此有相關(guān)介紹,下面分為編程模型、基于管理 器的虛擬化、基于容器的虛擬化三個方面進行介紹。編程模型海量數(shù)據(jù)分析由于輸入的數(shù)據(jù)非常大,為了能在 合理的時間內(nèi)處理完數(shù)據(jù),計算通常分布在成百上千 臺計算機上去執(zhí)行。如何分布數(shù)據(jù)、如何并發(fā)計算、 如何處理失效等相關(guān)問題合在一起就會導致應用程序 的代碼非常復雜。編程模型正是為解決這些問題而提 出來的,編程模型是數(shù)據(jù)密集型計算領(lǐng)域的一個基礎(chǔ) 性的系統(tǒng)軟件

16、,代表性的編程模型有MapReduceHadoop、Dryad等?;贖adoop,提出一種基于云 的分布式數(shù)字海洋系統(tǒng),把不同的海洋數(shù)據(jù)通過高速 網(wǎng)絡(luò)連接起來建立一個存儲云,使用一個專用的網(wǎng)絡(luò) 服務(wù)協(xié)議,用于高性能廣域網(wǎng)絡(luò)連接的計算機集群所本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載進行的大型分布式數(shù)據(jù)集的高性能計算。實驗結(jié)果表 明,與現(xiàn)有基于Hadoop分布式數(shù)字海洋系統(tǒng)相比, 該系統(tǒng)的性能有顯著提高、數(shù)據(jù)高度共享?;诠芾砥鞯奶摂M化 (hypervisor-basedvirtualization)

17、基于虛擬機監(jiān)視器的虛 擬化技術(shù)包括 Xen、VMware、KVM 和Palacios等, 對于我們大家相對陌生的就是 Palacios, Palacios是 個OS獨立內(nèi)嵌的、非參數(shù)化的 VMM ,它是一個現(xiàn) 代架構(gòu)的開源的虛擬機監(jiān)視器,已經(jīng)廣泛的使用在現(xiàn) 代Intel和AMD的x86處理器的虛擬化擴展中。Palacios是高度可配置的,可以內(nèi)嵌到諸如Linux和Kitten輕量級內(nèi)核的不同的host操作系統(tǒng)中,其上的是有效地虛擬化 HPC應用。Palacios是V3VEE 項 目的一部分。起初,V3VEE作為美國國家科學基金 會 資 助 的 NorthwesternUniversity 和

18、theUniversityofNewMexico 之間的合作項目。目前, 它涉及到5個能源部資助的合作伙伴機構(gòu):Northwestern University the University of NewMexico、 theUniversity of Pittsburgh 、 Sandia National Laboratories 和 OakRidge National Laboratory。V3VEE 是一個社會努力、資源發(fā)展的結(jié)果,任何人都可以為 之作出貢獻。本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,

19、請下載對于內(nèi)嵌到輕量級host操作系統(tǒng)的Palacios,通 ri Benchmark測試之后,實驗證明,運行在虛擬LWK 環(huán)境中的性能能夠超越直接在Linux主機上執(zhí)行同樣 的測試的性能,進而滿足了 HPC計算的特性?;谌萜鞯奶摂M化(container-basedvirtualization)Linux-VServer,OpenVZ、 LinuxContainers(LXC)和 MicrosoftHyper-V 是操作系 統(tǒng)級的虛擬化技術(shù),提供了輕量級(lightweight)的近似 于裸機的虛擬化層。OpenVZ經(jīng)常被使用作為服務(wù)器 虛擬化的最佳選擇, OpenVZ是開源軟件,是基于 L

20、inux內(nèi)核和作業(yè)系統(tǒng)的操作系統(tǒng)級虛擬化技術(shù)。OpenVZ允許物理服務(wù)器運行多個操作系統(tǒng)并以最大 效率共享硬件和管理資源,這些操作系統(tǒng)是相互隔離, 被稱為虛擬專用服務(wù)器(VPS)和虛擬環(huán)境(VE)。采用了基于容器的虛擬化技術(shù) OpenV乙 實驗表 明,基于容器的虛擬化帶來了非常低的開銷,幾乎與 物理機一樣的性能。提出了一種面向高性能并行計算 機的虛擬化技術(shù):高性能虛擬計算域(HPVZ),其中服 務(wù)結(jié)點的虛擬計算域基于 OpenVZ構(gòu)成。通過在操作 系統(tǒng)上構(gòu)建多個獨立的用戶運行環(huán)境,實現(xiàn)了在一個 操作系統(tǒng)內(nèi)核上同時運行多個相互獨立的用戶運行環(huán) 境的目標。HPVZ技術(shù)在保證系統(tǒng)性能的前提下,為本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔,如需本文,請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論