淺述高性能計算云研究現(xiàn)狀

1、本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載淺述高性能計算云研究現(xiàn)狀本文從網(wǎng)絡(luò)收集而來，上傳到平臺為了幫到更多的人，如果您需要使用本文檔， 請點擊下載按鈕下載本文檔（有償下載），另外祝您生活愉快，工作順利，萬事 如意！1引言云計算是一種新興的計算模型，很多專家認為， 云計算會改變互聯(lián)網(wǎng)的技術(shù)基礎(chǔ)，甚至會影響整個產(chǎn) 業(yè)的格局。正因為如此，很多大型企業(yè)都在研究云計 算技術(shù)和基于云計算的服務(wù)，亞馬遜、谷歌、微軟、 IBM，SUN等IT巨頭都在其中。幾年之內(nèi)，云計算 已從新興技術(shù)發(fā)展成為當今的熱點技術(shù)。云計算有諸 如可擴展性、隔離性、遷移性和可定制以及彈性資源 等很多優(yōu)點，而這

2、些優(yōu)點為傳統(tǒng)的高性能計算集群提 供了豐富的軟件環(huán)境、應用程序隔離和高效率的工作 負載管理機制，隨著云計算的深入應用，為用戶提供 高質(zhì)量的遠程高性能云服務(wù)成為當前研究的熱點，在 云中計算作為服務(wù)”已鼓勵了高性能計算延伸到更廣 泛的科學和工業(yè)社區(qū)，許多小型和中等規(guī)模的HPC用 戶都在探索基礎(chǔ)設(shè)施云作為運行他們應用程序的一個 可能平臺，同時也指出了HPC應用作為一個服務(wù)（HPC-as-a-Service的思想。然而，系統(tǒng)級的虛擬化帶 來的性能開銷和網(wǎng)絡(luò)性能等因素是一些在云中執(zhí)行本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需

3、本文，請下載HPC應用程序所面臨的挑戰(zhàn)。機遇和挑戰(zhàn)同時并存， HPC云必將帶來又一波的研究熱潮。本文分析了高性 能計算云(HPC inthe Cloud)相關(guān)研究的進展，展望了其 未來研究方向及面臨的挑戰(zhàn)。2高性能計算云產(chǎn)生的合理性和必要性伴隨著高性能計算性能的不斷提升和系統(tǒng)的日益 龐大，單一計算平臺與不同應用多樣化需求的矛盾也 日益突出，同時后期部署、管理、能耗、散熱等成本 也不斷提高，傳統(tǒng)的高性能計算正面臨著很多嚴峻的 問題。云計算的關(guān)鍵技術(shù)之一是虛擬化技術(shù)，由于虛 擬化實現(xiàn)機制的不同，許多平臺對I/O性能產(chǎn)生了嚴 重影響，降低了整體性能，除此之外，還包括數(shù)據(jù)管 理、負載管理和資源配送等挑

4、戰(zhàn)。然而，把高性能計算與傳統(tǒng)的云計算結(jié)合起來就 是高性能計算云，高性能計算云(HPC in the Cloud)是 一種基于云計算環(huán)境下的高性能計算資源管理和服務(wù) 的模式，它向用戶提供可靠的 HPC運行機制和自主 管理計算資源的能力，并向用戶提供可定制HPC環(huán)境以適應不同應用的需要。3高性能計算云研究Mauch、Kunze等人研究了基于云的IaaS為高性 能計算應用程序提供更大的靈活性，也節(jié)省了成本，本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載在這種模式下，虛擬化和彈性的資源從大型的云計算 服務(wù)提供商那

5、里以按需的方式被利用，以構(gòu)建虛擬集 群，來符合客戶的具體需求，同時在高性能云計算環(huán) 境中，提出了一個新的方法來使用高速集群互連（如InfiniBand）。允許在虛擬機上掛載HPC應用，可以 無縫的橋接分布式云資源和緊耦合的超級計算，從而 實現(xiàn)可靠的集群資源，主要描述了虛擬網(wǎng)絡(luò)系統(tǒng)的設(shè) 計、實施和對網(wǎng)絡(luò)延遲、帶寬開銷的評估，最后證明 針對高性能計算云來說，VNET/P是可行、擴展的基 于軟件的覆蓋網(wǎng)絡(luò)。面向眾核平臺的一個輕量級高性 能虛擬機監(jiān)控器 蜂鳥（Trochilidae）被設(shè)計并已實 現(xiàn)，多操作系統(tǒng)可以同時運行在此虛擬機監(jiān)控器之上， 同時對操作系統(tǒng)性能無損失，在提供傳統(tǒng)虛擬機監(jiān)控 器功能的

6、基礎(chǔ)上，蜂鳥的代碼量僅4 000行左右（包括 匯編與C代碼），降低了系統(tǒng)的復雜度，便于系統(tǒng)的 維護與調(diào)試。以上是國內(nèi)外對高性能計算與云計算相 互結(jié)合的研究，本文主要從性能評測和解決方案兩大 部分進行闡述。性能評測本節(jié)主要從性能評測平臺方面綜述了在云計算環(huán) 境中實施高性能計算的研究情況。要進行性能評測， 首先要有方法，即基準測試程序，基準測試程序包括本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載微觀基準測試程序（HPCC、PARSECBenchmark、 LMBench等）和宏觀基準測試程序（NAS、SPE

7、C）兩類, 使用這些基準測試程序在不同測試平臺上進行綜合性 能評估及性能瓶頸分析；其次是性能測試平臺，由于根 據(jù)不同的平臺、不同的測試負載會給出不一樣的測試 結(jié)果，同時，不同的測試方法可能給出完全不同的測 試精度，下面主要介紹一下主流的性能評測平臺。FutureSystemFutureSystem測試床包括在地理上分布的異構(gòu)計 算系統(tǒng)、持有元數(shù)據(jù)和不斷增長的軟件映像庫的數(shù)據(jù) 管理系統(tǒng)，以及一個保持隔離和安全實驗的專用網(wǎng)絡(luò)。 該測試床支持基于虛擬機的環(huán)境以及本地操作系統(tǒng)的 實驗，目的是最大限度減少開銷和提高性能。該項目 的合作伙伴，將整合現(xiàn)有的開放源代碼軟件包來創(chuàng)建 一個易于使用的軟件環(huán)境，支持

8、網(wǎng)格和云計算實驗的 實例、執(zhí)行和記錄。FutureSystem為研究人員提供了 處理網(wǎng)格計算、云計算使用和安全性方面的挑戰(zhàn)，包 括身份驗證、授權(quán)、調(diào)度、虛擬化、高性能、中間件 的設(shè)計和網(wǎng)絡(luò)安全。支持的研究領(lǐng)域包括天文、化學、 生物工程、大氣科學和流行病學等。這個項目由國家 科學基金會（NSF）所支持（），其合作伙伴包括印第安那 大學、芝加哥大學、佛羅里達大學、圣地亞哥超級計本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載算機中心、德克薩斯高級計算中心、弗吉尼亞大學、 美國田納西大學、美國南加州大學、德累斯頓

9、、美國 普渡大學和Grid5000o在虛擬集群測試中，隨著集群節(jié)點的增多，網(wǎng)絡(luò) 通信和數(shù)據(jù)的讀寫速度成了性能上的主要瓶頸，隨著 計算規(guī)模的擴大，性能顯示下滑的趨勢。根據(jù)側(cè)重點 的不同，可分為擴展性測試和花費有效性測試。(1)擴展性。從擴展性的角度描述了一個科學的 工作流應用程序在云中運行的經(jīng)驗。這個應用程序是 去處理由Kepler項目發(fā)布的天文數(shù)據(jù)，這些天文數(shù)據(jù) 是NASA的使命去尋找類似地球的行星圍繞其他恒星 所產(chǎn)生的數(shù)據(jù)。使用Pegasus工作流管理系統(tǒng)，通過 把工作流映射在多個云中(包括FutureSystem、 Magellan云和AmazonEC2云)評估它的性能，并討 論了在云中部

10、署和執(zhí)行工作流所面臨的挑戰(zhàn)。同時演 示了 Pegasus如何支持同時跨多個云基礎(chǔ)設(shè)施的天空 計算(skycomputing)。最后得出結(jié)論：天空計算對一些 科學的工作流來說是一個可行且有效的解決方案。(2)花費有效性。描述了計算機集群中節(jié)點數(shù)量 與每美元所獲得的計算性能的關(guān)系，指出隨著節(jié)點數(shù) 量的增加，單位成本所獲得的計算性能在急劇減少， 所以運算的規(guī)模越大，云計算所提供的計算性價比就本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載越低，這是當前制約在云計算環(huán)境中進行科學計算的 主要原因之一。Magella

11、nMagellan由國家能源研究科學計算中心 (NERSC) 部署的一個具有一定靈活性和性能的分布式測試床， Magellan主要研究以下幾個問題：(1)開源云計算軟件庫是否能夠滿足美國能源部 (DOE)利用高性能計算開展科研的需求；(2)DOE的網(wǎng)絡(luò)安全要求能否在云中得到實現(xiàn)；(3)新的云計算編程模式對科學計算是否有價值；(4)DOE高性能計算應用程序能否在云中有效運 行與哪些應用適用于云。采用了 Magellan測試床，項目Magellan研究針 對科學計算的云計算，并指出當前云計算對科學應用 有很多的差距和挑戰(zhàn)。AmazonEC2Amazon Elastic Compute Cloud(

12、EC2)是 Amazon 提供的云計算環(huán)境的基本平臺。通過使用EC2,可以在任何時候根據(jù)個人或企業(yè)的需要簡便地創(chuàng)建、啟動 和供應虛擬實例。根據(jù)實例的類型和每小時的實際使 用量付費。虛擬服務(wù)器在Amazon數(shù)據(jù)中心的安全環(huán) 境中運行。EC2可以為 Web范圍的應用程序提供動本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載態(tài)地配置計算需求和根據(jù)需要調(diào)整計算能力的功能。采用AmazonEC2測試床進行相關(guān)的研究在中有相關(guān)的介紹，它詳細描述了基準測試結(jié)果所特有的 虛擬化開銷和其對性能的影響，同時檢查了各種互連 技術(shù)

13、的性能，以了解各種選擇對性能的影響。研究結(jié) 果顯示，虛擬化對性能有顯著的影響；同時也顯示了能 力較差的互連技術(shù)顯著影響典型的 HPC應用的性能， 評估了 Amazon的集群計算實例(Amazon Cluster Compute Instance片勺性能。為了更清楚地理解云的優(yōu) 點和限制，比較了云和 HPC集群的性能，同時關(guān)注 虛擬化和基礎(chǔ)網(wǎng)絡(luò)怎樣影響 HPC應用的性能，最后 得出在云計算中可獲得與 HPC集群一樣的性能主要 取決于所運行的應用程序的類型的結(jié)論。LLGrid麻省理工學院林肯實驗室網(wǎng)格(MIT Lincoln LaboratoryGrid, LLgrid)項目的目標是開發(fā)按需網(wǎng)格計

14、 算能力，使用主流編程語言MATLAB，實施數(shù)值計算， 被廣泛用于算法開發(fā)、仿真、數(shù)據(jù)縮減、測試和系統(tǒng) 評估領(lǐng)域。麻省理工學院林肯實驗室有一千多的 MATLAB用戶，近200個用戶長時間運行并行處理 的任務(wù)。為了使這些用戶使用LLgrid的計算資源能夠透明地運行并行的 MATLAB 任務(wù)，LLgrid項目已本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載開發(fā)了三種技術(shù)：點到點(point-point)消息MatlabMPI; 全局數(shù)組語義pMatlab(類似高性能Fortran);把用戶計 算機整合到LLg

15、ird且自動分配網(wǎng)格計算資源的 gridMatlab。解決方案性能優(yōu)化著眼于可靠性，相比之下，解決方案則 側(cè)重于可行性，即HPC計算資源與云計算相整合是 否是可行的，高性能計算云有哪些解決方案和成功案 例。對此有相關(guān)介紹，下面分為編程模型、基于管理 器的虛擬化、基于容器的虛擬化三個方面進行介紹。編程模型海量數(shù)據(jù)分析由于輸入的數(shù)據(jù)非常大，為了能在 合理的時間內(nèi)處理完數(shù)據(jù)，計算通常分布在成百上千 臺計算機上去執(zhí)行。如何分布數(shù)據(jù)、如何并發(fā)計算、 如何處理失效等相關(guān)問題合在一起就會導致應用程序 的代碼非常復雜。編程模型正是為解決這些問題而提 出來的，編程模型是數(shù)據(jù)密集型計算領(lǐng)域的一個基礎(chǔ) 性的系統(tǒng)軟件

16、，代表性的編程模型有MapReduceHadoop、Dryad等?；贖adoop,提出一種基于云 的分布式數(shù)字海洋系統(tǒng)，把不同的海洋數(shù)據(jù)通過高速 網(wǎng)絡(luò)連接起來建立一個存儲云，使用一個專用的網(wǎng)絡(luò) 服務(wù)協(xié)議，用于高性能廣域網(wǎng)絡(luò)連接的計算機集群所本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載進行的大型分布式數(shù)據(jù)集的高性能計算。實驗結(jié)果表 明，與現(xiàn)有基于Hadoop分布式數(shù)字海洋系統(tǒng)相比， 該系統(tǒng)的性能有顯著提高、數(shù)據(jù)高度共享?；诠芾砥鞯奶摂M化 (hypervisor-basedvirtualization)

17、基于虛擬機監(jiān)視器的虛 擬化技術(shù)包括 Xen、VMware、KVM 和Palacios等， 對于我們大家相對陌生的就是 Palacios, Palacios是 個OS獨立內(nèi)嵌的、非參數(shù)化的 VMM ,它是一個現(xiàn) 代架構(gòu)的開源的虛擬機監(jiān)視器，已經(jīng)廣泛的使用在現(xiàn) 代Intel和AMD的x86處理器的虛擬化擴展中。Palacios是高度可配置的，可以內(nèi)嵌到諸如Linux和Kitten輕量級內(nèi)核的不同的host操作系統(tǒng)中，其上的是有效地虛擬化 HPC應用。Palacios是V3VEE 項 目的一部分。起初，V3VEE作為美國國家科學基金 會 資 助 的 NorthwesternUniversity 和

18、theUniversityofNewMexico 之間的合作項目。目前， 它涉及到5個能源部資助的合作伙伴機構(gòu)：Northwestern University the University of NewMexico、 theUniversity of Pittsburgh 、 Sandia National Laboratories 和 OakRidge National Laboratory。V3VEE 是一個社會努力、資源發(fā)展的結(jié)果，任何人都可以為 之作出貢獻。本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，

19、請下載對于內(nèi)嵌到輕量級host操作系統(tǒng)的Palacios,通 ri Benchmark測試之后，實驗證明，運行在虛擬LWK 環(huán)境中的性能能夠超越直接在Linux主機上執(zhí)行同樣 的測試的性能，進而滿足了 HPC計算的特性?；谌萜鞯奶摂M化(container-basedvirtualization)Linux-VServer,OpenVZ、 LinuxContainers(LXC)和 MicrosoftHyper-V 是操作系 統(tǒng)級的虛擬化技術(shù)，提供了輕量級(lightweight)的近似 于裸機的虛擬化層。OpenVZ經(jīng)常被使用作為服務(wù)器 虛擬化的最佳選擇， OpenVZ是開源軟件，是基于 L

20、inux內(nèi)核和作業(yè)系統(tǒng)的操作系統(tǒng)級虛擬化技術(shù)。OpenVZ允許物理服務(wù)器運行多個操作系統(tǒng)并以最大 效率共享硬件和管理資源，這些操作系統(tǒng)是相互隔離， 被稱為虛擬專用服務(wù)器(VPS)和虛擬環(huán)境(VE)。采用了基于容器的虛擬化技術(shù) OpenV乙 實驗表 明，基于容器的虛擬化帶來了非常低的開銷，幾乎與 物理機一樣的性能。提出了一種面向高性能并行計算 機的虛擬化技術(shù)：高性能虛擬計算域(HPVZ),其中服 務(wù)結(jié)點的虛擬計算域基于 OpenVZ構(gòu)成。通過在操作 系統(tǒng)上構(gòu)建多個獨立的用戶運行環(huán)境,實現(xiàn)了在一個 操作系統(tǒng)內(nèi)核上同時運行多個相互獨立的用戶運行環(huán) 境的目標。HPVZ技術(shù)在保證系統(tǒng)性能的前提下,為本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和其他應用文檔，如需本文，請下載本文為網(wǎng)絡(luò)收集精選范文、公文、論文、和