2022年高性能計(jì)算云（HPC+Clound）服務(wù)白皮書

高性能計(jì)算云（HPCCloud）服務(wù)白皮書超級(jí)計(jì)算創(chuàng)新聯(lián)盟算網(wǎng)融合產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)版權(quán)聲明本白皮書版權(quán)屬于超級(jí)計(jì)算創(chuàng)新聯(lián)盟與算網(wǎng)融合產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本白皮書文字或者觀點(diǎn)的，應(yīng)注明“來源：超級(jí)計(jì)算創(chuàng)新聯(lián)盟與算網(wǎng)融合產(chǎn)業(yè)及標(biāo)準(zhǔn)推進(jìn)委員會(huì)”。違反上述聲明者，編者將追究其相關(guān)法律責(zé)任。參與編寫單位京)科技有限責(zé)任公司、中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司、江蘇奧工主要撰稿人進(jìn)，為高性能計(jì)算云服務(wù)創(chuàng)新發(fā)展?供參考和借鑒。 1 1 3 4 13 13 15 18 24 26 30 32 33 34 34 35 36 37 37 38 39 40 40 42 45 46 3 6 7 10 12 13 331一、高性能計(jì)算云發(fā)展現(xiàn)狀2括傳統(tǒng)超算服務(wù)?供商、云服務(wù)商等在內(nèi)的產(chǎn)業(yè)各方的高度關(guān)注。高3全球高性能計(jì)算市場增長最快的是高性能計(jì)算云市場，增長率超過如圖1所示，超算云是超算服務(wù)云化發(fā)展過程中的一種產(chǎn)品形4云用云，進(jìn)一步?升企業(yè)生產(chǎn)運(yùn)營數(shù)據(jù)價(jià)值，創(chuàng)造顯著的經(jīng)濟(jì)效益。所需的各類硬件，?高成本效益。59圖2展示了基于高性能計(jì)算云的工業(yè)仿真平臺(tái)，該平臺(tái)集成了船舶、能源化工、建筑土木等領(lǐng)域的CAE/CFD解決方案，?供從算7應(yīng)用軟件種類眾多，部分計(jì)算任務(wù)對I/O8災(zāi)害防范等等，無不有賴于對氣象的監(jiān)測與?前預(yù)判。精準(zhǔn)的9天氣和氣象建模及仿真工作負(fù)載能夠盡可能地快速、高效運(yùn)行，讓HPC資源得到充分利用。還?供了一種循環(huán)系統(tǒng)開源工作流引擎，圖4展示了基于高性能計(jì)算云的石油勘探解決方案，該方案具EDA的出現(xiàn)極大縮短了芯片設(shè)計(jì)周期及?高成功率。隨著芯片工藝EDA高性能計(jì)算云解決方案可以幫助芯片設(shè)計(jì)企業(yè)?升EDA運(yùn)行效率，加速產(chǎn)品上市；減輕IT投資壓力，降低IT運(yùn)維難度。務(wù)編排等豐富的服務(wù)能力，滿足行業(yè)應(yīng)用差異化、定制化服務(wù)需求。平臺(tái)服務(wù)層向用戶?供集群、數(shù)據(jù)、作業(yè)、隊(duì)列等層級(jí)的管理能力，高性能計(jì)算云平臺(tái)可?供滿足不同計(jì)算需求的基礎(chǔ)資源供給服所有的計(jì)算資源都基于此通用基礎(chǔ)設(shè)施構(gòu)建，以便靈活調(diào)度和擴(kuò)展。（Hypervisor）來創(chuàng)建和管理虛擬機(jī)實(shí)例。虛擬機(jī)監(jiān)視器負(fù)責(zé)分配和智能網(wǎng)卡的一個(gè)重要功能就是將原本運(yùn)行在主機(jī)Hypervisor上的集群管理服務(wù)承擔(dān)著將整個(gè)高性能計(jì)算云服務(wù)系統(tǒng)中的資源進(jìn)集群管理服務(wù)還?供集群內(nèi)計(jì)算節(jié)點(diǎn)的資源配置能力。在計(jì)算資源方面，從算力資源形式上可以分為物理核心算力和虛擬核心算力。高性能計(jì)算云實(shí)現(xiàn)高效計(jì)算的核心功能離不開特有的基礎(chǔ)軟件務(wù)的?交；IDE工具?交：?供webIDE工具方式進(jìn)行作業(yè)腳本的在高性能計(jì)算云服務(wù)中的隊(duì)列管理服務(wù)包括隊(duì)列監(jiān)控、隊(duì)任務(wù)排隊(duì)、資源分配和限制、錯(cuò)誤處理等功能，可以?高高性能計(jì)算基于隊(duì)列查詢能力，用戶可以在作業(yè)?交前了解各隊(duì)列的資源配高性能計(jì)算云服務(wù)中的應(yīng)用開發(fā)環(huán)境主要包括開發(fā)工具及接口、分成多個(gè)小型計(jì)算任務(wù)，并在單個(gè)計(jì)算節(jié)點(diǎn)上的多個(gè)CPU核心和Intel編譯器等。在數(shù)據(jù)庫方面，可?高性能計(jì)算云服務(wù)中通常會(huì)使用一些性能分析工具來幫助用戶監(jiān)控幫助用戶了解應(yīng)用程序的性能狀況，并且可以?供實(shí)時(shí)的性能報(bào)Nagios、Zabbix、Ganglia等，性能調(diào)優(yōu)工具包括VTune、Perf、命科學(xué)等特定領(lǐng)域和場景，?供定制化的應(yīng)用軟件和相關(guān)服務(wù)能力，通用應(yīng)用服務(wù)可以幫助用戶快速構(gòu)建和部署各種計(jì)算和數(shù)據(jù)處深度學(xué)習(xí)框架服務(wù)?供了多種深度學(xué)習(xí)框架，如TensorFlow、模型推理服務(wù)可以將訓(xùn)練好的深度學(xué)習(xí)模型部署到高性能計(jì)算大數(shù)據(jù)分析服務(wù)?供了多種數(shù)據(jù)處理和分析工具，如Hadoop、數(shù)據(jù)庫服務(wù)可以?供多種數(shù)據(jù)庫管理系統(tǒng)，如MySQL、應(yīng)用可視化按操作系統(tǒng)平臺(tái)可分為Windows和Linux兩類，Windows應(yīng)用可視化一般采用商用虛擬顯示VDI方案，常見的有高性能計(jì)算云服務(wù)所?供的應(yīng)用可視化的另一種典型場景稱為高性能計(jì)算任務(wù)的能力，這類應(yīng)用主要以工業(yè)仿真領(lǐng)域的商用使得平臺(tái)用戶可以通過用戶展示界面直觀了解算力資源的使高性能計(jì)算云服務(wù)支持通過管理門戶可視化的方式對作業(yè)進(jìn)行高性能計(jì)算云服務(wù)支持用戶通過門戶可視化的方式?交和控制數(shù)，并?交作業(yè)到系統(tǒng)運(yùn)行。系統(tǒng)需要針對常用的HPC應(yīng)用定制作的可視化界面形式?供給管理員，便于管理員對資源進(jìn)行統(tǒng)一監(jiān)管。高性能計(jì)算云服務(wù)服務(wù)通過多種直觀的圖表形式展示各類資源數(shù)據(jù)安全應(yīng)確保高性能計(jì)算云服務(wù)數(shù)據(jù)處于有效保護(hù)和合法利準(zhǔn)安全策略對高性能計(jì)算云服務(wù)平臺(tái)運(yùn)行環(huán)境進(jìn)行安全加固及策略圖7高性能計(jì)算云服務(wù)十大關(guān)鍵能力地分配到計(jì)算資源上執(zhí)行的過程。作業(yè)調(diào)度的目標(biāo)是優(yōu)化資源調(diào)度、公平共享調(diào)度、搶占調(diào)度、預(yù)留調(diào)度、數(shù)據(jù)感知調(diào)度署。通過靈活應(yīng)用部署能力，高性能計(jì)算云服務(wù)可以?高應(yīng)用程序的高性能計(jì)算云服務(wù)中的可視化能力保障可以幫助用戶直觀地了（一）算力多樣性將成為高性能計(jì)算云服務(wù)發(fā)展的“雙刃劍”一體化服務(wù)能力涵蓋了一個(gè)高性能計(jì)算云中心不同層次的服務(wù)?出了可參考的高性能計(jì)算云架構(gòu)以及高性能計(jì)算云涉及的相關(guān)技縮略語ACLAccessControlListAIArtificialIntelligenceAPIApplicationProgrammingInterfaceAPPApplicationASICApplicationSpecificIntegrComputerAidedEngineComputationalFluidCloudinfrastructureProcessingDRAMDynamicRandomAccessMemoryDomainSpecificArchitecElectronicdesignautomaFieldProgrammableGateAGraphicsProcessingGraphicalUserInterfaceHighPerformanceCompuIntegratedDevelopmentEnvironNPUNeural