高性能計算發(fā)展現(xiàn)狀分析

1、 高性能計算發(fā)展現(xiàn)狀分析目 錄 TOC o 1-3 h z u HYPERLINK l _Toc530404618 1.1 高性能計算的發(fā)展現(xiàn)狀 PAGEREF _Toc530404618 h 3 HYPERLINK l _Toc530404619 1.1.1 高性能計算概述 PAGEREF _Toc530404619 h 3 HYPERLINK l _Toc530404620 1.1.2 高性能計算的應用需求 PAGEREF _Toc530404620 h 3 HYPERLINK l _Toc530404621 1.1.3 國外高性能計算發(fā)展現(xiàn)狀 PAGEREF _Toc530404621

2、h 4 HYPERLINK l _Toc530404622 1.1.4 國內高性能計算發(fā)展現(xiàn)狀 PAGEREF _Toc530404622 h 5 HYPERLINK l _Toc530404623 1.1.5 高性能計算機關鍵技術發(fā)展現(xiàn)狀 PAGEREF _Toc530404623 h 7高性能計算的發(fā)展現(xiàn)狀高性能計算概述高性能計算（High Performance Computing，簡稱HPC）是計算機科學的一個分支，研究并行算法和開發(fā)相關軟件，致力于開發(fā)高性能計算機（High Performance Computer），滿足科學計算、工程計算、海量數(shù)據(jù)處理等需要。自從1946年設計用于

3、導彈彈道計算的世界上第一臺現(xiàn)代計算機誕生開始，計算技術應用領域不斷擴大，各應用領域對計算機的處理能力需求越來越高，這也促使了高性能計算機和高性能計算技術不斷向前發(fā)展。隨著信息化社會的飛速發(fā)展，人類對信息處理能力的要求越來越高，不僅石油勘探、氣象預報、航天國防、科學研究等需求高性能計算機，而金融、政府信息化、教育、企業(yè)、網絡游戲等更廣泛的領域對高性能計算的需求也迅猛增長。高性能計算的應用需求應用需求是高性能計算技術發(fā)展的根本動力。傳統(tǒng)的高性能計算應用領域包括：量子化學、分子模擬、氣象預報、天氣研究、油氣勘探、流體力學、結構力學、核反應等。隨著經濟發(fā)展和社會進步，科學研究、經濟建設、國防安全等領域

4、對高性能計算設施及環(huán)境提出了越來越高的需求，不僅高性能計算的應用需求急劇增大，而且應用范圍從傳統(tǒng)領域不斷擴大到資源環(huán)境、航空航天、新材料、新能源、醫(yī)療衛(wèi)生、金融、互聯(lián)網、文化產業(yè)等經濟和社會發(fā)展的眾多領域。當前，世界和中國面臨諸多重大挑戰(zhàn)性問題。比如，全球氣候出現(xiàn)快速增溫的事實使“應對氣候變化”成為各國政治、經濟和社會發(fā)展的重大課題，為了進一步消減“溫室效應”和減少碳排放，實現(xiàn)可持續(xù)發(fā)展的低碳經濟，新材料的發(fā)現(xiàn)、設計與應用迫在眉睫；隨著化石能源的日益枯竭和環(huán)境的日趨惡化，新能源的開發(fā)勢在必行；隨著科技的發(fā)展，人類邁向太空的腳步逐漸加快，空間資源的爭奪和戰(zhàn)略性部署竟然愈發(fā)激烈，航空航天領域作為此

5、項重大科研技術活動的基礎支撐，投入將持續(xù)擴大；為了攻克重大疾病、進一步提高人口健康質量，生命科學與新藥制造已成為技術發(fā)展和經濟投入的重要增長點；隨著互聯(lián)網技術不斷發(fā)展，借助海量數(shù)據(jù)與高性能計算的力量使得人工智能研究不斷取得新的突破，各大互聯(lián)網企業(yè)對高性能計算的投入將持續(xù)增加；在國際競爭的大環(huán)境下，基礎科研實力是高新技術發(fā)展的重要源泉，是未來科學和技術發(fā)展的內在動力，也是實現(xiàn)國家經濟、社會和環(huán)境可持續(xù)性發(fā)展的重要途徑，基礎科學研究的投入也將持續(xù)增長。解決上述關系國家戰(zhàn)略和國計民生的重大挑戰(zhàn)性問題都離不開高性能計算的強力支撐，可以預見在戰(zhàn)略層面，各國對高性能計算的投入會持續(xù)增長，而中國將更加發(fā)力；

6、在技術層面上，高性能計算的應用范圍將越來越廣，反過來應用需求也將催生高性能計算新技術的誕生與發(fā)展。圖：全球HPC TOP500統(tǒng)計數(shù)據(jù)顯示高性能計算能力成倍增長國外高性能計算發(fā)展現(xiàn)狀高性能計算作為國家實力的重要體現(xiàn)，是一個國家最尖端的信息技術綜合體。發(fā)達國家政府（美日歐）普遍將高性能計算作為國家戰(zhàn)略，給予高度重視并進行持續(xù)投入。美國是世界上最重視高性能計算、投入最多、受益最大的國家。近數(shù)十年來，美國政府持續(xù)實施了SCP（戰(zhàn)略計算機計劃）、HPCC（高性能計算和通信）、ASCI（加速戰(zhàn)略計算）、ASC（先進模擬和計算）、HPCS（高生產率計算機）等多個國家計劃，從而確保了美國在高性能計算領域長期

7、處于領先地位。2015年7月，美國政府提出了建立“國家戰(zhàn)略計算項目”(NSCI)，目的是創(chuàng)建美國高性能計算的研發(fā)地位，研制世界上第一臺百億億次計算系統(tǒng)，此舉的目標就是奪回2013年以來被中國奪走的計算速度頭名的寶座。2015年6月統(tǒng)計的全球性能最高的500臺高性能計算機有233臺安裝在美國，其中性能最高的10臺計算機中有5臺部署于美國。美國在高性能計算領域的領先優(yōu)勢十分明顯，為美國在科技創(chuàng)新和經濟發(fā)展方面處于世界領先地位做出了重大貢獻。當前，美國政府仍在繼續(xù)加強其在高性能計算領域的研發(fā)投入。正在實施的UHPC（普適高性能計算）計劃，目標是研究革命性的設計方法來滿足不斷增長的國防應用對高性能計算

8、的需求，包括開發(fā)超高并發(fā)性的高性能計算機、有效提升系統(tǒng)能效比、簡化并行應用設計方法和提升應用的容錯能力等，為實現(xiàn)百億億次（ExaFlops）計算奠定基礎。日本一直以來位列高性能計算大國，與美國類似，日本政府非常重視高性能計算技術，不斷加強其在高性能計算領域的研發(fā)投入。早在1990年，日本NEC公司研制的SX-3/44R系統(tǒng)就成為當時全球速度最快的高性能計算機。之后的1993年，F(xiàn)ujitsu公司開發(fā)的“數(shù)值風洞”系統(tǒng)，以及2004年NEC的“地球模擬器”再次位列全球第一。在2015年6月統(tǒng)計的全球TOP 500高性能計算機中，日本占據(jù)40席，其中Fujitsu公司研制的“K計算機”位列世界第四

9、，“K計算機”將落戶日本理化學研究所（RIKEN），服務于物理、化學、生物、醫(yī)學、材料、能源等領域科學研究。此外，日本正在進行Exascale Supercomputer Project（E級高性能計算）項目，該項目目標是建設E級的高性能計算與軟件系統(tǒng)的來替換現(xiàn)有的“K計算機”，該系統(tǒng)將服務于未來日本科學技術研究如藥物設計、地震影響研究等。歐洲也一直是高性能計算的活躍區(qū)域。2002年，7個歐洲國家的11個高性能計算中心就聯(lián)合發(fā)起DEISA項目，旨在建立泛歐洲的高性能計算基礎設施。在2015年6月統(tǒng)計的全球TOP 500高性能計算機中，歐洲占據(jù)了28%的席位。面向百億億次（ExaFlops）計算

10、需求，歐洲提出了EESI和MareIncognito超算計劃，主要從并行編程模型和和應用算法方面突破百億億次級計算的關鍵技術，包括編程模型、負載均衡技術、微處理器/結點技術、性能分析工具、互連技術和高性能應用等。國內高性能計算發(fā)展現(xiàn)狀“九五”以來，在國家及相關政府的持續(xù)支持和IT企業(yè)的積極參與下，我國高性能計算機有了長足的發(fā)展，研制隊伍不斷發(fā)展和壯大，主要的研制單位有：國家并行計算機工程技術研究中心、中科院計算技術研究所國家智能中心、國防科技大學計算機學院、曙光公司等，是數(shù)十年積聚起來的我國高性能計算機技術研發(fā)的中堅力量?！笆晃濉逼陂g，在國家863計劃“高效能計算機及網格服務環(huán)境”重大項目的

11、支持下，我國先后研制成功若干臺百萬億次和千萬億次超級計算機系統(tǒng)。2008年，聯(lián)想公司和曙光公司分別研制成功“深騰7000”和“曙光5000”百萬億次計算機；2009年，國防科技大學研制成功“天河一號”千萬億次計算機，使我國成為繼美國之后世界上第二個研制成功千萬億次計算機的國家；2010年6月，曙光公司研制成功“星云”千萬億次計算機，性能列世界TOP500第二位。2010年11月，升級后的“天河-1A”系統(tǒng)創(chuàng)造了超級計算機全球排名第一的最好成績?；谧灾鰿PU芯片研制超級計算機也取得了重大突破，神威藍光于2010年底成為第一個全部采用國產CPU實現(xiàn)的千萬億次超級計算機。進入“十二五”以來，我國的

12、超級計算機研制繼續(xù)發(fā)展，天河2號連續(xù)四次位居TOP500第一名。預計到“十二五”末，我國還將推出2套峰值性能超過10億億次（100PFLOPS）的超級計算機系統(tǒng)，有望繼續(xù)在TOP500排行榜中名列前茅。在2013年國務院發(fā)布的國家重大科技基礎設施建設中長期規(guī)劃(2012-2030年)中，多個基礎設施的建設都離不開高性能計算系統(tǒng)如海底科學觀測網、轉化醫(yī)學研究設施。其中，地球系統(tǒng)數(shù)值模擬器通過超級計算及存儲專用系統(tǒng)的建設，并結合超級模擬支撐與管理軟件系統(tǒng)、地球各層圈過程模擬軟件系統(tǒng)等來實現(xiàn)模擬地球系統(tǒng)圈層變化和長期氣候變化，精細描述和預測地球物理化學及生物過程，提高我國地球系統(tǒng)模擬的整體能力和重大

13、自然災害預測預警、氣候變化預估的研究水平。圖：TOP500系統(tǒng)國家分布歷史統(tǒng)計我國在高性能計算機系統(tǒng)相關的基礎性支撐技術方面也有了很大進步。在處理器方面，國內自主研制的“龍芯”、“神威”、“飛騰”等系列的多核處理器方面已有所突破，相關的生態(tài)環(huán)境正在逐步完善；在異構協(xié)同與并行優(yōu)化方面，國內在CPU/GPU混合結構的應用研究，比如生命科學領域的基因比對、分子動力學、電鏡數(shù)據(jù)處理石油勘探領域的電子斷層三維重構、疊前時間偏移、深度學習等方面均取得突破。在系統(tǒng)軟件及環(huán)境方面，國內在大規(guī)模異構系統(tǒng)的管理和監(jiān)控、大規(guī)模系統(tǒng)的快速部署以及高效系統(tǒng)虛擬化等關鍵技術上也取得了很大進展?！笆晃濉逼陂g，在國家863

14、計劃“高效能計算機及網格服務環(huán)境”重大項目的支持下，成功開發(fā)具有自主知識產權的中國國家網格軟件GOS（Grid Operating System），突破了廣域資源共享和協(xié)同工作的關鍵技術，其功能和性能已達到并超越國際同類軟件水平。此外，863計劃還先后重點支持了化學、天文、氣象、生物醫(yī)藥、流體、激光聚變、大飛機、石油勘探地震成像等領域的高性能計算應用，形成了若干可利用上千以上的處理器核進行計算模擬的應用實例。高性能計算機關鍵技術發(fā)展現(xiàn)狀體系架構作為高性能計算基礎設施的核心，現(xiàn)代高性能計算機的發(fā)展從20世紀70年代的向量計算機開始，也已經有了幾十年的發(fā)展歷程。先后出現(xiàn)了向量機、多處理器并行向量機

15、、MPP大規(guī)模并行處理機、SMP對稱多處理機、DSM分布式共享存儲計算機、Constellation星群系統(tǒng)、Cluster集群系統(tǒng)、混和系統(tǒng)等多種主體的體系架構，并分別在不同的時期占據(jù)著應用的主流。其中，計算機集群（簡稱集群、Cluster）是一種計算機系統(tǒng)，它通過一組松散集成的計算機軟件和/或硬件連接起來高度緊密地協(xié)作完成計算工作。在某種意義上，他們可以被看作是一臺計算機。集群系統(tǒng)中的單個計算機通常稱為節(jié)點，通過內部網絡連接。高性能計算集群采用將計算任務分配到集群的不同計算節(jié)點而提高計算能力。比較流行的高性能計算集群采用Linux操作系統(tǒng)和其它一些標準軟件來完成并行運算，這一集群配置通常被

16、稱為Beowulf集群。這類集群通常運行特定的程序以發(fā)揮高性能計算集群的并行能力，這類程序一般使用特定的運行庫，比如MPI等。相比于MPP等一些專有高性能計算系統(tǒng)，集群系統(tǒng)具有明顯的優(yōu)勢，包括：集群的標準化程度高高性能計算集群一般都是采用工業(yè)標準的硬件和軟件系統(tǒng)，比如采用標準的x86架構處理器；工業(yè)標準的互聯(lián)網絡，比如InfiniBand、萬兆網絡等；通用的Linux操作系統(tǒng)；通用的并行編程標準和模型；通用的作業(yè)分發(fā)調度系統(tǒng)等。靈活性、可擴展性好集群是一個松散的架構，由計算節(jié)點通過互聯(lián)網絡連接而成，一個集群可以方便地進行擴展；同樣的，一個集群也可以靈活的進行物理或邏輯上的拆分。MPP等一些專有

17、定制系統(tǒng)就很難做到這樣的靈活可擴展性。性能高集群單個計算節(jié)點性能在不斷提升、集群互聯(lián)網絡技術發(fā)展迅猛、集群可擴展性也越來越好、集群的并行編程技術不斷進步，集群已經成為高性能計算的代名詞。性價比高由于集群采用的是標準化的軟硬件系統(tǒng)，采用的是大規(guī)模工業(yè)生產的設備部件，可以極大程度降低高性能計算系統(tǒng)的建設成本，相應的，集群的運維和維護成本也要小很多。投資風險小集群技術經過多年的發(fā)展，其硬件和軟件技術已經發(fā)展得非常成熟，建設和維護需要的設備器件有充足的市場保障；絕大部分高性能計算應用在集群架構上開發(fā)和調試，應用支持程度高，可以確保高性能計算平臺的建設成功。正是因為具有的這些優(yōu)勢，集群在高性能計算領域發(fā)

18、展迅猛，目前已經成為高性能計算的主流架構。從2012年起，TOP500榜單中關于體系架構就只剩下Cluster和MPP兩位角色，其中Cluster一直占據(jù)超過80的裝機份額，在中小規(guī)模高性能計算系統(tǒng)中更是占統(tǒng)治地位。圖：TOP500中體系架構份額歷史統(tǒng)計處理器處理器是高性能計算機的核心，很大程度上決定了高性能計算機的計算性能。隨著x86處理器在PC消費級市場的繁榮，其觸角逐漸延伸到高性能計算領域。另一方面，隨著開放式集群架構在高性能計算領域的統(tǒng)治地位確立，市場占有率大、性價比高的x86處理器也成為自然合理的選擇。自2000年開始，Intel和AMD的x86處理器在高性能計算市場占有率迅速擴大，

19、逐漸蠶食掉了Alpha、MIPS、Power、SPARC、PA-RISC等RISC處理器的市場。2015年6月發(fā)布的TOP500榜單中，共有427臺系統(tǒng)（占比85.4）采用Intel處理器，其中僅Intel Xeon處理器E5家族就貢獻了80，令其他廠商望塵莫及。IBM Power處理器的份額穩(wěn)定在35臺，占比7；AMD Opteron家族的占有量是20臺（占比4）。從處理器多核角度來看，目前有96的系統(tǒng)采用6核及以上核心，85的系統(tǒng)采用8核及以上核心，39的系統(tǒng)采用10核及以上核心。從趨勢來看，雖然8核仍是HPC系統(tǒng)的主流配置但應用逐步收窄，而10核和12核處理器的市場份額將會進一步擴大。圖

20、：TOP500中處理器份額歷史統(tǒng)計此外，隨著GPU、Intel MIC、FPGA等加速器/協(xié)處理器的出現(xiàn)，CPU不再是高性能計算領域計算單元的唯一選擇。相比于CPU，這些協(xié)處理器的浮點運算能力更強、任務處理模式更簡單，非常適合部分高性能計算應用。使用協(xié)處理器可以大大提升高性能計算機的計算性能，分擔CPU的處理負載。全球HPC TOP500中協(xié)處理器的使用越來越多，其中包括2015年6月連續(xù)四次蟬聯(lián)TOP500第一的天河二號，2012年11月TOP500全球第一的Titan，2010年11月全球第一的天河-1A，以及2010年6月全球第二的曙光星云系統(tǒng)。在協(xié)處理器的市場份額中，Nvidia GP

21、U占據(jù)主導，AMD ATI GPU也有一定市場， Intel MIC（Xeon Phi）增長迅速，以PEZY-SC為代表的其它類型協(xié)處理器在高性能計算中嶄露頭角。另外，以FPGA為代表的可定制化的SOC具有浮點計算能力強、整體功耗低的特點，未來會快速增長。圖：TOP500中使用協(xié)處理器的系統(tǒng)越來越多并行編程模型現(xiàn)代高性能計算機都是并行計算機，通過并行計算，降低單個任務的計算時間、提高任務的求解精度、或者擴大問題的處理規(guī)模，這些都是高性能計算機的根本目標，也是高性能計算技術發(fā)展的驅動力。高性能計算機上的并行編程模型與計算機體系架構緊密相關。當前主流的并行編程模型與主流的高性能計算集群架構相匹配。

22、從進程或線程的交互方式角度劃分，并行編程模型主要有共享內存編程模型（Share Memory）和消息傳遞編程模型（Message Passing）。共享內存編程模型一般應用在共享內存體系結構上，比如SMP、DSM、NUMA。它具有單地址空間，線程級并行，主要實現(xiàn)有OpenMP和Pthreads。共享內存編程模型具有并行效率高、編程容易（特別是采用編譯制導的OpenMP模型）等優(yōu)點，但它的可移植性和可擴展性不好。當前高性能計算集群架構的計算節(jié)點通常都是采用多路多核架構，計算節(jié)點本身為SMP或NUMA結構。因此，共享內存編程模型可以在單個集群計算節(jié)點內實現(xiàn)并行計算。消息傳遞編程模型是分布式內存編程

23、模型的一種，主要應用在分布式內存體系結構下，以早期的PVM（Parallel Virtual Machine）和目前主流的MPI（Message Passing Interface）為代表。傳遞編程模型的特點是多地址空間、進程級并行、編程相對困難、可移植性好、可擴展性好?？梢詮V泛應用在高性能集群體系架構上，可以實現(xiàn)集群跨節(jié)點并行計算。當前高性能集群的多層次結構，使得集群系統(tǒng)同時具備了共享內存和分布式共享內存兩種體系結構的特點。根據(jù)現(xiàn)代集群多級并行結構的特點，很自然地考慮到可以將共享內存編程模型與分布式內存編程模型相結合。因此，MPI+OpenMP的混合編程模型得到了廣泛的應用?；旌暇幊棠Ｐ吞峁┝斯?jié)點間和節(jié)點內的兩級并行機制，它的優(yōu)勢在于結合了進程級的粗粒度并行（例如區(qū)域分解）和線程級的細粒度并行（如循環(huán)并行）的優(yōu)點。實踐證明，在很多情況下，其執(zhí)行效率和可擴展性高于純MPI和OpenMP程序?；ヂ?lián)網絡高性能計算集群是一個通過內部互聯(lián)網絡將松散的計算節(jié)點有效整合起來的系統(tǒng)架構，內部互聯(lián)網絡是高性能計算集群的核心技術之一。集群系統(tǒng)內部互聯(lián)網絡主要用于以MPI為代表的并行計算程序節(jié)點間的數(shù)據(jù)網絡通信，即作為計算網絡使用。不同計算方法和計算程序的數(shù)據(jù)通信特征不盡相同，從類型看，有的數(shù)據(jù)交換以小數(shù)據(jù)包為主，有的大數(shù)據(jù)包交換較多。小數(shù)據(jù)包交換較多時，計算性能和效率對計算網絡的延