世界高性能計算現(xiàn)狀與發(fā)展

高性能計算的現(xiàn)狀和發(fā)展解決方案中心高性能計算方案部目錄高性能計算的主流解決方案介紹高性能計算發(fā)展介紹1高性能計算應(yīng)用領(lǐng)域介紹23什么是高性能計算？高性能計算HPC：HighPerformanceCompute高性能計算---并行計算并行計算(ParallelComputing）高端計算(High-endParallelComputing)高性能計算(HighPerformanceComputing)超級計算(SuperComputing)

“進入21世紀(jì)以來，計算方法與分子模擬、虛擬實驗，已經(jīng)繼實驗方法、理論方法之后，成為第三個重要的科學(xué)方法，對未來科學(xué)與技術(shù)的發(fā)展，將起著越來越重要的作用。”——徐光憲院士

在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實驗費用昂貴甚至無法進行時，計算就成了求解問題的唯一或主要的手段。高性能計算的重要性ComputationalR&Disgrowinginrelativeimportance203019951995:10%modeling90%experiment20022002:20%modeling80%experiment2030:50%modeling50%experiment高性能計算的重要性為什么要做高性能計算？--應(yīng)用的驅(qū)動人類對計算及性能的要求是無止境的從系統(tǒng)的角度：集成系統(tǒng)資源，以滿足不斷增長的對性能和功能的要求從應(yīng)用的角度：適當(dāng)分解應(yīng)用，以實現(xiàn)更大規(guī)模或更細(xì)致的計算問題:科學(xué)和工程問題的數(shù)值模擬與仿真計算密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合高性能的各類應(yīng)用為什么要做高性能計算

——應(yīng)用需求高性能計算結(jié)構(gòu)模型高性能計算架構(gòu)變化數(shù)據(jù)來源：2010TOP500排行榜高性能計算網(wǎng)絡(luò)發(fā)展數(shù)據(jù)來源：2010TOP500排行榜高性能集群操作系統(tǒng)份額數(shù)據(jù)來源：2010TOP500排行榜衡量高性能系統(tǒng)性能的評價指標(biāo)

-----理論峰值（FLOPS）FLOPS（浮點運算每秒）1、如何計算理論峰值：

峰值＝主頻(GHz)*總核心數(shù)*4(4代表每個時鐘周期做4次浮點運算)

例如：10個AMD雙路12核刀片（CPU6174，主頻2.2）

總核心數(shù)＝10×2×12＝240

峰值＝2.2×240×4＝2112GFLOPS＝2.1TFLOPS=2.1萬億次。GPU峰值：

每C2050卡雙精度峰值＝0.515TFLOPS單精度峰值＝1.03TFOPS

雙精度峰值＝0.515*GPGPU卡數(shù)目（TFLOPS）

單精度峰值＝1.03*GPGPU卡數(shù)目（TFLOPS）衡量高性能系統(tǒng)性能的評價指標(biāo)

-----實測峰值（FLOPS）HPL(Linpach)測試

---對系統(tǒng)進行整體計算能力的評價Linapck測試：采用主元高斯消去法求解雙精度稠密線性代數(shù)方程組，結(jié)果按每秒浮點運算次數(shù)（flops）表示。HPL：針對大規(guī)模并行計算系統(tǒng)的測試，其名稱為HighPerformanceLinpack

(HPL)，是第一個標(biāo)準(zhǔn)的公開版本并行Linpack測試軟件包，用于TOP500與國內(nèi)TOP100排名依據(jù)。使用者可以改變問題規(guī)模。有相當(dāng)大的優(yōu)化空間。衡量高性能系統(tǒng)性能的評價指標(biāo)

-----系統(tǒng)效率系統(tǒng)效率=實測峰值/理論峰值

如何提高效率：

（1）通過優(yōu)化網(wǎng)絡(luò)

（2）通過優(yōu)化測試程序的編譯與設(shè)置

（3）通過優(yōu)化內(nèi)存的配置與容量

（4）通過優(yōu)化運行參數(shù)及系統(tǒng)參數(shù)！

目前:一套通過Infiniband網(wǎng)絡(luò)互連的集群，效率一般在70%以上。

加速比定律在并行計算系統(tǒng)，并行算法（并行程序）的執(zhí)行速度相對于串行算法（串行程序）加快的倍數(shù)，就是該并行算法（并行程序）的加速比；加速比是衡量“并行收益”的重要指標(biāo)；Amdahl定律適用于固定計算規(guī)模的加速比性能描述，Gustafson定律適用于可擴展問題。

目錄高性能計算的主流應(yīng)用介紹高性能計算發(fā)展介紹1高性能計算應(yīng)用領(lǐng)域介紹23CAE（CFD）石油勘探氣象環(huán)境海洋圖像渲染物質(zhì)的物理化學(xué)材料屬性的科研工作中基因科學(xué)、蛋白質(zhì)科學(xué)的研究以及新藥的研發(fā)地震資料處理，用于油氣勘探氣象環(huán)境海洋的數(shù)值預(yù)報動畫、電影、圖像的高逼真效果制作物理化學(xué)材料生命科學(xué)六大應(yīng)用領(lǐng)域高性能計算在國內(nèi)的六大應(yīng)用領(lǐng)域計算機輔助工程，廣泛應(yīng)用于工業(yè)生產(chǎn)中其它：衛(wèi)星圖像處理、金融計算等一CAE仿真介紹前處理采用各種CAD工具，建立幾何模型，劃分計算網(wǎng)格后處理顯示計算結(jié)果，評估產(chǎn)品性能求解指定荷載和邊界條件，提交給計算服務(wù)器進行分析分析的過程:隱式結(jié)構(gòu)力學(xué)MSC.NASTRANMARCANSYSABAQUS/StandardADINA顯式結(jié)構(gòu)力學(xué)LS-DYNAPAM-CRASHDYTRANABAQUS/Explicit多體動力學(xué)ADAMS計算流體力學(xué)FLUENTSTAR-CD/HPCPowerFLOWCFXCFD-Fastran計算電磁學(xué)FEKOANSOFT聲學(xué)分析SYSNOISECAE仿真介紹各種理論模擬方法的適用范圍最大原子數(shù)可計算量分子力學(xué)2000~100萬粗略的幾何結(jié)構(gòu)半經(jīng)驗500~2000幾何結(jié)構(gòu)(有機分子)HF(DFT)50~500能量(含過渡金屬)MP220~50能量(弱,氫鍵)CCSD(T)10~20精確能量(弱作用)CASPT2<10磁性(多個多重度)二物理化學(xué)材料應(yīng)用介紹適合周期體系的計算軟件VASPABINITCPMDPWSCF(ESPRESSO)適合非周期體系的計算軟件GAUSSIAN03GAMESS-US(PC-GAMESS)二物理化學(xué)材料應(yīng)用介紹序列搜尋與比對原理HIPDWYLAGHIF序列搜尋DFPLAGHIFDWYHIPDWYLAGHIFHIPDWYLAdfFGHIFHIPDWYLAGHIFYIPDWYLAGHIFHIPDWYLAGHIF

DFPLAGHIFDWYHGFL--AGHIFAWY---------PLAGHIFDWHGH三生命科學(xué)應(yīng)用介紹分子動力學(xué)模擬SimulatinganEntireLifeForm，usingcoarse-grainedmoleculardynamicssimulationssimulationofanentireribosome,thecell'sproteinfactory,comprising3,000,000atomswhensolvated.onanIBMBlueGeneWiththeCray

XT3they’vebeenabletorunefficiently,usingsoftwarecalledNAMD,withasmanyas1,024processors.“TheXT3hasbeenamazing,”saysBlood.“Wehaven’tfoundahardlimitonscalingupthenumberofprocessors.”三生命科學(xué)應(yīng)用介紹測序數(shù)據(jù)處理準(zhǔn)備試劑儀器測序數(shù)據(jù)分析三生命科學(xué)應(yīng)用介紹主流模式分析氣象海洋領(lǐng)域程序模式眾多，我們不但要熟悉我們的硬件還要熟悉這些眾多的軟件的特點以及在不同平臺上的性能差異；氣象常用模式：MM5、WRF、GRAPES、AREMS、LAPS、ARPS、T106等海洋常用模式：FVCOM、HYCOM、ECOMSED、ECOM、POP、MOM4、MITgcm、CCSM3，roms等環(huán)境常用模式：CMAQ等25四氣象、環(huán)境、海洋數(shù)值預(yù)報應(yīng)用介紹業(yè)務(wù)系統(tǒng)流程圖四氣象、環(huán)境、海洋數(shù)值預(yù)報應(yīng)用介紹采集獲得地面單炮記錄處理完成地下構(gòu)造成像解釋完成構(gòu)造成圖和建議井位鉆探確認(rèn)真?zhèn)渭ぐl(fā)地震波接收反射波油氣勘探背景27五石油勘探應(yīng)用介紹曙光石油勘探計算中心解決方案28五石油勘探應(yīng)用介紹渲染（Render）：作為計算機數(shù)字圖像（CG）處理中的一道重要工序，經(jīng)過Render這個程序，我們將模型或者場景輸出成圖像文件、視頻信號或者電影膠片。這里的渲染有別于3D顯示領(lǐng)域的實時(real-time)渲染，而是靜態(tài)渲染或者離線(off-line)渲染。29渲染六圖像渲染應(yīng)用介紹主流三維建模軟件

Maya、3DsMax、Softimage、Lightwave、Houdini、Cinema4D等常用渲染器Vray，MentalRay，Mayasoftware，渲染分發(fā)管理軟件

Muster、Enfuzion3D、Qube等集群管理系統(tǒng)

Linux+Gridview、WHS2008等存儲子系統(tǒng)NAS、SAN、DawningLoongStore等其他技術(shù)支撐30渲染集群應(yīng)用技術(shù)六圖像渲染應(yīng)用介紹目錄高性能計算的主流解決方案介紹高性能計算發(fā)展介紹1高性能計算應(yīng)用領(lǐng)域介紹23系統(tǒng)軟件層基礎(chǔ)設(shè)施層IT核心硬件層存儲系統(tǒng)計算系統(tǒng)網(wǎng)絡(luò)系統(tǒng)操作系統(tǒng)作業(yè)調(diào)度軟件、管理系統(tǒng)并行環(huán)境編譯器、數(shù)學(xué)庫、MPI網(wǎng)絡(luò)PC機筆記本平板電腦瘦客戶端工作站應(yīng)用軟件層生命科學(xué)CAE仿真功能節(jié)點空調(diào)系統(tǒng)物理化學(xué)氣象海洋配電系統(tǒng)防雷系統(tǒng)機房裝修機柜及KVM石油勘探動漫渲染應(yīng)用Portal高性能計算機系統(tǒng)架構(gòu)千兆交換機局域網(wǎng)Internet路由器防火墻遠(yuǎn)程控制內(nèi)網(wǎng)外網(wǎng)以太網(wǎng)交換機控制臺本地KVM以太網(wǎng)光纖網(wǎng)Infiniband網(wǎng)KVM管理網(wǎng)登陸/管理節(jié)點機房環(huán)境并行存儲系統(tǒng)高速Inifiniband交換機

刀片集群GPGPU節(jié)點計算系統(tǒng)存儲系統(tǒng)

SMP胖節(jié)點2算例上傳作業(yè)提交本地建模1本地建模1101100011010100100010010010010011000110101001000100100110001101010010001001001100011010100100010010000100100110001101010000100100110001101010000100100110001101010000100100110001101010作業(yè)運行3數(shù)據(jù)訪問與存儲4系統(tǒng)管理與用戶管理5高性能計算作業(yè)的工作流程高性能計算機中的關(guān)鍵技術(shù)一計算系統(tǒng)二基礎(chǔ)設(shè)施三功能節(jié)點四存儲系統(tǒng)五網(wǎng)絡(luò)系統(tǒng)六操作系統(tǒng)七管理調(diào)度軟件八并行環(huán)境九應(yīng)用軟件一計算系統(tǒng)主流解決方案

----SMP節(jié)點+刀片集群刀片集群SMP胖節(jié)點二功能節(jié)點主流解決方案

----普通標(biāo)準(zhǔn)服務(wù)器管理節(jié)點IO節(jié)點用于運行系統(tǒng)級的管理軟件，性能要求不高，但可靠性要求高，數(shù)量少用于連接存儲設(shè)備，提供共享存儲空間。小型項目，使用單一IO節(jié)點提供NFS解決。大中型，使用并行文件系統(tǒng)，多個IO節(jié)點和存儲空間解決IO瓶頸登陸節(jié)點用于用戶登陸集群，在集群上實現(xiàn)作業(yè)提交，文件上傳，編輯，程序編譯等操作?？煽啃砸蟾?，數(shù)量少管理節(jié)點登陸節(jié)點IO節(jié)點三網(wǎng)絡(luò)系統(tǒng)主流解決方案

----千兆管理網(wǎng)+Infiniband高速網(wǎng)計算網(wǎng)絡(luò):對性能有較高問題，具有高帶寬低延時的Infiniband網(wǎng)絡(luò)可用很好解決這一問題。對于部分對網(wǎng)絡(luò)性能要求不高的領(lǐng)域，比如石油、渲染等領(lǐng)域，配置線速互聯(lián)的千兆以太網(wǎng)。

管理網(wǎng)絡(luò):

對性能要求較低，主要用于系統(tǒng)管理，用戶登陸等操作。一般配置千兆以太網(wǎng)交換機與刀片交換模塊互聯(lián)。四操作系統(tǒng)主流解決方案----Linux企業(yè)版開源高效多用戶界面友好兼容性強五作業(yè)調(diào)度及系統(tǒng)管理解決方案

單一系統(tǒng)映象集群松散結(jié)構(gòu)的整合系統(tǒng)資源整合軟硬件資源的整合，異構(gòu)資源整合多用戶的管理用戶提交的任務(wù)的統(tǒng)一安排，避免沖突用戶權(quán)限的管理對用戶進行各類