高性能計算及高性能計算機-青能所超級計算中心

高性能計算與高性能計算機總結(jié)什么是高性能計算和高性能計算機什么是集群(Cluster)，怎么配置集群什么樣的用戶需要高性能計算機高性能用戶都關(guān)心哪些問題高性能計算機銷售和一般服務器銷售的區(qū)別提綱高性能市場概要曙光和高性能計算機什么是高性能計算什么是高性能計算機集群系統(tǒng)高性能計算市場IDC對08年服務器市場的預測：08年，全球服務器產(chǎn)業(yè)預計以接近9%的速度發(fā)展，HPC產(chǎn)業(yè)預計的發(fā)展速度將會超過12%

在中國，HPC市場的發(fā)展速度將會超過20%HPC市場既是一個傳統(tǒng)的市場，又是一個新興的、高速發(fā)展的市場高：定位高端用戶標桿項目，影響力大平民化趨勢快速發(fā)展高性能計算市場一些廠商的表現(xiàn)例如：Intel國家的政策自主創(chuàng)新………技術(shù)的發(fā)展CPU多核化的趨勢多進程、多線程并行化的趨勢其他并行計算機上的廣泛應用高端下移………高性能計算的市場正處于發(fā)展階段提綱高性能市場概要曙光和高性能計算機什么是高性能計算什么是高性能計算機集群系統(tǒng)計算所/曙光和高性能計算1956年成立，我國第一個計算技術(shù)研究所，被譽為“我國計算機事業(yè)的搖籃”第一臺電子管計算機（103機）第一臺大型晶體管計算機（109機）第一臺大型集成電路計算機（111機）第一臺向量計算機（757機）第一臺大規(guī)模并行計算機（曙光1000）被國防部門譽為“功勛機”109丙機，為兩彈一星做出過重要貢獻計算所/曙光和高性能計算1993.10

曙光一號16個處理器，每秒6.4億次使中國成為少數(shù)能生產(chǎn)制造MPP的國家之一1995.5

曙光100036個節(jié)點機，每秒25.6億次1998.12

曙光2000I68個節(jié)點機，每秒200億次2000.1

曙光2000II164個CPU，每秒1117億次中國第一個SMP集群計算所/曙光和高性能計算2001.10

曙光3000每秒4032億次SUMA標準誕生2003.3

曙光4000L644個CPU，每秒3萬億次2004.6

曙光4000A2560顆CPU，每秒10萬億次名列世界第十，成為除美日以外第一個進入世界“top500”前10名的國家計算所/曙光和高性能計算運算速度超過百萬億次的曙光5000，將使中國成為美國之后第二個能生產(chǎn)百萬億次超級計算機的國家

曙光5000共采用3萬顆CPU核，峰值230萬億次，Linpack效率超過70%

曙光5000計算能力超過曙光4000A十多倍，而體積、功耗與曙光4000A相同，代表了中國高性能計算機發(fā)展的最高水平中國登峰造極的最高性能的計算機系統(tǒng)計算所/曙光和高性能計算2005年2006年2007年提綱高性能市場概要曙光和高性能計算機什么是高性能計算什么是高性能計算機集群系統(tǒng)什么是高性能計算？高性能計算HPC：HighPerformanceCompute高性能計算---并行計算并行計算(ParallelComputing）高端計算(High-endParallelComputing)高性能計算(HighPerformanceComputing)超級計算(SuperComputing)什么是高性能計算？計算科學與傳統(tǒng)的兩種科學，即理論科學和實驗科學，并立被認為是人類認識自然的三大支柱，他們彼此相輔相成地推動科學發(fā)展與社會進步。在許多情況下，或者是理論模型復雜甚至理論尚未建立，或者實驗費用昂貴甚至無法進行時，計算就成了求解問題的唯一或主要的手段。為什么要做高性能計算

——應用需求為什么要做高性能計算人類對計算及性能的要求是無止境的從系統(tǒng)的角度：集成系統(tǒng)資源，以滿足不斷增長的對性能和功能的要求從應用的角度：適當分解應用，以實現(xiàn)更大規(guī)?；蚋氈碌挠嬎銌栴}:科學和工程問題的數(shù)值模擬與仿真計算密集數(shù)據(jù)密集網(wǎng)絡密集三種混合什么人需要高性能計算高性能計算機都在什么地方使用？都賣到哪兒去？國外狀況國內(nèi)狀況提綱高性能市場概要曙光和高性能計算機什么是高性能計算什么是高性能計算機集群系統(tǒng)什么是高性能計算機？由多個計算單元組成，運算速度快、存儲容量大、可靠性高的計算機系統(tǒng)。也稱為：巨型計算機、超級計算機目前任何高性能計算和超級計算都離不開使用并行技術(shù)，所以高性能計算機肯定是并行計算機。其發(fā)展歷程可以簡單的分為兩個時代專用時代

包括向量機，MPP系統(tǒng)，SGINUMA系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。

之所以稱為“專用”，并不是說它們只能運行某種應用，是指它們的組成部件是專門設計的，它們的CPU板，內(nèi)存板，I/O板，操作系統(tǒng)，甚至I/O系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時代

高性能計算機價格下降，應用門檻降低，應用開始普及。兩個技術(shù)趨勢起到重要作用。

商品化趨勢使得大量生產(chǎn)的商品部件接近了高性能計算機專有部件

標準化趨勢使得這些部件之間能夠集成一個系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。

機群系統(tǒng)是高性能計算機的一種，它的技術(shù)基礎和工業(yè)基礎都是商品化和標準化。高性能計算機系統(tǒng)架構(gòu)并行向量機SMPDSM（NUMA）MPP，節(jié)點可以是單處理器的節(jié)點，也可以是SMP，DSMClusterConstellation

高性能計算機的制造廠商CraySGIIBM曙光銀河神威并行計算機系統(tǒng)類型Flynn分類：SISD,SIMD,MIMD,MISD結(jié)構(gòu)模型：PVP,SMP,MPP,DSM,COW訪存模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行計算機分類Flynn分類Flynn(1972)提出指令流、數(shù)據(jù)流和多倍性概念，把不同的計算機分為四大類：SISD（Single-InstructionSingle-Data）SIMD（Single-InstructionMulti-Data）MISD（Multi-InstructionSingle-Data）MIMD（Multi-InstructionMulti-Data）現(xiàn)代高性能計算機都屬于MIMD。MIMD從結(jié)構(gòu)上和訪存方式上，又可以分為：結(jié)構(gòu)模型：PVP,SMP,MPP,DSM,COW訪存模型：UMA,NUMA,COMA,CC-NUMA,NORMA結(jié)構(gòu)模型對稱多處理機系統(tǒng)(SMP)SMP對稱式共享存儲:任意處理器可直接訪問任意內(nèi)存地址,且訪問延遲、帶寬、機率都是等價的;系統(tǒng)是對稱的；微處理器:一般少于64個;處理器不能太多,總線和交叉開關(guān)的一旦作成難于擴展；例子:IBMR50,SGIPowerChallenge,SUNEnterprise,曙光一號;分布式共享存儲系統(tǒng)(DSM)DSM分布共享存儲:內(nèi)存模塊物理上局部于各個處理器內(nèi)部,但邏輯上(用戶)是共享存儲的;這種結(jié)構(gòu)也稱為基于Cache目錄的非一致內(nèi)存訪問(CC-NUMA)結(jié)構(gòu);局部與遠程內(nèi)存訪問的延遲和帶寬不一致,3-10倍高性能并行程序設計注意;與SMP的主要區(qū)別：DSM在物理上有分布在各個節(jié)點的局部內(nèi)存從而形成一個共享的存儲器；微處理器:16-128個,幾百到千億次;代表:SGIOrigin2000,CrayT3D;大規(guī)模并行計算機系統(tǒng)(MPP)MPP物理和邏輯上均是分布內(nèi)存能擴展至成百上千個處理器(微處理器或向量處理器)采用高通信帶寬和低延遲的互聯(lián)網(wǎng)絡(專門設計和定制的)一種異步的MIMD機器；程序系由多個進程組成，每個都有其私有地址空間，進程間采用傳遞消息相互作用；代表:CRAYT3E(2048),ASCIRed(3072),IBMSP2,曙光1000機群系統(tǒng)(Cluster)Cluster每個節(jié)點都是一個完整的計算機各個節(jié)點通過高性能網(wǎng)絡相互連接網(wǎng)絡接口和I/O總線松耦合連接每個節(jié)點有完整的操作系統(tǒng)曙光2000、3000、4000,ASCIBlueMountain訪存模型UMA:NORMA:NUMA:多處理機（單地址空間共享存儲器）

UMA:UniformMemoryAccessNUMA:NonuniformMemoryAccess多計算機（多地址空間非共享存儲器）

NORMA:No-RemoteMemoryAccess結(jié)構(gòu)模型－－訪存模型UMA:NUMA:NORMA:多處理機&&多計算機UMA:NUMA:NORMA:多處理機(共享存儲)

多計算機(分布式存儲)并行計算機的性能指標名稱符號含意單位機器規(guī)模n處理器的數(shù)目無量綱時鐘速率f時鐘周期長度的倒數(shù)MHZ工作負載W計算操作的數(shù)目Mflop順序執(zhí)行時間T1程序在單處理機上的運行時間s（秒）并行執(zhí)行時間Tn程序在并行機上的運行時間s（秒）速度Rn=W/Tn每秒百萬次浮點運算Mflop/s加速Sn=T1/Tn衡量并行機有多快無量綱效率En=Sn/n衡量處理器的利用率無量綱峰值速度Rpeak=nR’

peak所有處理器峰值速度之積，R’peak為一個處理器的峰值速度Mflop/s利用率U=Rn/Rpeak可達速度與峰值速度之比無量綱通信延遲to傳送0-字節(jié)或單字的時間Μs漸近帶寬r∞傳送長消息通信速率MB/s衡量系統(tǒng)性能的主要指標(1)MIPS（百萬條指令每秒）理論計算：處理器的時鐘頻率與平均每條指令所需的時鐘周期（CyclesPerInstruction）的比值

MIPS＝clockrate/CPI=(numberofInstructions)/(CPUtime)實際數(shù)值：對于一個應用（程序），指令數(shù)目與運行時間的比值

MIPS’＝(numberofInstructions)/(executiontime)衡量系統(tǒng)性能的主要指標(2)MFLOPS（百萬次浮點運算每秒）理論計算：系統(tǒng)的浮點計算部件每秒可以做的浮點計算次數(shù)；

MFLOPS=(numberofFloatingPointcomputeUnit)×NN為每個浮點計算部件一個周期內(nèi)可以做的最多浮點操作數(shù)，對于目前常見的微處理器，一般為1－4；實際數(shù)值：對于一個應用，浮點運算數(shù)目與運行時間的比值；

MFLOPS’=(numberoffloatingoperations)/(executiontime)兩個指標的缺點都不能全面表征系統(tǒng)的性能MIPS指標比較適用于事務處理領域；不同系統(tǒng)的指令不同，一條指令的功能和復雜度差別很大，如IBM的大型主機（Mainframe），價格達到千萬元的大型機（含配套軟件），其MIPS值一般為5－10，不及價值數(shù)千元的Pentium4PC；非計算密集型的應用（事務處理）對I/O要求高，計算密集型的應用（圖形程序）對主頻要求高。用戶對可靠性等特殊要求；應用的需求不同，高性能計算領域也是“通才”難求，各有所長；某些特殊類型計算機適合特定的應用。兩個指標的缺點理論計算和實際測試的差別對于一個具體的應用，可獲得的實際性能與理論峰值有相當大的差距，即效率低的問題；應用效率成為高性能計算的核心問題之一，受到普遍關(guān)注。加速比定律在并行計算系統(tǒng)，并行算法（并行程序）的執(zhí)行速度相對于串行算法（串行程序）加快的倍數(shù)，就是該并行算法（并行程序）的加速比；加速比是衡量“并行收益”的重要指標；Amdahl定律適用于固定計算規(guī)模的加速比性能描述，Gustafson定律適用于可擴展問題。

Amdahl定律S=(WS+WP)/(WS+WP/p)=1/(1/p+f(1-1/p))顯然，當p→∞時，S=1/f，即對于固定規(guī)模的問題，并行系統(tǒng)所能達到的加速上限為1/f一度引發(fā)了并行界部分人士的悲觀情緒Gustafson定律S‘=（WS+pwp）/（WS+WP）

=p-f（p-1）=f+p（1-f）并行計算是為了解決大規(guī)模并行問題，可并行部分的比例是可擴大的加速比與處理器數(shù)成斜率為（1-f）的線性關(guān)系這樣串行比例f就不再是程序擴展性的瓶頸，當然，f越低，斜率會越大，加速性能越好。Linpack采用主元高斯消去法求解雙精度稠密線性代數(shù)方程組，結(jié)果按每秒浮點運算次數(shù)（flops）表示。包含三類測試，問題規(guī)模與優(yōu)化選擇各不相同：100×100測試，在該測試中，不允許對Linpack測試程序進行任何修改（包括注釋行）1000×1000測試，在該測試中，允許對算法和軟件進行修改或替換，并盡量利用系統(tǒng)的硬件特點，以達到盡可能高的性能。但是所有的優(yōu)化都必須保持和標準算法如高斯消去法相同的相對精度，而且必須使用Linpack的主程序進行調(diào)用。Linpack（續(xù)）HPL測試

針對大規(guī)模并行計算系統(tǒng)的測試，其名稱為HighPerformanceLinpack(HPL)，是第一個標準的公開版本并行Linpack測試軟件包，用于TOP500與國內(nèi)TOP100排名依據(jù)。使用者可以改變問題規(guī)模。有相當大的優(yōu)化空間。NASParallelBenchmarkNPB套件由八個程序組成每個基準測試有五類：A、B、C、D、W(工作站)。A最小，D最大NPB套件以每秒百萬次運算為單位輸出結(jié)果。整數(shù)排序(IS)快速Fourier變換（FT）多柵格基準測試（MG）

共軛梯度(CG)基準測試

稀疏矩陣分解（LU）

五對角方程（SP）和塊狀三角(BT)求解

密集并行(EP)高性能計算機的最新發(fā)展狀況頂天立地高端：低端：從單純關(guān)注性能到綜合評價高性能vs高效能性能vs使用硬件建設vs綜合建設提綱高性能市場概要曙光和高性能計算機什么是高性能計算什么是高性能計算機集群系統(tǒng)什么是機群系統(tǒng)機群系統(tǒng)（Cluster）

利用標準網(wǎng)絡將一臺臺普通服務器或者PC機連接起來，為使用者提供更高的計算能力和存儲能力并為使用者提供單一系統(tǒng)映象的系統(tǒng)。單一系統(tǒng)映象

使用者在使用機群系統(tǒng)的時候感覺上就象使用一個單獨的計算機系統(tǒng)一樣。

單一系統(tǒng)映象實現(xiàn)方法：硬件層、操作系