數(shù)值天氣預(yù)報(NWP)刀片解決方案

數(shù)值天氣預(yù)報（NWP）刀片解決方案

摘要

中國自今年以來，極端天氣氣候事件的發(fā)生越來越頻繁，也越來越明顯，為了防災(zāi)減災(zāi)，中國政府已經(jīng)把防御極端天氣氣候災(zāi)害置于應(yīng)對氣候變化的極端重要位置。所以對氣象、環(huán)境、海洋方面的投入也越來越大，氣象領(lǐng)域的項目將越來越多，而數(shù)值天氣預(yù)報（NWP）在天氣預(yù)報中占有的地位也越來越重要。

在此基礎(chǔ)上，曙光推出了自主研發(fā)的第二代高性能刀片服務(wù)器，結(jié)合以往幾十套氣象機的成功案例，曙光的高性能計算機必能在中國防御極端天氣氣候災(zāi)害的預(yù)警篇章上書寫上濃墨重彩的一筆。

方案中心以前已經(jīng)推出了基于MM5、WRF、Grapes解決方案以及中尺度數(shù)值氣象預(yù)報模式系統(tǒng)的整體解決方案。本方案主要基于曙光最新的TC2600刀片服務(wù)器和AMD最新的Barcelona四核處理器，為用戶提供最高信價比解決方案。

關(guān)鍵字：數(shù)值天氣預(yù)報高性能計算機MM5WRFGRAPESAREMS

1.數(shù)值天氣預(yù)報

數(shù)值天氣預(yù)報（NumericalWeatherPrediction,NWP）是根據(jù)大氣實際情況，在一定初值和邊值條件下，通過數(shù)值計算，求解描寫天氣演變過程的流體力學和熱力學方程組，預(yù)報未來天氣的方法。和一般用天氣學方法、并結(jié)合經(jīng)驗制作出來的天氣預(yù)報不同，這種預(yù)報是定量和客觀的預(yù)報。預(yù)報所用或所根據(jù)的方程組和大氣動力學中所用的方程組相同，即由連續(xù)方程、熱力學方程、水汽方程、狀態(tài)方程和3個運動方程（見大氣動力方程）共7個方程所構(gòu)成的方程組。方程組中，含有7個預(yù)報量（速度沿x，y，z三個方向的分量u，v，w和溫度T，氣壓P，空氣密度p以及比濕q）和7個預(yù)報方程。方程組中的粘性力F，非絕熱加熱量Q和水汽量S一般都當作時間、空間和這7個預(yù)報量的函數(shù)。通過高性能計算機求解方程組，獲得未來7個未知數(shù)的時空分析，即未來天氣分布。

數(shù)值天氣預(yù)報與經(jīng)典的以天氣學方法作天氣預(yù)報不同，它是一種定量的和客觀的預(yù)報，正因為如此，數(shù)值天氣預(yù)報首先要求建立一個較好的反映預(yù)報時段的（短期的、中期的）數(shù)值預(yù)報模式和誤差較小、計算穩(wěn)定并相對運算較快的計算方法。其次，由于數(shù)值天氣預(yù)報要利用各種手段（常規(guī)的觀測，雷達觀測，船舶觀測，衛(wèi)星觀測等）獲取氣象資料，因此，必須恰當?shù)刈鳉庀筚Y料的調(diào)整、處理和客觀分析。第三，由于數(shù)值天氣預(yù)報的計算數(shù)據(jù)非常之多，很難用手工或小型計算機去完成，因此，必須要用高性能的計算機。

在中國，1982年開展數(shù)值預(yù)報業(yè)務(wù)。目前數(shù)值預(yù)報已經(jīng)成為各種業(yè)務(wù)天氣預(yù)報的最重要的基礎(chǔ)和持續(xù)提高業(yè)務(wù)天氣預(yù)報準確率的根本途徑。

在全球氣候變化的大背景下，今年以來中國極端天氣事件發(fā)生頻繁，且呈多災(zāi)并發(fā)、點多面廣的特點，并有多項局部地區(qū)災(zāi)害強度超過歷史紀錄。其中包括南方暴雨洪澇，淮河流域性大洪水；北方多省局地強降雨；川渝地區(qū)繼去年有氣象記錄以來最嚴重干旱，今年又最強降雨；北方和南方同時出現(xiàn)長時間、大范圍高溫干旱；今年雷擊致人死亡為歷年之最。為了應(yīng)對這種極端天氣氣候事件的發(fā)生所帶來的巨大損失，中國政府已經(jīng)把防御極端天氣氣候災(zāi)害置于應(yīng)對氣候變化的極端重要位置。今后幾年政府在氣象、環(huán)境、海洋領(lǐng)域的投入將會越來越大，而做為國內(nèi)高性能計算機領(lǐng)頭羊的曙光服務(wù)器憑借在氣象領(lǐng)域的大力投入和氣象領(lǐng)域眾多的成功案例，在災(zāi)害氣候天氣的減災(zāi)預(yù)警上必大有可為。

中尺度氣象預(yù)報模式

中尺度氣象是現(xiàn)代氣象科學中發(fā)展迅速的一個重要分支，它所研究的大氣中尺度運動，關(guān)系到區(qū)域重要災(zāi)害性天氣的生消和發(fā)。它一方面應(yīng)用衛(wèi)星、雷達、風廓線儀和自動觀測站等一系列新的探測工具，通過中尺度野外試驗，揭示中尺度觀測事實；另一方面通過中尺度數(shù)值模式，對中尺度天氣過程進行深入的模擬研究和預(yù)報試驗。隨著近年來計算機技術(shù)的迅速發(fā)展，中尺度數(shù)值模式已日趨成熟，成為中尺度氣象的一個重要的研究和應(yīng)用手段。

中尺度數(shù)值氣象預(yù)報模式有許多，其中MM5是目前國內(nèi)外應(yīng)用最為廣泛的模式，被廣泛的應(yīng)用于國內(nèi)外各氣象部門和相關(guān)機構(gòu)。WRF模式是在MM5模式上發(fā)展起來的新一代中尺度模式，它將逐漸的替代MM5模式。GRAPES模式是中國氣象局自主開發(fā)的新一代數(shù)值預(yù)報系統(tǒng)，它是中小尺度與大尺度通用的先進數(shù)值預(yù)報系統(tǒng)，目前國內(nèi)很多氣象部門已經(jīng)在對GRAPES進行研究和應(yīng)用。AREMS模式是氣科院武漢暴雨研究所牽頭研制的模式，綜合考慮了國內(nèi)外數(shù)值模式中復雜地形的處理方法，從而較適合于我國的地形特點，針對水汽過程的重要性和復雜性，建立了特有的水汽傳輸和顯式云雨方案；對江淮流域暴雨過程的預(yù)報情況較好。

MM5模式

中尺度氣象預(yù)報模式MM5是由美國國家大氣研究中心(NCAR)和賓夕法尼亞州立大學聯(lián)合開發(fā)的第5代中尺度天氣預(yù)報模式。

美國國家大氣研究中心和賓州大學從七十年代中期起研制中尺度數(shù)值模式MM4(早期為MM2)，經(jīng)過二十多年的不斷改進和應(yīng)用，先后形成了8個版本，這些版本已經(jīng)被美國大學和科研單位廣泛應(yīng)用于對熱帶風暴、中緯度氣旋鋒面系統(tǒng)、暴雨、中尺度對流系統(tǒng)等重要天氣過程的中尺度數(shù)值模擬以及對環(huán)境科學的研究。到了90年代初，在MM4的基礎(chǔ)上，進一步研制出了MM5。

MM5是用于氣象預(yù)報模擬的中小尺度非靜力動力氣象模式，它是目前氣象領(lǐng)域中使用最為廣泛的中尺度預(yù)報模式。在我國已經(jīng)建成的有限區(qū)域數(shù)值天氣預(yù)報業(yè)務(wù)系統(tǒng)中，絕大部分都采用該模式作為業(yè)務(wù)模式。

MM5的最新版本是MM5V3，其研發(fā)工作已經(jīng)停止，繼而轉(zhuǎn)向WRF模式。

WRF模式

WRF模式是在MM5模式上發(fā)展起來的新一代中尺度模式，是WeatherResearchForecastingmodel的簡稱。WRF模式系統(tǒng)是由許多美國研究部門及大學的科學家共同參與進行開發(fā)研究的新一代中尺度預(yù)報模式和同化系統(tǒng)。

WRF模式系統(tǒng)將成為改進從云尺度到天氣尺度等不同尺度重要天氣特征預(yù)報精度的工具，重點考慮1－10公里的水平網(wǎng)格。模式將結(jié)合先進的數(shù)值方法和資料同化技術(shù)，采用經(jīng)過改進的物理過程方案，同時具有多重嵌套及易于定位于不同地理位置的能力。它將很好的適應(yīng)從理想化的研究到業(yè)務(wù)預(yù)報等應(yīng)用的需要，并具有便于進一步加強完善的靈活性。

WRF模式系統(tǒng)具有可移植、易維護、可擴充、高效率、方便的等諸多特性，新的科研成果運用于業(yè)務(wù)預(yù)報模式將變得更為便捷，同時也方便科技人員在大學、科研單位及業(yè)務(wù)部門之間的交流。

WRF模式作為一個公共模式，由NCAR負責維護和技術(shù)支持，免費對外發(fā)布。第一版的發(fā)布在2000年11月30日。04年5月21日推出了嵌套版本V2.0。05年8月3日推出了V2.1,目前最新版本是06年12月22日發(fā)布的V2.2。

GRAPES模式

GRAPES模式是中國氣象局自主開發(fā)的新一代數(shù)值預(yù)報系統(tǒng)。其全名是全球/區(qū)域同化預(yù)報系統(tǒng)，GRAPES是其英文全稱“Global/RegionalAssimilationandPredictionEnhancedSystem”的簡稱。同時grapes又是“葡萄"的英文，所以我們又稱“GRAPES模式”為“葡萄模式”。

GRAPES系統(tǒng)是集常規(guī)與非常規(guī)變分同化、靜力平衡與非靜力平衡、全球與區(qū)域模式、科研與業(yè)務(wù)應(yīng)用、串行與并行計算、標準化與模塊化程序、理想實驗與實際預(yù)報等為一體，中小尺度與大尺度通用的先進數(shù)值預(yù)報系統(tǒng)。GRAPES系統(tǒng)包括：全球中期天氣數(shù)值預(yù)報系統(tǒng)（全球中期GRAPES）、有限區(qū)域中尺度數(shù)值預(yù)報系統(tǒng)（中尺度GRAPES）等。其預(yù)報時效、垂直層次和水平網(wǎng)格距可以根據(jù)計算條件和業(yè)務(wù)需要合理設(shè)置和調(diào)整。該預(yù)報系統(tǒng)的短期目標為在未來3?5年的時間內(nèi)，建立我國新一代、多尺度統(tǒng)一的數(shù)值天氣預(yù)報系統(tǒng)，可提供空間分辨率達5?100公里、時間分辨率達幾小時?10天的數(shù)值預(yù)報，使預(yù)報準確率比現(xiàn)有水平有明顯提高。

而GRAPES的長期目標則是持續(xù)性地研究開發(fā)面向21世紀的我國數(shù)值預(yù)報系統(tǒng)，不斷改進和提高數(shù)值預(yù)報準確率，為中國氣象局的天氣-氣候預(yù)報服務(wù)水平的不斷提高給予科學理論和技術(shù)支撐，以滿足國家經(jīng)濟建設(shè)和社會發(fā)展對氣象服務(wù)不斷增長的需求。

AREMS模式

為了適應(yīng)當前氣象業(yè)務(wù)發(fā)展的需求，中國氣象科學研究院武漢暴雨研究所和中國科學院大氣物理研究所以REM模式（也稱ETA模式）作為基礎(chǔ)框架之一發(fā)展了AREMS中尺度暴雨數(shù)值預(yù)報模式系統(tǒng)。該模式在淮河流域、長江流域暴雨預(yù)報試驗中，使用效果良好。

AREMS的動力框架采用了曾慶存設(shè)計的唯一能構(gòu)造出完全能量守恒時空差分格式的數(shù)學模型，具有很好的計算穩(wěn)定性。模式采用n坐標，能較好地考慮真實地形（陡峭地形）的作用。對水汽平流方程采用簡單而有效的保形正定平流差分方案，并解決了在E網(wǎng)格中的應(yīng)用問題，避免了大多數(shù)模式中常出現(xiàn)的負水汽現(xiàn)象或平滑耗散過強過程現(xiàn)象保證了模式對降雨范圍、降水強度、暴雨中心位置以及雨帶的移動有較好的預(yù)報能力。變量在網(wǎng)格上的分布形式采用了跳點網(wǎng)格方式，跳點網(wǎng)格可以提高水平分辨率，減少計算量，是一種較經(jīng)濟的變量分布格式。垂直方向分35層，水平分辨率為37km。模式在資料前處理上運用三維變分方法進行資料同化。邊界條件每6h替換一次，在一定程度上能解決固定邊界條件帶來的弊端。

AREMS綜合考慮了國內(nèi)外數(shù)值模式中復雜地形的處理方法，從而較適合于我國的地形特點，針對水汽過程的重要性和復雜性，建立了特有的水汽傳輸和顯式云雨方案；為了保證模式的運行效率、精度和穩(wěn)定度，設(shè)計了獨特的E網(wǎng)格“半格距差分”方案。

今年江淮流域汛情異常嚴峻，而中尺度暴雨數(shù)值預(yù)報模式系統(tǒng)AREMS對該流域多次暴雨過程做了較為準確的預(yù)報，為流域的防洪抗災(zāi)決策與服務(wù)提供了重要的依據(jù)。汛期業(yè)務(wù)試驗證明，AREMS模式對江淮流域暴雨過程的預(yù)報情況較好，對雨帶的位置、走向和移動趨勢做出了較好的預(yù)報，對暴雨中心的位置、強度預(yù)報也與實況較為一致，特別是12?36小時時效的大暴雨預(yù)報，TS評分明顯高于其它模式。

2.高性能計算機解決方案

中尺度氣象預(yù)報模式的特點和對環(huán)境的要求

一、計算量巨大

中尺度氣象預(yù)報模式（MM5、WRF、GRAPES和AREMS）有著驚人的計算量，同時由于氣象預(yù)報的特點決定了其極高的實時性，要求模式必須在指定的時間內(nèi)完成運算（一般不超過2小時）。另一方面，人們對氣象預(yù)報的精度提出了越來越高的要求，目前預(yù)報精度從幾百公里、幾十公里提高到幾公里，而這大幅度提高了模式的計算量。預(yù)報精度提高一倍，其所需計算量將提高16倍。數(shù)值氣象預(yù)報對計算的這一需求，靠單個CPU或普通的計算機根本不可能完成，必須利用并行計算。一方面，將模式預(yù)報軟件通過消息傳遞或者共享存儲的方式并行化，另一方面需要高性能并行計算機。目前絕大部分中尺度氣象預(yù)報模式都已經(jīng)完成了并行化，如MM5、WRF既支持MPI消息傳遞并行，又支持OpenMP共享存儲并行，也支持MPI+OpenMP的混合運行模式。GRAPES只支持MPI并行模式，AREMS也完成了MPI并行化工作。

二、通訊極為密集

由于模式都是并行軟件，同時一般都采用有限差分格點模式并行計算，所以運行中尺度氣象預(yù)報模式時，各個CPU之間的通訊量很大，模式對通訊的性能要求非常高。如MM5、WRF的通訊既包括母域和嵌套域之間的域間通訊，又有各個域內(nèi)部不同數(shù)據(jù)劃分之間的通訊。所以這就要求高性能計算機有高性能的通訊網(wǎng)絡(luò)。

三、實時性強、定時運行

氣象預(yù)報本身的特點決定了其要求很強的實時性。同時，預(yù)報系統(tǒng)要求定時定點自動運行，無需人工干預(yù)。一般每天在固定的2-4個時段運行，每個時段2小時內(nèi)運行完。這些作業(yè)每天在相同時刻運行，必須保證這些模式可以按時計算完畢。

四、主模式是計算量之所在

從軟件的處理流程上看，一般分為前處理、主模式和后處理。前處理包括資料的下載、數(shù)據(jù)同化等等，后處理主要是指圖形化處理生成產(chǎn)品等，前/后處理一般對計算機要求不是太高。主模式是整個系統(tǒng)的主要部分，也是主要計算量所在，這個部分是對計算機性能要求非常高。

由于預(yù)報模式上述特點，它對計算環(huán)境有如下要求：

機群系統(tǒng)（Cluster）或者SMP系統(tǒng)或者NUMA系統(tǒng)，其具有較高的處理性能。

2．一定容量的存儲空間，能存儲一定時間的預(yù)報數(shù)據(jù)（如一個月）3．Linux或者Unix操作系統(tǒng)

4．C和Fortran77/90編譯環(huán)境

5．MPI和OpenMP并行環(huán)境

NCARG圖形庫和圖形顯示系統(tǒng)，如MICAPS或GrADS或VIS5D或RIP4等

保證系統(tǒng)能獲取數(shù)據(jù)資料，如T213資料等

對于特點的一些模式，它還有一些特點的要求。如WRF模式還要求Perl和NETCDF環(huán)境。

對于構(gòu)建一個中尺度氣象預(yù)報系統(tǒng)，在選擇基礎(chǔ)硬件環(huán)境時，以下三點是非常重要的。

高性能，特別是浮點處理性能

高性能網(wǎng)絡(luò)環(huán)境

系統(tǒng)的高穩(wěn)定性

下面是曙光公司提供的針對不同的氣象部門提供的整體解決方案。

小規(guī)模刀片解決方案

小規(guī)模解決方案主要應(yīng)用于地市級氣象預(yù)報部門，解決一個地市48小時以內(nèi)的短期天氣預(yù)報，格局一般在12－18公里左右。這個解決方案也可用于小型環(huán)保部門或氣象科研部分。

小規(guī)模系統(tǒng)結(jié)構(gòu)圖：

客戶端

IM'

1000Mbit算阿絡(luò)（.1/0網(wǎng)絡(luò)）

曙光刀片TC2600

A620r-F管理(I/O)節(jié)

客戶端

內(nèi)^TCP/IP網(wǎng)絡(luò)

DS2410半卿存儲

3

客戶端

系統(tǒng)組成：

設(shè)備

主要用途

曙光4000機群系統(tǒng)

管理節(jié)點

管理整個系統(tǒng)，同時又是作業(yè)遞交節(jié)點，用于在其上完成作業(yè)的遞交

自動下載數(shù)值預(yù)報資料

兼作存儲節(jié)點，存儲用戶數(shù)據(jù)和應(yīng)用數(shù)據(jù)

兼作登入節(jié)點，是外界訪問整個機群系統(tǒng)的入口

5?兼作編譯節(jié)點，在其上完成模式開發(fā)、調(diào)試、編譯等工作

計算節(jié)點

TC2600刀片系統(tǒng)擔任計算任務(wù)，完成主模式的計算

千兆以太網(wǎng)

1.計算網(wǎng)絡(luò)，完成模式并行運算時各個節(jié)點之間的數(shù)據(jù)通訊

2.10網(wǎng)，各個計算節(jié)點通過其訪存管理節(jié)點上的數(shù)據(jù)

百兆以太網(wǎng)

1?管理網(wǎng)絡(luò)，負責機群管理系統(tǒng)的網(wǎng)絡(luò)通訊、用戶管理信息的傳遞以及機群監(jiān)控信息的傳遞

2.同時又是計算網(wǎng)絡(luò)的備份

曙光機群管理系統(tǒng)

1.包括曙光機群監(jiān)控系統(tǒng)、曙光機群管理系統(tǒng)、曙光機群部署系統(tǒng)、并行命令系統(tǒng)和曙光作業(yè)調(diào)度系統(tǒng)

2?負責整個機群的管理、監(jiān)控，同時也負責用戶作業(yè)的遞交、管理等

曙光SKVM系統(tǒng)和機群控制臺

1.通過其，系統(tǒng)管理員完成機群系統(tǒng)的最基礎(chǔ)的管理和控制

曙光機群專用機柜和電源系統(tǒng)

1.承載整個機群系統(tǒng)

2?整個系統(tǒng)的供電，以及電源保護、負責均衡、分時上電等

小規(guī)模刀片配置單：

應(yīng)用

設(shè)備

配置

單位

數(shù)量

備注

節(jié)點機

曙光

TC2600刀片服務(wù)器

CPU

Blade

計算刀片

2*AMD0pteron2348四核CPU（主頻1.9GHz）；4GBDDRIIECCRegister內(nèi)存，1*80GBSATA熱插拔硬盤，2*千兆以太網(wǎng)網(wǎng)卡，1*BMC管理子卡

臺

10

—

BladeEngine（刀片平臺）

刀片柜

個

1

—

內(nèi)部直通模塊

個

1

計算網(wǎng)

內(nèi)部交換模塊

個

1

管理網(wǎng)

管理模塊

個

2

每刀片柜2個，含KVM—Over—IP功能

電源模塊

個

5

每刀片柜為4+1冗余電源

10/管理節(jié)點

A620r-F

2*AMDOpteron2212雙核（主頻2.0GHz）

4GBDDRIIECCRegister內(nèi)存2*73GBSCSI熱插拔硬盤4*146GBSCSI熱插拔硬盤（可選）2*千兆以太網(wǎng)網(wǎng)卡

1*2Gbps速率HBA卡

1+1兒余電源

臺

1

—

機柜系統(tǒng)

標準機柜

曙光TC4000A機柜

19"標準，41U

含網(wǎng)絡(luò)布線系統(tǒng)、散熱系統(tǒng)、供電系統(tǒng)、電源保護系統(tǒng)、導軌、托架。

套

1

—

控制系統(tǒng)

控制系統(tǒng)

內(nèi)置控制臺

1U內(nèi)置控制臺（15〃液晶顯示器，鼠標、鍵盤，8口切換器）

套

1

—

視頻切換系統(tǒng)

視頻線

視頻切換器配合使用

根

3

—

網(wǎng)絡(luò)系統(tǒng)

計算網(wǎng)絡(luò)

華三

S5100-24P-EI

24個10/100/1000Base-T以太網(wǎng)端口和4個1000Base-XSFP千兆以太網(wǎng)端口（Combo）

臺

1

連接機架式服務(wù)器，并和刀片的以太網(wǎng)直通模塊相連

存儲系統(tǒng)（可選）

磁盤陣列

DS-2410

4U機架式，24盤位，單/雙控制器，4個2Gb/s主機通道，冗余電源

臺

1

—

SATA硬盤

500GBSATAII硬盤

塊

6

—

集群系統(tǒng)軟件

Linux操作系統(tǒng)

RedhatEnterpriseLinuxAdvancedServer64位取新穩(wěn)定版本

套

1

—

曙光刀片管理軟件

曙光刀片管理軟件

套

1

—

集群系統(tǒng)軟件（DCOS）

曙光集群系統(tǒng)管理軟件（DCMS）

套

1

—

曙光集群系統(tǒng)部署軟件（DCIS）

套

1

—

并行命令軟件（Mterm）

套

1

—

作業(yè)調(diào)度系統(tǒng)（DPBS/Torque）

套

1

—

應(yīng)用開發(fā)環(huán)境

GNUC/C++編譯器

套

1

—

GNUFortran77/90編譯器

套

1

—

PGIC/Fortran編譯器

套

1

—

DataDisplayDebugger（適用幾乎所有的command-linedebugger）

套

1

CodeAnalyst系統(tǒng)性能分析工具

套

1

—

并行環(huán)境

OpenMPK支持以太網(wǎng)的MPI環(huán)境）

套

1

—

MPICH/Lam-MPI（支持千兆以太網(wǎng)的MPI環(huán)境）

套

1

PVM

套

1

—

ACML（基于AMDOpteron平臺的高性能數(shù)學庫）

套

1

APL（基于AMDOpteron平臺的咼性能數(shù)學庫）

套

1

LAPACK,ScaLAPACK

套

1

—

HDF5

套

1

—

NETCDF、NCARG、RIP4、Vis5D、

Grads

套

1

BLAS、GOTO、Atlas

套

1

—

方案優(yōu)勢：

1.系統(tǒng)配置1—10個CPUBlade節(jié)點，最大浮點理論峰值可達608GFlops（約6千億次），用戶可以在少了投資的情況下很好的滿足地市級氣象部門的預(yù)報需求。

2．整個系統(tǒng)雖然不大，但是包含了氣象模式處理的絕大部分系統(tǒng)，在其上能運行幾乎所有氣象模式，特別適合氣象研究和開發(fā)部門。同時，配有機群作業(yè)調(diào)度系統(tǒng)，能輕松的保證多個用戶同時使用和運行模式。

3．采用刀片機群的方式構(gòu)建整個系統(tǒng)，相比于傳統(tǒng)的RISC小型機具有極高的性價比。

4．采用刀片機群的另一好處在于系統(tǒng)便于管理和維護。刀片系統(tǒng)管理復雜度的降低可以極大地加快大規(guī)模系統(tǒng)部署和性能調(diào)優(yōu)的速度，非常有助于簡化系統(tǒng)管理，最大限度地氣象人員的工作效率。

5．采用X64體系結(jié)構(gòu)和Linux操作系統(tǒng)，系統(tǒng)具有良好的兼容性和可移植性，運行于PC機上的軟件能不用移植而直接在其上運行。

中規(guī)模解決方案

中規(guī)模解決方案主要應(yīng)用于省級氣象預(yù)報部門，解決一個省48—72小時以

內(nèi)的短期天氣預(yù)報，格局一般在3—9公里。這個解決方案同時也適用于大中型環(huán)保部門或氣象科研部分。

系統(tǒng)結(jié)構(gòu)圖：

Infiniband網(wǎng)絡(luò)(計算和I/O)

3個曙光TC2600BladeEngine

1個登錄節(jié)點(A620r-F)

曙光DS8340FF

系統(tǒng)組成：

設(shè)備

主要用途

曙光4000機群系統(tǒng)

管理節(jié)點

管理整個系統(tǒng)

登錄節(jié)點

同時又是作業(yè)遞交節(jié)點，用于在其上完成作業(yè)的遞交

兼作登入節(jié)點，是外界訪問整個機群系統(tǒng)的入口

3?兼作編譯節(jié)點，在其上完成模式開發(fā)、調(diào)試、編譯等工作

I/O節(jié)點

作為NFS或其它文件系統(tǒng)的服務(wù)節(jié)點，負責其它節(jié)點對系統(tǒng)存儲系統(tǒng)的數(shù)據(jù)訪問

SAN存儲系統(tǒng)

存儲用戶數(shù)據(jù)和應(yīng)用數(shù)據(jù)

計算節(jié)點

曙光TC2600刀片完成主模式的計算

Infiniband網(wǎng)

1?作為計算網(wǎng)絡(luò)，完成模式并行運算時各個節(jié)點之間的數(shù)據(jù)通訊

2.作為IO網(wǎng)，各個計算節(jié)點通過其訪存管理節(jié)點上的數(shù)據(jù)

千兆以太網(wǎng)

1.同時又是計算網(wǎng)絡(luò)的備份

2?管理網(wǎng)絡(luò)，負責機群管理系統(tǒng)的網(wǎng)絡(luò)通訊、用戶管理信息的傳遞以及機群監(jiān)控信息的傳遞

曙光機群管理系統(tǒng)

1.包括曙光機群監(jiān)控系統(tǒng)、曙光機群管理系統(tǒng)、曙光機群部署系統(tǒng)、并行命令系統(tǒng)和曙光作業(yè)調(diào)度系統(tǒng)

2?負責整個機群的管理、監(jiān)控，同時也負責用戶作業(yè)的遞交、管理等

曙光SKVM系統(tǒng)和機群控制臺

1.通過其，系統(tǒng)管理員完成機群系統(tǒng)的最基礎(chǔ)的管理和控制

曙光機群專用機柜和電源系統(tǒng)

1.承載整個機群系統(tǒng)

2?整個系統(tǒng)的供電，以及電源保護、負責均衡、分時上電等

中規(guī)模刀片方案配置：

備設(shè)

置

K-

數(shù)量

注備

機節(jié)

刀器00務(wù)七6艮『2月曙TT片

Ze

計算刀片

PPEC執(zhí)小也毗haam雙DDGGM444GB^73以34匕2;1以n),千RHmGHZ"9卩,里oOler<巒D頻ss硬加側(cè)主gi拔BB器(Re插u

臺

O

3

nXJgg厶口EE平e片aa刀T±z(vB

柜片刀

-

網(wǎng)§管

個

6

2P處含ver-能切仆M-O功每KV

個

5

為電柜余片冗源

刀+1每4+

節(jié)

§

/<

⑹點

00

訥存(H內(nèi)核ter盤雙1S硬4g拔21爲卡A4n2C加網(wǎng)HHroECI網(wǎng)率#心ICS太加％opt)RRS以sl^DOHZDDGG兆bp仍MG3G”丿2B741*?G***+001±1±

臺

2

點節(jié)陸登

員D啓存ATG內(nèi)(R核ter盤雙is撿8g拔21Re插卡n2c執(zhí)小網(wǎng)◎ECI網(wǎng)原心ICS太％OO)RRS以余DOHZDDGG兆仍mg3cl

6B7〒1*?G*>*+

1±1±

臺

機柜系統(tǒng)

標準機柜

曙光TC4000A機柜

19"標準，41U

含網(wǎng)絡(luò)布線系統(tǒng)、散熱系統(tǒng)、供電系統(tǒng)、電源保護系統(tǒng)、導軌、托架。

套

2

—

控制系統(tǒng)

控制系統(tǒng)

內(nèi)置控制臺

1U內(nèi)置控制臺(15〃液晶顯示器，鼠標、鍵盤，8口切換器)

套

1

—

視頻切換系統(tǒng)

SKVM-Over-IP

USTS

與CIM配合使用，支持IP功能

臺

1

—

CIM卡

機架式服務(wù)器使用，傳輸KVM信號

3

用于機架式服務(wù)器

網(wǎng)絡(luò)系統(tǒng)

Infiniband網(wǎng)絡(luò)10Gb

交換機

24口DDRInfiniband交換機

臺

2

此交換機可以根據(jù)需要

擴展

網(wǎng)卡

PCI-E接口卡，單向10Gb帶寬

個

32

—

連接線纜

標準Infiniband連接線纜

條

40

—

管理網(wǎng)絡(luò)

Dlink24口千兆交換機

24個10/100/1000Base-T

臺

1

連接機架式服務(wù)器，并和刀片的以太網(wǎng)交換模塊級連

SAN存儲系統(tǒng)

磁盤陣列

DS-8340FF

3U機架式，16盤位，雙控制器，4個4Gb/s主機通道，冗余電源

臺

1

—

FC硬盤

300GBFC硬盤

塊

8

—

光纖交換機

Brocade光纖交換機

8口，4Gbps速率，配置模塊及跳線不少于4組

臺

1

—

集群系統(tǒng)軟件

Linux操作系統(tǒng)

RedhatEnterpriseLinuxAdvancedServer64位取新穩(wěn)定版本

套

1

—

曙光刀片管理軟件

曙光刀片管理軟件

套

1

—

集群系統(tǒng)軟件(DC0S)

曙光集群系統(tǒng)管理軟件(DCMS)

套

1

—

曙光集群系統(tǒng)部署軟件(DCIS)

套

1

—

并行命令軟件(Mterm)

套

1

—

作業(yè)調(diào)度系統(tǒng)(DPBS/Torque)

套

1

—

應(yīng)用開發(fā)環(huán)境

GNUC/C++編譯器

套

1

—

GNUFortran77/90編譯器

套

1

—

PGIC/Fortran編譯器

套

1

—

DataDisplayDebugger（適用幾乎所有的command-linedebugger）

套

1

CodeAnalyst系統(tǒng)性能分析工具

套

1

—

并行環(huán)境

OpenMPI（支持以太網(wǎng)的MPI環(huán)境）

套

1

—

MPICH/Lam-MPI（支持千兆以太網(wǎng)的MPI環(huán)境）

套

1

PVM

套

1

—

ACML（基于AMDOpteron平臺的高性能數(shù)學庫）

套

1

APL（基于AMDOpteron平臺的咼性能數(shù)學庫）

套

1

LAPACK,ScaLAPACK

套

1

—

HDF5

套

1

—

NETCDF、NCARG、RIP4、Vis5D、

Grads

套

1

BLAS、GOTO、Atlas

套

1

—

方案優(yōu)勢：

系統(tǒng)配置30個計算節(jié)點，最大浮點理論峰值可達1.824TFlops（約1.8萬億次）,用戶可以在中等投資的情況下獲得非常高的計算浮點性能。

2個I/O節(jié)點做成雙機高可用，可防止單一節(jié)點的故障，關(guān)鍵節(jié)點（管理節(jié)點、登錄節(jié)點、I/O節(jié)點都做了冗余設(shè)計）。同時利用HA的Slave節(jié)點基本上一直處于空閑狀態(tài)的節(jié)點，讓其兼做管理節(jié)點，充分利用了資源。

在擁有超高性能外，氣象刀片集群擁有刀片系統(tǒng)的一切優(yōu)點，非常適合于管理和維護。

大型規(guī)模刀片解決方案

大規(guī)模刀片氣象解決方案類似于中規(guī)模方案的配置，只需要增加相應(yīng)刀片數(shù)目，并更換更高端的Infiniband交換機即可。同時注意應(yīng)根據(jù)實際情況增加登錄節(jié)點數(shù)目和SAN存儲容量大小。其它關(guān)于大規(guī)模的氣象解決方案請參見曹振南的精品方案《曙光大規(guī)模數(shù)值氣象預(yù)報系統(tǒng)解決方案》。

3.曙光的優(yōu)勢

3.1.技術(shù)優(yōu)勢

技術(shù)與品牌：

曙光公司是國內(nèi)最早從事研發(fā)、生產(chǎn)服務(wù)器和服務(wù)器集群的專業(yè)廠家。曙光公司依托中國科學院計算所、國家高性能計算機工程中心、國家智能計算機研究開發(fā)中心作為技術(shù)后盾。提出了“SUMA”服務(wù)器標準，開發(fā)出獨具特色的集群管理技術(shù)在用戶中得到一致歡迎，并在實際生產(chǎn)中得到充分應(yīng)用，是國內(nèi)集群系統(tǒng)市場占有率最高的廠商。

專業(yè)的高性能計算機生產(chǎn)廠家：

曙光公司一家專業(yè)的高性能計算機生產(chǎn)廠家，繼2004年曙光4000A名列全球第十以后，在2005年中國高性能計算機性能TOP100排行名中，曙光以25套系統(tǒng)入選，占據(jù)25％。其中在這25套集群系統(tǒng)中，有2．4．套．應(yīng)用于科學計算領(lǐng)域，這個在所有國內(nèi)外廠商中名列第一。在2006年的最新一期年中國高性能計算機性能TOP100排行名中，曙光以25套系統(tǒng)入選，在所有國際國內(nèi)品牌中名列第二，國內(nèi)品牌中以絕對優(yōu)勢名列第一。

5年原廠商免費服務(wù)：

針對高性能計算使用困難、維護費用高等特點，曙光公司在06年推出了5年原廠商免費服務(wù)。目前的IT產(chǎn)品通常服務(wù)承諾為3年，而曙光提出的5年原廠商免費服務(wù)，這也意味著是終身免費服務(wù)，是服務(wù)質(zhì)量的可靠保證，同時用戶的TCO更透明更可控。

另外，曙光的服務(wù)不僅局限于高性能計算機本身，同時也包括系統(tǒng)級和應(yīng)用級的服務(wù)。包括并行系統(tǒng)環(huán)境、編譯環(huán)境以及MM5、Grapes、WRF和AREMS等應(yīng)用軟件級的服務(wù)。我們的目的是不僅能讓用戶能使用高性能計算機，同時要用好高性能計算機。

観尢'(欽專用計算機任“2002年中國計菲機川門滿住產(chǎn)

品調(diào)代”中榮獲機驛服務(wù)器產(chǎn)品設(shè)il創(chuàng)新興.待頒此證。

氣象行業(yè)應(yīng)用：

/曙光公司以應(yīng)用為導向、以滿足用戶實際需求為目標，一直致力于氣象領(lǐng)

域和其它重點應(yīng)用領(lǐng)域高性能計算機及其解決方案的研究與開發(fā)。它不僅著眼于集群的生產(chǎn)和研究，同時還密切和應(yīng)用相結(jié)合。

/曙光公司于2002年推出了基于MM5模式的曙光氣象專用機，并獲得了多個獎項。在2004年初，曙光公司與中科院計算所合作，在全球首次完成了MM5在X86-64(Opteron)平臺上從32位至64位的移植工作，并在國內(nèi)外得到的廣泛的應(yīng)用。

/2004年開始研究WRF在X86_64平臺上的移植和優(yōu)化，并計劃于2007年10月前推出基于WRF，MM5和Grapes三種模式一體的氣象專用機。

/2007年初與中國國家氣象局氣科院合作，用曙光服務(wù)器和Grapes共同打造中國氣象預(yù)報的國產(chǎn)化。

/2007年9月與寧波市氣象局合作，共同促進WRF業(yè)務(wù)化模式在中國的應(yīng)

用和普及，包括AWR，NMM和污染物擴散的WRF-Chem模式的研究和開發(fā)。

3.2.曙光機群系統(tǒng)在氣象行業(yè)的成功案例

用戶

主要配置

主要用途及運行模式

安裝時間

氣象部門

中國氣象局武漢暴雨研究所

曙光4000A：

8個計算節(jié)點，36顆Opteron870

DCCPU

千兆以太網(wǎng)

業(yè)務(wù)系統(tǒng)

主要運行軟件：自行研發(fā)軟件、MM5

等

2007.6

上海市氣象局臺風研究所

曙光4000A：

28個計算節(jié)點，56顆Opteron

2212DCCPU

千兆以太網(wǎng)

氣象科研平臺

主要運行軟件：MM5、WRF等

2007.5

包頭市氣象局

曙光4000A：

8個節(jié)點，16顆Opteron2212DC

CPU

千兆以太網(wǎng)

氣象方面的教學與科研應(yīng)用主要運行軟件：MM5、GRAPES

2007.5

鄂爾多斯市氣象

局

曙光4000A：

8個節(jié)點，16顆Opteron2212DC

CPU

千兆以太網(wǎng)

氣象方面的教學與科研應(yīng)用主要運行軟件：MM5、GRAPES

2007.6

寧波市氣象局

32節(jié)點128Opteron880DCCPU

Infiniband高速網(wǎng)絡(luò)

業(yè)務(wù)

運行模式：WRF、MM5

2006.12

云南玉溪市氣象

局

9節(jié)點18Opteron250CPU千兆以太網(wǎng)

氣象天氣業(yè)務(wù)應(yīng)用

2006.11

上海市氣象臺

8節(jié)點16OpteronCPU千兆以太網(wǎng)

科研

運行模式：MM5、WRF

2006.1

上海市氣象局臺

風研究所

20節(jié)點40OpteronCPU

千兆以太網(wǎng)

科研

運行模式：MM5、WRF

2005.6

廣東省氣象局熱帶研究所

20節(jié)點40Opteron246CPU

千兆以太網(wǎng)

科研

運行模式：MM5、Grapes

2005.5

廣西省氣象局

17節(jié)點34Opteron248CPU

Myrinet高速網(wǎng)絡(luò)

廣西省預(yù)報以及相關(guān)科研

運行模式：MM5、Grapes

2004.12

北京市氣象局

36節(jié)點136Opteron848CPUMyrinet高速網(wǎng)絡(luò)

北京市氣象預(yù)報以及奧運氣象預(yù)報研究

運行模式：MM5

2004.8

四川省氣象局高原研究所

12節(jié)點24Opteron244CPU

千兆以太網(wǎng)

高原氣象研究

運行模式：MM5、WRF、Grapes

2004.5

山西省氣象局

9節(jié)點18XEON2.2GCPU

千兆以太網(wǎng)

山西省氣象預(yù)報運行模式：MM5

2003.5

貴州省氣象局山

地環(huán)境氣候研究

所

9節(jié)點18XEON2.2GCPU

千兆以太網(wǎng)

科研+預(yù)報

運行模式：MM5

2002.8

西藏高原氣象研究所

9節(jié)點18XEON2.2GCPU

千兆以太網(wǎng)

西藏自治區(qū)氣象預(yù)報

運行模式：MM5

2002.8

廣東省氣象局熱帶研究所

16CPU曙光3000

科研、預(yù)報

運行模式：MM5

2001.3

國家氣象中心

32CPU曙光1000A

氣候模式研究

1998

環(huán)保部門

北京市環(huán)境監(jiān)測中心

5節(jié)點10XEON3.2GCPU

千兆以太網(wǎng)

環(huán)境監(jiān)測

2005.5

中科院環(huán)境科學

研究院

8節(jié)點16XEONCPU

千兆以太網(wǎng)

科研

2004.4

上海市環(huán)境保護

監(jiān)測站

9節(jié)點18XEONCPU

千兆以太網(wǎng)

環(huán)境監(jiān)測

2003.11

北京市環(huán)境保護

監(jiān)測站

9節(jié)點18XEONCPU

千兆以太網(wǎng)

環(huán)境監(jiān)測

2003

深圳市環(huán)境保護

監(jiān)測站

8節(jié)點16XEONCPU

千兆以太網(wǎng)

環(huán)境監(jiān)測

2003.11

軍事氣象

空軍裝備研究院航空氣象防化研究所

9節(jié)點18Opteron248CPU

Myrinet高速網(wǎng)絡(luò)

科研

運行模式：MM5、WRF、Grapes

2006.4

酒泉衛(wèi)星發(fā)射中

心

18節(jié)點36Opteron248CPU千兆以太網(wǎng)

衛(wèi)星發(fā)射氣象預(yù)報

運行模式：MM5

2006.4

北京航天飛行控

制中心

20節(jié)點40Opteron248CPU

千兆以太網(wǎng)

衛(wèi)星發(fā)射氣象預(yù)報+科