浪潮TS軟件系統(tǒng)

1、浪潮天梭TS10000高性能軟件介紹浪潮天梭TS10000高性能計算集群產(chǎn)品向用戶提供從底層軟件到上層應用軟件這樣一整套的軟件系統(tǒng)。我們在高性能集群的軟件系統(tǒng)有很深的理解，作了大量測試與驗證工作，并在已經(jīng)實施的案例中與各行業(yè)的高性能計算專家和學者進行了深層的交流，加之合作軟件廠商的支持，我們在這個領域的經(jīng)驗能使客戶得到滿意的軟件方案。1. 天梭高性能監(jiān)管軟件浪潮TSMM2.0管理監(jiān)控軟件是專為浪潮天梭系列服務器產(chǎn)品開發(fā)的一款專業(yè)服務器管理監(jiān)控軟件。浪潮TSMM2.0管理監(jiān)控軟件既可對服務器系統(tǒng)中的節(jié)點進行分組監(jiān)控管理，也可針對某一節(jié)點進行單一的管理。為系統(tǒng)管理員提供了一個單一映像的服務器管理界

2、面。TSMM2.0管理監(jiān)控軟件汲取了現(xiàn)有流行服務器和集群管理軟件的優(yōu)點，同時在分組管理、并行操作、跨平臺、單一映像、準三維的圖形界面等方面有獨到的優(yōu)勢，從而大大的降低了用戶的管理成本，并提高了用戶的管理效率。軟件的主要功能有：服務器系統(tǒng)性能信息監(jiān)控、服務器系統(tǒng)管理。其中：l 性能信息監(jiān)控：收集統(tǒng)計服務器系統(tǒng)內(nèi)部的性能信息，并在一個直觀的圖形頁面中反映出來，幫助用戶掌握服務器系統(tǒng)當前的整體狀態(tài)和局部狀態(tài)。l 服務器系統(tǒng)管理：整合linux操作系統(tǒng)常用命令，通過圖形化的web界面，提供用戶一個良好的系統(tǒng)管理接口。軟件的功能可以分為3個層次：系統(tǒng)級、功能池級、節(jié)點級。其中：l 系統(tǒng)級主要是為管理整個

3、服務器系統(tǒng)而設置的，主要功能有：服務器系統(tǒng)構(gòu)成管理。l 功能池級主要是為管理不同的功能池而設置的，主要功能有：功能池的性能信息監(jiān)控，功能池管理。l 節(jié)點級主要為了單獨管理具體的每個節(jié)點而設置，主要功能有：節(jié)點的性能信息監(jiān)控，節(jié)點管理。2. 天梭高性能作業(yè)調(diào)度系統(tǒng)浪潮 TSJM 作業(yè)管理軟件是專為浪潮天梭系列 HPC 產(chǎn)品定制的一款作業(yè)管理軟件，該軟件采用B/S架構(gòu)，通過瀏覽器（IE，firefox等）進行操作，可以管理集群系統(tǒng)中的軟硬件資源和用戶提交的作業(yè)，根據(jù)集群中的資源使用情況來合理的調(diào)度用戶提交的作業(yè)，從而達到提高資源的利用率和作業(yè)的執(zhí)行效率的作用。浪潮作為國內(nèi)領先的高性能計算集群系統(tǒng)開

4、發(fā)商，除了應該為高性能計算的用戶提供安全可靠高速互聯(lián)的集群硬件，還應為客戶提供一套完整的集群管理軟件，作業(yè)管理軟件是集群管理系統(tǒng)中非常重要的一部分，它負責管理用戶提交的作業(yè) ,合理地給各個作業(yè)分配資源 ,從而確保充分利用集群系統(tǒng)計算能力,并盡可能快地得到運算結(jié)果，與集群管理監(jiān)控軟件、部署軟件形成一套完整的集群管理系統(tǒng)。軟件分為資源管理，系統(tǒng)管理，策略管理，作業(yè)管理，記賬管理，應用管理六部分。Ø 資源管理：管理系統(tǒng)中的集群，功能池，節(jié)點等資源，可以對集群，功能池，節(jié)點進行查看，添加，修改，刪除等操作。Ø 系統(tǒng)管理：管理系統(tǒng)中的主要功能模塊，對各個功能進行設置，包括作業(yè)批處理器

5、管理，隊列管理，用戶組管理，用戶管理，調(diào)度器管理，短信報警管理。Ø 策略管理：該模塊負責管理系統(tǒng)中的調(diào)度策略，可以對策略進行查看，添加，刪除，修改，應用等操作。Ø 作業(yè)管理：該模塊負責管理作業(yè)，可以提交新作業(yè)，查看系統(tǒng)中的作業(yè)狀態(tài)，并可以對作業(yè)進行重啟，掛起，釋放，刪除等操作。該模塊還可以查看作業(yè)的執(zhí)行日志。Ø 記賬管理：該模塊負責記錄系統(tǒng)中用戶組或用戶資源的使用量，并對用戶組或用戶進行計費。Ø 應用管理：本軟件可以對具體應用進行支持，該模塊負責查看，添加，刪除應用，設置或修改應用的命令，參數(shù)等信息。本軟件運行于浪潮天梭系列 HPC 產(chǎn)品之上，需要一臺管

6、理節(jié)點，可以管理多個集群，拓撲圖如下：服務器系統(tǒng)含有多個節(jié)點，其中包括一個管理節(jié)點及多個其他節(jié)點。管理節(jié)點是用戶通過本軟件管理服務器系統(tǒng)的接口。管理員可以在管理節(jié)點上直接對服務器系統(tǒng)進行管理，也可以通過互聯(lián)網(wǎng)絡在遠端維護終端上對服務器系統(tǒng)進行管理。3. 簡易強大的系統(tǒng)部署軟件在安裝操作系統(tǒng)方面，我們使用Kickstart + NFS + DHCP + TFTP + PXELinux來實現(xiàn)RedHat網(wǎng)絡無光驅(qū)自動安裝，如果是基于千兆以太網(wǎng)，會極大的縮短安裝系統(tǒng)的時間，而且可以多臺機器同時安裝，這樣就會顯著地提高工作效率。要使用Kickstart網(wǎng)絡無光驅(qū)安裝操作系統(tǒng)，首先我們先要找一臺服務器做

7、Installation Server，在此服務器上做以下操作：1、將操作系統(tǒng)盤上的內(nèi)容復制到Server的一個目錄下，并通過NFS把此目錄共享出去2、將Server配置成TFTP服務器3、設置dhcp.conf文件，將Server配置成DHCP服務器4、配置PXElinux，將pxelinux需要的文件拷貝到/tftpboot目錄下這樣，一臺Installation Server就搭建完成了，將其連接到網(wǎng)絡環(huán)境內(nèi)。將需要安裝操作系統(tǒng)的機器連接到網(wǎng)絡上，進入BIOS將其設定為從網(wǎng)絡啟動，就可以網(wǎng)絡無盤安裝操作系統(tǒng)了。4. 優(yōu)化的并行計算軟件環(huán)境在應用方面，Intel更是和Flunet等軟件廠商

8、共同開發(fā)了其后續(xù)版本，使軟件性能能在Intel平臺上達到最大，而我們浪潮在和Intel的密切合作過程中，早已把這些優(yōu)化整合到我們的天梭產(chǎn)品中。為了使我們的硬件平臺能夠充分發(fā)揮效率，也使我們的軟件能夠完全的、平穩(wěn)的、高效的運行在該硬件平臺上，浪潮高性能團隊專門為此開發(fā)并使用了一套針對于該硬件平臺的并行軟件系統(tǒng)：l RedHat Linux 浪潮TS10000集群采用了當前最主流的集群操作系統(tǒng)Linux。對于公開源碼的一款操作系統(tǒng)，它有著非常完善、穩(wěn)定、全面的應用服務，并且針對于四核平臺，最新的Linux 內(nèi)核較以前版本有了非常大的改進，不僅對我們的硬件平臺兼容性更好，而且也使基于該操作系統(tǒng)開發(fā)的

9、很多應用得夠有很完善的接口和很高的使用效率。l Intel C/C+/Fortran/MKL/Vtune針對四核平臺優(yōu)化的編譯器、數(shù)學函數(shù)庫、調(diào)優(yōu)軟件等充分釋放處理器的強大性能，使用戶自己和專業(yè)的應用經(jīng)過此編譯器編譯后，能夠高效在四核平臺上運行，并使四核的硬件平臺效率得到充分的利用；用戶也可以調(diào)用Intel專門針對于四核的數(shù)學庫，使自己的應用能夠更加優(yōu)化，提高用戶應用的運行性能；通過Intel的調(diào)優(yōu)工具，我們可以清楚的了解到我們的應用在運行時的瓶頸，使我們非常有針對性的進行性能的調(diào)優(yōu)，以便達到效率的最高，讓用戶真正感覺到物超所值。l 應用軟件移植服務浪潮高性能在集群應用軟件方面有非常豐富的經(jīng)驗

10、，并且成功的將多款應用于不同行業(yè)領域的軟件移植到天梭高性能集群當中，并得到了很好的應用，這不僅是浪潮與應用軟件廠家進行聯(lián)合的結(jié)果，也是浪潮高性能團隊主動協(xié)助客戶進行軟件的移植，聯(lián)合測試的結(jié)果。主要涉及的行業(yè)有生物、物理、化學、數(shù)學、液體力學、建筑、地質(zhì)勘測、天氣預報、生命科學等，主要應用的軟件有Dock、CHARMM、 FLUENT、高斯、VASP、MM5等等。5. 天梭高性能數(shù)學庫及編譯系統(tǒng)天梭產(chǎn)品是高端的計算工具，為了是用戶的應用獲得最好的性能，浪潮天梭集合了英特爾的系統(tǒng)編譯環(huán)境、函數(shù)庫、調(diào)優(yōu)工具，與此同時，天梭系統(tǒng)支持大部分開源的編譯器、函數(shù)庫，以便使一部分用戶在自己熟練的平臺下工作。

11、.5.5.1. 英特爾C+或Fortran編譯器編譯器是將用戶的源代碼轉(zhuǎn)換成可執(zhí)行二進制代碼的工具，其性能的好壞可以影響軟件在系統(tǒng)中的性能發(fā)揮。由于編譯器的效率和處理器息息相關(guān)，因此在大部分的系統(tǒng)中一般都是由處理器廠商來提供編譯器，以提高編譯性能。浪潮天梭系統(tǒng)的計算節(jié)點由Intel處理器構(gòu)建，因此提供高效的Intel C/C+和Fortran編譯系統(tǒng)。同時兼容GCC編譯器。英特爾C+或Fortran編譯器可以最大限度提高應用程序在英特爾體系結(jié)構(gòu)上的性能，支持IA-32、IA-64和Intel®64三種體系結(jié)構(gòu)，支持最新的多核處理器，并提供了廣泛的高級優(yōu)化、多線程和處理器

12、支持，具體特性如下：l 多線程應用程序支持：包括用于簡單且高效的軟件線程技術(shù)的 OpenMP以及自動并行，以支持簡單有效的軟件線程；l 自動矢量化：可實現(xiàn)代碼并行，從而利用我們最新的處理器中的 SIMD 流指令擴展（SSE）指令集架構(gòu)（SSE、SSE2、SSE3、SSSE3 和 SSE4）；l 高性能并行優(yōu)化程序（HPO）：調(diào)整并優(yōu)化循環(huán)，并確保自動矢量化、OpenMP 或自動并行能夠最充分地利用高速緩存和內(nèi)存訪問，SIMD 指令集和多個內(nèi)核。在單一通道中進行編譯，能夠縮短編譯時間并產(chǎn)生更多可靠的代碼l 過程間優(yōu)化IPO：能極大改善頻繁的小型或中型函數(shù)調(diào)用，特別是包含循環(huán)中的函數(shù)調(diào)用的過程。l

13、 檔案引導優(yōu)化PGO：通過降低指令快取置換 (cache-thrashing)、重組代碼布局、縮減代碼長度并減少分支預測失誤來減少指令緩存的抖動，提高應用程序性能。l 數(shù)據(jù)預?。涸诔绦蛱囟ㄎ恢貌迦脒x擇的數(shù)據(jù)調(diào)用預取指令，將被調(diào)用的數(shù)據(jù)項在實際使用之前就被移到了cache中，對于計算密集型的數(shù)科院的氣象分析計算，這種繞過內(nèi)存訪問的技術(shù)將帶來性能顯著的改善。l 卓越的浮點指令處理能力：Intel C+編譯器使用了整個浮點棧有效執(zhí)行浮點指令。重疊的指令可以將運算結(jié)果放入任何棧寄存器，從而獲得優(yōu)異的性能。尤其適用于計算密集型應用。英特爾C+或Fortran編譯器在HPC領域有重要作用，在眾多領域的應用

14、測試結(jié)果中顯示，利用英特爾編譯器來編譯MPI和應用軟件，與利用GNU等編譯器相比，性能有不同幅度的明顯提升。5.2. 英特爾運算內(nèi)核庫(Math Kernel Library)在工程數(shù)學領域，需要一套高效能的數(shù)學函數(shù)庫來支撐，以快速處理復雜的數(shù)學計算問題。浪潮天梭系統(tǒng)提供了Intel的Math Kernel Library,來應對復雜的工程計算問題，大大提高計算性能。英特爾MKL是一個包括線性代數(shù)、快速傅里葉變換(Fourier transforms)和矢量超越函數(shù)(vector transcendental functions)在內(nèi)的軟件庫，可用于英特爾平臺上獲得高性能的工程設計、科學和金融

15、應用。英特爾MKL支持 C 和 Fortran 接口，針對最新英特爾處理器進行了專門優(yōu)化。將英特爾運算內(nèi)核庫應用于高性能計算領域，可在不增加投資的基礎上，獲得意想不到的性能提升。英特爾MKL的具體功能有：l 線性代數(shù) BLAS 和 LAPACK利用已針對英特爾處理器進行高度優(yōu)化的 BLAS 和 LAPACK 例程，獲得顯著高于同類實施的性能。英特爾® MKL 10.0 兼容全新推出的 LAPACK 3.1 版。l 線性代數(shù) ScaLAPACKScaLAPACK 的英特爾® MKL 實現(xiàn)提供的性能改善非常顯著，遠遠超出標準 NETLIB 實現(xiàn)。l 線性代數(shù) 稀疏矩陣解算器利用

16、 PARDISO 直接稀疏矩陣解算器解算大型的稀疏線性方程組，該解算器獲得了巴塞爾大學的授權(quán)，是一款易于使用、具備線程安全性、高性能的內(nèi)存高效型軟件庫。英特爾® MKL 還包含共軛梯度解算器和 FGMRES 迭代稀疏矩陣解算器。l 快速傅立葉變換（FFT）充分利用帶有易于使用的新型 C/Fortran 接口的多維 FFT 例程（從 1 維至 7 維）。英特爾® MKL 支持采用相同 API 的分布式內(nèi)存集群，支持您將工作負載輕松地分布到大量處理器上，從而實現(xiàn)大幅的性能提升。英特爾® MKL 還兼容 FFTW 2.x 和 3.0 接口，從而支持當前的 FFTW 用戶

17、輕松將英特爾® MKL 集成到現(xiàn)有應用中。l 矢量數(shù)學庫借助計算密集型核心數(shù)學函數(shù)（冪函數(shù)、三角函數(shù)、指數(shù)函數(shù)、雙曲函數(shù)、對數(shù)函數(shù)等）的矢量實施提升應用性能。l 矢量隨機數(shù)生成器利用我們的矢量隨機數(shù)生成器加速模擬，與標量隨機數(shù)生成器相比，它能夠顯著提升系統(tǒng)性能。l LINPACK 性能指標評測英特爾通過免費提供由英特爾 MKL構(gòu)建的 LINPACK 性能指標評測程序包，來幫您在基于英特爾® 架構(gòu)的系統(tǒng)上獲得最佳的性能指標評測結(jié)果。5.3. 英特爾性能分析調(diào)優(yōu)工具Vtune用戶可以利用英特爾Vtune性能分析器來對自己開發(fā)的軟件代碼進行性能調(diào)優(yōu)分析，Vtune有助于提高用戶的

18、工作效率。通過該分析工具可識別熱點并提出代碼改進意見，從而有助于提高代碼性能和縮短代碼實施時間。Vtune可同時對多個事件采樣，進行多線程分析，直接多重運行比較，可以按進程、線程、模塊、函數(shù)或指令地址來查看數(shù)據(jù)，實時監(jiān)視、實時分析，幫助用戶在調(diào)試系統(tǒng)時確定軟件和硬件的性能瓶頸，并提供解決瓶頸問題的原因分析和優(yōu)化建議。其特點如下：l 查找性能瓶頸：利用最活躍函數(shù)的列表，可以快速方便地找到性能瓶頸，并對程序代碼提出內(nèi)核級的調(diào)優(yōu)建議。最耗時函數(shù)的列表l 采樣功能：使開發(fā)人員用幾乎可以忽略不計的開銷換來對軟件實際性能的最準確表示；提供“分時采樣”視圖，幫助用戶理解軟件性能特征如何隨時間流逝而發(fā)生改變。采樣功能視圖l 使用調(diào)用圖評測查找關(guān)鍵路徑：調(diào)用圖確定調(diào)用序列并使用圖形顯示關(guān)鍵路徑。它還會顯示瓶頸的相關(guān)內(nèi)容。為了提高效率，開發(fā)人員不僅需要了解應用程序?qū)r間花費在何處，還要了解應用程序是如何達到此處的。查看以紅色顯示的關(guān)鍵路徑l 計數(shù)器監(jiān)視器：計數(shù)器監(jiān)視器在運行時供開發(fā)人員跟蹤系統(tǒng)活動，確定是否會因為可用內(nèi)存減少或文件輸入/輸出性能問題而導致應用程序速度變慢等系統(tǒng)級性能問題。計數(shù)器監(jiān)視器視圖l 篩選數(shù)據(jù)以找出答案：采樣結(jié)果的表和條形圖視圖以多種不同的方式篩選數(shù)據(jù)，例如以進程、線程、模塊或熱點等，以便找出您所需的信息。l 低開