Clussoft高性能軟件使用手冊(cè)

1、 - 18 -Clussoft高性能軟件使用手冊(cè)目 錄 TOC o 1-3 h z u HYPERLINK l _Toc529003294 1 Clussoft簡介 PAGEREF _Toc529003294 h - 3 - HYPERLINK l _Toc529003295 1.1 打印幫助說明 PAGEREF _Toc529003295 h - 3 - HYPERLINK l _Toc529003296 1.2 查看所有可用軟件包 PAGEREF _Toc529003296 h - 3 - HYPERLINK l _Toc529003297 1.3 查看軟件組 PAGEREF _Toc52

2、9003297 h - 4 - HYPERLINK l _Toc529003298 2 軟件安裝 PAGEREF _Toc529003298 h - 6 - HYPERLINK l _Toc529003299 2.1 基本配置 PAGEREF _Toc529003299 h - 6 - HYPERLINK l _Toc529003300 2.1.1 設(shè)置安裝根目錄 PAGEREF _Toc529003300 h - 6 - HYPERLINK l _Toc529003301 2.1.2 初始化集群環(huán)境 PAGEREF _Toc529003301 h - 6 - HYPERLINK l _Toc

3、529003302 2.2 根目錄結(jié)構(gòu)說明 PAGEREF _Toc529003302 h - 6 - HYPERLINK l _Toc529003303 2.3 編譯器安裝說明 PAGEREF _Toc529003303 h - 7 - HYPERLINK l _Toc529003304 2.4 MPI安裝說明 PAGEREF _Toc529003304 h - 7 - HYPERLINK l _Toc529003305 2.5 數(shù)學(xué)庫安裝說明 PAGEREF _Toc529003305 h - 7 - HYPERLINK l _Toc529003306 2.6 測(cè)試工具安裝說明 PAGER

4、EF _Toc529003306 h - 8 - HYPERLINK l _Toc529003307 2.7 應(yīng)用軟件安裝說明 PAGEREF _Toc529003307 h - 8 - HYPERLINK l _Toc529003308 2.8 安裝軟件組 PAGEREF _Toc529003308 h - 9 - HYPERLINK l _Toc529003309 2.9 查看可用軟件 PAGEREF _Toc529003309 h - 10 - HYPERLINK l _Toc529003310 3 軟件使用說明 PAGEREF _Toc529003310 h - 12 - HYPERL

5、INK l _Toc529003311 3.1 設(shè)置軟件環(huán)境變量 PAGEREF _Toc529003311 h - 12 - HYPERLINK l _Toc529003312 3.1.1 手動(dòng)加載 PAGEREF _Toc529003312 h - 12 - HYPERLINK l _Toc529003313 3.1.2 Moudle管理 PAGEREF _Toc529003313 h - 12 - HYPERLINK l _Toc529003314 3.2 clusbench使用說明 PAGEREF _Toc529003314 h - 12 - HYPERLINK l _Toc52900

6、3315 3.2.1 查看幫助 PAGEREF _Toc529003315 h - 12 - HYPERLINK l _Toc529003316 3.2.2 單機(jī)Linpack測(cè)試 PAGEREF _Toc529003316 h - 13 - HYPERLINK l _Toc529003317 3.2.3 整機(jī)Linpack測(cè)試 PAGEREF _Toc529003317 h - 14 - HYPERLINK l _Toc529003318 3.2.4 內(nèi)存測(cè)試 PAGEREF _Toc529003318 h - 14 - HYPERLINK l _Toc529003319 3.3 appbe

7、nch使用說明 PAGEREF _Toc529003319 h - 15 - HYPERLINK l _Toc529003320 3.3.1 查看幫助 PAGEREF _Toc529003320 h - 15 - HYPERLINK l _Toc529003321 3.3.2 運(yùn)行l(wèi)ammps測(cè)試 PAGEREF _Toc529003321 h - 15 - HYPERLINK l _Toc529003322 4 Clussoft開發(fā)說明 PAGEREF _Toc529003322 h - 18 - HYPERLINK l _Toc529003323 4.1 架構(gòu)說明 PAGEREF _Toc

8、529003323 h - 18 - HYPERLINK l _Toc529003324 4.2 開發(fā)說明 PAGEREF _Toc529003324 h - 18 -Clussoft簡介Clussoft可以很方便的部署HPC比較流行的軟件，目前該功能已集成在 Gridview-3.2.*上，為了與 Gridview 中的統(tǒng)一，我們重新編寫了Clussoft，使用方式上與 yum 比較類似，相比于上一版擴(kuò)展性更強(qiáng)。目前，Clussoft提供的自動(dòng)化軟件安裝主要分為編譯器、數(shù)學(xué)庫、MPI、測(cè)試工具和應(yīng)用軟件等五大分類，為了簡化安裝又從上述幾大類軟件選取了部分軟件分成Applications, b

9、ase和benchmark三類軟件組。下面就最新版clussoft的使用作詳細(xì)說明。打印幫助說明./clussoft -help # 查看基本幫助信息查看所有可用軟件包./clussoft -a結(jié)果如下圖所示：第一列為軟件名稱和版本，第二列為軟件分組，第三列為安裝類型（share為共享安裝，安裝在共享目錄下，如/public; distributed 為分布式安裝，每個(gè)節(jié)點(diǎn)安裝一份，放在本地磁盤）。查看軟件組Clussoft提供類似yum組安裝方式，可一鍵完成某個(gè)組中所有軟件的安裝，例如，./clussoft -L目前，clussoft分為Applications、base和benchmark

10、三個(gè)分組，Applications包含常用應(yīng)用軟件，例如分子動(dòng)力學(xué)、量子化學(xué)、開發(fā)工具和氣象海洋等軟件；base包含常用編譯器、MPI和數(shù)學(xué)庫等，benchmark包含集群性能測(cè)試工具包，如Linpack測(cè)試和應(yīng)用測(cè)試。軟件安裝基本配置設(shè)置安裝根目錄軟件默認(rèn)安裝目錄為/public/software, 安裝過程若要指定安裝目錄，可通過-d參數(shù)指定軟件安裝根目錄路徑，例如，./clussoft -d path-to-install/注意：要保留指定目錄下最上級(jí)目錄下的.gridview目錄，切勿刪除，該目錄有安裝軟件的記錄文件。初始化集群環(huán)境本節(jié)將要安裝集群批量管理工具pssh和module，在

11、此之前，準(zhǔn)備待部署的集群節(jié)點(diǎn)列表nodelist，執(zhí)行命令，./clussoft -p nodelist執(zhí)行成功后，將會(huì)在nodelist中所含節(jié)點(diǎn)上部署module管理工具，方面應(yīng)用程序環(huán)境變量管理。根目錄結(jié)構(gòu)說明Clussoft根據(jù)軟件分類會(huì)在根目錄生成相對(duì)應(yīng)的次級(jí)目錄，例如，根目錄為/public/software，則其根目錄包含以下次級(jí)文件夾，apps benchmark compiler mathlib modules mpi profile.d其中，apps對(duì)應(yīng)著應(yīng)用軟件的存儲(chǔ)目錄，benchmark對(duì)應(yīng)著測(cè)試工具的存儲(chǔ)目錄，compiler為編譯器安裝目錄，mathlib是各種數(shù)

12、學(xué)庫的安裝目錄，modules存儲(chǔ)已安裝應(yīng)用軟件的module配置文件，mpi是各種MPI實(shí)現(xiàn)的安裝目錄，profile.d包含所有已安裝軟件的環(huán)境變量配置文件。編譯器安裝說明Clussoft集成對(duì)Intel編譯器和GNU編譯器的自動(dòng)化部署。以安裝Intel編譯器為例，./clussoft -i intel-2015.2.164執(zhí)行成功后，Intel編譯器會(huì)安裝在根目錄/ compiler/intel/composer_xe_2015.2.164/ 目錄下，相應(yīng)環(huán)境變量文件寫入根目錄/profile.d/compiler_intel-composer_xe_2015.2.164.sh。MPI安

13、裝說明Clussoft集成對(duì)IntelMPI, MPICH, MVAPICH, OPENMPI的自動(dòng)化部署。以安裝Intel編譯器編譯安裝OpenMPI-2.0.0為例，可執(zhí)行，./clussoft -i openmpi-intel-2.0.0 # 安裝Intel編譯器編譯的OpenMPI安裝成功后，OpenMPI會(huì)安裝在根目錄/mpi/openmpi/2.0.0/intel目錄下，相應(yīng)環(huán)境變量文件寫入根目錄/profile.d/mpi_openmpi-2.0.0-intel.sh。數(shù)學(xué)庫安裝說明Clussoft集成對(duì)FFTW2/3, GSL, HDF5, HDF, LAPACK, NETCD

14、F等的自動(dòng)化部署。以安裝雙精度FFTW3為例，可執(zhí)行，安裝成功后，F(xiàn)FTW3會(huì)安裝在根目錄/mathlib/fftw/3.3.4/double目錄下，相應(yīng)環(huán)境變量文件寫入profile.d/mathlib_fftw-3.3.4-double.sh。測(cè)試工具安裝說明Clussoft集成HPL, IMB， i7z, IOZONE, LMBENCH, MPIGRAPH, STREAM等常用測(cè)試軟件的自動(dòng)化部署，并集成自動(dòng)化測(cè)試工具appbench和clusbench。為方便集群性能測(cè)試和后期維護(hù)，可一鍵安裝所有測(cè)試軟件，執(zhí)行./clussoft -I benchmark執(zhí)行成功后，所有測(cè)試軟件會(huì)安裝

15、在根目錄/benchmark/目錄下。應(yīng)用軟件安裝說明Clussoft集成分子動(dòng)力學(xué)、量子化學(xué)、生命科學(xué)、氣象環(huán)保等開源軟件，以及R, Perl和Python開發(fā)包的自動(dòng)化部署，安裝前需要下載指定版本的源碼包，并上傳到Clussoft對(duì)應(yīng)軟件的src目錄下。例如，預(yù)安裝開源量子化學(xué)軟件OpenMX, 首先， 進(jìn)入OpenMX官方網(wǎng)站 HYPERLINK ，下載openmx-3.8源碼包openmx3.8.tar.gz；其次，將源碼包openmx3.8.tar.gz上傳至apps/OpenMX/src/目錄下；最后，執(zhí)行：./clussoft -i OpenMX安裝成功后，軟件會(huì)安裝在根目錄/a

16、pps/openmx/3.8/目錄下，同時(shí)生成一個(gè)job.pbs作業(yè)提交的腳本文件。Clussoft所支持的軟件包下載地址和指定版本，可查看下表:軟件名稱下載地址軟件版本Abinit HYPERLINK / /abinit-7.10.4.tar.gzCP2K HYPERLINK / /cp2k-2.6.1.tar.bz2Gromacs HYPERLINK / /gromacs-5.1.3.tar.gzLammps HYPERLINK / /lammps-stable.tar.gz(lammps-14May16)NAMD請(qǐng)聯(lián)系曙光工程師NAMD_2.10_Source.tar.gzNwchem請(qǐng)

17、聯(lián)系曙光工程師Nwchem-6.5.tar.gzOctopus請(qǐng)聯(lián)系曙光工程師octopus-5.0.1.tar.gzOpenMX HYPERLINK openmx3.8.tar.gzQE（Quantum Espresso）請(qǐng)聯(lián)系曙光工程師espresso-5.4.0.tar.gzVASP HYPERLINK http:/www.vasp.at/ http:/www.vasp.at/vasp.5.4.1.tar.gzWRF/index.phpwrf.3.6.1.tar.gzADCIRC請(qǐng)聯(lián)系曙光工程師adc50_99_12.tar.gzARPS/ARPS/arps5.3.4.tar.gzCMA

18、Q/cmaq/cmaq4.7.1.tar.gzFVCOM請(qǐng)聯(lián)系曙光工程師Fvcom2.7.1.tar.gz安裝軟件組Clussoft支持Applications, base和benchmark三種軟件組的一鍵部署, 以安裝base為例，./clussoft -I base # 安裝base組所有軟件執(zhí)行成功后，base所包含的軟件列表會(huì)根據(jù)軟件分類安裝在不同目錄下，相應(yīng)的環(huán)境變量文件安裝在根目錄/profile.d目錄下。查看可用軟件支持兩種方式，查看本集群已安裝的軟件列表，方法一，使用Clussoft命令，執(zhí)行./clussoft -l # 查看所有已安裝的軟件包信息軟件包安裝信息包含軟件名

19、稱、分組 、安裝類型、安裝目錄、軟件環(huán)境變量文件和安裝用戶，普通用戶可查看root和本用戶安裝的所有軟件。方法二，使用module管理命令，執(zhí)行module avail軟件使用說明設(shè)置軟件環(huán)境變量手動(dòng)加載對(duì)于root超級(jí)用戶可設(shè)置開機(jī)自動(dòng)加載，即，選擇根目錄/profile.d目錄下環(huán)境變量文件，將其拷到/etc/profile.d目錄下；對(duì)于普通用戶，使用某個(gè)軟件，臨時(shí)加載環(huán)境變量，可以執(zhí)行，source 根目錄/profile.d/*.sh也可以將上述命令，寫入/.bashrc文件內(nèi)，設(shè)置為該用戶默認(rèn)環(huán)境變量；Moudle管理本節(jié)可參考module機(jī)制基本命令，即執(zhí)行，man module

20、查看幫助。clusbench使用說明clusbench是一個(gè)簡單易用的集群測(cè)試工具包，集成了一些常見的高性能測(cè)試項(xiàng)目，比如單機(jī) Linpack、整機(jī) Linpack、Stream測(cè)試等。clusbench 會(huì)根據(jù)集群節(jié)點(diǎn)信息自動(dòng)生成參數(shù)，通過簡單幾條命令就會(huì)測(cè)試出不錯(cuò)的 Linpack結(jié)果。最新版本為：clusbench-1.3。查看幫助./clusbench -h單機(jī)Linpack測(cè)試編輯nodelist添加需要測(cè)試的節(jié)點(diǎn)主機(jī)名要保證 nodelist 中節(jié)點(diǎn)所有的 CPU 型號(hào)、內(nèi)存大小、操作系統(tǒng)版本一致，這樣我們才能根據(jù) CPU 峰值和內(nèi)存來計(jì)算 Linpack 參數(shù)。執(zhí)行單機(jī) Linp

21、ack 命令./clusbench -s在這個(gè)過程中需要你確認(rèn) Linpack 參數(shù)，如果默認(rèn)的參數(shù)不合適，請(qǐng)輸入相關(guān)參數(shù)。 如果直接使用我們給出的默認(rèn)參數(shù)，而不想再次確認(rèn)，直接執(zhí)行 ./clusbench -s -q查看Linpack結(jié)果 在log目錄下有各節(jié)點(diǎn)Linpack測(cè)試輸出文件，tail 查看即可，例如，HPL_node1_20160719-1013.log整機(jī)Linpack測(cè)試編輯nodelist添加需要整機(jī)測(cè)試的節(jié)點(diǎn)名執(zhí)行clusbench整機(jī)測(cè)試Linpack./clusbench -t -q # 使用默認(rèn)參數(shù)測(cè)試整機(jī)Linpack查看最終結(jié)果在log目錄下有整機(jī)Linpac

22、k測(cè)試輸出文件，tail 查看即可，例如，tHPL_20160719-1006.log內(nèi)存測(cè)試clusbench使用Stream測(cè)試內(nèi)存帶寬1) 編輯 nodelist文件2) 執(zhí)行 clusbench -m命令來自動(dòng)測(cè)試內(nèi)存帶寬測(cè)試首先會(huì)檢查內(nèi)存信息，測(cè)試結(jié)束會(huì)給出每個(gè)節(jié)點(diǎn)的性能信息，比如下圖輸出信息可得出admin1帶寬為80GB/sappbench使用說明開發(fā)appbench測(cè)試工具目的在于，使用標(biāo)準(zhǔn)算例測(cè)試集群運(yùn)行業(yè)務(wù)程序的性能，目前支持分子動(dòng)力學(xué)程序lammps和量子化學(xué)軟件包vasp的自動(dòng)化測(cè)試。使用appbench前需要確保安裝module功能參考2.1.2，用于加載應(yīng)用程序環(huán)境

23、變量。最新版本為：appbench-1.0。查看幫助./appbench -h輸出參數(shù)和說明內(nèi)容如下，-help，-h print this help # 打印幫助-run-vasp，-rV running vasp demo # 測(cè)試vasp算例-run-lammps，-rL running lammps demo # 測(cè)試lammps算例-kill，-k Stop bench jobs # 終止計(jì)算任務(wù)運(yùn)行l(wèi)ammps測(cè)試編輯nodelist，添加需要的計(jì)算節(jié)點(diǎn)，節(jié)點(diǎn)數(shù)目為偶數(shù)N，程序會(huì)按照N/2遞減的方式依次分配節(jié)點(diǎn)資源進(jìn)行測(cè)試，最少需要2個(gè)節(jié)點(diǎn)。編輯配置文件config，選擇需要測(cè)試的程序和算例例如，選在lammps算例1#!/bin/bash#=# RUN_ID