中科曙光基因數(shù)據(jù)分析與存儲平臺方案

基因數(shù)據(jù)分析與存放平臺建設(shè)方案

目錄1平臺建設(shè)需求分析 31.1平臺組成 31.2系統(tǒng)應(yīng)用分析 42系統(tǒng)方案設(shè)計 72.1系統(tǒng)配置表 72.2系統(tǒng)拓?fù)鋱D 102.3系統(tǒng)方案說明 113系統(tǒng)技術(shù)參數(shù) 123.1總體指標(biāo) 123.2刀片機(jī)箱 123.3計算刀片 123.4四路節(jié)點(diǎn) 123.5管理登錄節(jié)點(diǎn) 123.6存儲節(jié)點(diǎn) 133.7集群網(wǎng)絡(luò) 133.8機(jī)柜配電 133.9集群軟件 133.10系統(tǒng)集成實(shí)施與售后服務(wù) 15

平臺建設(shè)需求分析平臺組成生物信息學(xué)研究平臺可分為測序平臺和分析平臺兩部分，測序平臺以基因測序儀為關(guān)鍵，完成基因測序，取得原始數(shù)據(jù)；分析平臺以高性能計算軟硬件系統(tǒng)為關(guān)鍵，完成數(shù)據(jù)分析處理，取得分析結(jié)果。其中，基因數(shù)據(jù)存放與分析平臺即生物信息高性能計算系統(tǒng)通常包含：計算子系統(tǒng)（刀片節(jié)點(diǎn)、胖計算節(jié)點(diǎn)、管理登陸節(jié)點(diǎn)）存放子系統(tǒng)（在線存放系統(tǒng)、備份存放系統(tǒng)）網(wǎng)絡(luò)子系統(tǒng)（高速計算存放網(wǎng)絡(luò)、低速管理網(wǎng)絡(luò)）管理調(diào)度系統(tǒng)（操作系統(tǒng)、集群管理系統(tǒng)、作業(yè)調(diào)度系統(tǒng)、KVM）基礎(chǔ)軟件環(huán)境（編譯器、數(shù)學(xué)庫、并行環(huán)境等）應(yīng)用軟件環(huán)境（生物信息平臺軟件、應(yīng)用軟件與基因組數(shù)據(jù)資源）集群基礎(chǔ)設(shè)施（機(jī)柜、配電系統(tǒng)）機(jī)房環(huán)境（機(jī)房、制冷、監(jiān)控、消防、隔音、供電等）

系統(tǒng)應(yīng)用分析生命科學(xué)做為二十一世紀(jì)最主要科學(xué)分支之一，高性能計算在生命科學(xué)研究和發(fā)展中起來非常主要作用。因?yàn)闇y序技術(shù)飛速發(fā)展，人類發(fā)覺基因序列數(shù)目按照指數(shù)級增加，那么對于如此數(shù)量龐大基因進(jìn)行同源性搜尋，比對，分析，遺傳發(fā)育分析等等，往往伴伴隨巨大數(shù)據(jù)處理量和并行計算量。同時，因?yàn)樯茖W(xué)研究對象往往是蛋白質(zhì)和DNA大分子，對這些分子三維結(jié)構(gòu)預(yù)測，動力學(xué)特征、熱力學(xué)特征、在生命過程中怎樣發(fā)生作用，這些科學(xué)問題也要借助于高性能計算機(jī)。所以高性能計算機(jī)在生命科學(xué)研究中，應(yīng)用非常廣泛，飾演著及其主要角色。生物信息學(xué)研究平臺應(yīng)用包含測序儀離線處理、序列搜尋比對分析、質(zhì)譜儀原始資料處理、分子對接（藥品設(shè)計）、電子顯微鏡圖象處理等等，其中最為主要仍是測序儀離線處理和序列搜尋比對分析，也是基因數(shù)據(jù)存放與分析平臺負(fù)擔(dān)主要任務(wù)?；驍?shù)據(jù)存放與分析平臺應(yīng)用主要特點(diǎn)為：1.計算量大，序列比對等大部分任務(wù)在雙路節(jié)點(diǎn)上能夠取得較高計算效率；2.序列拼接等部分應(yīng)用需要大內(nèi)存節(jié)點(diǎn)，部分應(yīng)用需要單節(jié)點(diǎn)1TB以上內(nèi)存；3.數(shù)據(jù)訪問量巨大，對存放性能、容量要求高，數(shù)據(jù)增加速度非常快；4.開源軟件眾多，安裝復(fù)雜，需要對應(yīng)基因組數(shù)據(jù)資源；5.部分應(yīng)用工作流程較為復(fù)雜，自動化較低。系統(tǒng)方案設(shè)計系統(tǒng)配置表方案思想：在當(dāng)前預(yù)算下，結(jié)合平臺應(yīng)用特點(diǎn)和對軟硬件需求，搭建符合應(yīng)用特點(diǎn)、滿足使用需求、而且盡可能完整基因組分析和存放平臺。序號名稱技術(shù)規(guī)格單位數(shù)量計算峰值（TFLOPS）存放容量

（裸容量TB）功率（kw）高度（U）1硬件部分5.2992965.45171.1計算子系統(tǒng)刀片平臺TC4600E5U機(jī)架式刀片機(jī)箱，能夠支持10個計算刀片；

管理模塊，集成遠(yuǎn)程KVM和遠(yuǎn)程虛擬媒體；

千兆網(wǎng)絡(luò)交換模塊，提供6個RJ45千兆接口和2個萬兆上聯(lián)接口；

56Gb/sFDRIB網(wǎng)絡(luò)模塊，對外提供10個FDRIB接口；

4*電源模塊（冗余）；臺1--5計算刀片CB60-G202×Intel

Xeon

E5-2640v38核處理器

(2.6GHz)；

128GB

DDR4

2133MHz；

1×300G2.5寸10000轉(zhuǎn)SAS硬盤；

1×56Gb

Infiniband端口；

2×1000M以太網(wǎng)接口；片53.3282.25-四路大內(nèi)存節(jié)點(diǎn)I840-G254U機(jī)架式；

4×IntelXeonE7-4850v314核處理器

(2.2GHz)；

2TB

DDR31600MHz內(nèi)存；

2GBCacheSASRAID；

2×600GB

SAS10K熱插拔硬盤；

2×千兆以太網(wǎng)接口；

1×56GbInfiniband

HCA卡；

冗余電源；上架導(dǎo)軌；

臺11.97121.24管理登錄節(jié)點(diǎn)I620-G202U機(jī)架式；

2×Intel

Xeon

E5-2620v36核處理器

(2.4GHz)；

4×8GB

DDR4

2133MHz內(nèi)存；

2×300G2.5寸10000轉(zhuǎn)SAS硬盤；

2×1000M以太網(wǎng)接口；

1×56GbInfiniband

HCA卡；

冗余電源；上架導(dǎo)軌；臺1-0.421.2存放子系統(tǒng)存放節(jié)點(diǎn)I640-G154U機(jī)架式存放，24盤位，2顆處理器，32GB內(nèi)存，2*300G10KSAS系統(tǒng)盤，配置24塊4TBSATA數(shù)據(jù)硬盤，提供96TB存放裸容量；對外配置2個千兆網(wǎng)口、1個FDRIB網(wǎng)口。臺196141.3網(wǎng)絡(luò)子系統(tǒng)計算網(wǎng)絡(luò)FDRIB交換機(jī)36口FDRInfiniband交換機(jī)臺10.41IB線纜3米FDRInfiniband線纜條8管理網(wǎng)絡(luò)24口千兆交換機(jī)24個10/100/1000BASE-T(RJ45)臺1-0.211.4機(jī)柜子系統(tǒng)機(jī)柜系統(tǒng)曙光C200標(biāo)配2個PDU、雙側(cè)門，溫濕度監(jiān)控。個1---2軟件部分操作系統(tǒng)LinuxCentOS用戶指定版本套1---集群管理與作業(yè)調(diào)度系統(tǒng)GridviewGridviewHPC版集群管理與作業(yè)調(diào)度系統(tǒng)；

集群自動布署工具、運(yùn)維管理軟件、在線運(yùn)維軟件與服務(wù)、計費(fèi)軟件模塊；套1---應(yīng)用開發(fā)環(huán)境編譯器GNU

編譯器，支持C/C++

Fortran77/90

Intel編譯器，支持C/C++Fortran套1---數(shù)學(xué)庫MKL，BLAS、LAPACK、ScaLAPACK、FFTW套1---MPI并行環(huán)境OpenMPI（支持Infiniband和以太網(wǎng)MPI環(huán)境）套1---MPICH2（支持千兆以太網(wǎng)MPI環(huán)境）套1---應(yīng)用軟件與數(shù)據(jù)環(huán)境基因組數(shù)據(jù)與軟件提供慣用生物信息軟件安裝與基因組數(shù)據(jù)資源套1---系統(tǒng)拓?fù)鋱D

系統(tǒng)方案說明系統(tǒng)配置Intel2600v3與4800v3CPU，刀片節(jié)點(diǎn)80個計算關(guān)鍵、胖節(jié)點(diǎn)56個計算關(guān)鍵，雙精度浮點(diǎn)峰值5.2992萬億次；配置1臺2TB大內(nèi)存節(jié)點(diǎn)與5臺128GB雙路節(jié)點(diǎn)；配置1臺FDRIB接口存放節(jié)點(diǎn)，提供96TB存放裸容量；配置FDRIB計算存放網(wǎng)絡(luò)和千兆以太網(wǎng)管理網(wǎng)絡(luò)；系統(tǒng)配置一套Gridview集群管理軟件，提供管理、監(jiān)控、告警和作業(yè)調(diào)度等功效，方便集群使用和管理；提供生物信息應(yīng)用程序運(yùn)行所必需慣用編譯器、數(shù)學(xué)庫等基礎(chǔ)軟件環(huán)境安裝調(diào)試服務(wù)，確保應(yīng)用程序穩(wěn)定、高效運(yùn)行；提供生物信息應(yīng)用軟件平臺，布署行業(yè)應(yīng)用軟件和基因組數(shù)據(jù)資源；軟硬件3年質(zhì)保與售后服務(wù)，提供對生物信息分析應(yīng)用支持。

系統(tǒng)技術(shù)參數(shù)總體指標(biāo)提供完整基因數(shù)據(jù)存放與分析軟硬件平臺，包含計算、存放、網(wǎng)絡(luò)、集群管理與作業(yè)調(diào)度軟件、應(yīng)用開發(fā)環(huán)境、運(yùn)維管理軟件、應(yīng)用軟件系統(tǒng)、基礎(chǔ)基因組數(shù)據(jù)資源以及機(jī)柜配電等基礎(chǔ)設(shè)施。刀片機(jī)箱機(jī)架式刀片機(jī)箱，高度5U，支持10個雙路計算刀片配置支持N+1或N+N冗余熱拔插電源和風(fēng)扇模塊；配置以太網(wǎng)交換模塊，對外提供6個千兆端口和2個萬兆上聯(lián)端口；配置IB網(wǎng)絡(luò)直通模塊，對外提供10個FDRIB接口；配置管理模塊，可實(shí)現(xiàn)遠(yuǎn)程虛擬介質(zhì)、遠(yuǎn)程KVM、刀片狀態(tài)、故障定位、開關(guān)機(jī)等全方位管理控制監(jiān)視功效。計算刀片提供5個雙路計算刀片，每節(jié)點(diǎn)配置2顆E5-2640v38核2.6GHz處理器，128GBDDR42133內(nèi)存，1塊300GB10K2.5英寸熱插拔SAS硬盤，2個千兆以太網(wǎng)端口，1個FDRIB端口。四路節(jié)點(diǎn)4U機(jī)架式四路服務(wù)器系統(tǒng)，配置4顆E7-4850v314核2.2GHz處理器；支持96個內(nèi)存插槽，配置2TBDDR31600或以上內(nèi)存；24個2.5寸SATA/SAS/SSD硬盤，2GCacheSASRAID，配置2塊600GB2.5英寸10KSAS硬盤；支持11個PCI-E擴(kuò)展槽，配置2個萬兆以太網(wǎng)口，1個FDRIB端口；配置4個電源模塊（可實(shí)現(xiàn)N+N或N+1冗余），上架導(dǎo)軌。管理登錄節(jié)點(diǎn)2U機(jī)架式服務(wù)器，配置2顆IntelXeonE5-2620v36核處理器(2.4GHz)，32GBDDR42133MHz內(nèi)存；2×300G2.5寸10000轉(zhuǎn)SAS硬盤；2×1000M以太網(wǎng)接口；1×56GbInfinibandHCA卡；1+1冗余電源；上架導(dǎo)軌。存放節(jié)點(diǎn)4U機(jī)架式存放，24盤位，2顆處理器，32GB內(nèi)存，2*300G10KSAS內(nèi)置系統(tǒng)盤，配置24塊4TBSATA數(shù)據(jù)硬盤，提供96TB存放裸容量；對外配置2個千兆網(wǎng)口、1個FDRIB網(wǎng)口。集群網(wǎng)絡(luò)提供1臺36口FDRIB交換機(jī)、最少8條FDRIB線纜；提供1臺24口千兆以太網(wǎng)交換機(jī)及對應(yīng)千兆電纜。機(jī)柜配電提供1套42U19寸標(biāo)準(zhǔn)機(jī)柜，采取鋁鎂合金型材框架，機(jī)柜自帶溫濕度液監(jiān)控顯示功效；機(jī)柜配置2個PDU，每PDU含12位32AC19插口、15位32AC13插口，3個32A單相空開。集群軟件提供1套商業(yè)版集群管理軟件（具備軟件著作權(quán)證書），最少包含以下軟件模塊：集群管理系統(tǒng)、作業(yè)調(diào)度系統(tǒng)、計費(fèi)系統(tǒng)、集群自動布署工具、運(yùn)維管理工具；集群管理與作業(yè)調(diào)度系統(tǒng)需為商業(yè)版成熟軟件，提供在國內(nèi)1000節(jié)點(diǎn)規(guī)模以上實(shí)際使用證實(shí)文件；提供集群基礎(chǔ)軟件環(huán)境，包含：GNU編譯器，支持C/C++Fortran77/90；Intel編譯器，支持C/C++Fortran"；數(shù)學(xué)庫，包含但不限于MKL，BLAS、LAPACK、ScaLAPACK、FFTWMPI并行環(huán)境：OpenMPI、MPICH2布署在線運(yùn)維管理軟件并可提供在線運(yùn)維服務(wù)；布署生物信息平臺軟件、行業(yè)應(yīng)用軟件與基因組數(shù)據(jù)資源，提供最新生物信息分析應(yīng)用軟件包。附件：生物信息軟件資源列表SoftwareTypeVersiontophatRNA-seqv2.0.9bowtie2RNA-seq2.1.0.0cufflinksRNA-seq2.1.1DEGseq[Rpackage]RNA-seqLatestDEseq[Rpackage]RNA-seqLatestsamtoolsRNA-seq0.1.19.0vcftoolsRNA-seqLatestpicardRNA-seqRseQCRNA-seqLatesthtseqRNA-seqLatesttrinityassembleLatestcap3assembleLatestcdhitassembleLatestALLPATHS-LGassembleLatestIDBAassembleLatestncbi-blastmapping2.2.26wu-blastmappingblatmappingLatestDjangoLatestabyssassembleLatestbwamappingLatestGEMmappingLatestGSNAPmappingLatestGATKmappingLatestCASAVAbasecallingLatestFastQCQCLatestembosstoolkitLatestRepeatMaskertoolkitLatestAngsdSNPC