基因測序數據處理平臺高性能解決方案

1、基因測序數據處理平臺高性能方案C o r p o r a t e P r o f I l e 2 0 1 4C O N T E N T S背景介紹數據處理需求平臺建設方案典型案例存儲需求量大測序儀原始數據預處理數據最終結果數據處理集群預處理服務器12345流程復雜Raw dataClean dataHi-quality SAM/BAMReferenceSNPIndelPAVSVCoverageSAM/BAMpedigreephenotypeLD and HaplotypeBreeding patternSNP Breeding valueGenome sizeSNP diversityFunc

2、tion AnnotationSNVdatGenome annotationNGSQTtoolkitsoapdenovoBWAsamtoolsHaploviewsamtoolspindel流程復雜NGSQTtoolkitSoapdenovo/velvet/SGA/ALLPATHS-LGSNAP,Glimmer,genscanRepeatmastLTR_findBlast,genewisemummer,blastClean dataClean dataDraft genomeGenome SizeRepbaseGenenr/nt,swiss-protein,TrEMBL,KEGG,GO,inte

3、rproTEGene annotationi-ADHoResimilar BlockSynteny BlockRaw data軟件眾多SOAPdenovo,Velvet,CAP3,ABySS,ALLPATHS-LG,ARACHNE,MIRA,SSAKE,etc.基因組拼接Trinity,SOAPdenovo-Trans,CD-HIT,MIRA,etc.轉錄組拼接BLAST,FASTA,HMMER,MUMmer,MUSCLE,ClustalW,SOAP,MAQ,Corona,BWA,Bowtie,etc.序列比對tRNAscan,Snoscan,miRanda,Rfam_scan,Interpr

4、oScan、MEME/MAST,Mdscan,etc.基因組注釋GLEAN,Glimmer,GeneMark,AUGUSTUS,GENSCAN,TwinScan,etc.基因預測Phylip,MEGA,nj_tree,Structure,PAUP,etc.進化分析Joinmap,Onemap,Haploview,MapQTL,Germline,phase,etc.連鎖,LD,QTLRepeatMasker,Trf,etc.重復序列識別應用特征- BWA基本上只做整型計算單節(jié)點有線性加速比對內存帶寬有一定要求對存儲帶寬有需求應用特征- SOAPdenovo計算基本為整形計算，會有很少量的向量運算

5、。大部分時間只能使用單核進行計算，擴展性能不好對內存大小和內存帶寬有較高的需求對網絡帶寬有一定需求，這部分需求主要用來請求存儲數據需求總結計算量大部分應用需要大內存的節(jié)點數據訪問量巨大，對存儲性能、容量要求高開源軟件眾多，安裝復雜部分應用的工作流程較為復雜，自動化較低C o r p o r a t e P r o f I l e 2 0 1 4C O N T E N T S背景介紹數據處理需求平臺建設方案典型案例整體解決方案機房基礎設施：機房、機柜、配電、空調等通用計算節(jié)點胖節(jié)點計算網絡存儲系統(tǒng)監(jiān)控管理網絡網絡安全集群功能節(jié)點HPC基礎軟件環(huán)境集群監(jiān)控管理軟件作業(yè)調度軟件應用Web Porta

6、lHPC應用：測序儀數據處理軟件、云計算平臺基礎設施層硬件資源層基礎軟件層應用軟件層計算主力-雙路刀片產品定位：聚焦大型數據中心應用適用于高性能計算應用；滿足教育、云計算、政府等 關鍵用戶需求等應用TC3600機箱10U/10片計算節(jié)點Intel Romley-EP雙路,AMD Opteron 雙路，AMD Opteron 四路；高速網絡刀箱支持：1*QDR Infiniband交換模塊，可對外提供18個40Gbps的Infiniband接口；千兆網絡2 *千兆交換模塊或1 *千兆交換+1 *直通模塊FC2*8Gb FC交換模塊I/O擴展10*IO刀片擴展模塊，可以支持最多可支持10 塊標準P

7、CI-E卡 和20塊硬盤管理提供CMM模塊管理功能，支持IPMI和KVM over IP，提供基于web界面的嵌入式管理軟件散熱支持4組靈動智能散熱模組供電2+2或3+1高效熱插拔冗余電源，單體電源效率達85%以上外形10U刀片式服務器全球首款支持SSI標準刀片系統(tǒng)計算主力-雙路刀片產品定位：適用于大型數據中心應用聚焦高性能計算應用；滿足教育、科研、云計算 政府等關鍵用戶需求等應用TC4600機箱5U/10片計算節(jié)點Intel 雙路(支持E5-2600系列處理器)高速網絡刀箱對外可提供最高速10個56Gbs FDR Infiniband接口，滿足56Gb/s全線速連接需求千兆網絡2 *千兆交換

8、模塊或1 *千兆交換+1 *直通模塊或1*千兆交換模塊（2*萬兆端口+6千兆口）管理提供CMM模塊管理功能，支持IPMI和KVM over IP，提供基于web界面的嵌入式管理軟件散熱支持4組靈動智能散熱模組供電可配置 4個熱插拔2000W 交流電源模塊，可提供N+1，N+N電源冗余配置；單體電源效率達90%以上外形5U刀片式服務器高性價比&高密度完美組合刀片系統(tǒng)大內存節(jié)點 單機更高的核心數，可擴展至48-80核心，提供更高的單機性能，對于共享存儲并行程序提供更大的擴展性內存插槽數多，可提供單機1TB內存容量，甚至更大8塊以上的本地硬盤擴展能力，提供更高的本地存儲性能和更大的本地存儲空間更大的

9、空間，豐富的插槽，可以適合插入各種類型的外插卡，提供更為靈活的配置和擴展1 單機性能高2 內存容量更大3 更高的IO4 豐富的擴展能力I980-G10I840-G10/I840-G25大內存節(jié)點I980-G10最大單機120個物理核心；采用intel E7-8800 V2系列處理器；性能卓越16個PCIe 3.0擴展，支持熱插拔；128根內存插槽；16個熱插拔硬盤位：擴展能力強50余項穩(wěn)定性設計， 關鍵部件全部實現冗余；冗余多路徑設計，支持硬件分區(qū)；液晶監(jiān)控屏實時監(jiān)控硬件狀態(tài)；所有關鍵部件支持熱插拔，“秒”級維護；穩(wěn)定可靠存儲系統(tǒng)設計高性能易擴展高可靠數據分布化簡易管理自動負載均衡ParaSt

10、or200并行存儲系統(tǒng)如何解決HPC集群全局共享存儲的性能和擴展性問題？分布式并行存儲系統(tǒng)性能：多個IO通道，提高聚合帶寬針對IO密集應用，條帶化提高單流IO性能擴展性：元數據和數據分離，消除瓶頸自動負載均衡，容量和性能線性增長在線擴容，不中斷應用高可靠性：多活冗余的元數據控制冗余的數據網絡，數據多副本或N+M校驗無單點故障、保障數據安全性價比：使用通用、廉價設備構建高可靠的存儲系統(tǒng)分級存儲，區(qū)分冷熱數據，優(yōu)化成本Parastor200并行存儲系統(tǒng)數據控制器數據控制器數據控制器索引控制器索引控制器索引控制器索引控制器數據控制器數據控制器數據控制器管理控制器管理控制器客戶端管理網歸檔數據遷移并發(fā)

11、讀寫并發(fā)讀寫并發(fā)讀寫數據遷移元數據讀寫Parastor200高性能并行集群架構設計滿足高并發(fā)IO需求條帶優(yōu)化提供高單流IO帶寬聚合帶寬=數據控制器帶寬線性疊加，隨容量線性增長全Active索引集群提升海量小文件處理能力2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps以太網交換機1以太網交換機2索引控制器索引控制器/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstruct

12、ured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg 邏輯層0123456789101101234567891011abcdefghijklabcdefghijklABCDEFGHIJKLABCDEFGHIJKL02ABC全冗余架構設計 物理層1Parastor200-高可靠相比傳統(tǒng)RAID

13、優(yōu)勢重建無人值守數據重建無人值守。如，深夜磁盤出現故障，傳統(tǒng)RAID要立即人工更換磁盤，而ParaStor只要有剩余空間就可以進行數據重建更快重建速度數據重建并發(fā)進行，1TB數據半小時內重建完成意外斷電保護UPS管理節(jié)點關閉服務機柜斷電防止全系統(tǒng)掉電后數據丟失ParaStor系統(tǒng)UPS監(jiān)控與存儲系統(tǒng)自我保護聯(lián)動全系統(tǒng)數據檢查數據服務器元數據服務器元數據服務器數據服務器數據服務器數據服務器數據服務器數據服務器.哪些文件不一致，哪些文件損壞，是否有垃圾？Parastor200易擴展LAN123412341234數據控制器數據控制器數據控制器初始狀態(tài)并行數據I/O數據控制器數據控制器數據控制器123

14、412341234數據控制器數據控制器數據控制器擴展后并行數據I/O增加數據控制器按策略自動數據遷移Parastor200易管理系統(tǒng)管理系統(tǒng)監(jiān)控網絡拓撲網絡系統(tǒng)需求分析管理網管理網主要用于系統(tǒng)管理、作業(yè)提交，IPMI訪問等功能。管理網對系統(tǒng)性能要求較低，一般來說千兆即可滿足需求。管理網是系統(tǒng)級節(jié)點，可靠性能要求較高。計算網計算網絡主要用于計算過程中各計算節(jié)點之間的高速網絡通訊，計算網絡的選擇主要依賴于應用對網絡的需求。存儲網存儲網絡主要用于計算節(jié)點、管理節(jié)點等客戶端節(jié)點與IO節(jié)點或者并行存儲系統(tǒng)之間的數據訪問。存儲網絡具有客戶端數量多，向服務端匯聚的訪問特點，可選擇客戶端千兆，服務端萬兆的以太

15、網方案。網絡系統(tǒng)集群管理軟件全新的扁平化設計界面清晰簡潔精心組織的功能流程更加易用符合用戶習慣集群管理軟件-功能特色系統(tǒng)功能全面集群管理軟件-集群管理用戶管理支持進行本地OS用戶和基于第三方的集中OS用戶管理，適合多種場景；對多用戶同時進行操作時，可進行事物控制 多種系統(tǒng)部署方式支持基于操作系統(tǒng)鏡像和光盤鏡像的部署方式支持用戶自定義內核部署系統(tǒng) 快速配置集群實現集群一鍵優(yōu)化配置可選擇針對性的配置選項，比如一鍵配置系統(tǒng)服務等重要文件自動由管理節(jié)點向計算節(jié)點同步集中的帶外管理多節(jié)點支持通過IPMI方式遠程開關機，可提前預定義不同角色服務器開關機順序等策略通過IPMI實現集中iKVM，輕松管理集群傳

16、統(tǒng)集群管理模式費時費力，運維人員壓力大集群管理優(yōu)化以減輕運維人員工作復雜工作為目標，減少出錯可能，持續(xù)提升系統(tǒng)穩(wěn)定性安裝 OS配置網絡配置用戶安裝軟件配置應用遠程管理集群管理軟件-集群監(jiān)控性能熱圖，更靈活、更直觀，支持多指標切換作業(yè)熱圖，作業(yè)分布及資源使用一目了然集群管理軟件-集群監(jiān)控所見即所得，方便易用集群管理軟件-集群監(jiān)控刀箱/整機柜監(jiān)控，3D技術，還原真實Gridview系統(tǒng)監(jiān)控界面集群管理軟件-一鍵配置集群讓集群更加易用易管理集群管理軟件-應用安裝集成常用高性能軟件作業(yè)調度系統(tǒng)管理員的需求？豐富的調度策略，提高資源利用率異構資源的調度用戶的充值、計費管理商業(yè)軟件license調度作業(yè)搶

17、占、資源預留作業(yè)關聯(lián)關系、作業(yè)流控制批量作業(yè)支持及調度性能使用用戶的期望？簡單易用，避免命令行操作，針對應用的Web封裝，應用參數方便關聯(lián)選擇方便查看權限和余額，可以在線申請錯誤檢查：資源是否超限？輸入文件檢查作業(yè)狀態(tài)變更通知、作業(yè)運行狀態(tài)追蹤，作業(yè)輸出方便查看VNC可視化交互式作業(yè)提交Gridview作業(yè)調度系統(tǒng)Gridview ClusQuota生物云計算平臺生物云計算平臺集群計算系統(tǒng)數據存儲系統(tǒng)用戶層服務層接口層基礎層用戶管理軟件管理數據管理資源配置群組管理流程管理任務管理業(yè)務邏輯處理數據存儲與訪問Web服務提供消息傳遞數據管理Web Service計算任務Web Service用量統(tǒng)計

18、Web ServiceJson規(guī)范定義消息描述，HTTP協(xié)議傳遞消息生物云計算平臺資源管理可在線配置系統(tǒng)資源，包括計算機集群系統(tǒng)、存儲系統(tǒng)、配額管理、群組管理、權限管理等。軟件配置可在線配置生物信息應用軟件或程序，部署個人開發(fā)的軟件或程序，并可實現私有化或公有化設置。流程定制可在線配置生物信息數據處理流程，即可配置個人開發(fā)的數據分析程，并可實現私有化或公有化設置。數據管理可在線進行數據歸類管理、設置數據訪問權限、數據發(fā)布與共享。作業(yè)提交在線提交計算任務，可指定參與計算的CPU數量。任務監(jiān)控 在線監(jiān)控作業(yè)運行情況，實時掌握任務的進行進度，并給出每個作業(yè)的詳細運行狀態(tài)及運行報告。生物云計算平臺創(chuàng)建

19、應用程序審核應用程序通過系統(tǒng)自動生成應用程序界面在線使用應用程序用戶系統(tǒng)管理員傳統(tǒng)數據中心能耗組成Source: EYP Mission Critical Facilities Inc. New YorkData Center Power ConsumptionPUE (Power Usage Effectiveness)的簡寫，是評價數據中心能源效率的指標，是數據中心消耗的所有能源與IT負載使用的能源之比PUE = 數據中心總設備能耗/IT設備能耗，PUE是一個比率，基準是2，越接近1表明能效水平越好數據中心效率評價基礎設施 冷熱通道隔離，氣流組織有序 就近精確送風，循環(huán)風阻小，風機功耗低

20、水平送風，解決機柜垂直面溫度梯度 提高空調送風溫度，降低制冷功耗 針對設備制冷，無需過度冷卻房間機房級Room Level機柜排級Row Level機柜級Rack Level機柜冷池級 Pool Level從“冷庫”到“冰箱”轉變 解決高密度制冷瓶頸 提高空調冷量利用率 降低空調系統(tǒng)自身功耗計算中心機房制冷模式的發(fā)展傳統(tǒng)的機房級 Room Level傳統(tǒng)第三代數據中心機房：精密空調+地板下送風方式2013 IDC數據 國內此種建設模式占總數的58.6%機柜池級 Pool Level地板下送風空調+冷/熱池封閉 或 行間空調+冷/熱池封閉 兩種方式占機房總比例21%，并逐年增加機柜排級Row L

21、evel行間空調+冷熱通道完全隔離的全封閉機柜占機房比例18%，并逐年增加機房制冷模式選型分析初期建設成本 + 運維成本設備運轉時間機房級PUE2.0單柜5-10kW冷池級/機柜排級PUE 1.6，單柜30kW系統(tǒng)規(guī)模考量計算密度考量持續(xù)運維成本初期建設成本提高制冷效率，降低PUE的途徑改善氣流組織，冷熱通道分離水平送風、就近精確制冷自然冷卻技術CloudBASE機柜排解決方案型號C1000C3000制冷量30KW30KW制冷方式直膨型冷凍水型風量6000m3/h6000m3/h送風方式行間布置，水平送風前后門工藝封閉門寬600mm600mm高2000mm2000mm深1200mm1200mm

22、適用范圍單柜15-30KW高密度機房C1000/C3000行間水平送風氣流組織CloudBASE C1000/C3000機柜排級CloudBASE池級解決方案CloudBASE C4000池級型號C4000FC4000W制冷量30KW30KW制冷方式直膨型冷凍水型流量6m3/h水溫1015度送風方式行間布置，水平送風前后門工藝網孔門配合冷通道封閉形成冷池寬600mm600mm高2000mm2000mm深1200mm1200mm自重250kg340kg適用范圍單機柜10-25KW中高密度機房方案拓撲圖C o r p o r a t e P r o f I l e 2 0 1 4C O N T E

23、 N T S背景介紹數據處理需求平臺建設方案典型案例典型案例計算采用TC3600 雙路AMD刀片，四路AMD大內存節(jié)點；網絡采用萬兆上聯(lián)方案；典型案例計算采用TC3600 雙路Intel刀片，四路Intel大內存節(jié)點；網絡采用QDR；存儲采用Parastor200并行文件系統(tǒng)典型案例計算采用TC4600 雙路Intel刀片；網絡采用FDR；存儲采用Parastor200并行文件系統(tǒng)案例列表用戶單位主要應用主要配置安裝時間北京基因組研究所基因測序TC3600（CB65-G），A840-G10，I640-G152013.11遺傳與發(fā)育研究所基因測序TC3600（CB62-G20），I840r-GP，Parastor2002013.10計生委科學技術研究所基因測序A8