高能物理數(shù)據(jù)處理與高性能計算應用

1、高能物理數(shù)據(jù)處理與高性能計算應用高能物理計算挑戰(zhàn)2高能物理的目標探索物質(zhì)微觀結構、宇宙起源等自然規(guī)律、新物理尋找為什么物質(zhì)有質(zhì)量？標準模型不能 解釋W,Z玻色子為什么有質(zhì)量為什么宇宙中觀測到的物質(zhì)只有理論預言的4%？反物質(zhì)在哪里？為什么自然 界的正反物質(zhì)是不對稱的？宇宙大爆炸剛發(fā)生時的物質(zhì) 形態(tài)是什么樣的？3高能物理科學研究物質(zhì)結構組成（理論）夸克、輕子、玻色子強力、弱力、電磁力、萬有引力粒子加速器（裝置）粒子物理研究的重要手段之一BEPCII，LHC，CEPC等等探測器 （實驗）探測各類粒子，用于科學研究BESIII, JUNO, LHAASO,ATLAS, CMS 數(shù)據(jù)分析（科學發(fā)現(xiàn)）暗物

2、質(zhì)/暗能量宇宙起源高能物理研究三大前沿能量前沿大型強子對撞機（LHC）及其探測器（ATLAS, Alice、CMS, LHCb）的物理實驗為代表精度前沿中微子實驗（美國DUNE, 中國大亞灣、 江門中微子實驗等），muon反常磁矩測 量等宇宙前沿宇宙線測量，宇宙起源和演化、暗物質(zhì)暗能量等5CERN的大型強子對撞機LHCHiggs, SUSY,Strings, Dark Matter,.6LHC數(shù)據(jù)與存儲2016: 49.4 PB LHC raw data/58 PB all experiments/73 PB total200 PB on Disk3.3 Bil files400GB/s di

3、sk IO300 PB on tape totally7中國高能物理實驗、北京正負電子對撞機BECPII已經(jīng)積累近10PB大亞灣中微子實驗200TB/年已經(jīng)積累1PB以上數(shù)據(jù)江門中微子實驗JUNO地下500米實驗大廳2020年運行，每年將產(chǎn)生2PB數(shù)據(jù)高海拔宇宙線實驗LHAASO位于四川稻城海子山，海拔4400米2018年開始部分運行，建成后每年將產(chǎn)生6PB數(shù)據(jù)HXMT（“慧眼”衛(wèi)星）、CSNS（中國散裂中子源）HEPS（高能同步輻射光源）等等8高性能計算和大數(shù)據(jù)處理高能物理科學研究能否成功依賴于計算技術的發(fā)展實驗采集到的數(shù)據(jù)需要強大的計算系統(tǒng)對其進行分析處理物理模擬及理論計算需要強大的高性能

4、計算支撐不同的數(shù)據(jù)處理任務采用不同的計算模式粒子加速器和探測器的計算機模擬設計：計算密集型粒子探測器觀測到的海量科學數(shù)據(jù)的分析處理：數(shù)據(jù)密集型高能物理理論研究中的高強度的科學計算：計算密集型例如格點量子色動力學（格點QCD)和計算宇宙學9美國高能物理HPC計算現(xiàn)狀和未來需求計算任務當前計算量（核小時/年）2025年需求（核小時/年）當前存儲（磁盤）2025年存儲（磁盤）2025年網(wǎng)絡加速器建模10M-100M10G-100G計算宇宙學100M-1G100G-1000G10PB100PB300Gb/s格點QCD1G100G-1000G1PB10PB理論物理1M-10M100M-1G宇宙前沿10M

5、-100M1G-10G1PB10-100PB能量前沿100M10G-100G1PB100PB300Gb/s強度前沿10M100M-1G1PB10-100PB300Gb/sSource: /abs/1603.09303到2025年，高能物理前沿研究所需的計算量將比目前提高2個數(shù)量級 需要數(shù)千萬甚至上億個CPU核10高能物理計算的技術演變?yōu)閼獙Υ髷?shù)據(jù)，計算技術一直在不斷的演化發(fā)展可擴展性，高可靠性，大規(guī)模，高性能，易用性，20年前: 本地集群Beowulf cluster、存儲區(qū)域網(wǎng)絡、局域網(wǎng)15年前, 廣域網(wǎng)上的分布式計算網(wǎng)格計算、 分布式存儲系統(tǒng)、廣域網(wǎng)數(shù)據(jù)傳輸10年前，云計算與大數(shù)據(jù)技術虛擬

6、化、云計算、Map-Reduce，NoSQL、BigTable、現(xiàn)階段，新技術融合發(fā)展高性能計算、網(wǎng)格計算、云計算、志愿計算、大數(shù)據(jù)、人工智能、 11國際高能物理網(wǎng)格WLCGApril 2017:63 MoUs167 sites; 42 countriesCPU：5.2 M HepSpec06今天最快CPU: 50萬核實際上超過70萬核（有些CPU使用超過5年）存儲：985PBDisk： 395 PBTape： 590 PBIan Bird WLCG201712國內(nèi)（高能所）WLCG站點1,600 CPU核，640TB磁盤存儲空間（另有15000CPU核, 16PB存儲用 于本地使用）到歐洲和

7、北美10Gb/s網(wǎng)絡帶寬被評為國際Leadership網(wǎng)格站點站點運行水平名列前茅每年提供超過1000萬CPU小時的計 算服務每年完成超過550萬個計算作業(yè)每年與歐洲及北美之間的數(shù)據(jù)交換超 過3PB高能所站點為Higgs粒子的發(fā)現(xiàn)做出了貢獻13計算資源全面整合ARC CECondorDiracATLAS PanDA/BESGrid系 統(tǒng)高能物理應用系統(tǒng)分布式資源調(diào)度分布式IT資源BoincScGrid ERACNICCondor ClusterIHEPOpenstack CloudCERNDesktop Grid CASHOME超算集群云計算志愿計算資源調(diào)度14高能物理高性能應用軟件15國內(nèi)外

8、高能物理軟件研究現(xiàn)狀大規(guī)模并行計算已成為高能物理領域的迫切需求格點量子色動力學（QCD）、高能量前沿、高精度前沿等有巨大計算需求大規(guī)模并行計算是提高計算效率、滿足計算需求的重要手段面臨著巨大的挑戰(zhàn)系統(tǒng)協(xié)同、密集型通信、海量數(shù)據(jù)訪問與管理等國內(nèi)外都非常重視高能物理領域的軟件研發(fā)美國為例，高能物理研究一直是受到重點支持的高性能科學計算應用領域我國國家重點研發(fā)計劃“高性能計算專項”支持了高能物理高性能應用項目國際高能物理軟件聯(lián)盟HSF: HEP Software FoundationIRIS-HEP: Institute for Research and Innovation in Software

9、 for HighEnergy Physics，2018年啟動，美國NSF資助2500萬美元國內(nèi)外超級計算機發(fā)展迅速美國：Mira, Edison, Titan, Cori, Theta, Trinity, Summit, Sierra, 中國：銀河、天河、神威、曙光、16高能物理高性能應用軟件研制國家重點研發(fā)計劃“高性能計算”重點專項“面向高能物理領域科學發(fā)現(xiàn)的高性能應用軟件系統(tǒng)研制”高能所、中山大學、中科院網(wǎng)絡中心、浙大、北航等基于國產(chǎn)超級計算機，研制一套高能物理高性能應用軟件系統(tǒng)，支持我 國的高能物理科學研究重點針對高能物理前沿應用與科研院所用戶進行應用推廣超級計算環(huán)境高能物理高性能 應

10、用軟件系統(tǒng)公共庫與工具格點QCD物理模擬分波分析前沿應用（QCD、BES）應用推廣科研用戶（中科院、北大）17格點QCD概覽描述強相互作用的正確理論是量子色動力學(QCD)格點QCD是從第一原理出發(fā)研究QCD非微擾性質(zhì)的方法格點QCD 數(shù)值模擬計算是耗費計算資源最多的科研領域之一格點QCD是與高能物理實驗和理論 研究并列的第三分支格點QCD對強相互作用研究、標準 模型精確檢驗和新物理尋找等有十分 重要的理論意義高能物理實驗研究也急需格點QCD進行理論配合研究。漸進自由中國的大科學裝置BEPCII/BESIII的夸克禁閉18高性能計算在格點QCD中的應用N L3 TPl , Al ,l 8 4

11、N;i ,i ,i 12N; *i ,*i ,i 12NM U :12N 12N (matrix)QU M U M U QCD拉氏量產(chǎn)生QCD物質(zhì)的狀態(tài)（組態(tài)）物理觀測量的統(tǒng)計平均大規(guī)模數(shù)值模擬（Monte Carlo重點抽樣 ）數(shù)據(jù)分析，得到最終物理結果算法特點：利用Monte Carlo數(shù)值求解近 鄰相互作用的多自由度體系的 統(tǒng)計問題計算過程：計算密集型，高并行度高可擴展性，計算量大計算規(guī)模：L3T 1283256可以劃分為84 的子格子131072核并行19格點QCD面臨的問題格點QCD研究等物理模擬計算高度依賴于超級計算能力格點QCD現(xiàn)有萬核的并行計算僅能支持48484896的格點規(guī)模

12、，目前難以進行與北京譜儀BESIII實驗密切相關的物理問題研究項目目標256256256512大小的格點規(guī)模（200萬核并行）在格 點劃分、國產(chǎn)超算平臺支撐、計算效率等方面提出較大的挑戰(zhàn)QCD一直是HPC重點應用，于1988,1998,2006年三次獲得戈登貝爾獎格點規(guī)模計算規(guī)模48484896萬核256256256512200萬核更接近物理實際，處于國際領先地位現(xiàn)狀目標20軟件研發(fā)與移植基于國家超算無錫中心的神威“太湖之光” ，采用40,960枚神威SW26010型片上異構處理器；兼顧天河二號國產(chǎn)GPDSP協(xié)處理器采用MPI進程與athread線程二級并行方案D-slash是費米子矩陣乘向量

13、計算，是最常用的基本函數(shù)，也是消耗絕 大部分計算資源的主要函數(shù)，先使用MPI實現(xiàn)基于主核或CPU的進程并 行，再使用athread或OpenMP實現(xiàn)在從核或協(xié)處理器上的并行計算以GPUPWA軟件為基礎，基于OpenACC重新開發(fā)似然函數(shù)的異構計算部分，實現(xiàn)在GPU和國產(chǎn)協(xié)處理器上的數(shù)據(jù)并行21關鍵技術問題問題1：“太湖之光”主從核結構的使用效率格點QCD中稀疏矩陣乘向量運算的高效并行實現(xiàn)重點解決“太湖之光”芯片組中從核上有限的緩存和格點QCD的內(nèi)部自由度眾多之間的矛盾問題2：海量密集型高能物理數(shù)據(jù)高性能訪問海量的數(shù)據(jù)訪問導致I/O瓶頸問題，并行計算效率降低傳統(tǒng)的數(shù)據(jù)存儲和訪問效率低問題3：超大

14、規(guī)模并行計算中求解線性系統(tǒng)的算法研究舍入誤差和臨界慢化、Mutligrid 算法和Domain Decomposition算法應 用22QCD在太湖之光上的移植單主核單核組多核組（MPI）主要代碼框架從核的Dslash操作從核的若干Krylov子空間求解算法主核MPI通信主核的并行文件讀寫與數(shù)據(jù)調(diào)度全局規(guī)約參數(shù)化Dslash自動代碼生成器LQCD二維示意圖四維格點的二維展開請關注10月19日分會報告：基于申威眾核處理器的格點量子色動力學并行加速計算方法23優(yōu)化效果單主核版本與單核組從核版 本運行時間對比：版本時間（s）加速比單主核3.31165單核組從核0.02單主核版本與從核優(yōu)化MPI 版本

15、運行時間對比：版本時間（s）加速比單主核57.7325.43MPI2.27目前的從核優(yōu)化策略取得了良好 的效果，從核優(yōu)化版本相較單主 核版本的加速比達到了165倍在從核優(yōu)化的基礎上，將程序擴 展到16個核組上，相應的單主核 版本程序的數(shù)據(jù)量也增大16倍。 運行時間有所提升，加速比達 25.4324主要工作貢獻通過分析LQCD的應用特征及數(shù)值特征，首次在神威平臺上實現(xiàn)了成功移植及運行通過使用向量化、指令流水線、寄存器通訊機制等手段在申威26010處 理器上實現(xiàn)了異構眾核并行，并實現(xiàn)了不錯的加速比在實現(xiàn)從核陣列并行化的基礎上，進一步使用MPI實現(xiàn)了多核組連并運 行，以此實現(xiàn)了一定的并行規(guī)模下一步將

16、使用stencil技術，增大數(shù)據(jù)量，進一步發(fā)掘LDM與寄存器通訊 機制的功能，以更加充分地利用從核陣列的并行計算能力，提高運行效 率；進一步消除MPI通訊的瓶頸阻礙，以期進一步擴大并行規(guī)模，充分挖掘 神威平臺的整體計算能力25QCD在天河三號原型機上的運行測試用例格子大小不變，TxLxLxL固定，變化單個cpu核上子格子大小每個節(jié)點使用32個飛騰處理器核心，共測試到3456個節(jié)點，共110592個CPU核心不同節(jié)點數(shù)對應963192格子上總的計算能力保持穩(wěn)定（左）對應963192格子，總的計算能力隨節(jié)點數(shù)基本呈線性增長（右）26強子物理分波分析軟件分波分析軟件是強子譜學、特別是尋找和研究新型強

17、子的關鍵工具，采用GPU/MIC異構計算技術解決大量擬合計算瓶頸完成基于OpenAcc的分波分析軟件的初步實現(xiàn)完善基于OpenCL的GPUPWA分波分析軟件，形成相關文檔；在曙光E級 原型機上成功運行單節(jié)點運行顯示曙光原型機比高能所現(xiàn)有服務器(AMD HD7950或 NvidiaK80)的性能提高7-8倍PWA OpenAcc version：/ihepbox/index.php/s/MVwdCG7uRHgKKka PWA OpenCL version：/ihepbox/index.php/s/ARxr7cMTK7WZQGC/projects/gpupwa27高能物理高性能計算軟件集成方案抽象高能物理應用的工作流和應用邏輯，實現(xiàn)統(tǒng)一跨超算平臺軟件集成；整合密集計算與數(shù)據(jù)分析，關注用戶資源管理、作業(yè)管理與數(shù)據(jù)分析展示；基于高層、統(tǒng)一和較完