中國計算機(jī)學(xué)會：數(shù)據(jù)密集型超算技術(shù)白皮書

數(shù)據(jù)密集型超算技術(shù)白皮書中國計算機(jī)學(xué)會高性能計算專業(yè)委員會2021年10月編寫委員會潘景山竇勇陳默丁江波毛睿林新華李會民龔斌張洋王潘景山竇勇陳默丁江波毛睿林新華李會民龔斌張洋王李文秀比喻成好朋友。那么T系統(tǒng)以前更多是一個隨叫隨到陳國良中國科學(xué)院院士周躍峰博士華為公司副總裁1.1.1級1.1.2級1.1.3指標(biāo)數(shù)據(jù)密集型超算的定義2223數(shù)據(jù)密集型超算的定義22232數(shù)據(jù)密集型超算典型場景2.3.1基因測序場景邁入分鐘時代為生命健康打開新時間窗3數(shù)據(jù)密集型超算技術(shù)建議01021.2國內(nèi)外超算產(chǎn)業(yè)發(fā)展現(xiàn)狀與趨勢超算是"國之重器"，世界各國激烈競爭并進(jìn)行戰(zhàn)略頂層設(shè)計超算是文明的基礎(chǔ)，沒有它，下一代文明就不可能實現(xiàn)根本性突破美國歐盟0304爆發(fā)期西安超算中心成都超算中心太原超算中心合肥超算中心廈門超算中心烏鎮(zhèn)超算中心蘭州超算中心青島超算中心武漢超算中心爆發(fā)期西安超算中心成都超算中心太原超算中心合肥超算中心廈門超算中心烏鎮(zhèn)超算中心蘭州超算中心青島超算中心武漢超算中心昆山國家超算中心聯(lián)想深騰曙光5000A中國持續(xù)戰(zhàn)略投入，十四五和新基建驅(qū)動超算進(jìn)入爆發(fā)期2020年，226臺2020年，226臺45%動漫渲染、生命科學(xué)航空航天、無人駕駛?cè)斯ぶ悄堋⒋髷?shù)據(jù)挖掘智慧城市大腦 5HPC行業(yè)應(yīng)用氣象、油氣、仿真特殊領(lǐng)域:科研2015年,168臺33%HPC業(yè)務(wù)2009年21臺天津天津國家超算中心無錫國家超算中心鄭州國家超算中心濟(jì)南國家超算中心廣州國家超算中心長沙國家超算中心05 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA 56.90% 49.00%33.30%17.70%15.70%NewworkloadssuchasA，BigDataMoreavailablebudgetotherNotsure/don'tknow76.50%MostImportantDriverofHpcstorageGrowth0%90.00%06071.3國內(nèi)外超算技術(shù)發(fā)展現(xiàn)狀與趨勢0809InterconnectFamilysystemshare數(shù)據(jù)驅(qū)動科學(xué)發(fā)現(xiàn)流式計算變得尤為重要。HPCHPC文件存儲HDFS存儲塊存儲文件存儲HDFS存儲塊存儲 HPC算力AI算力大數(shù)據(jù)算力云通用算力物聯(lián)網(wǎng)以數(shù)據(jù)為中心，多元算力按需加持對象存儲統(tǒng)一數(shù)據(jù)底座數(shù)據(jù)按需接入和存儲底座不動，數(shù)據(jù)不遷，綠色高效2.2面向2025的十大數(shù)據(jù)密集型超算應(yīng)用場景預(yù)測據(jù)據(jù)數(shù)據(jù)密集型超算典型應(yīng)用特點大數(shù)據(jù)/大數(shù)據(jù)/AI相關(guān)度●媒體計算●基因測序●天文物理電子商務(wù)●氣象預(yù)測●高能物理●能源勘測冷凍電鏡●災(zāi)害模擬.CAE動漫渲染.EDA表型數(shù)據(jù)生物樣本FPGA容器BMS樣本選擇結(jié)果解讀基因參考組數(shù)據(jù)庫cal2FAST④BAM文件光纖VCF文件本地存儲報告/結(jié)果分發(fā)測序儀高級分析數(shù)據(jù)歸檔FPGA加速ARM加速原始DNA樣本質(zhì)量檢測dNTP熒光標(biāo)記FASTQ文件質(zhì)量控制表型數(shù)據(jù)生物樣本FPGA容器BMS樣本選擇結(jié)果解讀基因參考組數(shù)據(jù)庫cal2FAST④BAM文件光纖VCF文件本地存儲報告/結(jié)果分發(fā)測序儀高級分析數(shù)據(jù)歸檔FPGA加速ARM加速原始DNA樣本質(zhì)量檢測dNTP熒光標(biāo)記FASTQ文件質(zhì)量控制醫(yī)院企業(yè)研究機(jī)構(gòu)政府生命信息學(xué)的研究邏輯基因拼接基因比對reads去重CNV檢測結(jié)構(gòu)變異重復(fù)DNA功能預(yù)測驅(qū)動突變變異標(biāo)注因定制客戶端交付共有云交付web交付報告一日達(dá)基因測序業(yè)務(wù)流程圖測以及聯(lián)合基因型檢測測以及聯(lián)合基因型檢測，該階段取2.323自動駕發(fā)展建議野外數(shù)據(jù)處理中心半實時地震資料處理地震資料解釋井?dāng)?shù)據(jù)解釋油藏模擬&成像438572野外數(shù)據(jù)處理中心半實時地震資料處理地震資料解釋井?dāng)?shù)據(jù)解釋油藏模擬&成像438572地震資料采集1.地震源 202.3.3.2能源勘探場景需求合帶寬最高可達(dá)每PB20GB/S等特點。②讀寫浪操作內(nèi)容聚合帶寬:GB/S級數(shù)據(jù)留存2.3.3.3能源勘探發(fā)展建議212341氣象預(yù)測業(yè)務(wù)概述數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理下載數(shù)據(jù)救災(zāi)減災(zāi)模式計算+后處理+預(yù)報員經(jīng)驗+會商產(chǎn)品發(fā)布(展示)能計算系統(tǒng)的性能、網(wǎng)絡(luò)性能和I性能要求高。22232.3.4.2氣象預(yù)測場景需求2.3.4.3氣象預(yù)測發(fā)展建議24DSMDSMSAR高光譜立體影像1~5級數(shù)據(jù)海量數(shù)據(jù)分布式管理路網(wǎng)水體大棚光伏自然資源城鎮(zhèn)變化災(zāi)害監(jiān)測人類活動海量數(shù)據(jù)分布式管理路網(wǎng)水體大棚光伏自然資源城鎮(zhèn)變化災(zāi)害監(jiān)測人類活動輻射校正幾何校正定制服務(wù)數(shù)據(jù)產(chǎn)品25發(fā)射載荷載荷最終用戶一行業(yè)用戶千行百業(yè)應(yīng)用系統(tǒng)根據(jù)用戶的需求，處理部分傳感器校正產(chǎn)品(二級產(chǎn)品)，形成最終結(jié)果。發(fā)射載荷載荷最終用戶一行業(yè)用戶千行百業(yè)應(yīng)用系統(tǒng)根據(jù)用戶的需求，處理部分傳感器校正產(chǎn)品(二級產(chǎn)品)，形成最終結(jié)果。數(shù)據(jù)處理應(yīng)用地面站(數(shù)據(jù)膨脹)衛(wèi)星遙感業(yè)務(wù)流2.3.5.2衛(wèi)星遙感場景需求262.3.5.3衛(wèi)星遙感發(fā)展建議2.3.6.1腦科學(xué)業(yè)務(wù)概述究。廣義的腦科學(xué)是研究腦結(jié)構(gòu)和腦功能的科2723.6.2腦科學(xué)場景需求存情系統(tǒng)的容量限制了腦科學(xué)的發(fā)展500PB總存儲500PB總存儲神經(jīng)元分類突觸水平結(jié)構(gòu)圖譜細(xì)胞水平結(jié)構(gòu)圖譜全腦神經(jīng)元活動圖譜腦神經(jīng)元/突觸細(xì)胞投射混合I0讀寫突觸圖譜庫神經(jīng)元圖譜庫細(xì)胞圖譜庫突觸圖譜庫神經(jīng)元圖譜庫人腦數(shù)據(jù)的存儲2.3.6.3腦科學(xué)發(fā)展建議●秒級檢索EB級數(shù)據(jù)28293.1采用異構(gòu)融合的新型HPDA架構(gòu)3031PCHDNAS并行文件系統(tǒng)歷史數(shù)據(jù)檢索集群交互式查詢集群數(shù)據(jù)生命周期管理(數(shù)據(jù)分級、數(shù)據(jù)遷移、分布查詢)冷溫?zé)嶙詣舆w移自動遷移HDD大容量池存儲資源池SSD高性能池HDD歸檔池近線檢索/離線分析集群PCHDNAS并行文件系統(tǒng)歷史數(shù)據(jù)檢索集群交互式查詢集群數(shù)據(jù)生命周期管理(數(shù)據(jù)分級、數(shù)據(jù)遷移、分布查詢)冷溫?zé)嶙詣舆w移自動遷移HDD大容量池存儲資源池SSD高性能池HDD歸檔池近線檢索/離線分析集群數(shù)據(jù)密集型超算要突破所面臨的存儲技術(shù)挑戰(zhàn)，構(gòu)建國產(chǎn)統(tǒng)一HPDA存儲方案，需要具備如下能力：1、存儲與計算架構(gòu)分離，存儲按需提供數(shù)據(jù)服務(wù)數(shù)據(jù)分析數(shù)據(jù)存儲數(shù)據(jù)采集HiveHiveyarnNFSNFS/CIFS/HDFS/S3存算分離，統(tǒng)一數(shù)據(jù)存儲底座架構(gòu)圖數(shù)據(jù)安全管理數(shù)據(jù)安全管理數(shù)據(jù)加密數(shù)據(jù)生命周期管理集群管理用戶管理告警監(jiān)控資源管理數(shù)據(jù)采集Datacollection數(shù)據(jù)存儲Datastorage處理計算Dataprocessing數(shù)據(jù)共享Datasharing傳輸交換Datatransmission數(shù)據(jù)采集Datacollection數(shù)據(jù)存儲Datastorage處理計算Dataprocessing數(shù)據(jù)共享Datasharing傳輸交換Datatransmission5、圍繞數(shù)據(jù)全生命周期構(gòu)建端到端可信能力，保障數(shù)據(jù)安全數(shù)據(jù)銷毀數(shù)據(jù)銷毀Datadestroy細(xì)粒度權(quán)限服務(wù)容災(zāi)備份多租戶安全加解密服務(wù)膠敏泛化數(shù)據(jù)匿名保護(hù)防丟失泄露KLP數(shù)據(jù)溯源數(shù)據(jù)接口安全日志審計分析隱私風(fēng)險分析敏感數(shù)據(jù)分級分類數(shù)據(jù)安全監(jiān)控密文檢索數(shù)字水印關(guān)聯(lián)性隔離動態(tài)脫敏秘鑰管理服務(wù)傳輸隔離加載隔離調(diào)度安全訪問控制完整性保護(hù)采集合規(guī)身份認(rèn)證入庫加密轉(zhuǎn)換脫敏匿名處理個人數(shù)據(jù)刪除數(shù)據(jù)冷轉(zhuǎn)儲數(shù)據(jù)介質(zhì)銷毀3.3推進(jìn)全光化多網(wǎng)融合高速互聯(lián)網(wǎng)絡(luò)構(gòu)建323.4使用低碳