黃堅：大規(guī)模智算集群的管理與性能調(diào)優(yōu)實踐

中國電信CHINATELECOM天翼云云網(wǎng)產(chǎn)品事業(yè)部研發(fā)專家黃堅CHINATELECOM演講嘉賓介紹天翼云StateCloud黃堅天翼云研發(fā)專家·大規(guī)模智算集群的性能診斷和調(diào)優(yōu)·國產(chǎn)算力生態(tài)適配天翼云StateCloud天翼云StateCloudCHINATELECOM天翼云StateCloud天翼云StateCloudCHINATELECOM天翼云StateCloud天翼云StateCloudxAddDropout模型并行模型并行GeLUOutputOutputAddParallelPosition+WordEmbeddingsandDropout中國電信CHINATELECOMStateCloud1.1設(shè)計文檔獲取1.4集成規(guī)范解讀1.5集成方案輸出1.6LLD輸出2.2保壓測試2.3設(shè)備上電2.4配置項梳理2.5固件升級2.6BIOS配置2.7BMC配置2.10廠商名檢查2.12序列號收集2.13壓測環(huán)境搭建2.14硬件壓測2.15壓測報告解讀部署調(diào)測3.2NPUOS安裝3.3網(wǎng)卡驅(qū)動安裝3.8普通網(wǎng)卡配置3.11DPUrshim安裝3.12DPU網(wǎng)絡(luò)配置3.13HPFSOS安裝3.14磁盤陣列配置3.16線纜檢查集群驗證4.1配置檢查4.2單機綜合測試4.5集合通信測試5.1物理鏈路檢查5.2性能瓶頸分析6.1表格準備6.9云調(diào)結(jié)單6.12軟集完成CHINATELECOM天翼云Al算力3000P+運行時長低3.6萬十根2.5萬十個約1萬張約1200臺500十臺260+臺CHINATELECOM天翼云StateCloud·挑戰(zhàn)3:百萬器件管理復雜度高天翼云StateCloud天翼云StateCloudCHINATELECOM集群性能一單機配置正確性檢查天翼云StateCloud··加速卡驅(qū)動GPU驅(qū)動NPU驅(qū)動交換機交換機中國電信CHINATELECOM中國電信CHINATELECOM集群性能一集群軟硬件一致性集群性能-健康檢查·加速卡健康檢查·加速卡殘留進程天翼云State天翼云StateCloudCHINATELECOM·容器空間容量·防火墻狀態(tài)·內(nèi)存容量檢測·業(yè)務網(wǎng)口狀態(tài)檢查StateCloud天翼云StateCloud集群穩(wěn)定性一算力網(wǎng)絡(luò)拓撲展示GPU顯存GPU顯存GPU占用傳輸速率傳輸速率Pod內(nèi)存節(jié)點節(jié)點節(jié)點內(nèi)存節(jié)點節(jié)點節(jié)點CPU節(jié)點網(wǎng)絡(luò)傳輸服務器、交換機的告警染色的拓撲形態(tài)呈現(xiàn)交換機交換機裸金屬天翼云StateStateCloud·gpuulitization:有任務占用，粗粒度多維度性能基線·集合通訊基線模型訓練基線加速卡-IB網(wǎng)卡-切分方式-集群規(guī)模天翼云StateCloud天翼云StateCloudCHINATELECOM云驍智算平臺集“異構(gòu)計算+高速存儲+無損網(wǎng)絡(luò)+算力加速+高效運營”五大能力一體的計算加速平臺，提供高性能算力底座、計算加速、故障診斷等服務集群管理多樣化算力納管集群一體化開通和管理集群級運維能力細粒度多租策略云驍-計算加速平臺算力加速集合通訊加速故障診斷智算全流程可觀測多維度健康檢查立體化綜合測速性能評測高性能算力底座高性能網(wǎng)絡(luò)VPC網(wǎng)高性能網(wǎng)絡(luò)VPC網(wǎng)絡(luò)大帶寬遠程數(shù)據(jù)傳輸IB網(wǎng)絡(luò)ROCE網(wǎng)絡(luò)異構(gòu)計算彈性裸金屬國產(chǎn)GPU云主機GPU云主機彈性裸金屬國產(chǎn)GPU云主機GPU云主機裸金屬FPGA云主機原生對象存儲ZOS極速云硬盤/裸金屬智算數(shù)據(jù)中心AIDC云驍智算平-集群穩(wěn)定性保障通用網(wǎng)絡(luò)檢測通訊庫檢測云驍智算平臺概覽訓練CANN安裝情況檢查：ECC檢查：HCCS檢查：診斷結(jié)果：hccs_health_num:8NPU建鏈檢查：診斷狀態(tài)：成功診斷結(jié)果：lnksta_speed:16GT/slnksta_width:x16NPU數(shù)量檢查：診斷結(jié)果：npu_num:8NPU芯片詳細檢查：診斷結(jié)果：npu_num:8覆蓋算力、存儲、網(wǎng)絡(luò)、平臺各層次，可支撐大模型訓練推理的全國產(chǎn)智算基礎(chǔ)設(shè)施平臺，國內(nèi)最早提供大模型訓練用異騰算力的云服務商全棧自研全棧自研性能突破性能突破指令集國產(chǎn)化整機指令集國產(chǎn)化整機盤XSSD,提供百萬IOPS、天翼云St