2025多模態(tài)大模型加速算法與開發(fā)實(shí)踐

閉源：Sora（OpenAI）、海螺Iii、可靈（快里）RunwayLuma開源：清影（智譜）、OpenSoraPlan（北大）、（潞晨）、i、騰訊混元

大模型對(duì)集群算力需求快速增 多模態(tài)模型參數(shù)持續(xù)增EFLOPS-day：1EFLOPS(約3千張A100卡)集群運(yùn)行1以MGen30B的模型為例，數(shù)據(jù)量：100M視頻文本對(duì)和1B 文本對(duì)，集群規(guī)模：6144

以LLM

以LLMNext-TokenPrediction為主的 例如：視頻生成SORA類、圖像生成SD 例如：Qwen2-VL系列、InternVL2.0系

例如：EMU3、 以LLMDiffusion為主的多模態(tài)生成理

例如：JanusFlow、例如：JanusFlow、iiPTDSequenceParallel并行VirtualPipeline并行ExpertParallel并行分布式優(yōu)化器(ZeRO-ZeRO-2/ZeRO-

MindSpeed-MMMSMM長(zhǎng)序列、MoEindSpeedCoreindSpeedi對(duì)接i對(duì)接MideedCoreinindSpeedDiffusersNPU，MMPatchMM整PredictMdel：AEMdel：isiMdel：PTMdel：M 原生適配類SORA、 LLAVA、InternVL、Qwen2- 預(yù)訓(xùn) 全參微 低參微 在線推 評(píng) 數(shù)據(jù)工 公共模2.2MSMM2.3MSMM

MindSpeed-

MSMM

MindSpeed-

開發(fā)配 實(shí)例 2.3MSMMPP：切分模型權(quán)重，降低內(nèi) VPP：進(jìn)一步切分PPstage，減少空泡率，提升性動(dòng)態(tài)PP

異構(gòu)PP 3.4MSMMUSP：CP-Ulysses融合CP-節(jié)點(diǎn)內(nèi)Ulysses節(jié)點(diǎn)內(nèi)Ulysses跨節(jié)點(diǎn)RingTP+SP:TP-SP通信:2次all-gather，2次reduce-

分層zero：節(jié)點(diǎn)內(nèi)zero3，節(jié)點(diǎn)間ZeRO1節(jié)點(diǎn)間通信ZeRO3編碼器離線處理：離線提取文本和視頻特征，訓(xùn)練2.3MSMM加速方法：DistTrain

?

???

?異構(gòu)模型：t?動(dòng)態(tài)數(shù)據(jù)thi

?獨(dú)立并行：針對(duì)不同結(jié)構(gòu)的模型，獨(dú)立設(shè)置多維并行配置，?分離部署：、t2.4MSMMOpenSoraOpenSoraPlanOpenSoraPlanOpenSoraOpenSoraPlanOpenSoraPlanLLAVAQwen2-VL-Qwen2-VL-

NPU性能（吞吐）業(yè)界參考性能（吞吐0.970.97典型多模態(tài)模型A2性能3.2原生支持案例2：360qihooTOP展參數(shù)到15B展參數(shù)到15B~30B，需支持720P200幀及1080P200幀，基于MindSpeed-MM合B/C客戶：以O(shè)penSoraPlan10B用InternVL76B昇騰多模態(tài)原生案例一：北大OpenSoraPlan+昇騰MS- 憑借昇騰澎湃算力，Open-Sora