面向AI大模型的智算中心網(wǎng)絡(luò)演進(jìn)白皮書(shū)

面向I大模型的智算中網(wǎng)絡(luò)演進(jìn)白皮書(shū)（2023年）目錄前言 3AI務(wù)展勢(shì) 4工能術(shù)展勢(shì) 4工能務(wù)展勢(shì) 6工能策展勢(shì) 7AI模對(duì)絡(luò)需求 8大模網(wǎng)求 8高寬求 9低延抖需求 0高定需求 0絡(luò)動(dòng)部需求 1前絡(luò)力與務(wù)求差點(diǎn) 1模距析 2寬距析 3定差分析 4延抖差分析 5動(dòng)能差分析 6對(duì)異絡(luò)對(duì)措 7規(guī)組關(guān)技術(shù) 7絡(luò)備件身進(jìn) 7網(wǎng)同流改進(jìn) 9高寬鍵術(shù) 0絡(luò)用同計(jì)放力 0路載衡化術(shù) 0功的0G/0G聯(lián)案 2高定關(guān)技術(shù) 2于件快感能力 3于件快收能力 3次的絡(luò)障愈力 3低延鍵術(shù) 4合訊法網(wǎng)拓協(xié)同 4DPU件載 4態(tài)發(fā)延化 5.5動(dòng)關(guān)技術(shù) 5結(jié)展望 6語(yǔ)義 7略表 7前言人智是字濟(jì)核心動(dòng)AI大型人智的引擎AI大型通過(guò)在量據(jù)進(jìn)預(yù)能適多下任的型具強(qiáng)的化力自督學(xué)習(xí)能精突性其經(jīng)自語(yǔ)處計(jì)機(jī)覺(jué)氣預(yù)等個(gè)域得了令矚的大型發(fā)是勢(shì)趨未將助數(shù)經(jīng)為能升帶新式。近隨著haGPT等成人智AIGC的飛進(jìn)全范內(nèi)經(jīng)濟(jì)價(jià)值計(jì)達(dá)數(shù)億美尤在國(guó)場(chǎng)生式AI的用模望在2025年破2000億元。這一巨大的潛力不僅吸引著業(yè)內(nèi)領(lǐng)軍企業(yè)競(jìng)相推出萬(wàn)億、10萬(wàn)億參數(shù)量級(jí)別的大模而對(duì)層GU支規(guī)提了高要達(dá)了卡別。然如滿如此龐規(guī)的練對(duì)絡(luò)規(guī)性可性穩(wěn)性方提了所有挑。以GT3.5為例，其訓(xùn)練過(guò)程依賴于微軟專門(mén)建設(shè)的AI超算系統(tǒng)，由1萬(wàn)個(gè)V100GU組成高能絡(luò)群總算消約為3640-das在種況尋提極高性網(wǎng)已為工能域重研方之。本皮將從AI業(yè)發(fā)的程發(fā)深研大型網(wǎng)能的求，分當(dāng)前網(wǎng)與務(wù)求差并索絡(luò)術(shù)展勢(shì)彌這差我希望通本皮的究分，未面向AI模的能算心絡(luò)展供益參和示。本皮中移研院牽編聯(lián)編單華技有公司銳網(wǎng)股份限思倫信北有公中通股有公上云芯科技限星智科有公中馭數(shù)(北)科有公博公是科技中）限司京禹芯技限司本皮的權(quán)中移研院并法保轉(zhuǎn)摘或用它式使本皮文或觀的應(yīng)明源。I趨勢(shì)人工智能技術(shù)發(fā)展趨勢(shì)人工智能（AI）是一種使計(jì)算機(jī)和機(jī)器能夠表現(xiàn)出智能和類似人類思維的能力的技術(shù)方論它常括習(xí)推、言語(yǔ)識(shí)、覺(jué)知自化制多領(lǐng)域。自從20世紀(jì)50年代，人工智能的研究開(kāi)始以來(lái)，AI已經(jīng)走了一個(gè)漫長(zhǎng)的歷程，經(jīng)歷了許發(fā)與步也歷漫的冬。圖-1工能展間軸符主與家統(tǒng)1956年-1980年AI領(lǐng)的始之約·麥錫在196年提出了“人工智能”這一術(shù)語(yǔ)后，AI的符號(hào)推理階段就正式開(kāi)始了。符號(hào)推理階段的主發(fā)是立了工能推基這階段們?nèi)酥侵羞夁M(jìn)了式，造一稱“理式數(shù)表方。聯(lián)接主義與機(jī)器學(xué)習(xí)（1980年-2012年），AI開(kāi)始了一些深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)方面的探這種術(shù)使機(jī)器習(xí)法行自學(xué)和理兩種式1986umehart和cleand的究一加強(qiáng)神網(wǎng)代表連主觀點(diǎn)這志著AI進(jìn)連主時(shí)”。深學(xué)2012-2017年，20世紀(jì)50年，們始試模人的經(jīng)，解一計(jì)機(jī)覺(jué)語(yǔ)識(shí)問(wèn)來(lái)時(shí)間經(jīng)絡(luò)于算雜和解性等題經(jīng)歷長(zhǎng)間的冬直到2012年Hnon等提了深學(xué)中一新神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)-卷積神經(jīng)網(wǎng)絡(luò)，并在maeNet圖像識(shí)別競(jìng)賽中獲得了顯著的成果。卷積神經(jīng)網(wǎng)絡(luò)有大意推了算視和度習(xí)發(fā)并拓探神網(wǎng)的領(lǐng)。2016基深學(xué)的AphaGo勝棋界軍次燃們深學(xué)探的情。ansforer模型訓(xùn)（207年-202年，2017年谷發(fā)布論AenionIsAluNeed》，asforer模型引入了一種新的機(jī)制——注意力機(jī)制（Aenion），用于學(xué)習(xí)不同位置的詞匯之間的關(guān)聯(lián)關(guān)系，從而更好地表征大型語(yǔ)言文本中的語(yǔ)義和詞法關(guān)系。在ansforer中，可以使用多頭注意力機(jī)制來(lái)學(xué)習(xí)輸入序列中不同的信息，并根據(jù)這些信息行類生或他務(wù)。ansforer架構(gòu)多個(gè)堆疊的注意力層和饋神經(jīng)網(wǎng)絡(luò)組成，這設(shè)計(jì)使得它在造型度經(jīng)絡(luò)具巨優(yōu)。注力制決長(zhǎng)列入信傳問(wèn)題，許同置單或號(hào)其單或號(hào)間生互而好捕序之的依賴這味著asforer可處極的文序而會(huì)生度消或炸問(wèn)。同時(shí)ansforer架構(gòu)有并行計(jì)的能力，以同時(shí)處理入序列的同部分。樣可以快地練和理型深神經(jīng)絡(luò)，其是使用布計(jì)算和GU并計(jì)算情況下。于它的特結(jié)構(gòu)和設(shè)，ansforer架構(gòu)合構(gòu)造大神經(jīng)網(wǎng)絡(luò)由此開(kāi)啟了度學(xué)習(xí)大模型代。大模型也被為基礎(chǔ)模型（oundaonode），其通常義為：參數(shù)規(guī)較大億級(jí)）并用rnsforer結(jié)構(gòu)在大規(guī)模標(biāo)注語(yǔ)料行自監(jiān)督訓(xùn)后，可以賦系下任的型。T和GT是兩種最知名的基于ansforers的自然語(yǔ)言處理模型。雖然都是基于ansforers但GT只使用了ansforer的解碼器部分而T使用了雙向ansforer的碼部GT是左右模文確下個(gè)測(cè)是自下的正而T是雙向建模文本，不僅考慮上下文，還考慮了文本的未來(lái)信息。由于建模方式的不同使得GT更用自語(yǔ)生成務(wù)如本要對(duì)生等而T更用下任務(wù)，自語(yǔ)理、本類問(wèn)系等。2018年10月，Gooe團(tuán)隊(duì)發(fā)布了T模型。2019年7月，華盛頓大學(xué)研究團(tuán)隊(duì)在T模上行了進(jìn)提了oa模型oa采了大的練據(jù)集更長(zhǎng)的訓(xùn)練時(shí)間，并且修改了模型的ask機(jī)制，取得了更好的效果。200年2月，Goole團(tuán)隊(duì)提出了AET模型，這是T模型的一個(gè)輕量級(jí)變體。AET通過(guò)參數(shù)共享和跨參連的式少了型同在能與T相甚略提T模經(jīng)不的進(jìn)迭，漸為代然言理域的礎(chǔ)標(biāo)之。2018年，OpenAI團(tuán)隊(duì)發(fā)布了G1，它使用了asforer架構(gòu)，采用了無(wú)監(jiān)督學(xué)習(xí)的法行訓(xùn)其標(biāo)預(yù)測(cè)一詞該型用了8個(gè)ansforer編器和2個(gè)ansforer解器層它證明自語(yǔ)言成任中比有效2019年G2被提相比G1G2具更多參數(shù)更高預(yù)測(cè)能力它用了48個(gè)ansforer編碼器層和12個(gè)ansforer解碼器層，參數(shù)數(shù)量達(dá)到了1.5億個(gè)。2020年，OpenAI團(tuán)隊(duì)提出了G3，它是目前最大的語(yǔ)言模型之一，擁有1750億個(gè)參數(shù)。相比于G2，在生成文的多性準(zhǔn)性方都明提升G3采的自歸生方通預(yù)下個(gè)來(lái)成本。haGPT是OpenI公于2022年1月上線一具有時(shí)代義大規(guī)智能語(yǔ)言型它用了OpenAI實(shí)室開(kāi)的G35和G4系大型言模型并用了監(jiān)學(xué)和化習(xí)技進(jìn)微。體言為讓訓(xùn)的言型加能準(zhǔn)確，以少已注數(shù)上行優(yōu)種法使已注數(shù)訓(xùn)一有督策，用于生成從給定的提示列表所需的輸出。標(biāo)注者們會(huì)對(duì)T模型輸出結(jié)果進(jìn)行打分，這樣便以建個(gè)輸數(shù)組的排數(shù)集然會(huì)該據(jù)上行練一個(gè)分最使近策優(yōu)進(jìn)步過(guò)分型語(yǔ)模進(jìn)行整這方法旨提高h(yuǎn)aGPT生輸時(shí)的確和然haGT展的言能令印深刻，具跨代義語(yǔ)模。由于模型巨的參數(shù)，需分布計(jì)算、GUPU等異技術(shù)及種并行式等方式進(jìn)行訓(xùn)練與推理。而智算中心網(wǎng)絡(luò)用于連接PU、GU、內(nèi)存等池化異構(gòu)算力資源，穿據(jù)算存全程網(wǎng)性的升提算水具關(guān)意。人工智能業(yè)務(wù)發(fā)展趨勢(shì)國(guó)人智研和展面經(jīng)得許重成，括自駕、器人、語(yǔ)識(shí)和然言理等AI能已透行多節(jié)其對(duì)式AI產(chǎn)已部分業(yè)入模落階優(yōu)人交形流與能案為業(yè)降增。haGPT出將力話式AI一對(duì)業(yè)能。云務(wù)供商供三基礎(chǔ)務(wù)式為aaSaaS及aaS伴著工智的展，現(xiàn)了工能服（AIaa和型服務(wù)(aa)。人工智能即服務(wù)，已經(jīng)成為了中國(guó)T行業(yè)的一個(gè)關(guān)鍵詞。AIaaS為企業(yè)和機(jī)構(gòu)提供了種新商模得們夠加捷獲人智服務(wù)時(shí)促了工能技的步發(fā)可提供AIaaS的業(yè)量在續(xù)增包如為百阿里和訊等這企在AI領(lǐng)投巨的金人力為行提了品的人智服AIaaS的用域不拓展AI讓統(tǒng)企也夠過(guò)數(shù)化方創(chuàng)新例金和售領(lǐng)的用工能術(shù)使他能更準(zhǔn)的行險(xiǎn)管理和發(fā)現(xiàn)消費(fèi)者需求等。隨著AIaaS市場(chǎng)的規(guī)模不斷擴(kuò)張,越來(lái)越多的企業(yè)也紛紛開(kāi)辟了自的工能務(wù)域迫需要AI賦的域括育醫(yī)、智城和能造隨互網(wǎng)人智技的合這領(lǐng)都產(chǎn)諸的的業(yè)式從帶動(dòng)個(gè)業(yè)發(fā)。模型即服務(wù)(aaS)是基于云端提供預(yù)先訓(xùn)練好的機(jī)器學(xué)習(xí)模型，無(wú)需自己從頭構(gòu)建和護(hù)換話aaS是那需支應(yīng)程或作流的發(fā)員數(shù)科學(xué)和業(yè)供先建的型的aaS平方過(guò)量據(jù)0層基大型，再結(jié)合行業(yè)數(shù)據(jù)訓(xùn)練1層的行業(yè)模型，用戶通過(guò)AI或模型壓縮的方式獲得2層的垂直域型。aaS提商常供過(guò)量據(jù)訓(xùn)練優(yōu)的以持定用例圖像自語(yǔ)處理預(yù)分和詐測(cè)這模用可通過(guò)方(AI在部)行用獲推結(jié)。種法多好括少發(fā)間成本及低些能有建己模型需源專知的織門(mén)此外aaS提商常過(guò)供需費(fèi)定價(jià)模型，使擴(kuò)展變得更加容易。一些aaS提供商包括Amaonaeaker、icrosoftAureachneearnng百文大型華云odeArts。人工智能政策發(fā)展趨勢(shì)國(guó)直常注工能將列國(guó)發(fā)計(jì)的先域一過(guò)一時(shí)國(guó)部分發(fā)了項(xiàng)工能規(guī)性政性件標(biāo)速工能我國(guó)發(fā)腳。2017國(guó)工部布進(jìn)一人智產(chǎn)發(fā)三行計(jì)201-2020》未三規(guī)性件件出要人智和造深賦作發(fā)基礎(chǔ)全新人智技的規(guī)落作發(fā)重動(dòng)慧廠發(fā)展我未制業(yè)備爭(zhēng)。2017年7月國(guó)務(wù)院全新公布了政策性文件《新一代人工智能發(fā)展規(guī)劃》，文件中明確構(gòu)以工能主究向創(chuàng)機(jī)逐提人智的入力養(yǎng)工智全等導(dǎo)方，標(biāo)快工能我的進(jìn)步。2018年9國(guó)科部出了“新代工能放新平的一名單在單的業(yè)稱“工能家”并數(shù)已增至15。2020年8月，國(guó)家五大部門(mén)聯(lián)合發(fā)布了新一代人工智能的建設(shè)指引文件《國(guó)家新一代人智標(biāo)體建指文的標(biāo)指人智的準(zhǔn)未需將點(diǎn)作投入數(shù)層算層系層等并先既的果用制智交智金、慧防重民行，構(gòu)人智統(tǒng)的價(jià)臺(tái)。2023年2月24日國(guó)科部員家發(fā)講介國(guó)科部經(jīng)人智能為國(guó)戰(zhàn)性興術(shù)為濟(jì)展催劑家部后將予工能展多策資上支。在剛剛203年的兩會(huì)報(bào)告中，haGPT（大模型）的人工智能詞匯多次被提及，并且出深產(chǎn)領(lǐng)的心議提，點(diǎn)注據(jù)全提產(chǎn)質(zhì)。I智求從ansforer問(wèn)至2023年haGPT爆人逐漸識(shí)到著模參數(shù)模增加，模型的效果越來(lái)越好，且兩者之間符合cangaw規(guī)律，且當(dāng)模型的參數(shù)規(guī)模超過(guò)數(shù)百億后，AI大模型的語(yǔ)言理解能力、邏輯推理能力以及問(wèn)題分析能力迅速提升。同時(shí)，隨著模參規(guī)與能升AI模訓(xùn)對(duì)網(wǎng)的求比傳模也之生化。為足規(guī)訓(xùn)集高的布計(jì)AI大型練程通會(huì)含據(jù)、水并及量行多并計(jì)模同行式均要個(gè)算備進(jìn)集合信另訓(xùn)過(guò)中常用步式需機(jī)卡完集通操后可進(jìn)訓(xùn)的一迭或計(jì)因，在AI大型大模練群，如設(shè)高的集組方滿低高吐機(jī)通從降多多間據(jù)步通耗，提升GU有計(jì)時(shí)間GU計(jì)時(shí)間整訓(xùn)時(shí)間對(duì)于AI分式練集的效提至重。以將規(guī)帶寬時(shí)、穩(wěn)性網(wǎng)部角度析AI大型對(duì)網(wǎng)的求。超大規(guī)模組網(wǎng)需求AI應(yīng)用計(jì)算量呈幾何級(jí)數(shù)增長(zhǎng)，算法模型向巨量化發(fā)展，人工智能模型參數(shù)在過(guò)去十年增長(zhǎng)了十萬(wàn)倍，當(dāng)前AI超大模型的參數(shù)目前已經(jīng)達(dá)到了千億~萬(wàn)億的級(jí)別。訓(xùn)練這樣的模毫疑需超算力此超模對(duì)顯的需頁(yè)以1T參模為使用16bt精存首需消耗2B的儲(chǔ)間除之在練程中前向算生激值向算生梯數(shù)新要優(yōu)器態(tài)中變均要存且間量單迭中也不增加一使用Adam優(yōu)器訓(xùn)過(guò)峰會(huì)產(chǎn)生7倍模型數(shù)量中間量。此高顯消耗意味需要十上個(gè)GU才完存一模的練程。可是，僅僅有了大量GU，仍然無(wú)法訓(xùn)練出有效的大模型。合適的并行方式才是提升練率關(guān)。前大型要三并方：據(jù)行流線行張并行。在千億~萬(wàn)億級(jí)別的大模型訓(xùn)練時(shí)，以上三種并行都會(huì)存在。訓(xùn)練超大模型需要數(shù)千GU組成的集群。表面上看，這和云數(shù)據(jù)中心當(dāng)前已經(jīng)達(dá)到數(shù)萬(wàn)服務(wù)器的互聯(lián)規(guī)模相比，還于下。但際，幾節(jié)點(diǎn)的GU互，比萬(wàn)服器互聯(lián)具有戰(zhàn)，為網(wǎng)絡(luò)能力和計(jì)算能力需要高度匹配。云數(shù)據(jù)中心使用PU計(jì)算，網(wǎng)絡(luò)需求一般在10Gbps10Gbp并使用統(tǒng)P傳層協(xié)議但AI超模型練使用GU訓(xùn)練算力比PU高幾數(shù)量互網(wǎng)絡(luò)需在100Gbs400Gbps此使了DMA協(xié)來(lái)少輸延提網(wǎng)吞。體說(shuō)數(shù)千GPU高能網(wǎng)在絡(luò)模有下題要慮規(guī)模RDMA絡(luò)到問(wèn)，如路阻、PFC鎖暴絡(luò)能化包更效擁控、載衡術(shù)卡接能題單機(jī)到件能制如構(gòu)數(shù)千RDMA的QP接網(wǎng)絡(luò)拓?fù)溥x擇，是傳統(tǒng)FatTree結(jié)構(gòu)更好，還是可以參考高性能計(jì)算的Tors，Draonfy組網(wǎng)超高帶寬需求在AI大型練景下機(jī)與外集通操將生大的信據(jù)量從機(jī)內(nèi)GU通角看以億數(shù)規(guī)的AI模為模并產(chǎn)生的AReduce集通信數(shù)據(jù)量將達(dá)到百GB級(jí)別，因此機(jī)內(nèi)GU間的通信帶寬及方對(duì)于流完成時(shí)間十分重要。服務(wù)器內(nèi)GU應(yīng)支持速互聯(lián)協(xié)議且其進(jìn)一避免了GU通信過(guò)中依靠PU內(nèi)存緩數(shù)的多拷貝作從機(jī)間GU通角度，流線并、數(shù)并行張并模式需不的信部集通數(shù)將到百GB級(jí)且雜集通模將同一刻產(chǎn)多對(duì)與對(duì)多通信因機(jī)間GU的速互對(duì)于絡(luò)單端帶、節(jié)點(diǎn)的用路量及絡(luò)帶提了高另GU與卡通通過(guò)Ie總線互聯(lián)，CIe總線的通信帶寬決定網(wǎng)卡單端口帶寬能否完全發(fā)揮。以CIe3.0總線（對(duì)單向16G秒寬為當(dāng)間信備200Gbs的端帶時(shí)機(jī)的絡(luò)能無(wú)完被用。超低時(shí)延及抖動(dòng)需求數(shù)通傳過(guò)中生網(wǎng)時(shí)由態(tài)延動(dòng)時(shí)兩部構(gòu)成態(tài)延含據(jù)行延備發(fā)延光傳時(shí)態(tài)延轉(zhuǎn)芯的力傳的距離當(dāng)絡(luò)撲通數(shù)量定此分延常固而正網(wǎng)性影比大是態(tài)延態(tài)延含交機(jī)部隊(duì)延丟重時(shí)常網(wǎng)絡(luò)塞丟引。以1750億數(shù)模的G3模訓(xùn)為從論算型分當(dāng)態(tài)延從10s提至100us時(shí)GU有計(jì)時(shí)占將低接近10%，網(wǎng)丟率千之一，GU有效計(jì)算時(shí)間占比將下降13%，當(dāng)網(wǎng)絡(luò)丟包率達(dá)到1%時(shí)，GU有效計(jì)算時(shí)間占比將低于5%。如何降低計(jì)算通信時(shí)延、提升網(wǎng)絡(luò)吞吐是AI大模型智算中心能夠充分釋放算力核問(wèn)。時(shí)外絡(luò)化素入時(shí)抖也訓(xùn)效產(chǎn)影練程計(jì)節(jié)點(diǎn)的集合通信過(guò)程一般可以拆解成多個(gè)節(jié)點(diǎn)間并行執(zhí)行2P通信，例如N個(gè)節(jié)點(diǎn)間ngAReduce集合通信包含2(N-1)次的數(shù)據(jù)通信子流程，每個(gè)子流程中所有節(jié)點(diǎn)均完成2P通信（并行執(zhí)行）才可結(jié)束這個(gè)子流程。當(dāng)網(wǎng)絡(luò)出現(xiàn)波動(dòng)時(shí)，某兩個(gè)節(jié)點(diǎn)間的2P的流完成CT明變長(zhǎng)因絡(luò)動(dòng)入的2P通時(shí)變可解木效的弱一將導(dǎo)其屬子程完時(shí)也之長(zhǎng)因網(wǎng)抖導(dǎo)集通的效變，而響到AI模的練率。超高穩(wěn)定性需求ansforer誕生以后，開(kāi)啟了大模型快速演進(jìn)的序章。過(guò)去5年時(shí)間，模型從61M，增長(zhǎng)到540B，翻了近1萬(wàn)倍！集群算力決定了AI模型訓(xùn)練速度的快慢，單塊V100訓(xùn)練GP-3要335，1000張V100集，群統(tǒng)美性展要12左時(shí)。絡(luò)統(tǒng)可性作基來(lái)定個(gè)群計(jì)穩(wěn)性一面網(wǎng)故域大，群一網(wǎng)節(jié)的障能影數(shù)個(gè)至多計(jì)節(jié)的通性低統(tǒng)力的整另方面網(wǎng)性波影大網(wǎng)作集共資相于個(gè)算點(diǎn)不容被，性波會(huì)致有算源利用都影因在AI大型練務(wù)期，持絡(luò)穩(wěn)高是其要目，網(wǎng)運(yùn)帶了的戰(zhàn)。訓(xùn)任期一發(fā)故能要錯(cuò)換者性縮的式處故節(jié)一參計(jì)的點(diǎn)置生變導(dǎo)當(dāng)?shù)男攀皆S不最的需通過(guò)業(yè)新布調(diào)以來(lái)升體練效另一網(wǎng)故例靜丟）的生不被期一發(fā)不會(huì)致合信率低同還引通庫(kù)，成練務(wù)時(shí)卡大度影訓(xùn)效率此要過(guò)取粒的務(wù)吞、包信，障愈耗控在級(jí)內(nèi)。網(wǎng)絡(luò)自動(dòng)化部署需求智無(wú)損絡(luò)的建往基于DMA協(xié)及擁控制制，與之伴隨是一列雜樣的置中一參配錯(cuò)都能影到務(wù)性有能引出些不合期問(wèn)據(jù)統(tǒng)計(jì)，超過(guò)90%的高性能網(wǎng)絡(luò)故障是由配置錯(cuò)誤導(dǎo)致的問(wèn)題，現(xiàn)一題主原是卡置數(shù)中數(shù)量決架版務(wù)型網(wǎng)卡類由于AI大型練集規(guī)模進(jìn)步大置復(fù)雜。因高或動(dòng)化署置夠效升模集系的靠和率動(dòng)部配需能做多并部配的力動(dòng)擇塞制制關(guān)數(shù)及據(jù)卡型業(yè)類選擇關(guān)置。同在雜架和置件在務(wù)行程快準(zhǔn)地故定能夠效障體務(wù)率動(dòng)的障測(cè)方可快定問(wèn)準(zhǔn)送題管理員另方可減問(wèn)定成，速位題并出決案。能異點(diǎn)根前的析，AI大型網(wǎng)的求要現(xiàn)規(guī)帶穩(wěn)性時(shí)/抖以自化力5個(gè)面從前據(jù)心絡(luò)實(shí)際力看完匹配AI大型需在術(shù)仍有定差。規(guī)模差距分析AI大型布機(jī)器習(xí)景的群模常在10K級(jí)以，要求規(guī)組網(wǎng)環(huán)下現(xiàn)定高輸能相之，前據(jù)心絡(luò)在下明不：絡(luò)能求約組規(guī)的長(zhǎng)單從AI集規(guī)來(lái)10+節(jié)規(guī)相于采數(shù)中多級(jí)OS組架完全可以勝任。但多級(jí)OS架構(gòu)下避免擁塞并維持穩(wěn)定的時(shí)延、抖動(dòng)以及吞吐性能保障卻是當(dāng)數(shù)中網(wǎng)能所具的由于AI網(wǎng)特的量型低、帶利率、少數(shù)大象流、同步效應(yīng)等），傳統(tǒng)數(shù)據(jù)中心所采用的負(fù)載均衡技術(shù)（通常使用MP或者AG以微發(fā)對(duì)通采較的寬利率留Headroo在場(chǎng)中的力足導(dǎo)致AI務(wù)能損從制著AI群規(guī)。?？ㄔ醋阒萍?guī)的長(zhǎng)DMA技可大幅升信節(jié)之的數(shù)訪性并降低PU的荷在A/HPC集中著泛應(yīng),是向用發(fā)高能信的底支技而原生DMA協(xié)議中通常采用可靠面向連接的傳輸方式，DMA網(wǎng)卡需要為每一個(gè)連接維護(hù)大量的協(xié)議狀，而耗大的上存綜來(lái)需占卡存源信主包括：QPonet上文用緩存QP對(duì)上文信經(jīng)值個(gè)QP需緩存20B上內(nèi)容存址譯（TT：部輯址主內(nèi)物地的射表存護(hù)（PT：于地遠(yuǎn)端DMA問(wèn)做權(quán)能擁控流狀每個(gè)塞制流組會(huì)應(yīng)護(hù)組塞制流的態(tài)信以對(duì)的速窗數(shù)常些據(jù)隨部規(guī)的加需更的存間也影大模QP署主因素由在片計(jì)有面對(duì)的AM空終也有通分到上存類別整規(guī)都會(huì)進(jìn)網(wǎng)的源制網(wǎng)可支的QP對(duì)考到大模訓(xùn)的群，如減少Q(mào)P需以優(yōu)化QP可持量當(dāng)迫需解的問(wèn)。塞制法力足限集規(guī)的要素根據(jù)AI大型練組規(guī)需，網(wǎng)中通節(jié)可數(shù)卡模且練程中含種行通數(shù)模呈多互通“大的性而前絡(luò)的交容與存間易生絡(luò)塞丟問(wèn)當(dāng)前oE2網(wǎng)中常的塞控制算法為DQCN算法，該算法在在10+節(jié)點(diǎn)級(jí)的AI大模型網(wǎng)絡(luò)中存在明顯的性能不問(wèn)，要含下3點(diǎn)： 流控調(diào)參復(fù)雜度高：主流的擁塞控制算法都基于啟發(fā)式算法，涉及眾多的算法參數(shù)的置調(diào)同數(shù)組對(duì)定理絡(luò)業(yè)的能響較參的雜在AI大型絡(luò)顯尤突出進(jìn)成制網(wǎng)規(guī)的重因以型的DQCN算為實(shí)生系中算參的整涉及Apha因更降階升階段以及擁塞通知等15+算法參數(shù)的設(shè)置。此外網(wǎng)絡(luò)設(shè)備側(cè)的參數(shù)含N/C水線、QoS策等變流調(diào)工的雜自不而喻實(shí)表即在規(guī)模OCE網(wǎng)中，控參工往往要專人持續(xù)入數(shù)的時(shí)間,高的精成和經(jīng)在AI模網(wǎng)中然具可制。 C協(xié)有陷當(dāng)幾所的擁控算均將C作擁控失效景的最一屏，然由于C協(xié)本的局性導(dǎo)依賴C協(xié)的絡(luò)規(guī)受限。首先，在高度冗余的網(wǎng)絡(luò)拓?fù)渲校ㄈ缍嗉?jí)OS網(wǎng)絡(luò)），傳統(tǒng)的C協(xié)議容易出現(xiàn)鎖題可導(dǎo)網(wǎng)性能速零而通過(guò)chog等術(shù)段預(yù)死也導(dǎo)致協(xié)議配置的復(fù)雜化。其次，由于C協(xié)議僅支持接口隊(duì)列級(jí)流控，這種粗顆粒度的控制易發(fā)端塞流公性題前沒(méi)一擁控算能美地解這問(wèn)在AI大型絡(luò)，高吐低延動(dòng)求疊要求絡(luò)大限度避免C以及報(bào)文排隊(duì)現(xiàn)象的發(fā)生，這對(duì)當(dāng)前擁塞控制算法的能力提出了更高的要； 水調(diào)不靈：了配端擁塞制算的施，絡(luò)備涉到NC等議水配和活整些線合設(shè)對(duì)網(wǎng)的體能響大具體取與務(wù)量網(wǎng)設(shè)架網(wǎng)拓網(wǎng)規(guī)等息息關(guān)傳統(tǒng)規(guī)網(wǎng)中于工配方顯不足AI模網(wǎng)規(guī)化設(shè)運(yùn)的求，要定自化線節(jié)至AI能線力建和累。有效帶寬差距分析在寬求，一面AI大型網(wǎng)的聯(lián)寬明的要另方需在高聯(lián)寬前下持AI應(yīng)通的吐。這需雖在統(tǒng)據(jù)心也體，在向AI務(wù)網(wǎng)中然現(xiàn)不的征具分如：載衡力足來(lái)挑戰(zhàn)傳數(shù)中網(wǎng)中量多小使傳基流負(fù)均技雖不知網(wǎng)絡(luò)實(shí)狀卻然以到好負(fù)均和擁避的果而AI場(chǎng)流特的大異致統(tǒng)載衡術(shù)效本原是于的載衡術(shù)不感上下網(wǎng)實(shí)的用和塞態(tài)發(fā)路化而致繁擁包及延動(dòng)指標(biāo)的劣化。有測(cè)試數(shù)據(jù)表明，在不產(chǎn)生擁塞的情況下，MP流級(jí)負(fù)載均衡導(dǎo)致約有10%的用流成時(shí)指標(biāo)理想態(tài)下的1.5倍上，壞的況下至達(dá)到2.5倍應(yīng)用性能化。因在向AI的絡(luò)需網(wǎng)基實(shí)狀信支更細(xì)粒的載衡力。DMA塞制法挑戰(zhàn)分布式高性能應(yīng)用的特征是多對(duì)一通信的Incast流量模型，對(duì)于以太網(wǎng)的設(shè)備，Incast量造設(shè)內(nèi)隊(duì)緩的時(shí)發(fā)塞至包來(lái)用延增和吐下，而害布應(yīng)的能決絡(luò)塞包際是防過(guò)的據(jù)入網(wǎng)中造擁，設(shè)緩或路量會(huì)載。DQCN目前是DMA網(wǎng)絡(luò)應(yīng)用最廣泛的擁塞控制算法，也是典型的被動(dòng)擁塞控制算發(fā)端據(jù)收的N標(biāo)報(bào)利用AIMD機(jī)調(diào)發(fā)速率由于1個(gè)特的N信只能性可定地表?yè)砣诵枰獪y(cè)式整發(fā)速，導(dǎo)收斂度，起絡(luò)吐能降。高聯(lián)寬挑戰(zhàn)AI服器當(dāng)采用普遍是CI4.0,5.目正在向6.0的格發(fā)展相比CIe4.0相CIe5.0速提升1倍帶最支持16可撐高性的務(wù)AI集當(dāng)普遍采用單卡100G200GE的高性能網(wǎng)卡，高端網(wǎng)卡已經(jīng)達(dá)到40G接口，對(duì)于網(wǎng)絡(luò)接入層的式換其也要接端套為100G20G甚更速的400G交匯端要80G換，對(duì)換備量需提了戰(zhàn)。穩(wěn)定性差距分析當(dāng)AI集規(guī)達(dá)一量后，如保集系的定，是了能必面對(duì)另個(gè)戰(zhàn)絡(luò)穩(wěn)性方定整集的算定性一面引的響有大應(yīng)根原在：網(wǎng)故障大：比單點(diǎn)GU故只影集群力的分之，絡(luò)故會(huì)影數(shù)十甚更多GU連性只網(wǎng)穩(wěn)才維系算的整。網(wǎng)性能動(dòng)影大：比單低能GU或務(wù)器易被離，絡(luò)作集共享源性波會(huì)致有算源利率受響。比前據(jù)心穩(wěn)性面能，如幾方仍略不：障斂間長(zhǎng)致務(wù)能損在AI大型景下網(wǎng)故收時(shí)越長(zhǎng)算損越大性敏業(yè)體也越然可性高網(wǎng)仍不避出鏈級(jí)及節(jié)級(jí)故障網(wǎng)規(guī)越大出故的率大大模絡(luò)境絡(luò)點(diǎn)鏈數(shù)激的時(shí)帶了障事件的增加（典型云數(shù)據(jù)中心交換機(jī)的硬件故障率通常在0.15左右）。當(dāng)鏈路故障發(fā)生時(shí)，統(tǒng)斂術(shù)賴制的態(tài)由議信交和新路斂間長(zhǎng)常到秒甚十即采數(shù)面障速測(cè)復(fù)技如D檢主路切，其障斂能然幾十秒其斂均大于AI高能絡(luò)的T時(shí)網(wǎng)故發(fā)成性損事基是然不接的何升絡(luò)故場(chǎng)中收斂能當(dāng)網(wǎng)亟解的題一。乏效端協(xié)機(jī)導(dǎo)算無(wú)快響網(wǎng)故障當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)故障通常依靠網(wǎng)絡(luò)本身的收斂能力或者運(yùn)維手段實(shí)現(xiàn)故障隔離和恢復(fù)，對(duì)于丟包、時(shí)延不敏感的業(yè)務(wù)流量而言已經(jīng)足夠。在傳統(tǒng)的無(wú)損網(wǎng)絡(luò)中，N/C等粗粒端協(xié)機(jī)也可有實(shí)擁避然在AI高能絡(luò)中業(yè)對(duì)、延及動(dòng)能異敏果絡(luò)故不快準(zhǔn)地遞端能卡DPU）并行準(zhǔn)理源行控（包速調(diào)和徑制擁導(dǎo)的包時(shí)抖動(dòng)及吐能降是然結(jié)。由可支高的網(wǎng)同制是AI網(wǎng)穩(wěn)定的要環(huán)也當(dāng)網(wǎng)的要力板。時(shí)延、抖動(dòng)差距分析AI大模型應(yīng)用對(duì)端到端通信時(shí)延和抖動(dòng)性能提出了較高的要求，通常要求平均時(shí)延需控在數(shù)us長(zhǎng)時(shí)控在10s以。比前網(wǎng)能，在下距：絡(luò)塞致動(dòng)時(shí)是現(xiàn)時(shí)通的要礙典數(shù)中交機(jī)的件發(fā)靜時(shí)通在50ns10us之在AI業(yè)務(wù)節(jié)點(diǎn)到端通信時(shí)（通常都在十甚至上百ms）中占比較小，由擁塞導(dǎo)致排隊(duì)時(shí)動(dòng)時(shí)可達(dá)幾十ms甚亞級(jí)是致延標(biāo)達(dá)預(yù)的要由前面分可，前流擁控算在AI高能絡(luò)均法免部塞問(wèn)，要精、時(shí)擁控機(jī)實(shí)現(xiàn)AI務(wù)時(shí)的本求。合信流步應(yīng)致動(dòng)為響用能關(guān)因素AI場(chǎng)景中常用的集合通信具有明顯的流同步效應(yīng)，這種同步效應(yīng)要求網(wǎng)絡(luò)不僅要做到低且延動(dòng)盡能到低由木效集通會(huì)大尾延應(yīng)性能影因而抖的制比延平值言具戰(zhàn)即無(wú)擁丟不理的負(fù)均隨的隊(duì)延然讓動(dòng)標(biāo)化進(jìn)導(dǎo)應(yīng)性的降相測(cè)數(shù)據(jù)，在AI場(chǎng)，對(duì)傳基流負(fù)均衡，逐負(fù)均帶時(shí)抖動(dòng)降的同時(shí)，應(yīng)用JT指標(biāo)可以獲得高達(dá)40%的性能增益。由此可見(jiàn)，對(duì)時(shí)延抖動(dòng)的有效控制是AI性網(wǎng)的要求需合的術(shù)段彌當(dāng)網(wǎng)抖控能的足。內(nèi)機(jī)網(wǎng)缺協(xié)導(dǎo)整通性受限當(dāng)機(jī)內(nèi)點(diǎn)間信通以IENVnkUIXL等速互總線術(shù)為主機(jī)通則網(wǎng)和絡(luò)備成性網(wǎng)內(nèi)聯(lián)線有寬性好優(yōu)勢(shì)總擴(kuò)能有且易現(xiàn)部能頸間信然能面遜籌但展好。前內(nèi)絡(luò)機(jī)網(wǎng)缺靈的同制易現(xiàn)部點(diǎn)致到通性受，要過(guò)理軟、內(nèi)機(jī)網(wǎng)的同計(jì)現(xiàn)件源高利。自動(dòng)化能力差距分析DN已經(jīng)誕生近10年時(shí)間，相關(guān)的自動(dòng)化技術(shù)也相對(duì)成熟。但傳統(tǒng)的DN自動(dòng)化主要建在用算絡(luò)上通網(wǎng)設(shè)部署VXAN特將務(wù)面物網(wǎng)狀態(tài)網(wǎng)控器自化署變時(shí)需編業(yè)網(wǎng)映到礎(chǔ)理絡(luò)是立P達(dá)隧，動(dòng)管能簡(jiǎn)、效。在AI大模型訓(xùn)練場(chǎng)景下，當(dāng)大規(guī)模AI網(wǎng)絡(luò)或者對(duì)安全隔離有獨(dú)特的需求時(shí)，網(wǎng)絡(luò)建可引入VXAN特性傳網(wǎng)控器具自化排能。但數(shù)情下AI參面網(wǎng)絡(luò)是一個(gè)封閉的專用網(wǎng)絡(luò)?；谟?xùn)練效率考慮，一種典型的網(wǎng)絡(luò)架構(gòu)是Underay直接承載AI訓(xùn)練任務(wù)，不再劃分Oerlay平面。同時(shí)為了充分利用設(shè)備轉(zhuǎn)發(fā)能力，設(shè)備組間不再置-ag，GU用歸式入絡(luò)。最由于AI訓(xùn)場(chǎng)下網(wǎng)動(dòng)輒10G20G乃至400G傳的能流析術(shù)已無(wú)解決AI訓(xùn)場(chǎng)下可化題隱識(shí)和障測(cè)、閉一程上賴可化術(shù)因需新技解相問(wèn)。網(wǎng)措智中網(wǎng)作連接PU、PU、存存等源重基設(shè)施貫數(shù)計(jì)算、存全算水作三綜衡指網(wǎng)性成提智中算的鍵，算心絡(luò)超規(guī)、高寬高定、低延、動(dòng)方發(fā)展。大規(guī)模組網(wǎng)關(guān)鍵技術(shù)為了支持更大規(guī)模的組網(wǎng)，首先需要組網(wǎng)設(shè)備本身硬件能力的支持，其次需要研究與AI大模型協(xié)同的新型拓?fù)鋬?yōu)化時(shí)延和成本方案。同時(shí)在組建大規(guī)模網(wǎng)絡(luò)過(guò)程需要強(qiáng)大的擁控機(jī)來(lái)決規(guī)網(wǎng)的塞題以在規(guī)網(wǎng)中高能絡(luò)標(biāo)。絡(luò)備件身進(jìn)網(wǎng)設(shè)應(yīng)提自能出聯(lián)端協(xié)機(jī)制為應(yīng)對(duì)AI大型智中網(wǎng)超規(guī)需的戰(zhàn)以兩面出進(jìn)施：DMA能卡對(duì)規(guī)模QP署施化基于C的訊為一需通的QP建維一連此式導(dǎo)連數(shù)規(guī)巨而制組規(guī)模少對(duì)QP接的求出下種化施：連多徑能優(yōu)于個(gè)元的話行據(jù)的輸時(shí)連多徑將接的據(jù)以擔(dān)多不的元。樣方可提網(wǎng)的靠，如在數(shù)據(jù)中心fa-ree組網(wǎng)存在充分的等價(jià)路徑前提下，任意一個(gè)單點(diǎn)故障僅影響部分路的不導(dǎo)整連中另方網(wǎng)均將提使網(wǎng)的用率得到改善，從而提高oE傳輸?shù)男阅?。S已經(jīng)將多路徑技術(shù)應(yīng)用到其自研的協(xié)議RD，其流收性上到顯的化。從C模往接依更的式進(jìn)目基于C的訊為一需通訊的QP建、護(hù)組連，致連接的模大進(jìn)限了網(wǎng)模。對(duì)該問(wèn)有種決案案是再供粗度傳服即議不供向接保傳可傳能件議僅責(zé)靠文遞序等雜服由動(dòng)軟件完成；方案二是優(yōu)化連接的層次拆分，構(gòu)建連接池，實(shí)現(xiàn)連接的動(dòng)態(tài)共享。S的RD及elanox的DC術(shù)別這種案代。從obackN往擇重演obackN重是種單重方式所在期芯片源限情下件載協(xié)議選實(shí)此式實(shí)重傳加有C加，一來(lái)丟概非在C參配合的況一只在現(xiàn)路包，鏈故的況才發(fā)丟），片現(xiàn)obackN重不為種理選擇。但隨著oE組網(wǎng)規(guī)模不斷增加，引發(fā)對(duì)C風(fēng)暴整網(wǎng)流量驟停的擔(dān)憂，同時(shí)半導(dǎo)體工的升幫網(wǎng)硬芯中實(shí)更復(fù)的oE的傳式會(huì)漸從obackN全重演到擇重?？沙虄?yōu)目行內(nèi)探方包可程擁控算可程DA能力等，主要目的是根據(jù)實(shí)際應(yīng)用中業(yè)務(wù)模型實(shí)現(xiàn)更有針對(duì)性的擁塞控制算法，以及根據(jù)DA技術(shù)的方式可以及時(shí)更新DA的實(shí)現(xiàn)機(jī)制，能夠保障在更先進(jìn)的DA機(jī)制或者擁塞控制機(jī)制被提出的時(shí)，DMA智能網(wǎng)卡能夠及時(shí)通過(guò)可編程能力更新對(duì)應(yīng)的力而高署模。片量智中網(wǎng)規(guī)部的心25.bps容芯也已規(guī)部在內(nèi)互網(wǎng)或計(jì)數(shù)中25.6bps容量芯片常見(jiàn)的數(shù)據(jù)中心交換機(jī)形態(tài)為00G或者40G。256bps容量芯片的成熟穩(wěn)定部署，使得00G400G光模塊放量速度加快，生態(tài)拉齊，價(jià)格已經(jīng)平坦化。同時(shí)，51.2bps容量的片經(jīng)產(chǎn)即規(guī)性署如用512bps芯則加設(shè)備400G接的度，在16K和32K型置，少備量并供來(lái)大?？尚浴Ｔ綆捜萘靠蓪?shí)現(xiàn)GU大模模的網(wǎng)承載并具未可擴(kuò)性，強(qiáng)網(wǎng)絡(luò)礎(chǔ)施先性壽投回率更的意著芯網(wǎng)設(shè)更的端密更的口率減網(wǎng)設(shè)數(shù)節(jié)成和耗當(dāng)即實(shí)兩級(jí)OS構(gòu)384交機(jī)可持32K個(gè)U部。試表具模擬AI模業(yè)能力試模大型業(yè)分兩場(chǎng)，中：使無(wú)態(tài)量試在定試口量模服器多多信提供模擬常用高性能計(jì)算通信庫(kù)的典型流量模型（比如根據(jù)NL的broacast，reduce，a-reduce等型作的能。從N通場(chǎng)，量大，續(xù)時(shí)，發(fā)置，流流置角，行對(duì)些型信作行擬可精測(cè)報(bào)時(shí)延，動(dòng)丟等標(biāo)。使用有態(tài)的oE測(cè)試儀（完整實(shí)現(xiàn)DMA協(xié)議狀），同樣在定測(cè)試端口數(shù)量通定義ob來(lái)擬型通操并過(guò)對(duì)的信式一模大模型的流量。每個(gè)ob由基本的DMA操作（比如breadwre等，包括qp數(shù)量以及消息度等循等用作成這當(dāng)義好ob的成可精測(cè)網(wǎng)中帶占情，文延ob完時(shí)等息。型撲當(dāng)前智算中心網(wǎng)絡(luò)通常采用LOS網(wǎng)絡(luò)架構(gòu)主要關(guān)注通用性無(wú)法滿足超大規(guī)模超算場(chǎng)景下低時(shí)延和低成本訴求，業(yè)界針對(duì)該問(wèn)題開(kāi)展了多樣的架構(gòu)研究和新拓?fù)涞脑O(shè)計(jì)。直連拓?fù)湓诔笠?guī)模組網(wǎng)場(chǎng)景下因?yàn)榫W(wǎng)絡(luò)直徑短具備低成本端到端通信跳數(shù)少的特點(diǎn)64口盒式交換機(jī)Dragonfly最大組網(wǎng)規(guī)模27w節(jié)點(diǎn)4倍于3級(jí)COS全盒組網(wǎng)。以構(gòu)建10萬(wàn)個(gè)節(jié)點(diǎn)超大規(guī)模集群為例，傳統(tǒng)的COS架構(gòu)需要部署4級(jí)COS組網(wǎng)，端到端通信最大需要跨7跳交換機(jī)。使用Dragonfly直連拓?fù)浣M網(wǎng)，端到端交換機(jī)轉(zhuǎn)發(fā)跳數(shù)最少減少至3跳交換機(jī)臺(tái)數(shù)下降40%同時(shí)通過(guò)自適應(yīng)路由技術(shù)實(shí)時(shí)感知網(wǎng)絡(luò)流量負(fù)載，動(dòng)態(tài)進(jìn)行路由決策，充分利用網(wǎng)絡(luò)鏈路帶寬，提升網(wǎng)絡(luò)整體吞吐和性能。網(wǎng)同流改進(jìn)當(dāng)前主流擁塞控制算法的優(yōu)化思路仍然在端側(cè)實(shí)現(xiàn)需要至少1個(gè)T的響應(yīng)時(shí)長(zhǎng)，同時(shí)針對(duì)網(wǎng)絡(luò)中存在的多擁塞點(diǎn)問(wèn)題仍然需要多個(gè)周期才能收斂因此需要一種新型的端網(wǎng)配合的擁塞控制算法越來(lái)越多的無(wú)損網(wǎng)絡(luò)設(shè)計(jì)者意識(shí)到網(wǎng)絡(luò)遙測(cè)信息對(duì)擁塞控制算法的重要性網(wǎng)絡(luò)遙測(cè)可以獲得精確的鏈路負(fù)載信息時(shí)延信息丟包信息甚至緩存狀態(tài)配合網(wǎng)卡和擁塞控制控制算法可以達(dá)到精確控制流量快速收斂充分利用空閑帶寬，最終避免擁塞提高帶寬利用率的效果，保障大規(guī)模分布式AI任務(wù)的高效完成。超高帶寬關(guān)鍵技術(shù)了持大模組先要網(wǎng)備身件力支持次組大模絡(luò)程要大擁控機(jī)來(lái)證規(guī)網(wǎng)的塞題便大模絡(luò)有高能絡(luò)標(biāo)。絡(luò)-用同計(jì)放力網(wǎng)絡(luò)帶寬的增長(zhǎng)主要依賴網(wǎng)卡/交換機(jī)轉(zhuǎn)發(fā)芯片的發(fā)展，遵循10G->25G->100G->200G->400G->800G的路線近幾年隨著摩爾定律的逐步失效芯片演進(jìn)越來(lái)越慢帶寬提升難度也越來(lái)越大因此除了芯片本身的提升可預(yù)見(jiàn)將來(lái)將通過(guò)網(wǎng)絡(luò)-應(yīng)用協(xié)同的方式，盡可能釋放已有網(wǎng)絡(luò)的帶寬和性能。隨著聚合算力的規(guī)模不斷增長(zhǎng)、計(jì)算復(fù)雜度的增加，集合通信中數(shù)據(jù)交互的次數(shù)也會(huì)有明顯的增長(zhǎng)，隨之網(wǎng)絡(luò)通信效率對(duì)AI應(yīng)用完成時(shí)間的制約作用也越來(lái)越明顯。以目前較流行的集合通信操作MPIringall-reduce為例，需要2(N-1)次的數(shù)據(jù)交互才能完成，其中N為參與的節(jié)點(diǎn)數(shù)量深度學(xué)習(xí)同樣需要調(diào)用AllReduce操作進(jìn)行梯度聚合且每個(gè)節(jié)點(diǎn)的傳輸數(shù)據(jù)量是深度學(xué)習(xí)模型尺寸的2(N-1)/N倍。當(dāng)N值較大時(shí)，傳輸量接近原始模型尺寸的2倍，相當(dāng)于額外增添了網(wǎng)絡(luò)帶寬的負(fù)擔(dān)。近年來(lái)，隨著可編程交換機(jī)的興起和部署，可通過(guò)在網(wǎng)計(jì)算壓縮數(shù)據(jù)流量，實(shí)現(xiàn)計(jì)算傳輸效率的提升，該方式成為一個(gè)有效提升分布式系統(tǒng)的方法。在集合通信原語(yǔ)中，Reduce和AllReduce含有計(jì)算的語(yǔ)義，因此可以使用在網(wǎng)計(jì)算進(jìn)行加速，減少數(shù)據(jù)交互次數(shù)和入網(wǎng)數(shù)據(jù)量。組播是分布式計(jì)算系統(tǒng)中最常使用的通信模式之一。由于數(shù)據(jù)被重復(fù)發(fā)送，應(yīng)用層組播任務(wù)完成時(shí)間大于數(shù)據(jù)量與通信帶寬之比交換機(jī)可完成組播報(bào)文的復(fù)制分發(fā)以網(wǎng)絡(luò)層組播替代應(yīng)用層組播避免相同數(shù)據(jù)的重復(fù)發(fā)送實(shí)現(xiàn)組播任務(wù)完成時(shí)間逼近理論最優(yōu)值（即數(shù)據(jù)量與帶寬之比）的效果，相比于應(yīng)用層組播任務(wù)完成時(shí)間減少約50%。路載衡化術(shù)現(xiàn)有基于流的負(fù)載分擔(dān)技術(shù)為：網(wǎng)絡(luò)設(shè)備接收到一條流進(jìn)行轉(zhuǎn)發(fā)時(shí)，此流經(jīng)過(guò)hash計(jì)算確定一個(gè)轉(zhuǎn)發(fā)路徑若不發(fā)生網(wǎng)絡(luò)路徑的變化此流所有的報(bào)文都將持續(xù)在確定的路徑上轉(zhuǎn)發(fā)。在AI/ML的應(yīng)用中GPU或其他類型的AI/ML計(jì)算單元之間有著非常簡(jiǎn)單的通訊關(guān)（流的數(shù)量非常少且由于他們有著極高的計(jì)算能力導(dǎo)致一對(duì)通訊單元間的數(shù)據(jù)吞吐極（單個(gè)流很大所需的網(wǎng)絡(luò)帶寬極大這就導(dǎo)致在這樣的應(yīng)用中存在極端的負(fù)載分擔(dān)不均衡，而且這種不均衡一旦引發(fā)網(wǎng)絡(luò)丟包，就會(huì)對(duì)整體AI/ML的任務(wù)完成時(shí)間帶來(lái)顯著的負(fù)面影響。因此業(yè)界越來(lái)越重視Spine和Leaf節(jié)點(diǎn)之間鏈路的負(fù)載均衡算法優(yōu)化方案，以實(shí)現(xiàn)流量更加均衡的哈希在多條等價(jià)路徑中。在鏈路負(fù)載均衡的優(yōu)化算法中已經(jīng)成熟部署的案例有動(dòng)態(tài)負(fù)載平衡(DLB)DB是一種質(zhì)量感知負(fù)載分配的方案，它根據(jù)本地交換機(jī)的端口質(zhì)量為數(shù)據(jù)包選擇下一跳。且DB支持flowlet顆粒度的調(diào)度，和基于流的負(fù)載均衡完美兼容。近期新興的感知路（Cognitiverouting已經(jīng)普遍被行業(yè)認(rèn)為是負(fù)載均衡算法的最佳實(shí)踐之一基于感知路由的負(fù)載均衡技術(shù)實(shí)際上是一個(gè)基于全局信息的負(fù)載均衡算法全局負(fù)載平衡通過(guò)使用在下游交換機(jī)感知到的路徑質(zhì)量或隊(duì)列深度來(lái)調(diào)制本地交換機(jī)的路徑選擇并支持DB方式動(dòng)態(tài)平衡流量負(fù)載迭代路由的GB功能允許上游交換機(jī)避開(kāi)下游擁塞熱點(diǎn)并選擇更好的端到端路徑。GB保留了DB的所有優(yōu)質(zhì)屬性，例如當(dāng)路出現(xiàn)故障時(shí)受影響流的自動(dòng)快速故障轉(zhuǎn)移及非等價(jià)路徑的能力。同時(shí)另一個(gè)路徑也開(kāi)始逐漸萌芽和發(fā)展——基于信元交換實(shí)現(xiàn)均衡負(fù)載分擔(dān)信元交換機(jī)制下接收端設(shè)備接收到報(bào)文后會(huì)將報(bào)文拆分成若干信元信元會(huì)基于目的端發(fā)送的調(diào)度信令選擇空閑的鏈路進(jìn)行轉(zhuǎn)發(fā)；到的目的后，信元被重新拼裝成報(bào)文發(fā)出設(shè)備。在這樣的機(jī)制下不同于包轉(zhuǎn)（一個(gè)固定的流僅能利用單個(gè)路徑兩個(gè)交換機(jī)之間的所有鏈路都可以利用而且完全是動(dòng)態(tài)的基于微觀負(fù)載實(shí)時(shí)調(diào)整的均衡利用實(shí)際上信元交換本身并不是一項(xiàng)嶄新的技術(shù)在目前廣泛應(yīng)用的框式設(shè)備中線卡芯片與網(wǎng)板芯片之間的流量交換普遍都采用了信元交換的技術(shù)以實(shí)現(xiàn)機(jī)框內(nèi)無(wú)阻塞交換現(xiàn)在業(yè)界已經(jīng)開(kāi)始嘗試將此技術(shù)應(yīng)用到網(wǎng)絡(luò)中比如博通發(fā)布的DDC網(wǎng)絡(luò)架構(gòu)--在整個(gè)網(wǎng)絡(luò)設(shè)備之間采用信元交換。DDC網(wǎng)絡(luò)架構(gòu)證實(shí)了此項(xiàng)技術(shù)確實(shí)可以有效解決鏈路負(fù)載均衡的難題。將此項(xiàng)技術(shù)進(jìn)一步擴(kuò)展，應(yīng)用到整個(gè)網(wǎng)絡(luò)上，會(huì)是AI/ML等專有網(wǎng)絡(luò)未來(lái)解決負(fù)載均衡問(wèn)題的方向之一。功的0G80G聯(lián)案隨著Serdes技術(shù)推動(dòng)數(shù)據(jù)中心進(jìn)入400G800G的時(shí)代端口功耗成為了業(yè)界普遍關(guān)注的熱點(diǎn)低功耗的400G/800G互聯(lián)解決方案相繼推出引起業(yè)界廣泛關(guān)注也被普遍認(rèn)為是AI和機(jī)器學(xué)習(xí)等智算數(shù)據(jù)中心的關(guān)鍵技術(shù)。PO旨在解決下一代帶寬和功率挑戰(zhàn)隨著對(duì)網(wǎng)絡(luò)和計(jì)算結(jié)構(gòu)帶寬的持續(xù)加速需要在系統(tǒng)和芯片架構(gòu)方面進(jìn)行創(chuàng)新以減緩摩爾定律的放緩與此同時(shí)銅互連正迅速達(dá)到其帶寬距離極限硅光子學(xué)對(duì)于維持快速數(shù)據(jù)增長(zhǎng)和高帶寬應(yīng)用至關(guān)重要。共封裝光學(xué)(CPO)是把交換機(jī)芯片ASIC和光／電引擎（光收發(fā)器）共同封裝在同一基板上，光引擎盡量靠近ASIC，以最大程度地減少高速電通道損耗和阻抗不連續(xù)性，從而可以使用速度更快、功耗更低的片外I／O驅(qū)動(dòng)器。通過(guò)使用PO不僅可以實(shí)現(xiàn)聯(lián)網(wǎng)還可以實(shí)現(xiàn)GPU到GPU的互連資源池和內(nèi)存的分解。其可以滿足AI/ML訓(xùn)練集群的需求，且具備高帶寬和基數(shù)連接、最低的每比特成本，以及最低的電源使用效率。線性直驅(qū)可插拔模塊亦可降低功耗在400G、800G時(shí)代，除了可插拔光模塊和PO解決方案外，在今年3月OC，inearDirectDriv（直接驅(qū)動(dòng)也稱線性驅(qū)動(dòng)可插拔400G/800G光模塊成為了研究熱點(diǎn)。該光模塊方案最大的優(yōu)勢(shì)在于光模塊可以省掉DSP芯片，極大程度降低在模塊層面的信號(hào)處理的功耗和延遲。服務(wù)于AI和機(jī)器學(xué)習(xí)等應(yīng)用的GPU服務(wù)器在提供出色算力的基礎(chǔ)上服務(wù)器功耗也會(huì)相應(yīng)的增加。400G/800G的高速互聯(lián)使得光模塊以及網(wǎng)絡(luò)設(shè)備的功耗也會(huì)相應(yīng)的增長(zhǎng)。無(wú)論CPO還是線性直驅(qū)可插拔模塊可能都是未來(lái)智算中心的互聯(lián)解決方案，通過(guò)從互連中移除所有可能的有源組件來(lái)提供最低的系統(tǒng)級(jí)功率。超高穩(wěn)定性關(guān)鍵技術(shù)AI大模型下的智算中心網(wǎng)絡(luò)作為業(yè)務(wù)流量的調(diào)度中樞其穩(wěn)定性決定著整個(gè)AI集群的運(yùn)行效率因此除關(guān)注網(wǎng)絡(luò)正常運(yùn)行狀態(tài)下的性能指標(biāo)外如何隔離故障域提升故障事件的感知和恢復(fù)能力也是智算中心網(wǎng)絡(luò)當(dāng)前要解決的關(guān)鍵問(wèn)題。于件快感能力AI大模型網(wǎng)絡(luò)通常要求網(wǎng)絡(luò)實(shí)現(xiàn)亞ms級(jí)的故障恢復(fù)時(shí)間故障快速感知作為故障恢復(fù)的前提，其感知性能通常在數(shù)十us級(jí)以下。當(dāng)前大部分基于報(bào)文探測(cè)保活機(jī)制的感技術(shù)僅能保障50ms級(jí)的故障感知性能。因此通過(guò)設(shè)備硬件提供更高性能的故障感知能力成為了研究重點(diǎn)具體而言硬件轉(zhuǎn)發(fā)芯片可以充分利用接口物理層的統(tǒng)計(jì)信（如收發(fā)光、EC錯(cuò)包統(tǒng)計(jì)等）提供快速的故障感知及預(yù)測(cè)的功能，實(shí)現(xiàn)為上層系統(tǒng)提供亞ms級(jí)故障感知基礎(chǔ)能力的支持。于件快收能力為了解決故障收斂慢的問(wèn)題一個(gè)可行的優(yōu)化思路是數(shù)據(jù)面硬件卸載典型場(chǎng)景的故障收斂全過(guò)程即完全由數(shù)據(jù)面感知傳遞處理故障通過(guò)這種方式有望將故障收斂性能提升至亞毫秒級(jí)該技術(shù)基于轉(zhuǎn)發(fā)芯片的硬件可編程能力構(gòu)建從傳統(tǒng)的基于控制面協(xié)議軟件的收斂方式演進(jìn)到基于數(shù)據(jù)面硬件極速感知故障的收斂方式并且基于數(shù)據(jù)面硬件實(shí)現(xiàn)遠(yuǎn)程通告和快速換路該技術(shù)可達(dá)到亞毫秒（<1ms的收斂速度將對(duì)業(yè)務(wù)性能的影響降至最低基于硬件的故障快速收斂為高性能數(shù)據(jù)庫(kù)存儲(chǔ)以及超算等關(guān)鍵應(yīng)用提供了極致的高可靠性保證和穩(wěn)定性體驗(yàn)。次的絡(luò)障愈力在以性能為導(dǎo)向的大規(guī)模網(wǎng)絡(luò)中面向各種網(wǎng)絡(luò)故障場(chǎng)景下的自愈能力是保障業(yè)務(wù)可靠性的關(guān)鍵網(wǎng)絡(luò)故障自愈能力需要在鏈路級(jí)設(shè)備級(jí)以及網(wǎng)絡(luò)級(jí)開(kāi)展層次化方案的制定。其主要宗旨是最大限度降低業(yè)務(wù)性能的影響核心技術(shù)在于提升各類網(wǎng)絡(luò)故障事件響應(yīng)的實(shí)時(shí)性具體而言在鏈路層面通過(guò)充分挖掘網(wǎng)絡(luò)多路徑的資源價(jià)值在最合適的節(jié)點(diǎn)以最快的速度實(shí)現(xiàn)流量轉(zhuǎn)發(fā)路徑的切換保護(hù)在設(shè)備層面通過(guò)利用節(jié)點(diǎn)級(jí)保護(hù)技術(shù)實(shí)現(xiàn)流量的快速重路由在網(wǎng)絡(luò)層面借助自動(dòng)化和智能化的手段對(duì)常見(jiàn)的網(wǎng)絡(luò)級(jí)故障開(kāi)展根因分析和問(wèn)題關(guān)聯(lián)通過(guò)快速響應(yīng)預(yù)案的積累形成網(wǎng)絡(luò)自動(dòng)止血的能力確保網(wǎng)絡(luò)故障恢復(fù)指標(biāo)在可預(yù)期的范圍內(nèi)。超低時(shí)延關(guān)鍵技術(shù)為了滿足AI大模型對(duì)超低時(shí)延的需求，智算中心網(wǎng)絡(luò)需要從集合通訊與網(wǎng)絡(luò)拓?fù)鋮f(xié)同、硬件卸載加速技術(shù)以及靜態(tài)時(shí)延優(yōu)化等方面進(jìn)行優(yōu)化和創(chuàng)新。合訊法網(wǎng)拓協(xié)同集合通信允許一組進(jìn)程以定義明確協(xié)調(diào)一致的方式交換消息和共享數(shù)據(jù)是分布式AI訓(xùn)練系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)并行模型并行以及混合并行的的核心如NVIDIA公司開(kāi)源的NCCL可在PCIe,NVink，Ethernet以及Infiniband網(wǎng)絡(luò)上實(shí)現(xiàn)較高帶寬、低延遲的GPU通信。集合通信的性能和網(wǎng)絡(luò)拓?fù)涿芮邢嚓P(guān)。NCCL能夠針對(duì)拓?fù)涮卣骱虶PU特征進(jìn)行定制優(yōu)化，具有比傳統(tǒng)集合通信庫(kù)MPI更高的性能。比如PXN方法將不同服務(wù)器上位于相同位置的網(wǎng)卡，都?xì)w屬于同一Rswitch；不同位置的網(wǎng)卡，歸屬于不同的Rswitch。該方式下，不同host上相同位置的GPU仍然走機(jī)間網(wǎng)絡(luò)通信，一跳可達(dá)；不同host上不同位置的GPU則先通過(guò)機(jī)內(nèi)網(wǎng)絡(luò)轉(zhuǎn)發(fā)到對(duì)應(yīng)位置的GPU代理上然后通過(guò)該GPU代理走機(jī)間網(wǎng)絡(luò)來(lái)完成通信該方法可以有效地減少跨host集合通信過(guò)程的網(wǎng)絡(luò)跳數(shù)從而提升整網(wǎng)性能。DU件載在當(dāng)前GPU的算力能力下100Gbps或更大的數(shù)據(jù)量才能夠充分發(fā)揮單個(gè)GPU的算力。在這樣的發(fā)展趨勢(shì)下，基于RDMA協(xié)議的GPUDirectRDMA技術(shù)，在DPU與GPU通信的過(guò)程中可繞過(guò)主機(jī)內(nèi)存，直接實(shí)現(xiàn)對(duì)GPU內(nèi)存的讀寫(xiě)能力。而且，DPU上全硬件實(shí)現(xiàn)的DMA能夠支持單流百G以上的數(shù)據(jù)收發(fā)能力進(jìn)而實(shí)現(xiàn)了GPU算力聚合且最大化提升了GPU集群算力。GPUDirectRDMA技術(shù)已經(jīng)成為當(dāng)前算力資源總線級(jí)互聯(lián)高性能網(wǎng)絡(luò)的主流技術(shù)。另一個(gè)GPUDirect技術(shù)是GPUDirectStorage，簡(jiǎn)稱GDS。GDS是為了解決GPU從Storage獲取數(shù)據(jù)的延時(shí)和效率問(wèn)題，可實(shí)現(xiàn)GPU到Storage的直接訪問(wèn)。在GPU使用GDS訪問(wèn)遠(yuǎn)端存儲(chǔ)時(shí)通過(guò)網(wǎng)卡實(shí)現(xiàn)NVMe-oF的卸載和加速就變得異常重要NVMe-oF的實(shí)現(xiàn)是在標(biāo)準(zhǔn)的NVMe操作上進(jìn)行了網(wǎng)絡(luò)部分的封裝NVMe實(shí)現(xiàn)的各種隊(duì)列操作包括MQ，SQ，CQ等，可以清晰的通過(guò)硬件邏輯實(shí)現(xiàn)。同時(shí)，根據(jù)NVMe-oF所支持的網(wǎng)絡(luò)協(xié)議，進(jìn)一步判斷哪種協(xié)議適合硬件卸載，或者其使用硬件卸載方式付出的代價(jià)最小。利用網(wǎng)卡對(duì)RDMA的支持，再疊加NVMe的實(shí)現(xiàn)邏輯，網(wǎng)卡可以完整實(shí)現(xiàn)NVMeoverRDMA的硬件卸載，進(jìn)而為GDS提供NVMe-oF卸載及加速方案。態(tài)發(fā)延化靜態(tài)轉(zhuǎn)發(fā)時(shí)延主要是由轉(zhuǎn)發(fā)芯片引入的轉(zhuǎn)發(fā)芯片主要有PHY/MAC模塊包處（PP）模塊和緩存管理（BM）模塊組成，可針對(duì)不同模塊分別進(jìn)行時(shí)延優(yōu)化處理。HYMAC模為支更泛的景用在證口靠性同追更的時(shí)，的口態(tài)編算有進(jìn)步索。包處理（P）模塊：為了降低包處理模塊的時(shí)延，可通過(guò)簡(jiǎn)化業(yè)務(wù)部署的方式，如關(guān)閉轉(zhuǎn)路上不需的模關(guān)下行AL功設(shè)上部下行AL時(shí)）不議署VAN業(yè)等式同包理模內(nèi)存較的查（AC表IB）程主表因容較普采算查，表度會(huì)響發(fā)延。了求低時(shí)，要索好并查設(shè)及效查算。緩管M模：進(jìn)步低存理態(tài)時(shí)，需優(yōu)芯內(nèi)存局和線計(jì)著用量型變和路用的升響延要素再是靜時(shí)而擁帶的態(tài)延動(dòng)時(shí)的制賴細(xì)緩管包各種塞知限反門(mén)的應(yīng)調(diào)，及網(wǎng)同相技。.5自動(dòng)化關(guān)鍵技術(shù)面對(duì)AI大模型場(chǎng)景下網(wǎng)絡(luò)的特殊性AI網(wǎng)絡(luò)需要實(shí)現(xiàn)多維度自動(dòng)化能力的支持包含以下四方面。到部自化力是AI群展的提AI大模型網(wǎng)絡(luò)典型的特征是規(guī)模較大且必須支撐業(yè)務(wù)集群的按需擴(kuò)容然而網(wǎng)絡(luò)中涉及擁塞控制算法RDMA無(wú)損等復(fù)雜特性的配置且配置工作涵蓋網(wǎng)卡和網(wǎng)絡(luò)交換機(jī)。面對(duì)AI網(wǎng)絡(luò)特殊性和復(fù)雜性通過(guò)充分識(shí)別并分析AI場(chǎng)景網(wǎng)絡(luò)特征及變更特點(diǎn)從而設(shè)計(jì)符合AI場(chǎng)景的網(wǎng)絡(luò)模型，支撐自動(dòng)化能力，盡力實(shí)現(xiàn)“即插即用式開(kāi)局”。試收動(dòng)能是AI群品交的礎(chǔ)在網(wǎng)絡(luò)與端側(cè)的部署工作完成后需要結(jié)合場(chǎng)景針對(duì)配置一致性可靠性業(yè)務(wù)性能等開(kāi)展一系列自動(dòng)化測(cè)試和驗(yàn)收的活動(dòng)通過(guò)自動(dòng)化測(cè)試建立驗(yàn)收基準(zhǔn)而非依靠人工經(jīng)驗(yàn)，是確保AI集群高品質(zhì)交付的基礎(chǔ)。維動(dòng)是保絡(luò)能可性關(guān)鍵對(duì)于一些突發(fā)的網(wǎng)絡(luò)故障或者性能事件，利用轉(zhuǎn)發(fā)芯片的原生能力，對(duì)網(wǎng)絡(luò)的狀態(tài)、數(shù)據(jù)進(jìn)行高性能可視化監(jiān)控例如通過(guò)呈現(xiàn)網(wǎng)絡(luò)的擁塞狀態(tài)負(fù)載不均狀態(tài)等為自動(dòng)化調(diào)度調(diào)優(yōu)提供數(shù)據(jù)支持可實(shí)現(xiàn)端到端可視化自動(dòng)化運(yùn)維等實(shí)現(xiàn)故障的快速定位和一鍵修復(fù)的能力。更動(dòng)是絡(luò)力演的本障在AI網(wǎng)絡(luò)中，業(yè)務(wù)需求的變化、新技術(shù)的引入、網(wǎng)絡(luò)故障的修復(fù)、網(wǎng)絡(luò)配置的優(yōu)等都會(huì)引發(fā)網(wǎng)絡(luò)配置的頻繁變更變更自動(dòng)化能力是確保過(guò)程安全的基本手段也是網(wǎng)絡(luò)能力自優(yōu)化、自演進(jìn)的基本要求。望隨著ChatGPT、Copilot、文心一言等大模型應(yīng)用的橫空出世，AI大模型下的智算中心網(wǎng)絡(luò)也將帶來(lái)全新的升級(jí)。本白皮書(shū)從AI大模型發(fā)展情況AI大模型下智算中心網(wǎng)絡(luò)的需求當(dāng)前技術(shù)與需求的差距及技術(shù)演進(jìn)四個(gè)方面開(kāi)展了相關(guān)研究以期拋磚引玉更盼得到更多同行的參與和討論。中國(guó)移動(dòng)也希望按照高價(jià)值優(yōu)先、先易后難的原則，逐步推動(dòng)