全調(diào)度以太網(wǎng)技術(shù)架構(gòu)白皮書2023

2縮略語列表 41.背景與需求 52.GSE網(wǎng)絡(luò)架構(gòu)介紹 6 6 62.2.1GSE整體架構(gòu) 62.2.2GSE架構(gòu)設(shè)備 72.2.3GSE架構(gòu)特性 8 82.3.1兼容以太網(wǎng)技術(shù) 82.3.2無阻塞網(wǎng)絡(luò) 92.3.3提高有效帶寬 92.3.4優(yōu)化長尾時延技術(shù) 103.GSE網(wǎng)絡(luò)核心技術(shù) 10 113.1.1PKTC概念 113.1.2PKTC開銷 123.1.3GSEHeader位置 12 133.2.1動態(tài)負載信息構(gòu)建 133.2.2動態(tài)路徑切換技術(shù) 143.2.3流量排序機制 15 153.3.1基于全局的轉(zhuǎn)發(fā)技術(shù) 163.3.2基于DGSQ的調(diào)度技術(shù) 17 18 18 19 194.組網(wǎng)應(yīng)用展望 21縮略語列表縮略語英文全名中文解釋AIArtificialIntelligence人工智能AIGCAI-GeneratedContent人工智能生產(chǎn)內(nèi)容CPUCentralProcessingUnit中央處理器DataProcessingUnit數(shù)據(jù)處理單元ECMPEqualCostMultiPath等價多路徑路由ExplicitCongestionNotification顯式擁塞通告FibreChannel光纖通道GPUGraphicsProcessingUnit圖形處理器GSFGlobalSchedulingFabirc全調(diào)度交換網(wǎng)絡(luò)GSOSGlobalSchedulingOperatingSystem全調(diào)度操作系統(tǒng)GSPGlobalSchedulingProcessor全調(diào)度網(wǎng)絡(luò)處理節(jié)點Head-of-lineblocking隊首阻塞JCTJobCompletionTime任務(wù)完成時間MachineLearning機器學(xué)習(xí)Priority-basedFlowControl基于優(yōu)先級的流量控制Physical端口物理層PKTCPacketContainer報文容器RDMARemoteDirectMemoryAccess遠程直接內(nèi)存訪問RDMAoverConvergedEthernet融合以太網(wǎng)承載RDMAVOQVirtualOutputQueue虛擬輸出隊列DGSQDynamicGlobalSchedulingQueue動態(tài)全局調(diào)度隊列軍企業(yè)競相推出千億、萬億級參數(shù)量的大模型，底層GPU算力部署規(guī)模也達到萬卡級別。以GPT3.5為例，參數(shù)規(guī)模達1750億，作為訓(xùn)練數(shù)據(jù)集的互聯(lián)網(wǎng)文本量也超過45TB，其訓(xùn)練過程依賴于微軟專門建設(shè)的AI超算系統(tǒng)，以及由1分布式并行計算是實現(xiàn)AI大模型訓(xùn)練的關(guān)鍵手段，通常包含數(shù)面向未來智算中心規(guī)模建設(shè)和AI大模型發(fā)展及部署需求，中國移動聯(lián)合多為打造無阻塞、高帶寬、低時延的高性能網(wǎng)絡(luò)務(wù)于高性能計算，滿足AI大模型部署及訓(xùn)推圖2-1GSE技術(shù)分層架構(gòu)考慮到AIGC等AI/ML應(yīng)用快速發(fā)展以及當(dāng)理層、MAC層的定義，以兼容現(xiàn)有以太），造成網(wǎng)絡(luò)阻塞的核心原因是分布式轉(zhuǎn)發(fā)結(jié)構(gòu)中各節(jié)優(yōu)先級管理，丟包將是無差別的，會給應(yīng)用帶來直接的2.3.4優(yōu)化長尾時延技術(shù)與傳統(tǒng)以太網(wǎng)基于流進行負載分擔(dān)的機制不同，GSE交換網(wǎng)絡(luò)采用定長的圖3-1GSE網(wǎng)絡(luò)端到端流量轉(zhuǎn)發(fā)示意圖(1)源端GSP設(shè)備從計算側(cè)收到Packet后，通過轉(zhuǎn)發(fā)表找到最終出口，并基于(3)當(dāng)報文到達目的端GSP設(shè)備后，先進行PKTC級別的排序，再通過轉(zhuǎn)發(fā)表輯上組成虛擬容器，并以該容器為最小單元在交換網(wǎng)絡(luò)中傳輸。本節(jié)分將從PKTC概念、PKTC開銷和PKTC位情況下盡可能短，以達到精細切分數(shù)據(jù)流，充分提圖3-2PKTC轉(zhuǎn)發(fā)機制示意圖報文容器的實現(xiàn)是邏輯虛擬的，當(dāng)一個報文進入GSP節(jié)點時，GSP節(jié)點將過虛擬報文容器設(shè)定長度時，將該報文調(diào)度并GSE網(wǎng)絡(luò)各節(jié)點均直接轉(zhuǎn)發(fā)報文，無需緩存報文構(gòu)建實際容器。對于歸屬標(biāo)識和系統(tǒng)DGSQ建立目標(biāo)有關(guān)。一般情況下，可基于源設(shè)備、目標(biāo)端口以及在該端口下的優(yōu)先級建立唯一的DGSQ標(biāo)識。當(dāng)然，也可根據(jù)業(yè)務(wù)需求簡化進入DGSQ后的報文，需要經(jīng)過下行調(diào)度授權(quán)才能被發(fā)送到交換網(wǎng)絡(luò)中。此時，可將同一個入口Leaf節(jié)點發(fā)往同一個出口Leaf節(jié)點的圖3-3PKTC頭構(gòu)建方式示意圖———圖3-4標(biāo)準擴展頭方式傳輸效率高，但是兼容以太網(wǎng)能力較差，只有在特圖3-5重定義以太幀方式的兼容性和傳輸效率，但是網(wǎng)絡(luò)中對GSE額外信息的處理會需要深入到報圖3-6協(xié)議頭擴充方式為了減少并消除傳統(tǒng)ECMP轉(zhuǎn)發(fā)模型中出現(xiàn)的哈希極化、負載不均等問題導(dǎo)致的長尾時延或丟包，基于PacketContainer的技術(shù)可以分為負載信息構(gòu)建、3.2.1動態(tài)負載信息構(gòu)建圖3-7流量轉(zhuǎn)發(fā)模型示意圖圖3-8動態(tài)負載均衡決策過程3.2.2動態(tài)路徑切換技術(shù)圖3-9動態(tài)路徑切換機制圖3-10目的端流量排序機制3.3基于PKTC的DGSQ調(diào)度技術(shù)圖3-11網(wǎng)絡(luò)Incast流量發(fā)生場景寬才可避免。因此，引入基于全局的轉(zhuǎn)發(fā)技術(shù)和基于DGSQ的調(diào)度技術(shù)，才可3.3.1基于全局視圖的轉(zhuǎn)發(fā)技術(shù)圖3-12流量轉(zhuǎn)發(fā)模型示意圖圖3-13基于全局視圖的選路機制口的虛擬隊列，用以模擬本設(shè)備到對應(yīng)端口的流量調(diào)度。本設(shè)備DGSQ的調(diào)度到端授權(quán)。由于中間節(jié)點的流量壓力差異，GSP去往最終目的端口不再通過的負載能力，也不會超出中間任一網(wǎng)絡(luò)節(jié)點的轉(zhuǎn)發(fā)能力，可降低網(wǎng)絡(luò)中Incast圖3-14基于DGSQ的調(diào)度技術(shù)基于PKTC的負載均衡技術(shù)和DGSQ全局調(diào)度技術(shù)在平穩(wěn)狀態(tài)下可很好得圖3-15網(wǎng)絡(luò)擁塞場景示意圖例如，如上圖所示，GSF1的B4出口出現(xiàn)擁塞，會降低甚至?xí)和Υ说腄GSQ調(diào)度授權(quán)。如果還有其他路徑選擇，將會觸發(fā)采用動態(tài)負載均衡的方的流量，去往其他設(shè)備的流量不受影響。更近一步的精細控制策略是通過GSF采用了基于PKTC的逐級負載均衡技術(shù)。當(dāng)Fabric網(wǎng)絡(luò)中的某條鏈路或某臺GSF發(fā)生故障時，與其相連的設(shè)備節(jié)點能夠?qū)崟r感知到鏈路狀態(tài)變化，并自動將相應(yīng)鏈路從負載均衡備選列表中移除，回收DGSQ涉及此路徑的調(diào)度希結(jié)果或鏈路數(shù)量少的影響，可避免某條鏈3.7全調(diào)度以太網(wǎng)操作系統(tǒng)分為全調(diào)度控制器、設(shè)備側(cè)NOS兩大部分，同時采圖3-16全調(diào)度以太網(wǎng)操作系統(tǒng)架構(gòu)網(wǎng)絡(luò)操作系統(tǒng)。每臺GSP和GSF具備獨立的控制面和管理面，可以運行屬于設(shè)備自身的網(wǎng)絡(luò)功能，提升系統(tǒng)可靠性，降低部署難度。分布式NOS可NOS控制管理通路：得益于全調(diào)度以太網(wǎng)架構(gòu)的兼容性原則，網(wǎng)絡(luò)的GSF再采用帶外（Out-band）控制管理通路，而是統(tǒng)一到帶內(nèi)通路，便于運維管圖3-17：帶內(nèi)模式的控制和管理通路GSE面向無損、高帶寬、超低時延等高性能網(wǎng)絡(luò)需求業(yè)務(wù)場景，兼容以太在兩種方式，一種是僅在網(wǎng)絡(luò)側(cè)運行該架構(gòu)，一種是GSE本身可以支持網(wǎng)卡側(cè)無感知的組網(wǎng)解決方案，若網(wǎng)卡側(cè)有能力參與協(xié)同，