AI網(wǎng)絡(luò)光交換機(jī)技術(shù)報(bào)告 2024

[編號(hào)ODCC-2024-05006]開放數(shù)據(jù)中心標(biāo)準(zhǔn)推進(jìn)委員會(huì)2024.09發(fā)布版權(quán)聲明轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點(diǎn)的，應(yīng)注明編寫組 1 1 1 2 2 2 2 3 4 5 7 7 8 12 13 13 15 15 15 21 22 23 23 28 34 34 35 36 36 36 37 37 38 38 38一、研究目的及范圍（一）研究目的與意義本白皮書旨在深入研究和探討光交換技術(shù)在數(shù)據(jù)中心網(wǎng)絡(luò)中的（二）研究范圍與方法1和工程師提供有價(jià)值的參考，并為整個(gè)行業(yè)的二、光電混合網(wǎng)絡(luò)的發(fā)展（一）光電混合網(wǎng)絡(luò)（二）光電混合網(wǎng)絡(luò)的發(fā)展歷程在2000年代初期，隨著互聯(lián)網(wǎng)流量的快速增長(zhǎng)，研究人員開始2探索如何利用光網(wǎng)絡(luò)的高帶寬優(yōu)勢(shì)來(lái)提升數(shù)據(jù)中心和骨干網(wǎng)絡(luò)的性在2010年代，隨著光網(wǎng)絡(luò)和電網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，光電混合網(wǎng)絡(luò)的研究取得了顯著的進(jìn)展。在SIGCOMM會(huì)議上發(fā)表了許多關(guān)年發(fā)表的論文《Helios:AHybridElectrical/OpticalSwitchArchitecture種名為c-Through的系統(tǒng)，能夠動(dòng)態(tài)地調(diào)整光路配置，以適應(yīng)數(shù)據(jù)中3適用于大規(guī)模數(shù)據(jù)中心的應(yīng)用場(chǎng)景。SIGCOMM2017年發(fā)表的論文《RotorNet:AScalable,Low-complexity,OpticalDatacenterNetwork》用，提升了數(shù)據(jù)傳輸性能和網(wǎng)絡(luò)效率。例如，SIGCOMM2022年谷歌發(fā)表的論文《MissionApollo:LandingOpticalCircuitSwitchingat4ReconfigurableDragonflyNetworkinHPC》詳細(xì)介紹了如何保證每個(gè)（三）光電混合網(wǎng)絡(luò)的應(yīng)用場(chǎng)景5英偉達(dá)也在其數(shù)據(jù)中心內(nèi)研究通過(guò)彈性可重構(gòu)網(wǎng)絡(luò)提高網(wǎng)絡(luò)可6三、光交換機(jī)關(guān)鍵技術(shù)分析（一）光交換（OCS）技術(shù)簡(jiǎn)介要。根據(jù)實(shí)現(xiàn)技術(shù)的不同，光交換技術(shù)一般可分為3DMEMS（Micro-Electro-MechanicalSystem）技術(shù)、數(shù)字液7輸入MEMS微鏡陣列，輸出MEMS微鏡陣及配套驅(qū)動(dòng)、控制軟硬件構(gòu)成。其中輸入輸出MEMS微鏡單元為二入射MEMS微鏡陣列對(duì)應(yīng)微鏡單元，每個(gè)微鏡單元擁有獨(dú)立的驅(qū)動(dòng)控制，通過(guò)施加不同的電信號(hào)實(shí)現(xiàn)所需的轉(zhuǎn)角；輸入MEMS微鏡陣列通過(guò)調(diào)整微鏡單元的轉(zhuǎn)角將入射信號(hào)偏轉(zhuǎn)到目的輸出微鏡陣列對(duì)89圖6MEMS光交換a）微鏡陣列示意圖b）陣元組成與原理示意圖2.數(shù)字液晶技術(shù)DLC光交換和各向異性，使得液晶材料具備和晶體材料一樣的折射率各向異性、數(shù)字液晶光交換系統(tǒng)利用液晶的電光效應(yīng)與晶體光楔的級(jí)聯(lián)相結(jié)合，能夠?qū)個(gè)端口的輸入光任意調(diào)度到N個(gè)端口進(jìn)行輸出，完數(shù)字液晶光交交換利用液晶的電光效應(yīng)與晶體光楔的級(jí)聯(lián)產(chǎn)生行S偏振與P偏振的分束與合束LCLM液晶光模塊陣列（LC可調(diào)延遲器與雙折射晶體光楔的組合經(jīng)過(guò)多層級(jí)聯(lián)而成，實(shí)現(xiàn)N*N信號(hào)光偏轉(zhuǎn)如下圖7所示。2個(gè)離散角度的偏轉(zhuǎn)（2態(tài)調(diào)制）。系統(tǒng)交換維度擴(kuò)展到M換則需要共L層組合，滿足2^L>M。例如，對(duì)于256端口，需要對(duì)直接光束偏轉(zhuǎn)光交換是將光纖準(zhǔn)直器直接固定在壓電陶瓷驅(qū)動(dòng)MEMS低~3低~4高~綜上所述，光交換機(jī)實(shí)現(xiàn)了任意輸入N端口到輸出N端口的無(wú)（二）故障恢復(fù)與能耗光交換網(wǎng)絡(luò)的故障恢復(fù)策略和容錯(cuò)機(jī)制是確保數(shù)據(jù)中心網(wǎng)絡(luò)穩(wěn)（三）控制平面四、光交換機(jī)在數(shù)據(jù)中心網(wǎng)絡(luò)中的應(yīng)用（一）數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)過(guò)去20年，受計(jì)算規(guī)模的驅(qū)動(dòng)，數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)和解決方案發(fā)生了顯著變化?？傮w而言，數(shù)據(jù)中心的物理拓?fù)鋸膫鹘y(tǒng)的接入-匯聚-核心三級(jí)架構(gòu)演變?yōu)榛贑los的Spine-and-Leaf核心交換機(jī)處理所有南北向流量，記錄所有節(jié)點(diǎn)的IP和MAC地址2008年，隨著云計(jì)算時(shí)代的到來(lái)，數(shù)據(jù)中心逐步演進(jìn)，計(jì)算資為主要流量。網(wǎng)絡(luò)虛擬化使每個(gè)宿主機(jī)運(yùn)行一個(gè)虛擬交換機(jī)擬機(jī)的IP/MAC信息，以支持虛擬機(jī)的全網(wǎng)遷移。2016年后，數(shù)據(jù)中心進(jìn)入大規(guī)模容器時(shí)代。容器作為輕量級(jí)虛務(wù)，服務(wù)的IP地址作為訪問(wèn)入口，屏蔽計(jì)算資源的細(xì)節(jié)。由于容器瓶頸。因此，每個(gè)服務(wù)器節(jié)點(diǎn)內(nèi)替換虛擬交換機(jī)為虛擬路由器換機(jī)只需記錄服務(wù)器節(jié)點(diǎn)的IP和其管理的網(wǎng)段信息，與容器數(shù)量無(wú)低擴(kuò)展傳統(tǒng)樹形拓?fù)鋪?lái)滿足帶寬需求不僅成本高昂，而且難以實(shí)東西向流量的增加使得傳統(tǒng)三層數(shù)據(jù)中心架構(gòu)的帶寬成為瓶頸，在Clos架構(gòu)中，如下圖所示，每個(gè)Leaf交換機(jī)都與所有SpineSpine層則負(fù)責(zé)將所有Leaf交換機(jī)連接起來(lái)。當(dāng)Leaf層的接入端口（二）光電混合網(wǎng)絡(luò)架構(gòu)谷歌公布的Jupiter項(xiàng)目，通過(guò)使用光交換機(jī)（OCS）實(shí)現(xiàn)可重中心互聯(lián)層采用基于MEMS技術(shù)的光交換機(jī)(OCS)來(lái)實(shí)現(xiàn)動(dòng)態(tài)拓?fù)渲匦屡渲?、用于流量工程的集中式軟件定義網(wǎng)性，并且不需要任何停機(jī)時(shí)間或服務(wù)流失。除了比靜態(tài)Clos結(jié)構(gòu)提為了支持AI訓(xùn)練等大規(guī)模計(jì)算，谷歌陸續(xù)研發(fā)了TPUv4和互聯(lián)上采用3D環(huán)面實(shí)現(xiàn)TPU之間的互聯(lián)，部署OCS的優(yōu)勢(shì)有以下采用OCS方案可以將集群可用率提高到約50%。因此每個(gè)43塊在安裝和測(cè)試64個(gè)芯片和必要的電纜后立即投增量部署大大提高了TPUv4超級(jí)計(jì)算機(jī)的生產(chǎn)使用時(shí)間，從而提高v4可以輕松地更改拓?fù)洌云ヅ鋺?yīng)用程序、節(jié)點(diǎn)數(shù)量和運(yùn)行這些作網(wǎng)狀替代方案相比，這使重要的結(jié)合通信操作（例如，all-to-all）的可重構(gòu)OCS拓?fù)涮岣呔W(wǎng)絡(luò)性能：用戶可以更改TPUv4拓?fù)湟云ヅ渌褂玫牟⑿卸阮愋停珹I訓(xùn)練經(jīng)常將并行類型組合起來(lái)以獲得（三）光交換機(jī)性能評(píng)估光交換機(jī)（OpticalCircuitSwitch,OCS）作為數(shù)據(jù)中心網(wǎng)絡(luò)中的測(cè)試各端口的插損和回?fù)p，可以評(píng)估光交換機(jī)五、AI網(wǎng)絡(luò)光交換機(jī)應(yīng)用展望（一）技術(shù)趨勢(shì)與發(fā)展方向從文本生成到圖片生成再到以Sora為代表的視頻生成。Sora是由無(wú)論是AI生成圖片還是生成視頻，背后都離不開大規(guī)模算力的而對(duì)訓(xùn)練算力的需求也大幅度提升。這也驅(qū)動(dòng)了GPU算力在8年的合訓(xùn)練。2023年大模型訓(xùn)練算力需求為萬(wàn)卡左右，到了2024年則需每次重啟找回checkpoint都需要幾十分鐘，影響訓(xùn)練效率。（二）測(cè)試數(shù)據(jù)分析卡的實(shí)驗(yàn)環(huán)境，對(duì)胖樹網(wǎng)絡(luò)架構(gòu)和OCS靈活組網(wǎng)的RingAll-Reduce（三）潛在的研究領(lǐng)域與創(chuàng)新點(diǎn)隨著大模型的迭代發(fā)展，對(duì)算力的需求也更加巨大，未來(lái)需要5-10萬(wàn)GPU卡聯(lián)合模型訓(xùn)練，單卡已經(jīng)放不下模型的時(shí)候，百GB/PP數(shù)量AllReduce百GB/PP數(shù)量All2All插損需求：極低插損，機(jī)房環(huán)境復(fù)雜有可能過(guò)多級(jí)光纖配線架（四）面臨的挑戰(zhàn)六、結(jié)論與建議（一）研究成果總結(jié)光交換機(jī)關(guān)鍵技術(shù)路徑主要包括MEMS技術(shù)、DLC技術(shù)、和現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)架