AI 工作負載需要什么樣的數據中心網絡

為了處理不斷增長的AI工作負載，AI集群網絡必須提供前所未有的吞吐量、極低的延遲，并支持微數據突發(fā)等新的流量模式。更具挑戰(zhàn)性的是，傳統(tǒng)依賴硬件擴容提升網絡效能的路徑已難以滿足當前需求。AI特有的高強度與指數級擴展特性，正驅動著數據中心網絡架構的全面革新。當前，業(yè)界仍在探索未來AI優(yōu)化網絡的具體形態(tài)，仍有許多懸而未決的問題。其中最重要的是：以太網在前端和后端網絡中將扮演什么角色，以及數據中心運營商將以多快的速度采用下一代以太網和協(xié)議。集群內部為了探究AI工作負載對數據中心網絡的影響，我們需要了解其背后的運作機制。AI處理大致可分為兩個階段：訓練：這一階段聚焦于用海量數據“哺育”AI模型。模型通過對輸入與輸出間復雜模式及關聯(lián)的深度剖析，逐步精進預測能力，實現高度準確性。推理：在此階段，AI模型將訓練應用于實踐。模型接收到數據輸入，隨即展開分類或預測操作，輸出決策或答案。這兩個階段都需要大量計算資源，體現為專有且成本高昂的處理器單元，包括但不限于CPU、GPU、FPGA，以及其他定制化加速器。特別是對于AI推理而言，連接所有這些xPU（以及服務器和存儲）的網絡必須提供極高的帶寬、極低的延遲，并確保無數據包丟失。目前，這些嚴苛要求已迫使超大規(guī)模數據中心逼近技術與效率的瓶頸?？紤]到AI模型復雜度每三年增長1000倍的速度，僅僅通過擴大數據中心規(guī)模已無法滿足這些需求。因此，數據中心運營商需要從根本上重新設計和構建其網絡架構，以應對AI工作負載帶來的挑戰(zhàn)。AIFabric要求如今，運營商正在為AI工作負載投入大量的xPU。他們最終需要多少xPU，以及連接xPU的網絡規(guī)模，將取決于未來的AI應用場景。但可以預見的是，需要一種能夠支持數萬個xPU和萬億級密集參數的網絡架構。對于AI訓練而言，運營商在常規(guī)的硬件更新周期內應該能較好地支持工作負載，未來幾年這將推動前端網絡達到800Gbps甚至更高。然而，推理則是另一回事。在這方面，他們需要可擴展的后端基礎設施，能夠連接數千個xPU并實現以下幾點：大規(guī)模：與訓練相比，AI推理每個加速器可以產生5倍以上的流量，并且需要5倍以上的網絡帶寬。后端網絡還必須能夠支持數千個并行同步作業(yè)以及更多數據和計算密集型工作負載。

極低的延遲：對于實時AI推理，每一毫秒都至關重要。這些工作負載必須通過大量節(jié)點進行，并且此流程中的任何延遲都可能會阻礙可擴展性或導致超時。根據應用的不同，此類延遲可能會導致糟糕的用戶體驗、昂貴的制造錯誤或更糟糕的結果。

無數據包丟失：在數據中心運行的AI應用程序對數據包丟失高度敏感，這會增加延遲并降低網絡的可預測性。因此，AI集群網絡必須是無損的。這些后端網絡要求已經開始影響人工智能用戶體驗。據Meta稱，AI工作負載大約三分之一的時間都花在等待網絡上。

沒有單一的“正確”答案面對這些極端需求，數據中心運營商和支持他們的供應商應該如何應對？為了維持當前的AI工作負載以及未來的工作負載，最佳的基礎設施方法是什么？這仍然是一個懸而未決的問題。即使在新建的后端數據中心基礎設施中，也有著巨大的差異，谷歌、微軟和亞馬遜都采取了不同的路徑。然而，根據運營商的反饋及其投資的接口類型，我們對情況有了更清晰的認識。Dell'OroGroup預測，在用于數據攝取的前端網絡中，到2027年，三分之一的以太網端口將達到800Gbps或更高。在后端網絡中，運營商迫切需要提高吞吐量和降低延遲，發(fā)展速度更快。到2027年，幾乎所有后端端口都將達到800G及以上，帶寬將以三位數的速度增長。盡管大多數運營商將繼續(xù)在前端網絡中使用以太網，但后端基礎設施將會有所不同。根據所支持的AI應用程序，部分運營商可能會傾向于使用像InfiniBand這樣的無損技術。另一些則可能偏好標準化以太網的熟悉度和經濟性，并結合諸如RoCEv2協(xié)議等技術，以實現無損和低延遲的數據流。還有一些運營商會同時使用InfiniBand和以太網。目前而言，并沒有單一的“正確”答案。除了價格和部署規(guī)模等考慮因素之外，數據中心運營商還需基于預期支持的AI工作負載，考慮多個因素，包括：帶寬和延遲要求模型訓練是在內部進行還是外包標準化與專有技術的選擇

對所考慮技術的未來路線圖的適應程度展望未來盡管未來尚存變數，但為AI集群開發(fā)連接解決方案的供應商不得不在緊迫的時間線內奮力推進。在市場需求的推動下，400G以太網的部署正在增加，供應商也在盡可能快地生產800G芯片組，并且1.6Tbps以太網標準的工作也在推進中。與此同時，嚴格的測試將變得更加重要，并需要針對AI基礎設施的速度和規(guī)模設計新的測試和仿真工具。供應商將需要驗證新型以太網產品的能力，進行高速定時和同步測試，確保多供應商組件的互操作性等?？紤]到為