算網(wǎng)融合關鍵技術和發(fā)展路徑研究

算網(wǎng)融合關鍵技術和發(fā)展路徑研究本期專題MonthlyTopic算網(wǎng)融合關鍵技術和發(fā)展路徑研究ResearchonKeyTechnologiesandDevelopmentPathsofComputingandNetworkConvergenceLiZhenwen，LiFang，ZhaoJunfeng（ChinaAcademyofInformationandCommunicationsTechnology，Beijing100191，China）為實現(xiàn)算力和網(wǎng)絡資源的統(tǒng)一納管和融合路由調度，業(yè)界已經(jīng)進行了積極的研究和探索，并推動制定了算網(wǎng)融合的整體框架，具體的技術和標準也在研究和制定，但由于涉及到異構算力的統(tǒng)一度量和算力交易等流程，實現(xiàn)復雜度較高，技術，采用邊研究邊實踐的策略，分3個階段逐步推進，最終實現(xiàn)算網(wǎng)融合的目標架構。關鍵詞：Abstract：Keywords：“東數(shù)西算”工程是我國為促進信息基礎設施優(yōu)化升級、推動數(shù)字經(jīng)濟加速發(fā)展而提出的一項重大戰(zhàn)需要算網(wǎng)融合的支撐。所謂算網(wǎng)融合，是以通信網(wǎng)絡設施和計算設施的融合發(fā)展為基礎，通過計算、存儲及網(wǎng)絡資源統(tǒng)一編排管控，滿足業(yè)務對網(wǎng)絡和算力靈活泛在、彈性敏捷需求的一種新型業(yè)務模式。在此背景下，算網(wǎng)融合的架構和技術成為業(yè)界研究熱點。收稿日期：2024-01-091算網(wǎng)已有架構和調度技術分析算網(wǎng)融合本質上希望打破云計算、存儲資源和網(wǎng)絡資源各自獨立、無法協(xié)同的現(xiàn)狀。運營主體和服務方式方面，算網(wǎng)融合的運營者除電信運營商之外，還有云廠商和第三方企業(yè)；運營者可提供多樣化網(wǎng)絡接入，具備算力感知、一體化管理和編排調度能力，可實現(xiàn)算網(wǎng)服務的彈性供給、自主定制、隨需交易；支撐技術如算網(wǎng)統(tǒng)一度量和交易、編排調度、算力資源發(fā)布郵電設計技術/2024/0231本期專題MonthlyTopic算網(wǎng)融合關鍵技術和發(fā)展路徑研究隨著以容器和微服務為代表的云原生技術的發(fā)展，算力資源統(tǒng)一管理和調度技術成為目前行業(yè)研究熱點，當前應用較多的算力調度系統(tǒng)以超算和HPC的資源調度為主，主要有IBM公司的LFS、Altair公司的PBSpro以及開源的Slurm等。面向大模型訓練等智算場景，微軟在其CycleCloud上將超算算力調度系統(tǒng)和云的Kubernetes進行結合，為用戶提供可專用于AI大模型訓練的環(huán)境。此外國內企業(yè)也已經(jīng)開始了對算力調度系統(tǒng)的研究，并推出了如QuickPool、SkyForm等產品。Slurm在科研機構和院校中應用較多，其架構如圖1所示，采用Slurmctld服務監(jiān)測資源和作業(yè)。各計算節(jié)點啟動Slurmd守護進程，被作為遠程shell使用Slurmdbd（SlurmDataBaseDaemon）數(shù)據(jù)庫守護進程，將多個Slurm管理的集群的記賬信息記錄在同一個數(shù)據(jù)庫中。用戶可以使用一系列命令工具如Srun（運行作業(yè)）等對作業(yè)進行管理。另外還可以通過Slurm? 與Slurm進行交互。節(jié)點是Slurm調度的單位之一，每由Slurm自動分配給作業(yè)，通常只需要用戶指定數(shù)量。但如果有特別的需要，用戶也可以直接給定節(jié)點列表或者用參數(shù)排除一些節(jié)點。Kubernetes也是一個開源平臺，用于管理容器化的工作負載和服務，在大規(guī)模集群的資源管理中應用廣泛（見圖2）。Pod是在Kubernetes集群中運行部署應用或服務的最小單元，可支持多容器。Node節(jié)點主要作為計算節(jié)點，實現(xiàn)本地Pod的部署運行和相關計調度將Pod放置到合適的Node節(jié)點上，調度器通過Kubernetes的監(jiān)測機制來發(fā)現(xiàn)集群中尚未被調度到節(jié)點上的Pod。它會依據(jù)提前設置的調度原則來做出調度選擇。kube-scheduler是Kubernetes集群的默認調度器。kube-scheduler給一個Pod做調度選擇時包含過濾和打分2個步驟，其中過濾階段會過濾掉候選節(jié)點中不滿足可用資源需求的節(jié)點，形成可調度節(jié)點列表，而打分階段，調度器會根據(jù)預設的打分規(guī)則為每一個可調度節(jié)點打分，最終選出一個最合適的節(jié)點來運行Pod。在做調度決定時需要考慮的因素包括單獨和整體的資源請求、硬件/軟件/策略限制、親和以及反KubernetesclusterproviderAPIAPIservercloudcontrollerControllermanageretcdkubeletkube-proxySchedulerControlplaneControlPlane圖2Kubernetes集群的組件Controllerdaemonssecondary slurmctldClientcommands（partiallist）slurmctldscontrolslurmdbd（optionalbutrecommended）squeuesbatchsrunsacctmgrsacctslurmdslurmdslurmd…ComputenodedaemonsslurmdControllerdaemonssecondary slurmctldClientcommands（partiallist）slurmctldscontrolslurmdbd（optionalbutrecommended）squeuesbatchsrunsacctmgrsacctslurmdslurmdslurmd…ComputenodedaemonsslurmdOther clustersDatabaseDatabase1.3網(wǎng)側資源管理與調度架構VxLAN+EVPN方案是數(shù)據(jù)中心網(wǎng)絡的重要部署方案。VxLAN技術通過將原始報文封裝在UDP報文中，可以將傳統(tǒng)的二層網(wǎng)絡擴展到三層網(wǎng)絡，實現(xiàn)數(shù)據(jù)中心網(wǎng)絡的虛擬化，提高網(wǎng)絡的可擴展性和靈活性。EVPN技術則是一種基于BGP的以太網(wǎng)虛擬專用LAN需要通過泛洪的方式學習終端主機地址的問題，從而提供跨數(shù)據(jù)中心的數(shù)據(jù)傳輸和VPN服務。同時，VxLAN和SDN聯(lián)合部署已經(jīng)成為智能化云數(shù)據(jù)中心的必要組件，VxLAN作為數(shù)據(jù)平面解耦租戶網(wǎng)絡和物理網(wǎng)絡，SDN將租戶的控制能力集成到云管平臺，與計算、存儲資源聯(lián)合調度，提升了數(shù)據(jù)中心322024/02/DTPT算網(wǎng)融合關鍵技術和發(fā)展路徑研究本期專題MonthlyTopicVxLANTunnelVxLANTunnelFP3PG-FinancePG-EngineeringVxLANTunnelVxLANTunnelFP3PG-FinancePG-EngineeringFP1FPFP1Cluster1ClusterCluster1PG-Marketing圖3SDN+VxLAN數(shù)據(jù)中心網(wǎng)絡承載方案云、算側算力調度系統(tǒng)實現(xiàn)了集群內算力任務和容器化資源的調度管理，在進行負載均衡時可以考慮CPU、內存和網(wǎng)絡帶寬利用率等因素，并且通過調度算法的不斷優(yōu)化，使得集群內節(jié)點的利用率更高，但是這里的網(wǎng)絡資源信息還相對粗放，沒有精確的帶寬、時延等信息，使得用戶獲取到的算力服務路徑不一定是最優(yōu)路徑，這個問題同樣存在于DNS域名解析服務器進行終端請求的應答過程中。好地解決了數(shù)據(jù)中心間虛機遷移的問題，但同時也存在無法支撐將Underlay網(wǎng)絡資源的信息與算力資源信息融合到一起進行調度的問題，所以為了更好地支撐算網(wǎng)融合，需要SRv6等更具有潛力的網(wǎng)絡技術。另RDMA技術也已經(jīng)被廣泛應用于智算集群內的互聯(lián)。2算網(wǎng)融合目標架構和關鍵技術分析2.1整體目標架構相關標準進展中國三大運營商、設備商、服務器廠商等在CCSA立項了《算力網(wǎng)絡總體技術要求》，目前已完成報批稿，主要規(guī)定了算力網(wǎng)絡的總體技術架構和技術要求，包括算力網(wǎng)絡的總體架構和接口描述，以及算力服務技術要求、算力路由技術要求、算網(wǎng)編排管理技術要求等，其中算力網(wǎng)絡總體功能邏輯架構如圖4所示。為了實現(xiàn)對算力和網(wǎng)絡的感知、互聯(lián)和協(xié)同調度，算力網(wǎng)絡架構體系從邏輯功能上劃分為算力服務層、算力路由層、算網(wǎng)管理層、算網(wǎng)基礎設施層四大功a）算力服務層。提供算力的各類能力及應用，并將用戶對業(yè)務SLA的請求（包括算力請求等參數(shù)）傳遞給算力路由層。b）算力路由層。基于抽象后的計算資源發(fā)現(xiàn)，實現(xiàn)對算力節(jié)點的資源信息感知；另一方面，通過在用算力服務層算力路由層算網(wǎng)基礎設施層VRARV2XI1接口算力路由控制算網(wǎng)服務通告算網(wǎng)拓撲發(fā)現(xiàn)算網(wǎng)路由生成算網(wǎng)感知調度算力路由轉發(fā)算網(wǎng)路由標識算網(wǎng)路由轉發(fā)算網(wǎng)路由尋址隨路算力監(jiān)控I2接口I3-1接口I3-2I3-1接口I3-2接口I3-3接口算網(wǎng)編排管理層算力運營算網(wǎng)服務編排算力資源管理算力OAM算力注冊算力度量與建模算網(wǎng)安全網(wǎng)絡資源管理FPGAFPGA網(wǎng)絡資源圖4算力網(wǎng)絡總體功能邏輯架構33郵電設計技術/2024/0233本期專題MonthlyTopic算網(wǎng)融合關鍵技術和發(fā)展路徑研究戶請求中攜帶業(yè)務需求，實現(xiàn)對用戶業(yè)務需求的感知。綜合考慮用戶業(yè)務請求、網(wǎng)絡信息和算力資源信息，將業(yè)務靈活按需調度到不同的算力節(jié)點中，同時將計算結果反饋到算力服務層。算力路由層的部署實現(xiàn)支持集中式方式和分布式方式。c）算網(wǎng)編排管理層。實現(xiàn)對算力服務的運營與編排管理、對算力路由的管理、對算力資源的管理以及對網(wǎng)絡資源的管理，其中算力資源管理包括基于統(tǒng)一的算力度量衡體系，完成對算力資源的統(tǒng)一抽象描述，進而實現(xiàn)對算力資源的度量與建模、注冊和OAM管理等功能；以支持網(wǎng)絡對算力資源的可感知、可度d）算網(wǎng)基礎設施層。為滿足新興業(yè)務的多樣性計算需求，基于提供信息傳輸?shù)木W(wǎng)絡基礎設施，在網(wǎng)CPU、CPU+GPU+FPGA等多種算力組合。其中算網(wǎng)基礎設施層作為算力網(wǎng)絡的新型基礎設施層，算力服務層、算力路由層和算網(wǎng)編排管理層作為實現(xiàn)算力網(wǎng)絡可感、可控、可管的三大核心功能模塊，實現(xiàn)對算力和2.2支撐算力運營和交易的關鍵技術算力是設備或平臺為完成某種業(yè)務所具備的處理業(yè)務信息的關鍵核心能力，根據(jù)所運行算法和所涉及的數(shù)據(jù)計算類型不同，可將算力分為邏輯運算能力、并行計算能力和神經(jīng)網(wǎng)絡計算能力。算力的統(tǒng)一量化是算力調度、使用的基礎。對不同的計算類型，不同廠商的芯片有各自不同的設計，這就涉及異構算力的統(tǒng)一度量。不同芯片所提供的算力可通過度量函數(shù)映射到統(tǒng)一的量綱。算力分級可以供算力提供者設計業(yè)務套餐時參考，也可作為算力平臺設計者在設計算力網(wǎng)絡平臺時對算力資源的選型依據(jù)。智能應用對算力的訴求主要是浮點計算能力，因此業(yè)務所需浮點計算能力的大小可作為算力分級的依據(jù)。當前算力可分為超大型2.2.2算力交易泛在計算的算力交易平臺是一套基于區(qū)塊鏈的去中心化、低成本、保護隱私的可信平臺。平臺的計算節(jié)點由多種形態(tài)的算力設備組成，包含大型GPU設備或FPGA服務器集群、中小型企業(yè)閑散的空余服務器及個人閑置的計算節(jié)點等。平臺可以實現(xiàn)自動算力交易、自動算力匹配、費用結算功能。在算力賣家向算力買家提供服務的過程中，后者提出使用請求，算力交易平臺根據(jù)用戶需求自動尋找、匹配算力節(jié)點，并生成相應的賬單；在得到買家認可后，平臺調度相應的算力資源為買家提供服務，隨后執(zhí)行算力業(yè)務的節(jié)點根據(jù)提供的算力獲得相應的報酬。2.3支撐算網(wǎng)資源融合管理調度的關鍵技術2.3.1算網(wǎng)轉發(fā)技術——SRv6SRv6是源路由技術的一種，它采用現(xiàn)有的IPv6轉發(fā)技術，通過靈活的IPv6擴展頭，實現(xiàn)網(wǎng)絡可編程。為了實現(xiàn)SRv6轉發(fā)，需要向IPv6報文中插入一個段路Left和SegmentList字段共同決定IPv6目的地址（IPv6DA）信息，從而指導報文的轉發(fā)路徑和行為。未經(jīng)壓縮的SRv6SID是128位，主要由標識節(jié)點位置的LOC字段（IPv6前綴格式，可路由）、標識服務和功能的多種EndpointBehavior，每個節(jié)點需要實例化它們并分配SID，同時通過路由協(xié)議發(fā)布，以通知其他SRv6節(jié)點本節(jié)點能提供的Behavior。常用的EndpointBe?2.3.2算網(wǎng)感知技術——APN6APN6是在數(shù)據(jù)平面利用IPv6報文擴展頭（Exten?sionHeaders如逐跳選項頭（Hop-by-HopOptions程空間，攜帶應用的相關信息（標識和需求）到網(wǎng)絡中，網(wǎng)絡設備依據(jù)這些信息為其提供相應的網(wǎng)絡服務，如將報文映射進相應的能夠保障其SLA的SRv6路徑等。應用感知信息可以由用戶終端設備或應用直接生成，也可以由網(wǎng)絡邊緣設備生成，分別對應APN6的主機側方案和網(wǎng)絡側方案［4］。2.3.3算網(wǎng)融合路由技術——CFN為了解決邊緣計算系統(tǒng)中網(wǎng)絡信息和算力信息割裂，無法統(tǒng)一納管和進行最優(yōu)資源調度的問題，Yi?zhouLi等提出了CFN的概念，并在IETF提交了草案：和原理如圖5所示。CFN網(wǎng)絡按角色分為服務器節(jié)點、CFN節(jié)點和客342024/02/DTPT算網(wǎng)融合關鍵技術和發(fā)展路徑研究本期專題MonthlyTopic邊緣站點1邊緣站點2邊緣站點3服務節(jié)點服務節(jié)點服務節(jié)點CFN節(jié)點2CFN節(jié)點2CFN節(jié)點3客戶端客戶端圖5CFN網(wǎng)絡拓撲戶端。CFN通過控制面完成算力資源信息的全網(wǎng)同步。服務節(jié)點將本地服務狀態(tài)注冊到CFN節(jié)點的數(shù)據(jù)庫表項中。本地服務狀態(tài)一般包括服務的唯一標節(jié)點將本地服務狀態(tài)封裝到CFN路由協(xié)議報文中并擴散到其他CFN節(jié)點。CFN節(jié)點基于CFN路由協(xié)議將本地以及收到的其他CFN節(jié)點擴散的服務狀態(tài)信息匯總生成服務信息路由表。CFN數(shù)據(jù)面完成客戶端對服務節(jié)點ServiceID請求的路由轉發(fā)。與客戶端距離最近的CFN節(jié)點收到請求后，根據(jù)網(wǎng)絡資源、計算資源情況進行綜合評估，選擇一個服務節(jié)點以及相關聯(lián)的CFN出口節(jié)點，將原請求數(shù)據(jù)包封裝并發(fā)送。CFNEgress節(jié)點收到數(shù)據(jù)包，根據(jù)ServiceID查找對應服務節(jié)點IP，將數(shù)據(jù)封裝并發(fā)送。外層數(shù)據(jù)包源地址為客戶端IP，目的地址為服務節(jié)點IP。報文封裝的內層數(shù)據(jù)包源地址為客戶端IP，目的地址為ServiceID。服務節(jié)點收到數(shù)據(jù)包后在本地查詢與ServiceID綁定的服務地址，調用對應的服務，將結果返回給客戶端。3結束語營商希望借助政策發(fā)展的契機，在售賣網(wǎng)絡管道和出租數(shù)據(jù)中心基礎資源的同時，釋放更多的管道潛能，所以積極投入算力與網(wǎng)絡相融合的研究中，并在國際、國內標準組織推動制定了一系列算網(wǎng)融合的標準架構，但要真正實現(xiàn)算網(wǎng)融合的規(guī)模商用，無論是商業(yè)模式還是技術實現(xiàn)細節(jié)上都還存在較大差距。上述標準框架中，目標架構和業(yè)務流程都比較