數(shù)據(jù)中心網(wǎng)絡(luò)鏈路質(zhì)量可觀測體系技術(shù)報告 2024

[編號ODCC-2024-03004]開放數(shù)據(jù)中心標(biāo)準(zhǔn)推進委員會2024.09發(fā)布版權(quán)聲明轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應(yīng)注明I編寫組 I 1 1 1 2 3 4 5 5 5 6 6 6 8 23 27 39 57 59 61 68分析的能力。隨著云計算、大數(shù)據(jù)以及AI技術(shù)和應(yīng)用的迅猛發(fā)展，設(shè)備探活通過周期性地發(fā)送探測數(shù)據(jù)包來檢測網(wǎng)絡(luò)設(shè)備的連通網(wǎng)絡(luò)管理的行業(yè)標(biāo)準(zhǔn)協(xié)議，使用最為廣泛。隨著技術(shù)的發(fā)展，gRPC1通過Syslog提供集中記錄和分析網(wǎng)絡(luò)設(shè)備日志的機制，幫助網(wǎng)在業(yè)務(wù)端側(cè)，針對網(wǎng)絡(luò)質(zhì)量的可觀測性則主要通過Pingmesh探Pingmesh是一種網(wǎng)絡(luò)探測技術(shù)，主要用于在網(wǎng)絡(luò)中進行大規(guī)模周期性的ping數(shù)據(jù)包，來檢測網(wǎng)絡(luò)的連通性、延遲和丟包率等關(guān)鍵求數(shù)據(jù)包，早期數(shù)據(jù)包多使用ICMPPing，隨著需求變化，越來越多機構(gòu)開始采用TCP或者UDP數(shù)據(jù)包進行2景。在確保數(shù)據(jù)中心網(wǎng)絡(luò)可靠性和性能方面發(fā)揮著監(jiān)控。eBPF通過在內(nèi)核中加載自定義代碼來執(zhí)行特定的任務(wù)，這些用、測量執(zhí)行時間等。通過eBPF，可以在基本不影響系統(tǒng)性能的情況下，精確地觀測和分析網(wǎng)絡(luò)行為。eBPF作為一種新興的網(wǎng)絡(luò)監(jiān)控技術(shù)，在提高網(wǎng)絡(luò)質(zhì)量可觀測性方面具有巨大的潛力和價值。隨著eBPF生態(tài)系統(tǒng)的不斷成熟，它將在網(wǎng)絡(luò)管理和運維中扮演越來越重3其路徑組合更是幾何級增加。原有常用的基于ICMP的Pingmesh探?jīng)r，及時準(zhǔn)確發(fā)現(xiàn)網(wǎng)絡(luò)問題。越來越多機構(gòu)開始使用TCP/UDP進行時間延長，影響業(yè)務(wù)的連續(xù)性和用戶體驗。目4參考圖1，我們可以看到在Facebook數(shù)據(jù)中心仍有接近29%的事故5節(jié)點丟包根因：實現(xiàn)設(shè)備節(jié)點全部丟包檢測，覆蓋到Ingress和6基于逐跳收集的鏈路質(zhì)量可觀測技術(shù)是一種新興的鏈路質(zhì)量可絡(luò)性能和定位問題。目前，這類技術(shù)包括INT（In-bandNetwork7基于逐跳收集的網(wǎng)絡(luò)鏈路質(zhì)量可觀測技術(shù)為IFA是一個網(wǎng)絡(luò)帶內(nèi)遙測技術(shù)的IETF規(guī)范。IFA的宗旨是設(shè)計8流轉(zhuǎn)換為IFA流、把IFA流重新插入數(shù)據(jù)通道。起始節(jié)點可以指定一個模板ID，網(wǎng)絡(luò)中后續(xù)節(jié)點則會按照模板ID插入對應(yīng)的元數(shù)據(jù)。起始節(jié)點也可以要求元傳送節(jié)點只負責(zé)識別IFA報文，并在IFA報文中插入本節(jié)點的終止節(jié)點的功能包括：在IFA報文中插入本節(jié)點的元數(shù)據(jù)；對/html/draft-lapukhov-dataplane-probe-01的變種。9C15E18絡(luò)路徑上的所有節(jié)點按照模板ID的要求插入元883用來讓網(wǎng)絡(luò)節(jié)點識別該報文為IFA報文2復(fù)制請求，識別報文復(fù)制情況。0：無復(fù)制請求下一跳級別的復(fù)制請求，適用于L3ECMP路徑3：端口和下一跳級別的復(fù)制請求，適用于LAG接口的L3ECMP路徑44定識別，比如UDP目的端口為31337且“ProbeMarker”字段值為4IFAv2通過新增一個IP協(xié)議類型的方式來識別IFA報文，既支IFAv2的IFA功能節(jié)點的劃分方法和IFAv1相同，只是IFAv2數(shù)據(jù)生成IFA報告發(fā)送給采集器。在IP頭上使用一個新的IP協(xié)議號來標(biāo)識IFA數(shù)據(jù)包，把IP頭8Bit3：MF–元數(shù)據(jù)分片。指示可選元數(shù)據(jù)Bit7：校驗和-指示可選校驗和頭是否存48NextHdr84屬性含義ActionVector80：丟包1：數(shù)據(jù)包著色CurrentLength8當(dāng)前Metadata棧長度。須為4字節(jié)倍數(shù)。HopLimit8IFA域最大跳數(shù)RequestVector8可作為GNS的擴展4采用GNS的模式稱為“統(tǒng)一模式”。優(yōu)點元數(shù)據(jù)棧簡單且統(tǒng)一，采集器需要解析的負載更少。缺點是IFA域中所支持的元數(shù)據(jù)字段型，缺點是采集器的解析更加復(fù)雜。應(yīng)用INT指令。流是指在選定的頭字段上具有相同值的一域中不同供應(yīng)商的INT節(jié)點之間的互操作的行為和數(shù)據(jù)包頭格式。相同域內(nèi)的INT節(jié)點必須配置一致，以確保節(jié)點不排除有嵌套或分層的INT域）。INTSink可以決定將收包的信息獲取和分析的技術(shù)有了進一步的創(chuàng)新。基于P圖8不同的INT模式）：INT-MD是內(nèi)嵌式隨路網(wǎng)絡(luò)遙測模式，也是經(jīng)典的hop-by-hopINT-MD模式下的INTheader可以被插入到現(xiàn)有任何封裝格式INT-MDINTheader）：隨路metadata直接封裝成INTreport，并且發(fā)則有三部分INTreport封裝:TRGH(TelemetryReportGroupHIndividualReportMainConIndividualReportInnerCoINT-MX（eMbedinstruct(INT-MX模式只會在INTsou點，根據(jù)報文中包含的INTinstruction，將本節(jié)點的4Bit0置位表示如果沒有足夠的字節(jié)來記錄節(jié)點封裝后不需要轉(zhuǎn)發(fā)；Bit3置位表示每個支持Namespace-IDNodeLen57在節(jié)點數(shù)據(jù)列表被認為溢出之前，此字段以4888Namespace-ID8IOAM域中含有三類主要功能節(jié)點：封裝節(jié)點（Encap標(biāo)準(zhǔn)IOAM信息采用逐跳累加轉(zhuǎn)發(fā)信息并以護照模式進行上報。在報文轉(zhuǎn)發(fā)過程中，Encapsulati本節(jié)點的Metadata信息封裝成IOAM報文上送數(shù)據(jù)檢測平臺IOAM-DEX采用非逐跳累加，以IOAMinstruction，將本節(jié)點的Metadata封裝成IOAM報文直接上送Transit節(jié)點根據(jù)IOAMinstruction，將本節(jié)點的Metadata封裝上送至數(shù)據(jù)檢測平臺，同時剝離掉IOA文信息封裝在IPv4/IPv6的option字段，數(shù)據(jù)中心交換機芯片不對圖14基于IPv6擴展頭選項字段的IOAM格式示意圖表8基于IPv6擴展頭選項字段的IOAM各字段及含義表1業(yè)務(wù)流標(biāo)識，設(shè)備內(nèi)唯一18option數(shù)據(jù)長度（字節(jié)數(shù)）8解封裝節(jié)點通過匹配FlowID，收集報文對息上報給數(shù)據(jù)檢測平臺，同時刪除封裝頭信息，恢復(fù)原始報文進行時延染色，記錄該報文的入口時戳t在入節(jié)點采用五元組為IP業(yè)務(wù)流分配FlowID，對特定報文進In-situFlowInformationTelemetry(IFIT)是一種務(wù)與新架構(gòu)的高可靠性要求?，F(xiàn)有的OAM技術(shù)多為帶外測量技術(shù)，a)1:1丟包分析：能夠?qū)Ω信d趣流量進行IP頭和傳輸層頭部之間。IPv4Vxlan報文中IFIT報文頭緣網(wǎng)絡(luò)設(shè)備的Ingress方向接口進入網(wǎng)絡(luò)的報文數(shù)記為Pi，經(jīng)過中間設(shè)備的流量轉(zhuǎn)發(fā)，從另一邊緣網(wǎng)絡(luò)設(shè)備的Egress方向接口離開該網(wǎng)開網(wǎng)絡(luò)的流量之間的差，獲得丟包數(shù)量和丟包率數(shù)據(jù)。以圖D所示的網(wǎng)絡(luò)為例，統(tǒng)計流從DeviceA進入，從DeviceC離開。如圖E所示的是一段時間內(nèi)報文從進入網(wǎng)絡(luò)到離開網(wǎng)絡(luò)時各個設(shè)備上的丟包理相同個統(tǒng)計周期+截至目前本周期（對應(yīng)上圖的T1+x*T2）內(nèi)染色位置0本統(tǒng)計周期內(nèi)報文時延為d(DevicePathTracing擁有非常低的額外開銷，它僅通過從數(shù)據(jù)低開銷的PT報頭在每一跳收集MCD(Mid-P下面介紹PathTracing具體技PT-Source：啟動PT會話并生成PT探PT-Midpoint：數(shù)據(jù)包路徑中的節(jié)點。PT-Sink:接收Probe并在加上自身PT信息后，封裝并發(fā)往區(qū)Analytics（分析節(jié)點）其中MCD會帶的信息為：然而，這些方法并未減少總字節(jié)數(shù)或PPS開銷，CSIG主要考CSIG支持隧道和加密，簡化復(fù)雜部署），RS量化的信號值(compact版本記錄索引，expand版本支持記T的TPID，以確保與現(xiàn)有網(wǎng)絡(luò)的高度兼容性。CSIG如圖所示，CSIG提供了簡單、固定長度的路徑瓶頸鏈路總結(jié)，據(jù)包路徑的網(wǎng)絡(luò)設(shè)備收集信息。然后，每個數(shù)據(jù)選項或有效載荷將收集的信息返回給數(shù)據(jù)發(fā)送者,使得發(fā)送者了解到數(shù)據(jù)流傳輸路徑的瓶頸信息。CSIG在網(wǎng)絡(luò)設(shè)備上使用簡單的比較和設(shè)備傳輸過程中，保持第4層CSIG反射頭不變發(fā)送者從傳入數(shù)據(jù)包多種信號：傳輸層負責(zé)管理和利用CSIG信息，為流狀態(tài)的一部分。發(fā)送端能夠利用所有支持的CSIG信號，包括擁CSIG通過在數(shù)據(jù)包上添加和更新標(biāo)記來收集網(wǎng)絡(luò)路徑信息。在監(jiān)控端側(cè)數(shù)據(jù)流狀態(tài)，針對異常數(shù)據(jù)流可觸發(fā)在該數(shù)據(jù)流插入圖34結(jié)合端側(cè)的IFA部署方案在進行網(wǎng)絡(luò)質(zhì)量探測時，有兩種方案，一種是Pingmesh方式的在服務(wù)器主動構(gòu)造發(fā)起IFA探測報文，模擬業(yè)務(wù)五元組，流經(jīng)路徑交換設(shè)備打上IFA信息，到達目的服務(wù)器后分析上報。在服務(wù)器/交換機隨業(yè)務(wù)流添加IFA包頭，流經(jīng)路徑交換設(shè)備打上IFA信息，每跳Postcard上報或最終到達目的端分析上報結(jié)果。1.實現(xiàn)簡單，可按需構(gòu)造指定數(shù)量和間隔的探測報文；2.報文長度較短，可容納更多3.可實現(xiàn)無中斷全網(wǎng)絡(luò)覆蓋，及時發(fā)現(xiàn)問題；1.完整跟蹤真實業(yè)務(wù)流，2.針對真實業(yè)務(wù)流實現(xiàn)網(wǎng)絡(luò)自證清白；3.無額外探測數(shù)據(jù)流4.模擬業(yè)務(wù)流探測，對真實業(yè)務(wù)流偶發(fā)問題不易發(fā)現(xiàn)；5.額外探測數(shù)據(jù)流；需額外芯片處理，性能存在瓶頸；應(yīng)處理；測基于真實業(yè)務(wù)流實時自動化結(jié)合端側(cè)的IFA部署方案需要考慮以下關(guān)鍵點：集成，當(dāng)前網(wǎng)絡(luò)鏈路IFA各廠商實現(xiàn)不同，甚至同一廠商的IFA協(xié)圖35數(shù)據(jù)中心INT部署與組網(wǎng)拓撲設(shè)置采樣策略：配置采樣策略，確定哪些報文需要插入INT頭下發(fā)配置：通過控制器將采樣策略和Watchlist下發(fā)到使能INT圖36數(shù)據(jù)中心INT節(jié)點與處理流程插入INT頭部：根據(jù)數(shù)據(jù)采集的需要，在指定位置插封裝元數(shù)據(jù)：將INT頭部所指定的遙測信息封裝成元數(shù)據(jù)），報文轉(zhuǎn)發(fā)到帶內(nèi)網(wǎng)絡(luò)遙測系統(tǒng)的Sink節(jié)點時：部署IFIT可以實現(xiàn)對用戶業(yè)務(wù)流進行直接的丟包、時延統(tǒng)計。入口和出口分別統(tǒng)計，然后匯總得出要統(tǒng)計的性能指標(biāo)。如圖3.5-1統(tǒng)計流是實施IFIT統(tǒng)計的關(guān)鍵要素，每次統(tǒng)計必須首先指定統(tǒng)根據(jù)網(wǎng)絡(luò)中報文的轉(zhuǎn)發(fā)流向，IFIT的統(tǒng)計測量點分為Ingress、征識別業(yè)務(wù)流量，對業(yè)務(wù)報文進行統(tǒng)計并插入IFIT頭，統(tǒng)計結(jié)果上統(tǒng)計系統(tǒng)由一個配置了IFIT功能的頭節(jié)點設(shè)備，以及多臺使能路徑分析：在某一個統(tǒng)計周期內(nèi)，網(wǎng)絡(luò)節(jié)點記錄報文入/出端口并上報控制器，控制器根據(jù)設(shè)備上報的入/出端口還原流量的轉(zhuǎn)發(fā)路PathTracing（以下簡稱PT）是一種用于記錄數(shù)據(jù)包傳輸路徑的路徑記錄：PathTracing能夠記錄數(shù)據(jù)包在網(wǎng)絡(luò)中傳輸時經(jīng)過的延遲測量：PathTracing可以記錄端到端延遲和每跳延遲，幫助負載測量：PathTracing還記錄了每個出口接口的負載情況，提低開銷：PathTracing使用僅40字節(jié)的IPv6逐跳擴展頭即可追[I-D.song-opsawg-ifit-framework]和[I-D.kumar-ippm-if細粒度時間戳：PathTracing支持細粒度時間戳，能夠提供高精硬件友好：PathTracing被設(shè)計為在基礎(chǔ)流水線中實現(xiàn)線速硬件PathTracing技術(shù)適用于需要詳細了解數(shù)據(jù)包傳輸路徑和網(wǎng)絡(luò)性析和審計、通過PathTracing，網(wǎng)絡(luò)管理員可以獲得詳細的網(wǎng)絡(luò)路徑信息和性能數(shù)據(jù)，從而更好地管理和優(yōu)化網(wǎng)AnalyticsAnalyticsRegionalCollectorEBMGACKFLJAnalyticsAnalyticsKBMGACEFLJ生成到PTSink節(jié)點的SRv6數(shù)據(jù)包AnalyticsAnalyticsRCMidpointBMMidpointGACKEFLJ路由器，會逐跳記錄有效PT信息。PT-Midpoint節(jié)點需要在硬件PT-Midpoint壓縮數(shù)據(jù)(MCD)信息，包括輸出接口ID、接口負載和入本節(jié)點MCD數(shù)據(jù)。JAnalyticsJAnalyticsEKEKBFALBFALGCMGCMECMP的數(shù)據(jù)轉(zhuǎn)發(fā)路徑分析如圖所示展示了CSIG部署和運行架構(gòu)，CSIG部署的關(guān)鍵要點每跳最大延遲：通過使用CSIG，擁塞控制算法如Swift可以更），更好地根據(jù)實際的瓶頸鏈路利用率（如圖中頭結(jié)點TOR所示最小可用帶寬：利用CSIG的最小（如圖中尾結(jié)點TOR所示ABW=20G）信息，傳輸可以安全地從高帶寬開始，避免啟動速度不負載平衡與多路徑：數(shù)據(jù)中心拓撲在任意源-目標(biāo)對之間采用多種路徑。傳輸采用諸如保護負載平衡【PL分大規(guī)模擁塞和核心網(wǎng)絡(luò)擁塞，然后可用于調(diào)整負載均衡/多路徑操流量工程：對數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)層，流量工程為跨聚合源-目的對創(chuàng)建帶寬合適的路徑，CSIG可用于向TE系統(tǒng)提供精細的路徑水聚合匯總CSIG信號，TE可以動態(tài)調(diào)整路徑和帶寬分配流量，以適在應(yīng)用網(wǎng)絡(luò)流程中，CSIG信息通過其瓶頸定位器可以快速準(zhǔn)確總之，CSIG作為網(wǎng)絡(luò)中關(guān)鍵的反饋信號，能夠顯著提升網(wǎng)絡(luò)資多種類型新挑戰(zhàn)：終端側(cè)的接入設(shè)備鏈路質(zhì)量監(jiān)控，AI網(wǎng)絡(luò)面臨的監(jiān)控新挑戰(zhàn)，運用AI介入監(jiān)控數(shù)據(jù)的處理過程等。行端節(jié)點數(shù)據(jù)處理的專用芯片DataProcessingUnit/Intelligentdata以IntelIPU為例，IPU擁有高性能P4可編程pack和上層應(yīng)用的前提下，為上層協(xié)議，例如RDMA，NVMe提供可靠文的IFAheader,CSIGheader,INTheader，并提取擁塞控制信息。根據(jù)規(guī)則對接受的IFA/CSIG/INT流進行修改，轉(zhuǎn)發(fā)或丟棄。對發(fā)送息或其他用戶定義的擁塞信息對FALCON進行per-connection擁塞提供的擁塞狀態(tài)實施端到端的擁塞控制。普通Fullmesh監(jiān)控方式無法覆蓋所有鏈路。發(fā)生在未被監(jiān)控覆蓋鏈流量經(jīng)過的網(wǎng)絡(luò)節(jié)點，如GPS一樣繪制出每塊區(qū)域的精確坐標(biāo)，這應(yīng)用流分析器探測流分析器采樣Leaf2采樣Leaf2Leaf1Leaf1服務(wù)器2服務(wù)器1服務(wù)器2服務(wù)器1勃發(fā)展，標(biāo)準(zhǔn)化組織（如3GPP,ITUSG13,IMT-2030(6G)推進組，伴隨著人工智能(artificialintelligence,AI)三大驅(qū)動力——算力、標(biāo)準(zhǔn)化組織（如3GPP,ITU,IMT-2030(6G)推進組，6G-ANA等等）、學(xué)術(shù)屆以及產(chǎn)業(yè)屆已經(jīng)在積極探索如何借助AI技術(shù)產(chǎn)業(yè)屆也在不斷推出集成了AI算力的各種芯片，尤其是數(shù)據(jù)中心交數(shù)據(jù)中心的鏈路質(zhì)量可觀測也可以借力于AI技術(shù)尤其是深度神經(jīng)網(wǎng)絡(luò)的非線性處理能力來實現(xiàn)。根據(jù)需要觀測的網(wǎng)絡(luò)鏈路指標(biāo)(如鏈路負載、時延、丟包等等)建立AI模型(如神經(jīng)元模型)，從生產(chǎn)環(huán)鏈路排隊情況的指標(biāo)包括：交換機端口轉(zhuǎn)發(fā)時延、端口出方向ECN計數(shù)器、端口出方向PFC計數(shù)器。交換機的INT遙測能力換機上的INT遙測能力可采集以下不同類型的指標(biāo)：（TimestampNanoSeconds/TimestampMicroSeconds）、報文出端口的報文轉(zhuǎn)發(fā)量計數(shù)器（PortXmitByte文轉(zhuǎn)發(fā)量計數(shù)器（QueueXmitBytes/QueueXmitPkts）、報文出端口的（QueueBufferCells）、報文出端口的丟包量（PortDi為了保證遙測信息的有效性，交換機需要允許對INT報文進行特定的配置，以保證根據(jù)普通業(yè)務(wù)報文轉(zhuǎn)換出來的INT報文具有相同的文進行采樣，并根據(jù)采樣后的業(yè)務(wù)報文重新生成INT報文。重新生成的INT報文在產(chǎn)生節(jié)點進入與業(yè)務(wù)報文一致的報文流水線，以使色的交換機上對普通業(yè)務(wù)報文采用CloneMode或InlineM新報文，并對修改新報文頭部字段使其成為INT報文；帶內(nèi)模式（InlineMode）為在原始報文上直接修改使其成為INT報文。INT報文截斷功能（Cut-off）角色的交換機上對使用克隆模式生成的INT報文，采用報文截斷技術(shù)。交換機將根據(jù)配置將INT報文尾部截斷，僅保留報文頭部字段針對INT報文在網(wǎng)絡(luò)交換機內(nèi)終結(jié)的需求，在配置成INT換出來的報文進行終結(jié)，將報文的INT頭部刪除并將其還原成普通業(yè)務(wù)報文，并繼續(xù)轉(zhuǎn)發(fā)至下一跳。終結(jié)節(jié)點可將INT報文的頭部信網(wǎng)卡側(cè)的INT遙測能力根據(jù)鏈路發(fā)現(xiàn)和鏈路質(zhì)量遙測的需求，網(wǎng)卡上的INT