基于公網(wǎng)體驗云網(wǎng)測評白皮書-2023.12

基于公網(wǎng)體驗云網(wǎng)測評白皮書文檔版本

1.0發(fā)布日期

2023-9發(fā)布單位

華為云計算技術(shù)有限公司版權(quán)所有

?

華為云計算技術(shù)有限公司

2023。

保留一切權(quán)利。非經(jīng)華為云計算技術(shù)有限公司書面同意，任何單位和個人不得擅自摘抄、復(fù)制本手冊內(nèi)容的部分或全部，并不得以任何形式傳播。商標聲明、

HUAWEI、華為、或者注冊商標。是華為技術(shù)有限公司的商標在本手冊中以及本手冊描述的產(chǎn)品中，出現(xiàn)的其他商標、產(chǎn)品名稱、服務(wù)名稱以及公司名稱，由其各自的所有人擁有。免責(zé)聲明本文檔可能含有預(yù)測信息，包括但不限于有關(guān)未來的財務(wù)、運營、產(chǎn)品系列、新技術(shù)等信息。由于實踐中存在很多不確定因素，可能導(dǎo)致實際結(jié)果與預(yù)測信息有很大的差別。因此，本文檔信息僅供參考，不構(gòu)成任何要約或承諾。華為云可能不經(jīng)通知修改上述信息，恕不另行通知。華為云計算技術(shù)有限公司貴州省貴安新區(qū)黔中大道交興功路華為云數(shù)據(jù)中心電話：(0755)

28780808郵編：5500252基于公網(wǎng)體驗云網(wǎng)測評白皮書目錄156術(shù)語與縮寫公網(wǎng)體驗的測量現(xiàn)狀公網(wǎng)接入云服務(wù)的組成基于出云的主動測量測試

18基于入云的被動測量測試

2118234公網(wǎng)體驗的測評方法云應(yīng)用的體驗現(xiàn)狀互聯(lián)網(wǎng)的連接現(xiàn)狀2222公網(wǎng)質(zhì)量測評現(xiàn)狀公網(wǎng)體驗指數(shù)CEI78總結(jié)與展望總結(jié)與展望2728互聯(lián)網(wǎng)的現(xiàn)狀891112Internet的連接類型國內(nèi)運營商網(wǎng)絡(luò)概況海外運營商網(wǎng)絡(luò)概況附錄典型應(yīng)用對網(wǎng)絡(luò)的訴求參考文獻典型應(yīng)用場景時延敏感型場景丟包率敏感型場景141617本白皮書感謝以下組織和人員顧問組成員方國偉

華為云產(chǎn)品管理部孫

維

華為云廣域網(wǎng)團隊黃

翔

華為云廣域網(wǎng)團隊米鵬輝

華為云廣域網(wǎng)團隊主編人員劉嗣發(fā)

華為云廣域網(wǎng)團隊張許寶

華為云廣域網(wǎng)團隊王瑤菁

華為

2012網(wǎng)絡(luò)技術(shù)實驗室高智強

華為云廣域網(wǎng)團隊周

帥

華為云廣域網(wǎng)團隊金

良

華為云公有云解決方案曾愛清

華為運營商BG李向華

華為運營商BG參編人員繆麗華、謝瓊、候貝、吳澤思、劉立州、楊坤、鄭正濱、彭國勇、齊春麗、李克進、吳景曦、張瑞4基于公網(wǎng)體驗云網(wǎng)測評白皮書1

術(shù)語與縮寫英文縮寫VM英文全稱中文全稱Virtual

Machine虛擬機ECSElastic

Compute

ServerElastic

IP彈性計算服務(wù)器彈性IP地址（公網(wǎng)IP）邊界網(wǎng)關(guān)協(xié)議自治系統(tǒng)EIPBGPBorder

Gateway

ProtocolAutonomous

SystemPointofpresenceAvailability

ZoneASPOP網(wǎng)絡(luò)訪問點可用區(qū)AZIPRANIPCOREIPradio

access

network

(IP

RAN)IPCore(Network)IP化無線接入網(wǎng)IP核心網(wǎng)ISPIXPInternet

service

provider

(ISP)Internet

exchange

point(IXP)互聯(lián)網(wǎng)服務(wù)提供商互聯(lián)網(wǎng)交換點MOBAMultiplayer

Online

Battle

Arena

(MOBA)多人在線戰(zhàn)術(shù)競技游戲IIGInternational

Internet

Gateway

(IIG)National

Internet

Exchange

(NIX)國際互聯(lián)網(wǎng)網(wǎng)關(guān)NIX國家互聯(lián)網(wǎng)交換點5基于公網(wǎng)體驗云網(wǎng)測評白皮書2

云應(yīng)用的體驗現(xiàn)狀隨著千行百業(yè)上云，企業(yè)生產(chǎn)環(huán)境遷移到云上，企業(yè)租戶或用戶訪問云的要求越來越高。企業(yè)應(yīng)用已經(jīng)從以前的可以訪問，演變到已經(jīng)追求更優(yōu)的網(wǎng)絡(luò)體驗。不論是企業(yè)還是云廠商，如何從綜合的云網(wǎng)的視角來評價云網(wǎng)絡(luò)對用戶體驗的影響，始終是一個難題。如何通過一套統(tǒng)一、客觀、綜合的評價體系來評價與網(wǎng)絡(luò)，是行業(yè)內(nèi)普通存在的痛點。例如，遠程高清會議要求畫質(zhì)高、不卡頓，實時對戰(zhàn)游戲要求時延低、不掉幀，備份存儲類業(yè)務(wù)要求大帶寬。豐富的云應(yīng)用對云網(wǎng)絡(luò)的體驗提出了更高的要求。不論是企業(yè)還是云商，如何從云網(wǎng)綜合質(zhì)量的視角來評價云網(wǎng)絡(luò)對用戶體驗的影響，始終是一個難題。通過正確的評價體系，從而找到影響云應(yīng)用體驗的改進點，對云網(wǎng)絡(luò)進行持續(xù)迭代改進，形成正向循環(huán)。圖-1

云網(wǎng)絡(luò)體驗的飛輪模型從云網(wǎng)絡(luò)體驗的飛輪模型中，可以看到，要持續(xù)的提升網(wǎng)絡(luò)的體驗，更好的為云應(yīng)用服務(wù)。一個典型的云網(wǎng)絡(luò)組網(wǎng)模型如下圖所示。6基于公網(wǎng)體驗云網(wǎng)測評白皮書圖-2

云網(wǎng)絡(luò)組網(wǎng)模型從上圖可以看到，用戶通過公網(wǎng)接入網(wǎng)絡(luò)，公網(wǎng)在整個云網(wǎng)絡(luò)的覆蓋最廣泛，由不同介質(zhì)的網(wǎng)絡(luò)組成，穩(wěn)定性和復(fù)雜性最高。業(yè)界公網(wǎng)的質(zhì)量對云應(yīng)用的影響稱之為Internet

Weather。圖-3

Internet互聯(lián)現(xiàn)狀(示例)全球Internet

網(wǎng)絡(luò)是由30407個BGP

AS通過BGP路由協(xié)議，由一定的互聯(lián)原則（Peering）組成。運營商之間通常不是以性能最優(yōu)選路，而是以路由可達和商業(yè)策略為原則進行互聯(lián)，這樣的策略決定了互聯(lián)網(wǎng)是一個無序、波動、無SLA保障的網(wǎng)絡(luò)。受此影響，對于時延、丟包率敏感型的行業(yè)客戶感知最深，影響相關(guān)云應(yīng)用的體驗。由于Internet范圍廣、場景復(fù)雜的特點，當(dāng)前行業(yè)內(nèi)并無一個權(quán)威的、統(tǒng)一的測評體系來衡量的公網(wǎng)質(zhì)量的優(yōu)劣，云廠商與企業(yè)租戶各自有一套測評體系，往往會因為評價體系的不同導(dǎo)致結(jié)果出現(xiàn)差異，無法精準的定位網(wǎng)絡(luò)的瓶頸所在，也無法有效的牽引云網(wǎng)質(zhì)量的健康發(fā)展，因此急需建立一套公網(wǎng)性能測評體系和標準，持續(xù)牽引云網(wǎng)絡(luò)可持續(xù)、高質(zhì)量的發(fā)展，提升云應(yīng)用的整體體驗。7基于公網(wǎng)體驗云網(wǎng)測評白皮書3

互聯(lián)網(wǎng)的連接現(xiàn)狀3.1

互聯(lián)網(wǎng)現(xiàn)狀全球Internet

網(wǎng)絡(luò)是由30407個BGP

AS(Autonomous

Systems)通過BGP路由協(xié)議，通過一定的互聯(lián)原則（Peering）互通組成，全球約80多萬條公網(wǎng)路由，Internet存在以下幾個特點：?

根據(jù)ISPs運營商的網(wǎng)絡(luò)拓撲、覆蓋能力、用戶及POP點的規(guī)模，分為Tier1/2/3三級運營商；?

Internet的拓撲、路由及流量的負荷，往往結(jié)合每個公司的商業(yè)利益，而不是純粹的技術(shù)層面的互聯(lián)互通，導(dǎo)致Internet的性能是無SLA約束的，處于持續(xù)的調(diào)整及波動中；?

盡管網(wǎng)絡(luò)之間的大多數(shù)互連（Peering）協(xié)議是保密的，但可以從跟蹤BGP路由起源和

BGP

路由的信息，

IP地址的歸屬、邊界路由器命名等信息等推斷出部分

Internet拓撲及互聯(lián)關(guān)系；?

盡管

ISP

之間的業(yè)務(wù)協(xié)議可能很復(fù)雜，但業(yè)界根據(jù)原始模型將業(yè)務(wù)關(guān)系抽象為以下三種最常見的類型：1)

Customer-to-Provider

(C2P)2)

Peer-to-Peer

(P2P)3)

Sibling-to-Sibling

(S2S)圖-4

典型的AS互聯(lián)關(guān)系備注：抽象模型摘自O(shè)n

Inferring

Autonomous

System

Relationships

in

theInternet,

IEEE/ACMTransactions

onNetworking,

December2001.8基于公網(wǎng)體驗云網(wǎng)測評白皮書3.2

Internet的連接類型Internet的接入方式種類較多，也是大部分個人用戶接入公有云的典型場景

，

Internet

的

接

入

類

型

具

體

可

以

分

為

ISP

（

IP

transit/Dedicated

IPTransit），IXP互聯(lián)網(wǎng)交換平臺，以及Peer運營商。圖-5

Internet的類型?

IP

Transit（簡稱IPT）：

ISP通告

Default路由及

Fullrouting(總量~90w條BGP路由)，通過接入IPT可以和全球任何在公網(wǎng)上的節(jié)點互通；?

Internet

Exchange

Provider（簡稱IXP）：在90年代興起于歐洲瑞典SUNET大學(xué)的一個互聯(lián)網(wǎng)交換平臺，主要通過一個二層的網(wǎng)絡(luò)及路由Routing

Server（RS）管理眾多的參與者，目前主要有各國的政府或者大學(xué)，已經(jīng)少量商業(yè)組織運營，全球目前有超過2000家IXP，只收取少量的IXP端口費用。IXP運營的主要目標有2個：1)

保持當(dāng)?shù)氐腎nternet流量在本地網(wǎng)絡(luò)進行交換，減少網(wǎng)間流量的結(jié)算成本；在亞太地區(qū)的流量成本估算，按照單Mbps流量的費用換算，IXP的成本約1/50IPT的流量成本，所以在商業(yè)流量運營中，存在極大的成本優(yōu)勢；2)

基于當(dāng)?shù)?本國的網(wǎng)絡(luò)流量，直接流量的互換帶來了網(wǎng)間時延的極大降低，極大的提高了最終用戶的體驗；目前業(yè)界最權(quán)威的IXP信息網(wǎng)站可以參見PeeringDB網(wǎng)站，可以查詢到詳細的IXP清單和參與者信息。/9基于公網(wǎng)體驗云網(wǎng)測評白皮書?Peer：主要分為PublicPeer和PrivatePeer，PublicPeer指通過IXP的線路和其他參與者建立BilateralPeer，共享物理帶寬，不需要單獨通過專線連接，復(fù)用接入IXP的物理線路。當(dāng)和對方Peer的流量較大時，或者對接比較單獨Peer時，可以單獨建立PrivatePeer，根據(jù)雙方的Peering策略完成，分為免費Peer和付費Peer。如下圖所示，PublicPeer的建立依賴雙方加入到共同的IXP平臺，可以復(fù)用已有的物理線路，構(gòu)建邏輯上的直連的BGP關(guān)系，優(yōu)點就是可以快速對接，和中小參與者無需額外單獨部署樓內(nèi)線完成對接，缺點是共享連接到IXP的物理帶寬，部分參與者流量突發(fā)會影響到其他參與者。Private

Peer是通過PrivateNetwork

Interconnect（PNI）方式完成，一般需要和對方協(xié)商對專線誰來投資，完成和雙方Peering

Router的直連對接，實現(xiàn)雙方流量直接的交換，不經(jīng)過IPT線路，減少互通時延及降低網(wǎng)間結(jié)算成本。圖-6

國內(nèi)移動運營商典型組網(wǎng)10

基于公網(wǎng)體驗云網(wǎng)測評白皮書3.3

國內(nèi)運營商網(wǎng)絡(luò)概況3.3.1

移動網(wǎng)絡(luò)移動網(wǎng)絡(luò)主要接入個人用戶。在移動網(wǎng)絡(luò)上，個人用戶通過無線空口接入運營商基站，通過移動回傳網(wǎng)絡(luò)接入到核心網(wǎng)網(wǎng)關(guān)后接入Internet。移動網(wǎng)絡(luò)接入云的主要特點是接入位置靈活，任何地點都可訪問網(wǎng)絡(luò)，帶寬相對較大，滿足個人用戶日常使用需求。缺點是空口帶寬的時延不穩(wěn)定。移動網(wǎng)絡(luò)也可接入企業(yè)用戶，通過專有的CPE設(shè)備接入到網(wǎng)絡(luò)，形成企業(yè)專網(wǎng)，本文暫不討論此類網(wǎng)絡(luò)。圖-7

國內(nèi)移動運營商典型組網(wǎng)3.3.2

固定網(wǎng)絡(luò)固網(wǎng)網(wǎng)絡(luò)主要接入個人用戶及中小企業(yè)，集團客戶兩大部分組成，在接入的網(wǎng)絡(luò)上，屬于2張不同的網(wǎng)絡(luò)承載，其中個人用戶及中小企業(yè)用城域網(wǎng)承載，每個省份都有不同的城域網(wǎng)，經(jīng)濟發(fā)達城市每個地市單獨建設(shè)城域網(wǎng)；大企業(yè)用戶（集團客戶）主要由新建的IDC網(wǎng)絡(luò)組成，主要特點是帶寬大，互聯(lián)層級少，能為大企業(yè)提供更加優(yōu)質(zhì)的互聯(lián)網(wǎng)服務(wù)。云廠商主要接入到固網(wǎng)運營商的IDC網(wǎng)絡(luò)，直接匯聚到骨干CR設(shè)備。圖-8

固網(wǎng)運營商典型組網(wǎng)11

基于公網(wǎng)體驗云網(wǎng)測評白皮書3.4

海外運營商網(wǎng)絡(luò)概況3.4.1用戶分布海外運營商數(shù)量較多，比如印度、印尼等，主流較大的運營商超過8家，用戶也相對分散；并且在不同的地理區(qū)域（州、邦、?。└鶕?jù)運營商的布局也存在差異。根據(jù)相關(guān)洞察，通過GSMA網(wǎng)站、BGP.HE網(wǎng)站路由等數(shù)據(jù)進行分析，可以洞察各TOP運營商的骨干網(wǎng)互聯(lián)結(jié)構(gòu)，以及網(wǎng)絡(luò)覆蓋范圍。以印度尼西亞為例，主要ISP及用戶分布：序號國家運營商名稱BGPAS7713179741印尼t(yī)elkom.co.id234印尼印尼印尼indosatm2.id23693476147952394713111156印尼印尼moratelindo.co.idtri.co.id457271332141788524203139994789印尼印尼印尼xl.co.id9905237007632linknet.co.id1745138482133800表-1

示例-印尼TOP運營商列表及用戶分布（數(shù)據(jù)來自互聯(lián)網(wǎng)，僅供參考）12

基于公網(wǎng)體驗云網(wǎng)測評白皮書3.4.2

海外運營商特點海外各Top運營商的網(wǎng)絡(luò)架構(gòu)基本類似，無線業(yè)務(wù)組網(wǎng)使用無線網(wǎng)絡(luò)和移動承載網(wǎng)絡(luò)（IPRAN）；家庭寬帶業(yè)務(wù)使用城域網(wǎng)架構(gòu)，通過L2/L3

VPN構(gòu)建固定承載網(wǎng)絡(luò)。多數(shù)運營商使用一張綜合FMC

承載網(wǎng)絡(luò)承載無線和寬帶業(yè)務(wù)，主要根據(jù)每個國家的用戶規(guī)模不同，在組網(wǎng)規(guī)模上略有差距，相比而言，存在如下幾個特點?

運營商市場競爭充分，運營商數(shù)量較多，部分國家缺少國家級IXP或者Peer互聯(lián)，內(nèi)部運營商之間無法互通，流量交換需要繞行國外節(jié)點；?

跨國公司不同國家子網(wǎng)之間流量互通差，集團弱管控，本國子網(wǎng)無法覆蓋其他鄰近國家子網(wǎng)；?

基礎(chǔ)設(shè)施落后的國家，一般光纜是在地面以上部署（電線桿/高速路兩邊），物理施工、火災(zāi)、地震、泥石流等影響網(wǎng)絡(luò)質(zhì)量不穩(wěn)定；?

歐洲一些國家地廣人稀，或者海島國家移動回傳網(wǎng)絡(luò)主要用微波通信；在高速公路、高速列車、地鐵、隧道中，移動通信基站的覆蓋能力較弱，影響手機用戶低延遲應(yīng)用使用；?

運營商為了節(jié)省建網(wǎng)成本，提升運營/運維效率等因素，建設(shè)融合的移動承載網(wǎng)和固網(wǎng)城域網(wǎng)，在業(yè)務(wù)上進行邏輯隔離。圖-9

海外運營商典型組網(wǎng)13

基于公網(wǎng)體驗云網(wǎng)測評白皮書4

典型的應(yīng)用對網(wǎng)絡(luò)的訴求4.1典型用戶場景公有云的典型用戶訪問模型，是來自于云上應(yīng)用所服務(wù)的最終用戶。根據(jù)接入公有云的方式，可以分為Internet接入的用戶和DC（DirectConnect）接入的用戶。圖-10

用戶訪問公有云的典型場景??根據(jù)用戶類別，主要分為如下幾類用戶：?

個人用戶?

企業(yè)用戶根據(jù)云上的應(yīng)用類型分為：?

互聯(lián)網(wǎng)應(yīng)用（游戲，游戲加速，Web服務(wù)）?

音視頻類應(yīng)用?

政企/金融應(yīng)用?

非實時互聯(lián)網(wǎng)應(yīng)用基于互聯(lián)網(wǎng)用戶視角，根據(jù)對互聯(lián)網(wǎng)用戶訪問Cloud端到端路徑進行抽象，基本的模型如下：1)

運營商內(nèi)部時延：區(qū)分為移動用戶或者固網(wǎng)用戶在運營商內(nèi)部時延，移動網(wǎng)用戶主要是手機端用戶，固網(wǎng)用戶是指通過家庭寬帶（Wifi/有線）接入用戶；?4G組網(wǎng)下，運營商移動網(wǎng)空口及移動回傳約20ms~40ms，主要依賴運營商的移動網(wǎng)基站及宏站的部署能力和范圍、移動運營商骨干網(wǎng)覆蓋的范圍（L3

IP網(wǎng)絡(luò)中，光纖傳輸100Km

約產(chǎn)生1ms時延）；??5G組網(wǎng)下，運營商移動網(wǎng)空口及移動回傳約10ms~20ms；Wifi接入運營商固網(wǎng)承載網(wǎng)內(nèi)部時延約5ms~15ms，有線接入約2ms內(nèi)到固網(wǎng)網(wǎng)關(guān)。14

基于公網(wǎng)體驗云網(wǎng)測評白皮書2）

互聯(lián)網(wǎng)時延：基于眾多BGP

AS互聯(lián)組成的Internet，全球約90萬條BGP路由，存在路由動態(tài)變化（通過BGP

refresh報文持續(xù)刷新），無SLA,網(wǎng)絡(luò)性能不可控的特點；時延方面，根據(jù)每個國家的互聯(lián)網(wǎng)生態(tài)有所不同，基于全球視角來看，存在如下幾個特點：?在全球互聯(lián)網(wǎng)流量高地（交換活躍點），覆蓋本國及周邊國家互聯(lián)網(wǎng)性能較好；全球主要的區(qū)域型流量高地有中國香港、新加坡，德國法蘭、法國馬賽、英國倫敦、荷蘭阿姆斯特丹、美國東部邁阿密、紐約、美國西部舊金山、洛杉磯、巴西圣保羅共11個；????東南亞國家流量交換主要在新加坡、中國香港；中美洲大部分運營商流量繞行美國東部邁阿密IXP節(jié)點中東/北非流量大部分運營商流量繞行歐洲法國馬賽或者德國法蘭克福南非IXP較為發(fā)達，流量主要在本地交換，但是中非國家流量主要在歐洲德法英交換。本國內(nèi)部互聯(lián)網(wǎng)時延基本在50ms以內(nèi)；跨大洲互聯(lián)網(wǎng)時延一般會超過100ms，比如從中國香港到歐洲約160ms~250ms，中國香港到北美約200ms~220ms；3）云內(nèi)網(wǎng)絡(luò)時延：大型云廠商數(shù)據(jù)中心架構(gòu)一般較為復(fù)雜，分為多個網(wǎng)絡(luò)POP機房和多個Available

Zone（AZ）機房，基于架構(gòu)的安全、流量負載均衡等原因，流量會在不同節(jié)點繞行；該部分時延一般設(shè)計小于2.5ms，對于敏感類OBS數(shù)據(jù)不同AZ間時延設(shè)計小于1ms以內(nèi)；圖-11

用戶通過公網(wǎng)訪問公有云的典型場景15

基于公網(wǎng)體驗云網(wǎng)測評白皮書?應(yīng)用體驗對延遲的要求，總結(jié)如下：業(yè)務(wù)類型最佳時延要求<50ms滿足要求100ms150ms150ms200ms350ms典型應(yīng)用在線MOBA類游戲在線棋牌類游戲社交軟件語音社交軟件視頻Web瀏覽實時競技類實時交互類游戲?qū)崟r交互語音類實時交互視頻類非實時互聯(lián)網(wǎng)應(yīng)用<100ms<100ms<150ms<300ms表-2

應(yīng)用體驗對于時延的要求4.2

時延敏感型場景在所有的應(yīng)用類型中，互聯(lián)網(wǎng)行業(yè)是對公有云時延較為敏感的行業(yè)，其中實時競技類游戲（MOBA）又是互聯(lián)網(wǎng)行業(yè)中最為敏感的應(yīng)用，所以，可以說MOBA游戲行業(yè)是整個云業(yè)務(wù)中對時延最為敏感的行業(yè)，也成為公有云業(yè)務(wù)在當(dāng)?shù)馗采w性能的檢驗標準。典型的MOBA游戲訪問場景業(yè)務(wù)流可以分為5個步驟：a)

熱更[https]：先從CDN下載最新版本號與資源號的配置；b)

登錄[https]：玩家通過ELB與Login服務(wù)建立連接，完成登陸鑒權(quán)（通常為https短連接），若有DDoS攻擊，則優(yōu)先通過AAD的高防IP，再匯聚到ELB；c)

匹配[https]：玩家登陸成功后，開啟匹配對戰(zhàn)。客戶端與proxy集群建立連接（通常為TCP長連接），proxy集群根據(jù)匹配策略生成房間并撮合玩家進入對應(yīng)戰(zhàn)斗房間；d)

戰(zhàn)斗[UDP]：該局所有玩家與戰(zhàn)斗服務(wù)器建立連接（MOBA類通常UDP短連接），進行幀同步；此處對延遲極為敏感；e)

結(jié)算[https]：對戰(zhàn)結(jié)束，客戶端側(cè)進行戰(zhàn)績清算并同步給玩家數(shù)據(jù)庫。16

基于公網(wǎng)體驗云網(wǎng)測評白皮書圖-12

典型的MOMA類游戲部署模式典型的游戲?qū)τ跁r延和丟包率的要求如下，但在實際廠商部署時，一般采用比拼測試，選擇時延最佳的云廠商進行部署。典型游戲卡牌類、棋牌類、策略類MOBA、射擊類網(wǎng)絡(luò)協(xié)議https網(wǎng)絡(luò)時延200ms網(wǎng)絡(luò)丟包<5%UDP<120ms<300ms<200ms<5%MMORPG、闖關(guān)益智回合制、城防、沙盒https<5%https<5%表-3

典型游戲?qū)τ跁r延及丟包率的要求4.3

丟包率敏感型場景在音視頻應(yīng)用場景下，應(yīng)用對于時延不敏感，時延小于500ms以下即可滿足訴求，中心站點和邊緣站點通信、傳輸管理面信令，如“撥打電話”、“掛斷電話等動作”

，因為對持續(xù)的丟包非常敏感，網(wǎng)絡(luò)的丟包率不能持續(xù)丟包超過3%，否則電話無法接通，直接影響最終用戶的網(wǎng)絡(luò)體驗。該類場景客戶，業(yè)務(wù)部署特點為全球集中部署，中心站點和邊緣站點往往需要跨大洲覆蓋，在互聯(lián)網(wǎng)環(huán)境下，跨大洲海纜的數(shù)量及帶寬有限，在晚高峰期間，丟包率問題凸顯，如何保障該類場景下的通信訴求以及如何評價網(wǎng)絡(luò)質(zhì)量，也是需要云廠商關(guān)注的。17

基于公網(wǎng)體驗云網(wǎng)測評白皮書5

公網(wǎng)體驗的測量現(xiàn)狀5.1

公網(wǎng)網(wǎng)接入云服務(wù)的組成基于用戶視角分析，對公網(wǎng)用戶訪問公有云場景的分析，我們知道從用戶接入到訪問云廠商服務(wù)器，總共三段時延，基于云廠商視角來看對外的性能覆蓋來看，也是分為三段時延：①

云內(nèi)網(wǎng)絡(luò)時延②

Internet時延③

最后一公里時延值得說明是，這里第三段時延定義為最后一公里和通信行業(yè)真正意義上的“Last

Mile”有所差異，運營商領(lǐng)域主要是指用戶移動承載網(wǎng)（IPRAN）或者固網(wǎng)城域網(wǎng)邊緣到用戶的接入。這定義的主要是指運營商內(nèi)部IPCORE網(wǎng)絡(luò)到用戶的時延，這主要根據(jù)云廠商監(jiān)測運營商使用的活躍地址主要在IP

Core網(wǎng)絡(luò)，具體測試方案下個章節(jié)詳述。圖-13

基于云廠商視角看互聯(lián)網(wǎng)訪問三段時延互聯(lián)網(wǎng)的性能測試典型的方法論有如下兩種，一種是基于出云的主動測量方法，另一種是基于入云的主動測量方法。5.2

基于出云的主動測量測試在云上部署測試平臺，主要由測試服務(wù)器、存儲服務(wù)器、計算服務(wù)器和數(shù)據(jù)呈現(xiàn)幾部分組成。通過技術(shù)合作或者采購獲取當(dāng)?shù)剡\營商網(wǎng)內(nèi)目標測試服務(wù)器IP地址（icmp可達），測試平臺通過icmp或者http等協(xié)議從云上到云下進行監(jiān)測，獲取實時的測試數(shù)據(jù)，通過后臺大數(shù)據(jù)計算后再前端呈現(xiàn)測試報表。18

基于公網(wǎng)體驗云網(wǎng)測評白皮書圖-14

從云上到云下運營商內(nèi)部測試示意圖運營商內(nèi)的真實用戶公網(wǎng)IPv4地址是經(jīng)過運營商網(wǎng)絡(luò)內(nèi)部通過基于源端口SNAT轉(zhuǎn)換后的地址，用戶端實際的IP地址為私網(wǎng)地址，絕大部分運營商都通過防火墻策略禁ping該公網(wǎng)地址池。實際測試中，一般需要和行業(yè)內(nèi)部第三方測試平臺合作或者采購，Ping測試對方在運營商網(wǎng)內(nèi)的服務(wù)器地址，這些可測試的地址分為如下幾種。均可以代表該運營商網(wǎng)內(nèi)的網(wǎng)絡(luò)狀態(tài)。????運營商IDC中serverDNS

serverCDN服務(wù)器地址第三方測試服務(wù)器地址圖-15

運營商固網(wǎng)場景下地址轉(zhuǎn)換示意圖備注：以固網(wǎng)為例，一個公網(wǎng)地址基于PAT轉(zhuǎn)換可以分配給65535/1024=64個用戶，1個C類地址會分配給1560個最終用戶。19

基于公網(wǎng)體驗云網(wǎng)測評白皮書5.2.1

測試地址選取全球IPv4地址共42億個，其中公網(wǎng)IPv4地址約25億，亞太地區(qū)16國203BGP

AS維度約5億左右IPv4公網(wǎng)地址。關(guān)于如何選取一些地址作為公共探測地址，作為客觀評估公網(wǎng)質(zhì)量的依據(jù)，是一個較為重要一個因素，常見的獲取運營商內(nèi)部或者到數(shù)據(jù)中心內(nèi)部探測地址方法有3種：?

采購專業(yè)的IP地址庫?

和權(quán)威的第三方測試平臺合作，測試第三方的測試server地址?

客戶端主動發(fā)起的網(wǎng)絡(luò)質(zhì)量RTT數(shù)據(jù)采集5.2.2

測試參數(shù)基線????測試關(guān)鍵參數(shù)：發(fā)包頻率(f)：發(fā)包頻率1min-10pkt-interval

3min;發(fā)包總量(N):

發(fā)包頻率(f)*測試時長(h)*發(fā)包數(shù)量（Pn）*探測目標數(shù)(T)延遲數(shù)據(jù)算法公式(Latency)=去異常{AVG[發(fā)包頻率(f)*測試時長(h)*發(fā)包數(shù)量（Pn)*探測目標數(shù)(T)]}，異常值剔除：建議每個大洲時延latency

[0~500ms]之外算異常值剔除；如某數(shù)據(jù)中心覆蓋某國X運營商通過部署測試工具進行日常測試，具體參數(shù)如下：?

選用低頻探測模板1min-10pkt-interval

3min，

一個探測周期240s內(nèi)發(fā)包1次，一次發(fā)10個ICMP報文，測試某國X運營商內(nèi)目標服務(wù)器48個IP地址，發(fā)包一次后間隔180s重新發(fā)包。?一天理論測試有效值=發(fā)包頻率（15）*時長(24H)*發(fā)包數(shù)量(10)*探測目標數(shù)（48），總計共有172800測試值。如果用于和友商比較公網(wǎng)質(zhì)量，考慮公網(wǎng)的波動，時延建議在+-2ms?以內(nèi)認為性能持平。20

基于公網(wǎng)體驗云網(wǎng)測評白皮書圖-16

以亞太為例，IPv4公網(wǎng)地址分析備注：合計約25.68億個可用公網(wǎng)IP地址、理論上是2^32約42億多個IP，除去私有網(wǎng)段、網(wǎng)絡(luò)ID、廣播ID、保留網(wǎng)段、本地環(huán)回網(wǎng)段、組播網(wǎng)段、實際可用就是25.68億。5.3

基于入云的被動測量測試通過云下客戶端檢測到目標云上服務(wù)器，服務(wù)器側(cè)收集客戶端上報的icmp/http/下載速度等協(xié)議，在后臺大數(shù)據(jù)計算后再服務(wù)器側(cè)前端平臺呈現(xiàn)測試報表。該測試系統(tǒng)和運營商到云下測試類似，一般分為幾個部分組成，云上有若干臺目標測速服務(wù)器，負責(zé)采集目標運營商內(nèi)部的測速數(shù)據(jù)；主要特點是云下有眾多的測速客戶端設(shè)備，比如手機客戶端，PC客戶端等，這些客戶端需要需要盡可能的分布在真實客戶所在運營商網(wǎng)絡(luò)。在訪問云上服務(wù)器時，測速的客戶端有可能和實際用戶是同一個終端。該方案的主要的優(yōu)點是客戶端樣本豐富，一般是互聯(lián)網(wǎng)公司在客戶端植入apk文件，每隔5min自動上報一次ping或者traceroute信息；或者是專業(yè)的第三方測速公司，在運營商網(wǎng)絡(luò)部署的測試節(jié)點，定期上報測速數(shù)據(jù)。該方案的缺點是需要在運營商網(wǎng)內(nèi)部署測速節(jié)點，測試節(jié)點部署越多，所需的商業(yè)成本越高。圖-17

從云下到云上性能撥測示意圖21

基于公網(wǎng)體驗云網(wǎng)測評白皮書6

公網(wǎng)體驗的測評方法6.1公網(wǎng)質(zhì)量測評現(xiàn)狀目前業(yè)界無統(tǒng)一測評方法，云廠商及相關(guān)企業(yè)，在測試網(wǎng)絡(luò)質(zhì)量時，測試方法不盡相同，測試工具也相同，無統(tǒng)一測評方法。有些企業(yè)主要關(guān)注時延，忽略了丟包率的評估，有些企業(yè)反之。沒有統(tǒng)一、綜合評估的網(wǎng)絡(luò)體驗指標?；谠茝S商視角，雖然云廠商的網(wǎng)絡(luò)質(zhì)量測試能力及工具較為完整，但云上企業(yè)可能認為云廠商存在既是運動員又是裁判員的可能性。基于企業(yè)視角，大型公司及中小企業(yè)測試能力參差不齊，對于互聯(lián)網(wǎng)中具體運營商的用戶分布、市場份額、運營類型（固網(wǎng)/移動網(wǎng)/Wifi等）信息掌握有限，對于測試地址的選取不盡相同，也無統(tǒng)一的測評方法，導(dǎo)致測試質(zhì)量數(shù)據(jù)難以對齊。6.2

公網(wǎng)體驗指數(shù)CEI為了在行業(yè)內(nèi)形成統(tǒng)一、客觀、綜合的評估網(wǎng)絡(luò)質(zhì)量方法，有必要在行業(yè)內(nèi)部建立一套基于客戶體驗的公網(wǎng)體驗指數(shù)CEI（Customer

ExperienceIndex）。該體驗指數(shù)主要基于網(wǎng)絡(luò)KPI的三個關(guān)鍵參數(shù)：網(wǎng)絡(luò)時延(latency)、丟包率（packetloss）、抖動（jitter），來綜合評估網(wǎng)絡(luò)質(zhì)量。針對不同的應(yīng)用場景，在計算CEI時可以根據(jù)場景調(diào)整權(quán)重占比。從華為云客戶典型場景來看，目前主要有時延敏感型（例如游戲應(yīng)用）和丟包率敏感型（例如音視頻應(yīng)用）場景。華為云建議在時延敏感型場景，采用時延、丟包率、抖動權(quán)重占比為7:2:1；在丟包率敏感型場景，采用時延、丟包率、抖動權(quán)重占比為2:7:1。圖-18

CEI指數(shù)框架示意圖22

基于公網(wǎng)體驗云網(wǎng)測評白皮書6.2.1

CEI計算公式CEI（Customer

Experience

Index）用戶體驗指標的計算公式描述了用戶對網(wǎng)絡(luò)指標的主觀感受，其一大特點在于其往往對特定指標的變化感知存在敏感區(qū)間，例如時延敏感類（游戲應(yīng)用）場景下，用戶在可接受時延內(nèi)的體驗是較好的（平滑區(qū)），一旦時延超過某個閾值，體驗將產(chǎn)生斷崖式下跌（敏感區(qū)）?；诖擞^察，CEI計算公式的設(shè)計靈感來自S曲線（S-Curve），S曲線被廣泛應(yīng)用于生態(tài)系統(tǒng)模型、城市化進程模型等生物統(tǒng)計、社會學(xué)的實證分析中，一個典型的S曲線——Sigmoid函數(shù)如下圖所示，其特點在于可以將數(shù)值映射到（0,1）的區(qū)間并將數(shù)值分離為三塊區(qū)域，分別為兩塊平滑區(qū)以及一塊敏感區(qū)，符合用戶體驗的基本特點。針對每一個KPI指標，采用不同的S曲線可降低KPI指標間的耦合關(guān)系，為不同指標敏感型的應(yīng)用提供獨立的體驗曲線。我們設(shè)計了如下的KPI體驗公式：其中x表示輸入的KPI指標，a和b為固定的體驗公式參數(shù)，用于調(diào)整曲線的斜率和偏移，使其擬合真實的用戶體驗，分子上的1+e^b保障了最優(yōu)情況下CEI分數(shù)的最大值，同時可用于屏蔽某些不存在平滑區(qū)的KPI指標（例如時延），避免擬合失敗。通過不同的網(wǎng)絡(luò)KPI的參數(shù)，可以生成時延CEI

分值、丟包率CEI

分值和抖動的CEI

分值，根據(jù)不同網(wǎng)絡(luò)KPI的權(quán)重，計算整體CEI的分值?；诖斯剑梢杂嬎愠雒總€運營商或者測試點到云廠商的CEI指數(shù)。23

基于公網(wǎng)體驗云網(wǎng)測評白皮書1）具體計算公式定義如下：其中x,y,z分別代表三大網(wǎng)絡(luò)KPI：時延、丟包率、抖動。2）具體參數(shù)的定義：KPI指標權(quán)重（時延敏感型）參數(shù)a參數(shù)blatencylossjitter7020100.002540.5770.07450.926-4.5-0.8143）KPI參數(shù)和CEI分值的映射關(guān)系：?

時延和CEI指數(shù)分值的映射關(guān)系曲線?

丟包率和CEI指數(shù)分值的映射關(guān)系曲線24

基于公網(wǎng)體驗云網(wǎng)測評白皮書?抖動和CEI指數(shù)分值的映射關(guān)系曲線6.2.2

CEI指數(shù)的應(yīng)用1)

單運營商場景：通過CEI指數(shù)評價單個運營商or云廠商網(wǎng)絡(luò)體驗???優(yōu)秀：某個運營商到某個云廠商的綜合CEI分值在80分以上良好：某個運營商到某個云廠商的綜合CEI分值在60~80分體驗差：某個運營商到某個云廠商的綜合CEI分值在0~60分圖-19

CEI指數(shù)評分標準示意圖25

基于公網(wǎng)體驗云網(wǎng)測評白皮書2）多個運營商場景：通過CEI指數(shù)評價多個運營商網(wǎng)絡(luò)體驗???優(yōu)秀：多個運營商到某個云廠商的平均綜合CEI分值在80分以上良好：多個運營商到某個云廠商的平均綜合CEI分值在60~80分體驗差：多個運營商到某個云廠商的平均綜合CEI分值在0~60分指標對象需要覆蓋每個國家的TOP級運營商，覆蓋當(dāng)?shù)?5%最終用戶。6.2.3

CEI指數(shù)參數(shù)設(shè)計根據(jù)現(xiàn)網(wǎng)運營的數(shù)據(jù)經(jīng)驗及大數(shù)據(jù)模型的訓(xùn)練，針對不同網(wǎng)絡(luò)KPI有不同的參數(shù)，CEI分值和PKI的映射關(guān)系曲線也不同。以時延為例，典型的特點是，將