互聯(lián)網(wǎng)質(zhì)量優(yōu)化經(jīng)驗

2011年7月中國移動江蘇公司網(wǎng)絡部互聯(lián)網(wǎng)質(zhì)量優(yōu)化目錄全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術目錄2北美和歐洲互聯(lián)網(wǎng)滲透率最高亞洲互聯(lián)網(wǎng)用戶數(shù)最大、發(fā)展?jié)摿ψ畲竺绹侨蚧ヂ?lián)網(wǎng)中心各大洲建流量交換以北美為最大全球互聯(lián)網(wǎng)內(nèi)容源仍以美國為中心中國網(wǎng)站用戶主要集中在國內(nèi)，國際化程度不高，信息源質(zhì)量和創(chuàng)新度不夠（百度用戶96%來自國內(nèi)）互聯(lián)網(wǎng)發(fā)展的主要指標互聯(lián)網(wǎng)的網(wǎng)絡價值取決于用戶規(guī)模、網(wǎng)絡能力和內(nèi)容資源三大因素3互聯(lián)網(wǎng)指標VerizonAT&TNTTLevel3中國電信中國移動海外POP點數(shù)量（個）>1000380025180201自建、1租用連通自治域數(shù)（個）222422845902565暫無數(shù)據(jù)18轉接客戶數(shù)（個）3150934暫無數(shù)據(jù)>5000暫無數(shù)據(jù)0寬帶用戶數(shù)（戶）1000萬1400萬1700萬05346萬130萬內(nèi)容源情況（互聯(lián)網(wǎng)網(wǎng)站數(shù)）暫無數(shù)據(jù)暫無數(shù)據(jù)暫無數(shù)據(jù)暫無數(shù)據(jù)數(shù)十萬個數(shù)百個全球TOP10網(wǎng)站全球TOP50網(wǎng)站分布中國網(wǎng)站訪問主要集中在國內(nèi)數(shù)據(jù)來源：2010年6月Alegal公司統(tǒng)計發(fā)布全球互聯(lián)網(wǎng)內(nèi)容源仍以美國為中心，TOP50排名網(wǎng)站中占50%以上；截止到09年中國網(wǎng)站數(shù)量達到323萬，與全球相比數(shù)量較少，信息源質(zhì)量和創(chuàng)新程度不夠。互聯(lián)網(wǎng)內(nèi)容源分布情況排名網(wǎng)站名國家1GOOGLE美國2Facebook美國3Youtube美國4Yahoo美國5WindowsLive美國6Wikipedia美國7百度中國8B美國9MSN美國10QQ.com中國4中國移動的互聯(lián)網(wǎng)發(fā)展國內(nèi)環(huán)境在移動通信和有線寬帶領域均遭受不對稱管制，國內(nèi)宏觀環(huán)境總體較差出口結算不對稱管制寬帶運營牌照限制監(jiān)管力度逐步加強根據(jù)工信部的結算管理辦法，電信和聯(lián)通之間采用互不結算模式；移動和電信、聯(lián)通之間采用付費結算模式，按照互聯(lián)端口支付結算費用2010年中國移動骨干網(wǎng)結算成本約100萬/G/月，全行業(yè)最高，2010年國內(nèi)結算費達到11.2億。電信重組后，中國移動通過中國鐵通間接獲得有線寬帶運營牌照、根據(jù)工信部最新文件，中國移動只可經(jīng)營利用TD網(wǎng)絡開展的無線寬帶接入和網(wǎng)元出租業(yè)務。中國體統(tǒng)經(jīng)中國移動授權可以開展有線寬帶接入業(yè)務。2009年12月份工信部電管【2009】686號文，對中國移動和中國鐵通的經(jīng)營范圍作出了明確規(guī)定；各地電信加大申告力度，各地通管局逐步加大管制力度，明確移動不能經(jīng)營有線寬帶業(yè)務并對授權鐵通經(jīng)營有線寬帶制訂了管制細則。移動通信非主導運營商主導運營商移動固定對等結算共建共享攜號轉網(wǎng)價格監(jiān)管互聯(lián)網(wǎng)非主導運營商主導運營商最后一公里接入壟斷付費結算牌照限制內(nèi)容資源壟斷5全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術CMNET總體情況面臨主要問題分析目錄6寬帶用戶上網(wǎng)感知的影響因素網(wǎng)站本身處理能力不足，業(yè)務忙時響應時延較長；網(wǎng)站頁面設計不合理，頁面插件多，造成用戶打開慢；網(wǎng)站資源接入帶寬不足。用戶電腦處理能力不足；用戶終端感染病毒，大量發(fā)送數(shù)據(jù)包造成處理器繁忙；用戶終端瀏覽器安裝插件太多，造成打開網(wǎng)頁處理緩慢；用戶終端軟硬件故障。路由器、防火墻等網(wǎng)絡設備處理能力不足，在業(yè)務忙時會造成丟包、會話建立時間長；域名解析服務器處理處理能力不足導致用戶域名重復解析；網(wǎng)絡中鏈路帶寬擁塞；互聯(lián)互通干擾。網(wǎng)絡網(wǎng)站終端影響用戶上網(wǎng)感知的主要涉及終端、網(wǎng)絡、網(wǎng)站三個環(huán)節(jié)。網(wǎng)絡影響主要是端到端的帶寬保障，任何段落帶寬利用率超過80%都可能導致網(wǎng)絡層面數(shù)據(jù)傳輸時延增加、丟包等。7網(wǎng)絡各環(huán)節(jié)影響分析城域網(wǎng)省網(wǎng)國際互聯(lián)網(wǎng)電信聯(lián)通教育網(wǎng)CMNET骨干網(wǎng)用戶接入網(wǎng)城域網(wǎng)省網(wǎng)骨干網(wǎng)互聯(lián)網(wǎng)接入網(wǎng)主要影響是部分區(qū)域用戶集中接入，但是受資源限制，存在電路配置帶寬不足現(xiàn)象。隨著城域網(wǎng)擴容已經(jīng)逐步緩解。城域網(wǎng)和省網(wǎng)，此前由于部分中繼帶寬利用率超過90%，造成忙時擁塞。隨著CMNET四擴工程推進，省內(nèi)和省網(wǎng)出口中繼利用率基本在50%以內(nèi)，省內(nèi)整體時延在30ms內(nèi)骨干網(wǎng)除個別中繼外整體利用率不高，骨干網(wǎng)整體時延在60ms內(nèi)，基本上不影響用戶感知；1、國際出口電路整體利用率不太高，但是由于互聯(lián)對象較少，造成訪問多數(shù)國際互聯(lián)網(wǎng)資源緩慢；2、國內(nèi)互聯(lián)網(wǎng)資源主要集中在電信、網(wǎng)通網(wǎng)內(nèi)，訪問速度受限于骨干網(wǎng)出口的帶寬；其他省網(wǎng)8互聯(lián)網(wǎng)國內(nèi)、國際出口現(xiàn)狀國際出口總帶寬：33.2G（北美9G，香港24.2G）國內(nèi)出口總帶寬：133G（電信42.5G，聯(lián)通70G，鐵通23.5G，教育網(wǎng)3.5G，百度1G，世紀互聯(lián)2.5G）接入網(wǎng)城域網(wǎng)省網(wǎng)骨干網(wǎng)9CMNET骨干網(wǎng)絡現(xiàn)狀CMNET現(xiàn)狀自2000年建成以來，網(wǎng)絡架構沒有大的變化；骨干節(jié)點沒有增加；出口節(jié)點沒有增加；網(wǎng)絡發(fā)展體現(xiàn)在傳輸帶寬的增長以及出口帶寬的增加；為滿足國際業(yè)務的疏通，先后建設了香港、北美兩個海外節(jié)點；CMNET資源及業(yè)務增長情況CMNET網(wǎng)絡承載流量：2002年底為851M，2010年底為308525M，九年增長363倍；CMNET網(wǎng)間互連流量：2002年初為283M，2010年底為134112M，九年增長474倍；接入網(wǎng)城域網(wǎng)省網(wǎng)骨干網(wǎng)10全球互互聯(lián)網(wǎng)網(wǎng)情況況概覽覽CMNET總體分分析CMNET資源加加速技技術CMNET總體情情況面臨主主要問問題分分析目錄錄11CMNET面臨的的主要要問題題規(guī)模小小：CMNET網(wǎng)絡建建設于于2000年，較較電信信、聯(lián)聯(lián)通的的網(wǎng)絡絡晚了了近五五年時時間；；資源少少：90％的網(wǎng)網(wǎng)絡資資源在在外網(wǎng)網(wǎng)，85％的互互聯(lián)網(wǎng)網(wǎng)流量量需要要出網(wǎng)網(wǎng)訪，，網(wǎng)間間互通通壓力力巨大大；競爭激激烈：：全業(yè)業(yè)務競競爭后后，對對方已已經(jīng)有有意壓壓制CMNET的發(fā)展展，網(wǎng)網(wǎng)間帶帶寬擴擴容難難度越越來越越大；；信息安安全：：國家家賦予予運營營商控控制互互聯(lián)網(wǎng)網(wǎng)上不不良信信息傳傳播的的使命命，前前期以以來人人力來來發(fā)現(xiàn)現(xiàn)、攔攔截不不良信信息，，投入入人力力大，，效率率低。。國內(nèi)IP地址分分布國際出出口帶帶寬分分布I地址量量（B類）國際帶帶寬（（Mbps）12網(wǎng)內(nèi)資資源少少，對對外網(wǎng)網(wǎng)依賴賴程度度大出境流流量中中Web比例遠遠小于于入境境流量量，說說明大大量的的網(wǎng)站站資源源在CMNET以外。。網(wǎng)外的的Web站點較較為分分散，，排名名前十十位的的網(wǎng)站站訪問問量不不到13％；社交、、搜索索、門門戶網(wǎng)網(wǎng)站訪訪問量量較大大13網(wǎng)間帶帶寬瓶瓶頸導導致業(yè)業(yè)務質(zhì)質(zhì)量無無法保保證從全網(wǎng)網(wǎng)負荷荷分布布來看看，高負荷荷鏈路路共27條，其其中國國內(nèi)、、國際際出口口占20條，網(wǎng)網(wǎng)內(nèi)鏈鏈路占占7條中低負負荷鏈鏈路共共202條，其其中國國內(nèi)、、國際際出口口鏈路路僅占占9條；CMNET網(wǎng)內(nèi)質(zhì)質(zhì)量是是可以以保證證的，，國內(nèi)內(nèi)出口口鏈路路是CMNET網(wǎng)絡中中的瓶瓶頸，，且又又是流流量集集中的的方向向。從目前前流量量模型型看，，國內(nèi)內(nèi)出口口流量量是主主要部部分，，占全全部流流量的的83%14目錄錄全球互互聯(lián)網(wǎng)網(wǎng)情況況概覽覽CMNET總體分分析CMNET資源加加速技技術流量疏疏通流量控控制內(nèi)容緩緩存內(nèi)容引引入問題與與思考考目錄錄15互聯(lián)網(wǎng)網(wǎng)總體體優(yōu)化化方向向思考考核心目目標：：提高高互聯(lián)聯(lián)網(wǎng)用用戶業(yè)業(yè)務感感知；；重點解解決網(wǎng)網(wǎng)速慢慢、錯錯誤代代碼等等用戶戶投訴訴；提高忙忙時用用戶平平均下下載速速度；；重點方方向：：提高高網(wǎng)內(nèi)內(nèi)資源源消費費比例例，降降低對對外網(wǎng)網(wǎng)資源源依賴賴；結合內(nèi)內(nèi)容引引入、、CDN、重要要資源源直聯(lián)聯(lián)等手手段，，提高高用戶戶網(wǎng)內(nèi)內(nèi)資源源消費費比例例；疏堵結結合，，降低低P2P下載大大量消消耗出出口帶帶寬影影響瀏瀏覽、、游戲戲等時時延敏敏感業(yè)業(yè)務；；輔助手手段：：第三三方出出口作作為階階段性性應急急手段段，解解決網(wǎng)網(wǎng)內(nèi)無無法引引入的的熱點點資源源，降降低結結算費費用；；考慮到到第三三方出出口的的不穩(wěn)穩(wěn)定性性、集集團結結算方方法變變化等等因素素，逐逐步降降低對對第三三方出出口的的依賴賴。16熱點網(wǎng)網(wǎng)站內(nèi)內(nèi)容引引入IDC內(nèi)，資資源就就近訪訪問第三方方出口口社會IDC直連大型網(wǎng)網(wǎng)站直直連基于DPI/DFI進行流流量分分析，，對P2P流量進進行分分類控控制，，降低低下載載類流流量占占比重定向向輔助助緩存存通用緩緩存系系統(tǒng)蘭汛CDNCMNET加速手手段綜綜述流量疏疏導流量控控制內(nèi)容引引入內(nèi)容緩緩存17目錄錄全球互互聯(lián)網(wǎng)網(wǎng)情況況概覽覽CMNET總體分分析CMNET資源加加速技技術流量疏疏通流量控控制內(nèi)容緩緩存內(nèi)容引引入問題與與思考考18骨干網(wǎng)網(wǎng)層面面13地市城城域網(wǎng)網(wǎng)核心心NE5000E南京蘇州N*BRASN*SR專線路路由器器/交換機機N*AC集團CMNET骨干網(wǎng)網(wǎng)絡南京省省網(wǎng)出出口無錫省省網(wǎng)出出口省內(nèi)互互聯(lián)網(wǎng)網(wǎng)第三三方電電路部部署方方案省網(wǎng)專專用第第三方方出口口路由由器C7613電信網(wǎng)網(wǎng)絡網(wǎng)通網(wǎng)網(wǎng)絡世紀互互聯(lián)電信網(wǎng)通地市專專用第第三方方出口口路由由器電信NAT出口NAT/BGP穿透BGP+NAT4*10G4*10G科研網(wǎng)網(wǎng)網(wǎng)通骨干網(wǎng)網(wǎng)疏通通數(shù)據(jù)據(jù)流第三方方疏通通數(shù)據(jù)據(jù)流流量疏疏通總總體原原則：：第三三方電電路疏疏通個個人寬寬帶流流量、、個別別互聯(lián)聯(lián)網(wǎng)訪訪問要要求高高的集集團客客戶流流量，，移動動互聯(lián)聯(lián)網(wǎng)相相關業(yè)業(yè)務流流量全全部通通過集集團骨骨干網(wǎng)網(wǎng)疏通通。集團公公司關關于國國際流流量不不通過過省內(nèi)內(nèi)第三三方出出口疏疏通要要求。19互聯(lián)網(wǎng)網(wǎng)第三三方電電路流流量疏疏導方方式分分析電路類型功能特點路由策略優(yōu)點缺點使用定位BGP方式雙向對等互聯(lián)，屬于標準網(wǎng)間互聯(lián)方式；按地址段交換路由，對等交換路由雙向互通，簡單、靈活、可靠，價格偏高電信方向目前買不到。省網(wǎng)層面部署少量電路，保障部分重點集團客戶和業(yè)務網(wǎng)站質(zhì)量。NAT方式只能實現(xiàn)本網(wǎng)用戶到對方資源的單向訪問；部分銀行、游戲類應用受限。方式一：按照源地址策略路由，引導流量到第三方出口路由策略數(shù)量相對較少，對設備負荷壓力不大。訪問網(wǎng)內(nèi)其他省份流量從骨干網(wǎng)出口倒流；部分SPSOCKET類業(yè)務受影響；對于用戶感知提升不明顯。有效降低集團結算分攤費用，可以集中在省網(wǎng)層面少量部署大帶寬電路。方式二：源地址+目的地址組合，細分方向引導流量到第三方出口可以針對性精細疏通流量，用戶訪問質(zhì)量改善明顯。（1）路由策略組合造成策略數(shù)量巨大，影響路由器負荷和轉發(fā)性能。（2）大帶寬電路利用率很難提高。適合小帶寬多電路分散部署，提高用戶上網(wǎng)質(zhì)量。方式三：針對外網(wǎng)熱點資源地址段，在網(wǎng)內(nèi)發(fā)布靜態(tài)路由，強制指向第三方出口對熱點網(wǎng)站訪問質(zhì)量改善明顯，可以有效降低用戶訪問慢的投訴。（1）用戶訪問外網(wǎng)資源分散，集中部署涉及路由條目數(shù)量巨大，影響設備性能；（2）大帶寬電路利用率很難提升；（3）易引發(fā)外網(wǎng)用戶無法訪問網(wǎng)內(nèi)資源的投訴。適合小帶寬多電路分散部署，定向改善電信/聯(lián)通網(wǎng)內(nèi)熱點網(wǎng)站訪問質(zhì)量。目前省省內(nèi)NAT電路主主要按按照方方式二二和方方式三三部署署。20省內(nèi)互互聯(lián)網(wǎng)網(wǎng)第三三方電電路部部署策策略綜合考考慮路路由策策略復復雜性性、對對設備備負荷荷影響響，以以及小小帶寬寬電路路被發(fā)發(fā)現(xiàn)風風險低低、分分公司司流量量疏通通方向向需求求多樣樣性等等因素素，目目前第第三方方出口口采取取“小帶帶寬、、多電電路、、分散散部署署”的策略略，在在省網(wǎng)和和城域域網(wǎng)層層面分分層部部署：省網(wǎng)層層面以以降低低結算算分攤攤費用用為目目標，，開通通少量量大帶帶寬BGP/NAT方式電電路為為主；；城域網(wǎng)網(wǎng)層面面以解解決用用戶投投訴和和互聯(lián)聯(lián)封堵堵、提提升用用戶感感知為為目標標，在在城域域網(wǎng)層層面部部署中中小帶帶寬（（100-1000M）NAT方式出出口；；21智能疏疏導系系統(tǒng)情情況針對寬寬帶用用戶對對于網(wǎng)網(wǎng)速慢慢的投投訴主主要集集中在在網(wǎng)頁頁瀏覽覽、在在線視視頻等等問題題，蘇蘇州分分公司司研發(fā)發(fā)了互互聯(lián)網(wǎng)網(wǎng)智能能疏導導系統(tǒng)統(tǒng)，通通過增增加負負載均均衡設設備，，結合合第三三方出出口電電路，，對用用戶網(wǎng)網(wǎng)頁瀏瀏覽、、在線線視頻頻等業(yè)業(yè)務進進行優(yōu)優(yōu)化提提速。。通過對對蘇州州試點點地區(qū)區(qū)的投投訴統(tǒng)統(tǒng)計，，系統(tǒng)統(tǒng)上線線后，，試點點地區(qū)區(qū)寬帶帶用戶戶關于于網(wǎng)速速慢的的投訴訴下降降了超超過60%。針對特特定類類型流流量，，結合合策略略路由由，可可以有有效降降低策策略路路由的的配置置數(shù)量量，提提高第第三方方出口口電路路利用用率。。具有自自動選選擇最最優(yōu)路路由、、自動動檢測測第三三方出出口電電路的的調(diào)度度能力力。主要特點22獨立IDC直聯(lián)電電路疏疏通CMNET用戶CMIDC內(nèi)容商A獨立IDC內(nèi)容商B原理：：通過過機房房間光光纖的的直接接連接接，實實現(xiàn)一一方用用戶對對獨立立IDC內(nèi)容的的訪問問。特點：：內(nèi)容容單向向訪問問。一一方向向對方方發(fā)起起業(yè)務務訪問問與使使用。。發(fā)起起方須須向對對方支支付費費用。。優(yōu)點：：快速速解決決內(nèi)容容源問問題，，提高高移動動寬帶帶用戶戶訪問問效果果。缺點：：訪問問內(nèi)容容有限限制，，業(yè)務務內(nèi)容容取決決于光光纖連連接的的對方方服務務器/IDC內(nèi)存放放的內(nèi)內(nèi)容范范圍。。目前與與獨立立IDC世紀互互聯(lián)有有1G的電路路直聯(lián)聯(lián)，忙忙時利利用率率70.23%。省用用用戶可可以訪訪問其其IDC內(nèi)托管管的近近3000家各類類企業(yè)業(yè)托管管網(wǎng)站站，其其中大大型互互聯(lián)網(wǎng)網(wǎng)網(wǎng)站站近20家。23大型網(wǎng)網(wǎng)站直直連方方案（（騰訊訊）2.5GPOS目前騰騰訊相相關投投訴占占網(wǎng)速速慢相相關投投訴總總量接接近30%現(xiàn)狀措施進展省公司司網(wǎng)絡絡部牽牽頭實實施江江蘇CMNET省網(wǎng)與與深圳圳騰訊訊CAP直連項項目，，初期期直連連帶寬寬為2.5G。已完成成電路路調(diào)測測，目目前正正在協(xié)協(xié)同騰騰訊調(diào)調(diào)整策策略。。CAP平臺是是騰訊訊為了了解決決互聯(lián)聯(lián)網(wǎng)接接入商商訪問問其業(yè)業(yè)務而而專門門建立立的接接入平平臺。。24目錄錄全球互互聯(lián)網(wǎng)網(wǎng)情況況概覽覽CMNET總體分分析CMNET資源加加速技技術流量疏疏通流量控控制內(nèi)容緩緩存內(nèi)容引引入問題與與思考考目錄錄25CMNET流控系系統(tǒng)基基本思思路基于DPI識別技技術，，基于““特征征字””、行行為模模式等等特征征識別別P2P等特定定類型型的流流量，，應用用特定定的策策略為實現(xiàn)現(xiàn)互聯(lián)聯(lián)網(wǎng)流流量做做精細細化的的分析析，整整體降降低互互聯(lián)網(wǎng)網(wǎng)結算算分攤攤費用用，提提升用用戶使使用感感知，，啟動動了流流控系系統(tǒng)建建設；；2009年公司司啟動動了CMNET流量監(jiān)監(jiān)控平平臺一一期項項目建建設，，對當當時的的17.5G省網(wǎng)出出口流流量監(jiān)監(jiān)控，，實現(xiàn)現(xiàn)基本本的流流量和和流向向分析析、P2P流控、、廣告告推送送功能能；2010年啟動動了二二期擴擴容項項目，，所有有監(jiān)控控點下下沉到到地市市城域域數(shù)據(jù)據(jù)網(wǎng)出出口，，同時時對省省網(wǎng)IDC出口流流量、、Radius流量、、地市市第三三方出出口流流量進進行全全面監(jiān)監(jiān)控；；二期期采用用華為為SIG9280E設備對對原有有一期期平臺臺進行行全面面替換換，目目前工工程仍仍在實實施中中；主要目目標：：落實對對P2P流量疏疏堵結結合的的策略略，保保持P2P流量健康康發(fā)展；26流量監(jiān)控控平臺系系統(tǒng)組網(wǎng)網(wǎng)圖分光10GPOS地市NE5000E南京4臺SIG9280EIP網(wǎng)T8000干擾WEB管理干擾WEB管理省干RadiusSIG1000無錫NE5000E南京NE5000E管理鏈路干擾鏈路省公司CMNET6509南京S5300無錫3臺SIG9280E無錫S5300無錫CMNET6509IP網(wǎng)管理MPLSVPN管理MPLSVPN地市CMNET6509南京1臺SIG9280E無錫1臺SIG9280E第三方出口SIG1000IDCNE80E每臺8*GE緩存icach完成省網(wǎng)網(wǎng)出口雙雙向鏈路路的全監(jiān)監(jiān)控和流流量、流流向分析析；已完完成省IDC中心出口口100G雙向鏈路路的監(jiān)控控，對IDC中引入流流量TOP20的網(wǎng)站進進行深度度監(jiān)控；；省網(wǎng)出口口部署P2P流控策略略，忙時時對出口口流量進進行打壓壓，緩解解互聯(lián)互互通瓶頸頸；27P2P流量分析析及控制制目前系統(tǒng)統(tǒng)可對P2P流量進行行精細化化的分析析，可細細化到每每種應用用的流量量情況基于流量量分析，，系統(tǒng)可可制定復復雜的控控制策略略，實現(xiàn)現(xiàn)基于區(qū)區(qū)域、協(xié)協(xié)議、時時間、白白名單、、帶寬、、比例的的多維度度綜合控控制降低結算算費用，，限制P2P下載類流流量占比比，保障障時延敏敏感類流流量28與外部系系統(tǒng)數(shù)據(jù)據(jù)對接-Cache平臺根據(jù)據(jù)緩存系系統(tǒng)需求求對所有有的流量量按數(shù)據(jù)據(jù)模板要要求進行行篩選，，將篩選選出的有有效用戶戶請求數(shù)數(shù)據(jù)通過過接口傳傳送給緩緩存平臺臺目前已完完成與一一期、二二期緩存存平臺的的對接南京無錫南京徐州無錫鎮(zhèn)江其他CMNETSIGRSSCSSCSSRSS：重定向子系統(tǒng)DSS：調(diào)度子系統(tǒng)CSS：緩存子系統(tǒng)MSS：管理子系統(tǒng)DSSMSSCSSRSSSIG南京、蘇州、常州、揚州、鹽城、徐州六個地市節(jié)點，使用本地二級緩存。。。。。。無錫、南通、泰州、鎮(zhèn)江四個節(jié)點使用省級緩存淮安、連云港、宿遷三個地市使用原來一期緩存平臺

二期緩存S5328S5328S535210G1GIDC機房59號機房二期緩存二期緩存二期緩存一期緩存29目錄錄全球互聯(lián)聯(lián)網(wǎng)情況況概覽CMNET總體分析析CMNET資源加速速技術流量疏通通流量控制制內(nèi)容緩存存內(nèi)容引入入問題與思思考目錄錄30互聯(lián)網(wǎng)Cache系統(tǒng)加速速優(yōu)化基基本原理理用戶A請求下載載外網(wǎng)站站點或PEER的某個文文件；緩存直接接向外部部主機請請求下載載該文件件；外部主機機響應請請求，將將文件傳傳送給Cache系統(tǒng)；Cache系統(tǒng)返回回用戶同同時將文文件保存存在本地地；用戶B請求下載載統(tǒng)一內(nèi)內(nèi)容，Cache系統(tǒng)查詢詢存儲服服務器，，發(fā)現(xiàn)本本地緩存存文件有有效，直直接返回回給用戶戶B一次外網(wǎng)網(wǎng)訪問，，多次內(nèi)內(nèi)網(wǎng)服務務：Cache作為互聯(lián)聯(lián)網(wǎng)與移移動網(wǎng)絡絡之間的的緩沖地地帶，有有效吸納納互聯(lián)網(wǎng)網(wǎng)通道上上的熱點點流量，，減少網(wǎng)網(wǎng)間和網(wǎng)網(wǎng)內(nèi)流量量壓力，，加快網(wǎng)網(wǎng)絡訪問問速度，，提高用用戶互聯(lián)聯(lián)網(wǎng)體驗驗，降低低對網(wǎng)間間互聯(lián)鏈鏈路的依依賴。DNS重定向策略路由由方案HTTP重定向方方案31WEBCACHE系統(tǒng)重定定向機制制用戶基于于客戶端端瀏覽網(wǎng)網(wǎng)頁，向向本地DNS發(fā)出域名名解析請請求；本地DNS向外網(wǎng)發(fā)發(fā)起DNS請求；解析請求求到達外外網(wǎng)DNS前，通過過DPI設備復制制一份到到GSLB設備，原原請求到到達外網(wǎng)網(wǎng)DNS；GSLB進行域名名請求判判斷，如如果為預預先設定定的域名名解析請請求，則則解析域域名解析析為到WEBCache地址，返返回給本本地DNS；本地DNS返回WEBCache的IP給用戶，，外網(wǎng)DNS回應的晚晚于GSLB到達本地地DNS，被本地地DNS丟棄；客戶端收收到本地地DNS回復域名名解析結結果后，，向WEBCache發(fā)起web訪問請求求；WEBCache命中則直直接回應應客戶，，不命中中則去互互聯(lián)網(wǎng)抓抓取數(shù)據(jù)據(jù)，保存存在本地地并回應應用戶。。旁路DPI+DNS重定向機制32WEBCACHE典型業(yè)務務流程用戶DNS重定向系系統(tǒng)負載均衡衡器CACHEWEB資源用戶發(fā)起起HTTP請求DNS重定向系系統(tǒng)返回回WEBCACHE的IP地址負載均衡衡器分發(fā)到CACHE主機Cache把本地保保存的內(nèi)內(nèi)容返回回給用戶戶Cache命中流程程Cache未命中流流程CACHE通過負載載均衡器向網(wǎng)網(wǎng)站請求求內(nèi)容向源網(wǎng)站站請求內(nèi)內(nèi)容源網(wǎng)站返返回請求求內(nèi)容負載均衡衡器把內(nèi)內(nèi)容轉給給CACHECACHE返回內(nèi)容容給用戶戶WEBCache系統(tǒng)33P2PCache技術原理理用戶從互互聯(lián)網(wǎng)下下載種子子文件，，通過其其向互聯(lián)聯(lián)網(wǎng)中的的tracker服務器發(fā)發(fā)送P2P請求；通過分光光式旁路路鏈路上上面的DPI設備截獲獲用戶發(fā)發(fā)起的P2P請求；DPI設備分析析后，將將用戶P2P請求轉發(fā)發(fā)到重定定向設備備；重定向設設備對用用戶請求求進行分分析判斷斷該資源源是否已已被緩存存；如果用戶戶請求資資源沒有有緩存，，重定向向設備將將不處理理該請求求；如果用戶戶請求資資源已經(jīng)經(jīng)被緩存存，重定定向設備備將用戶戶連接重重定向到到緩存服服務器，，Cache系統(tǒng)向用用戶發(fā)送送Peerlist（均為網(wǎng)網(wǎng)內(nèi)用戶戶/服務器地地址），，Cache服務器自自身地址址也包含含在peerlist中；用戶根據(jù)據(jù)peerlist文件中IP地址連連接至至相關關服務務器/用戶（（含Cache服務器器）后后開始始P2P下載。。P2PCache技術原理34P2PCache典型消消息流流程-熱點資資源獲獲取用戶重定向向子系系統(tǒng)資源管管理緩存服服務器器TRACKER服務器器用戶發(fā)發(fā)起P2P請求熱度達達到閥閥值，，轉發(fā)發(fā)請求求P2PCache系統(tǒng)外網(wǎng)資資源網(wǎng)絡熱熱點統(tǒng)統(tǒng)計分發(fā)用用戶P2P請求至至特定定服務務器請求P2P文件下下載信信息返回文文件索索引信信息請求PEERLIST返回PEERLISTCache向外網(wǎng)網(wǎng)請求求內(nèi)容容Cache從其他他節(jié)點點下載載內(nèi)容容35P2PCache典型消消息流流程-緩存加加速過過程用戶重定向向子系系統(tǒng)資源管管理緩存服服務器器TRACKER服務器器用戶向向外網(wǎng)網(wǎng)發(fā)起起P2P請求資源已已緩存存，對對請求求進行行重定定向P2PCache系統(tǒng)外網(wǎng)資資源本地資資源分分布信信息上上報用戶向向CACHE服務器器請求求內(nèi)容容源Tracker向用戶戶回送送PEERLIST信息用戶從從CACHE服務器器下載載內(nèi)容容Cache命中流流程用戶向向其他他PEER請求內(nèi)內(nèi)容用戶從從其他他PEER下載內(nèi)內(nèi)容Cache未命中中流程程36通用型型緩存存平臺臺系統(tǒng)統(tǒng)組網(wǎng)網(wǎng)圖南京無錫南京徐州無錫鎮(zhèn)江其他CMNETSIGRSSCSSCSSRSS：重定定向子子系統(tǒng)統(tǒng)DSS：調(diào)度度子系系統(tǒng)CSS：緩存存子系系統(tǒng)MSS：管理理子系系統(tǒng)DSSMSSCSSRSSSIG南京、、蘇州州、常常州、、揚州州、鹽鹽城、、徐州州六個個地市市節(jié)點點，使使用本本地二二級緩緩存。。。。。。。。。。無錫、、南通通、泰泰州、、鎮(zhèn)江江四個個節(jié)點點使用用省級級緩存存淮安、、連云云港、、宿遷遷三個個地市市使用用原來來一期期緩存存平臺臺二期緩緩存S5328S5328S535210G1GIDC機房59號機房二期緩緩存二期緩緩存二期緩緩存一期緩緩存37通用緩緩存平平臺運運行情情況通緩一一期峰峰值回回吐流流量約約3.5Gbps通緩二二期峰峰值回回吐流流量約約16.5Gbps38CDN技術的的作用用和工工作原原理ChinaCache節(jié)點GSLB本地DNS服務器器接入服服務器器用戶ICP1Web服務器網(wǎng)絡服服務商商A網(wǎng)絡服服務商商C網(wǎng)絡服服務商商BICP1DNS授權服務器ICP2Web服務器用戶發(fā)發(fā)出請請求；；本地地DNS服務器器通過過解析析得到到ICP2DNS授權服服務器器的地地址ICP2DNS授權服務器1234本地DNS服務器器訪問問ICP2DNS授權服服務器器，得得到GSLB服務器器地址址本地DNS服務器器根據(jù)據(jù)回送送過來來的地地址訪訪問GSLB服務器器；得得到離離用戶戶最近近的節(jié)節(jié)點服服務器器的地地址，，回送送給用用戶用戶訪訪問CDN服務商商節(jié)點點服務務器，，節(jié)點點服務務器從從源站站取得得用戶戶所需需內(nèi)容容并將將內(nèi)容容發(fā)給給用戶戶ChinaCache節(jié)點ChinaCache節(jié)點ChinaCache節(jié)點39CDN的主主要服服務內(nèi)內(nèi)容CPIS：將盡量量多的的電信信、新新聯(lián)通通等異異網(wǎng)網(wǎng)網(wǎng)站靜靜態(tài)內(nèi)內(nèi)容緩緩存在在本地地，有有效降降低熱熱點內(nèi)內(nèi)容對對骨干干網(wǎng)資資源和和互聯(lián)聯(lián)互通通資源源的占占用，，主要要解決決：網(wǎng)站以以域名名形式式發(fā)布布的HTTP協(xié)議的的80端口靜靜態(tài)內(nèi)內(nèi)容，，通過過CDN承載網(wǎng)網(wǎng)，到到網(wǎng)站站源服服務器器把內(nèi)內(nèi)容緩緩存到到本地地緩存存服務務器，，實現(xiàn)現(xiàn)把非非移動動網(wǎng)內(nèi)內(nèi)的內(nèi)內(nèi)容獲獲取到到移動動網(wǎng)內(nèi)內(nèi)。網(wǎng)站以以域名名形式式發(fā)布布的HTTP協(xié)議的的80端口動動態(tài)內(nèi)內(nèi)容，，通過過CDN承載網(wǎng)網(wǎng)，到到網(wǎng)站站源服服務器器做內(nèi)內(nèi)容的的交互互，實實現(xiàn)移移動網(wǎng)網(wǎng)絡接接入與與非移移動網(wǎng)網(wǎng)絡接接入快快速的的互聯(lián)聯(lián)互通通CPOS:將移動網(wǎng)內(nèi)內(nèi)自有IDC網(wǎng)站的內(nèi)容容推送到電電信、聯(lián)通通網(wǎng)絡內(nèi)部部，提高電電信、聯(lián)通通網(wǎng)民訪問問移動網(wǎng)內(nèi)內(nèi)內(nèi)容的速速度。例如如：省公司司的10086門戶平臺CPOS產(chǎn)品工作原原理：使用用CPOS服務的網(wǎng)站站需要更改改本網(wǎng)站的的授權DNS服務器，通通過CNAME方式到CDN的智能DNS解析系統(tǒng)上上，通過智智能DNS解析策略，，將用戶指指向離自己己最近、訪訪問質(zhì)量最最好、訪問問速度最快快的CDN服務節(jié)點。。提高寬帶帶互聯(lián)網(wǎng)用用戶上網(wǎng)體體驗CPIS(Contentpullinservice)CPOS(Contentpulloutservice)CPIS加速域名原原則移動內(nèi)部網(wǎng)站不加速移動引入IDC網(wǎng)站不加速不適合緩存網(wǎng)站不加速網(wǎng)站域名分析工具分析出合適進行CPIS服務的網(wǎng)站精細域名41CPIS業(yè)務訪問過過程Gateway江蘇移動CPIS緩存平臺最佳節(jié)點移動寬帶用用戶1.終端用戶訪訪問源站，，向FDNS請求解析；；FDNS2.FDNS對用戶請求求的域名進進行判斷，，對適合做做CPIS業(yè)務的域名名請求，給給出CPIS緩存平臺的的解析地址址，用戶訪訪問CPIS節(jié)點3.CPIS緩存服務器器對網(wǎng)民請請求的已緩緩存的內(nèi)容容直接響應應4.CDN緩存服務器器沒有緩存存的內(nèi)容通通過CDN網(wǎng)絡從源站站獲取后返返給網(wǎng)民234142網(wǎng)頁型內(nèi)容容加速系統(tǒng)統(tǒng)工作流程程ChinaCacheCDN專用承載網(wǎng)網(wǎng)專用高速通通道GateWayGateWay江蘇移動移動網(wǎng)民CacheServerIDC源站電信/新聯(lián)通/其他SP1、客戶向LDNS（有特殊設置置，不向域域名授權DNS發(fā)請求）發(fā)出請求求1LDNS特殊功能2x.x.x.x345672、LDNS返回地址為為X.X.X.X，X.X.X.X為chinacache的服務地址址3、用戶將請請求發(fā)給Cacheserver4、Hit內(nèi)容直接返返回給網(wǎng)民民5、Miss內(nèi)容Cacheserver回源請求6、源站將內(nèi)內(nèi)容返給cacheserver7、cacheserver再返回給網(wǎng)網(wǎng)民43域名解析實實現(xiàn)方式Forward精確域名方方式優(yōu)點：有效效保證被加加速域名的的訪問效果果缺點：由于于目前沒有有一套監(jiān)控控所有網(wǎng)站站域名的機機制，無法法自動添加加、監(jiān)控域域名的工具具，導致有有好多網(wǎng)站站部分域名名沒有加速速，而影響響整個網(wǎng)站站的打開時時間Forward泛域名方式式優(yōu)點：網(wǎng)站站被加速域域名增加，，網(wǎng)站整體體訪問效果果良好缺點：網(wǎng)站站內(nèi)部更改改一些非80端口的URL，導致緩存存服務器無無法處理，，造成無法法訪問，需需要添加到到黑名單系系統(tǒng)中。但但是隨著非非80端口的監(jiān)控控系統(tǒng)的逐逐步完善，，會提前用用戶發(fā)現(xiàn)，，添加到黑黑名單中保保證網(wǎng)站的的訪問質(zhì)量量44CPOS業(yè)務訪問過過程GatewayCDN專用承載網(wǎng)網(wǎng)移動服務器器最佳節(jié)點服務器群組組電信、聯(lián)通通用戶本地DNS服務器SSR定位系統(tǒng)客戶DNS授權服務器21367專用高速通通道1.終端用戶訪訪問源站，，向本地LDNS請求解析；；2.LDNS向源站DNS授權服務器器請求解析析；3.已經(jīng)授權到到GSLB智能解析系系統(tǒng)；4.向GSLB智能解析系系統(tǒng)請求解解析；5.智能解析系系統(tǒng)準確定定位終端用用戶所在的的運營商和和地理位置置，確定最最佳接入CDN服務節(jié)點；；6.從最佳CDN服務節(jié)點獲獲取訪問內(nèi)內(nèi)容；7.通過專用高高速通道，，經(jīng)由CDN專用網(wǎng)絡與與源站進行行高速通信信，最終獲獲取訪問內(nèi)內(nèi)容。4545CDN流量輸出情情況4月2日最高峰值值46緩存平臺加加速效果加速倍率最最高可達到到5.79倍，平均加加速倍率為為3.19倍47目錄全球互聯(lián)網(wǎng)網(wǎng)情況概覽覽CMNET總體分析CMNET資源加速技技術流量疏通流量控制內(nèi)容緩存內(nèi)容引入問題與思考考目錄48CMNET網(wǎng)絡結構構－IDC內(nèi)容引入入引入IDC的網(wǎng)站，采采用多種方方法對用戶戶請求進行行調(diào)度：1、授權DNS服務器根據(jù)據(jù)本地DNS服務器地址址將請求域域名解析為為移動IDC服務器地址址。2、視頻調(diào)度度服務器根根據(jù)用戶源源地址調(diào)度度為移動IDC服務器地址址。3、P2P調(diào)度服務器器根據(jù)用戶戶源地址在在返回的種種子文件中中優(yōu)先返回回移動IDC服務器地址址。目前引入的的網(wǎng)站多數(shù)數(shù)都是非全全量內(nèi)容引引入，并且且部分網(wǎng)站站的首頁不不在移動網(wǎng)網(wǎng)內(nèi)，因此此用戶在訪訪問時會存存在首頁打打開較慢和和部分內(nèi)容容速度較慢慢的情況。?？梢圆扇∪EB緩存加速與與引入網(wǎng)站站相結合進進行加速。。視頻網(wǎng)站源站調(diào)度CMNET省網(wǎng)引入網(wǎng)站DNS調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度視頻頻網(wǎng)網(wǎng)站站源站站調(diào)調(diào)度度引入入網(wǎng)網(wǎng)站站DNS調(diào)度度電信信、、聯(lián)聯(lián)通通用用戶戶P2P資源源電信信、、聯(lián)聯(lián)通通源源站站資資源源視頻頻網(wǎng)網(wǎng)站站源站站調(diào)調(diào)度度引入入網(wǎng)網(wǎng)站站DNS調(diào)度度視頻頻網(wǎng)網(wǎng)站站源站站調(diào)調(diào)度度引入入網(wǎng)網(wǎng)站站DNS調(diào)度度視頻頻網(wǎng)網(wǎng)站站源站站調(diào)調(diào)度度引入入網(wǎng)網(wǎng)站站DNS調(diào)度度P2P網(wǎng)站站源站站調(diào)調(diào)度度視頻頻網(wǎng)網(wǎng)站站源站站調(diào)調(diào)度度引入入網(wǎng)網(wǎng)站站DNS調(diào)度度信令令調(diào)調(diào)度度資源源訪訪問問移動動IDC引入入資資源源移動動用用戶戶P2P資源源IDC共引引入入各各類類互互聯(lián)聯(lián)網(wǎng)網(wǎng)內(nèi)內(nèi)容容商商100多家家（（共共中中地地市市知知名名網(wǎng)網(wǎng)站站9家）），，包包括括新新浪浪、、搜搜狐狐、、鳳鳳凰凰網(wǎng)網(wǎng)、、土土豆豆、、優(yōu)優(yōu)酷酷、、酷酷六六、、盛盛大大、、TOM、騰騰訊訊、、UCWEB等國國內(nèi)內(nèi)知知名名網(wǎng)網(wǎng)站站紛紛紛紛入入駐駐江江蘇蘇移移動動IDC機房房。。其其中中集集團團下下發(fā)發(fā)的的TOP200網(wǎng)站站中中已已引引入入28家，，列列全全集集團團引引入入數(shù)數(shù)量量第第二二，，基基本本覆覆蓋蓋各各類類熱熱門門應應用用。。IDC內(nèi)容容引引入入方方式式疏通方式：內(nèi)容引入到IDC后目前主要依靠合作方按照用戶地址段調(diào)度。50IDC業(yè)務務流流量量情情況況分分析析幕府府山山IDC流量量排排名名前前十十位位客客戶戶排名電路名稱帶寬Mbps流入峰值流速(Mbps)1通用型緩存平臺二期2000014317.5332北京奇藝世紀科技有限公司4020775.1063樂視網(wǎng)3000625.9144北京快網(wǎng)科技有限公司1000331.8255新浪視頻1000487.5476湖南快樂陽光互動娛樂傳媒有限公司_14000305.1767廈門游家網(wǎng)絡有限公司1000128.3158天空下載1000102.6729馬鞍山市中堯網(wǎng)絡科技有限公司1000104.09103G門戶（廣州久邦）50021.844排名電路名稱帶寬Mbps流入峰值流速(Mbps)1北京藍訊CDN2000016377.8862土豆網(wǎng)100006870.3383北京搜狐新媒體信息技術有限公司80005546.2934合一信息技術（北京）-優(yōu)酷網(wǎng)400