客戶專線速率不達標疑難案例解析

案例標題政企客戶專線速率不達標疑難案例匯總解析案例作者魯景華所屬分公司：北京市分公司摘要：政企專線開通測試和故障處理的過程中，經(jīng)常會遇到用戶投訴專線帶寬不達標（或測速不達標）的情況。在處理此類故障遇到兩類場景，一是運營商的線路帶寬二層測試正常，但基于網(wǎng)絡(luò)層、應(yīng)用層的網(wǎng)絡(luò)性能測試指標不達標，二是用戶的業(yè)務(wù)實際應(yīng)用中超速或有個性化使用需求。針對這兩種典型疑難故障案例，本文詳細介紹了如何精準測試用戶的流量和TCP應(yīng)用層的測試方法及測試案例，從客戶端業(yè)務(wù)和運營商傳輸網(wǎng)絡(luò)兩個角度提煉、分析、研究處理此類故障的處理方法，希望能為政企交付工程師提供借鑒，從而有效提升運維服務(wù)品質(zhì)，提高客戶感知，助力市場發(fā)展。關(guān)鍵詞：政企客戶；以太網(wǎng)專線；帶寬不達標；Wireshark；儀表設(shè)置（一）案例背景業(yè)務(wù)背景隨著社會全面步入信息化，用戶的各種網(wǎng)絡(luò)應(yīng)用對通信的需求不斷擴大。面對這種日益擴大的需求，平時開通測試和處理故障的時候經(jīng)常遇到用戶投訴專線帶寬不達標的情況，在處理此類故障遇到兩種情形，一是運營商的線路帶寬二層測試正常，但基于網(wǎng)絡(luò)層、應(yīng)用層的網(wǎng)絡(luò)性能測試指標不達標，由于應(yīng)用層帶寬測試與上層應(yīng)用協(xié)議的實現(xiàn)機制、用戶終端（如個人PC、服務(wù)器等）能力、TCP滑動窗口等因素密切相關(guān)，現(xiàn)階段常用的應(yīng)用層測試工具FTP、IPERF、飛鴿傳書等都是基于電腦的測試軟件，與采用測試儀表進行測試相比，誤差較大，不能完全真實地反映網(wǎng)絡(luò)能力。在實際工作中多次遇到線路測試正常，而用戶在實際使用過程中線路帶寬不達標的疑難故障，二是用戶的業(yè)務(wù)超速或個性化需求，造成線路丟包或時延增大，用戶側(cè)數(shù)通設(shè)備端口上的統(tǒng)計是一段時間的平均速率，無法實時反應(yīng)端口的實時流量，故此用戶懷疑運營商帶寬不夠。因此，如何有效解決用戶的實際需求，提供面向用戶側(cè)的測試解決方案，成為運維側(cè)工程師的重要工作。相關(guān)背景知識1）TCP窗口TCP協(xié)議在數(shù)據(jù)的發(fā)送端使用擁塞窗口機制控制流量發(fā)送，接收方采用接收窗口進行端到端的流量控制。TCP接收窗口是指發(fā)送方終端在沒有接收到所傳送的數(shù)據(jù)的確認時，被允許發(fā)送的數(shù)據(jù)段（Byte）的數(shù)量就稱為窗口，即是一種接收方能夠控制發(fā)送方使其降低速度的反饋機制，能夠抑制發(fā)送方發(fā)送速度過快，避免傳輸接收方所能處理的更多的數(shù)據(jù)。由此可以看出TCP窗口的大小決定了發(fā)送的數(shù)據(jù)量，TCP協(xié)議選擇擁塞窗口與接收窗口中數(shù)值較小的一個作為TCP滑動窗口值使用。當TCP滑動窗口值越大，在網(wǎng)絡(luò)中一次可以傳輸?shù)臄?shù)據(jù)量越大，TCP就可以獲得更高的吞吐量。2）傳輸時延TCP是面向連接的，提供可靠的傳輸，超時重傳是TCP協(xié)議保證數(shù)據(jù)可靠性的一個重要機制，其原理是在發(fā)送一個數(shù)據(jù)以后就開啟一個計時器，在一定時間內(nèi)如果沒有得到發(fā)送數(shù)據(jù)報的ACK報文，那么就重新發(fā)送數(shù)據(jù)，直到發(fā)送成功為止。這是數(shù)據(jù)丟包的情況下給出的一種修補機制。當網(wǎng)絡(luò)傳輸時延超過TCP重傳計時器設(shè)定的時間后，需要對沒有收到ACK的數(shù)據(jù)塊進行重新傳送，已經(jīng)發(fā)送的數(shù)據(jù)塊和需要重新傳送的數(shù)據(jù)塊在網(wǎng)絡(luò)中傳輸時占用了網(wǎng)絡(luò)帶寬，而對于上層應(yīng)用而言沒有收到ACK信息會再次發(fā)送，這就使得應(yīng)用層的帶寬利用率降低。3）時延帶寬積時延帶寬積(Bandwidth-DelayProduct，BDP)表示信道能容納多少數(shù)據(jù)，用于計算信道的利用率。當采用TCP協(xié)議承載應(yīng)用層通信時，在信道被充分利用的情況下，時延帶寬積就是信道中正在傳輸?shù)牡菦]有被確認的數(shù)據(jù)量，即為TCP協(xié)議中滑動窗口的大小數(shù)值。因此為了最有效的利用網(wǎng)絡(luò)提供的帶寬資源，TCP滑動窗口大小應(yīng)不小于BDP大小。Window系統(tǒng)的TCP窗口最大為64K。時延帶寬積的計算公式如下：BDP(bits)=RTT(sec)*BW(bps)滑動窗口大小是以Byte為單位，因此需要進行單位換算，按照以下公式進行計算：WindowSize(Byte)=BDP(bits)/8(bitsperByte)其中RTT表示從發(fā)送端發(fā)送數(shù)據(jù)開始，到發(fā)送端收到來自接收端的確認，總共經(jīng)歷的時延，公式中的BW是用戶簽約的帶寬。（二）測試方法（注：以最常用JDSUMTS5800為例，其他型號儀表配置類似，如EXFO）TCP應(yīng)用層測試法此測試法，主要解決運營商的線路帶寬二層測試正常，但基于網(wǎng)絡(luò)層、應(yīng)用層的測試指標不達標疑難故障。MTS5800測試儀表設(shè)置如下：（1）開機初始化，進入“選擇測試”選擇以太網(wǎng)“第4層TCP線速”測試選項。點擊儀表右上角“設(shè)置”按鈕，進入具體配置界面。（2）在“接口”菜單內(nèi)的“物理層”選項。配置相應(yīng)儀表“自協(xié)商”、“雙工模式”等信息。（3）選擇“全部數(shù)據(jù)流”菜單，設(shè)置“源IP”、“缺省網(wǎng)關(guān)”、“子網(wǎng)掩碼”等。（4）選擇“配置數(shù)據(jù)流”菜單，點擊“數(shù)據(jù)流1”左邊的白色方框，選中“數(shù)據(jù)流1”。（5）在“1”菜單內(nèi)的“TCP/UDP”選項，將流量模式設(shè)置為“TCP”。（6）在“TCP主機”菜單內(nèi)的“TCP主機設(shè)置”選項。配置相應(yīng)儀表“TCP主機模式”一臺儀表配置為“服務(wù)器”；“監(jiān)聽端口”；“最大分割字節(jié)”填測出的線路的MTU值；“窗口大小”填線路的BDP(bits)/8值。（7）在“TCP主機”菜單內(nèi)的“TCP主機設(shè)置”選項。配置相應(yīng)儀表“TCP主機模式”另一臺儀表配置為“客戶機”；“連接到端口”要與服務(wù)器的監(jiān)聽端口值相同；“最大分割字節(jié)”填測出的線路的MTU值；“連接到服務(wù)器”填服務(wù)器的IP地址；“窗口大小”填線路的BDP(bits)/8值。（8）返回測試界面，在“操作”菜單內(nèi)分別點擊兩臺儀表的“啟動TCP服務(wù)器”和“啟動TCP客戶端”，在客戶機儀表上查看測試結(jié)果。2）儀表串接測試法此方法主要解決客戶業(yè)務(wù)超速或個性化需求，造成線路丟包或時延增大，用戶側(cè)數(shù)通設(shè)備端口上的統(tǒng)計是一段時間的平均速率，無法實時反應(yīng)端口的實時流量，用戶懷疑運營商帶寬不夠疑難故障。MTS5800測試儀表設(shè)置如下：（1）開機初始化，進入“選擇測試”選擇電口以太網(wǎng)3層流量、IPV4、“雙端口通過”測試選項，點擊儀表右上角“設(shè)置”按鈕，進入具體配置界面。（2）在“接口”菜單內(nèi)的“物理層”選項。配置相應(yīng)儀表“自協(xié)商打開或關(guān)閉”。（3）在“捕獲”菜單配置相應(yīng)“捕獲緩存尺寸”、大小1-256M（4）查看測試結(jié)果?！岸丝?”接互聯(lián)網(wǎng)，測得結(jié)果就是下載速率。（5）查看測試結(jié)果?！岸丝?”接用戶，測得結(jié)果就是上傳速率。（6）開機初始化，進入“選擇測試”選擇光口以太網(wǎng)3層流量、IPV4、“P1監(jiān)測/通過”測試選項，點擊儀表右上角“設(shè)置”按鈕，進入具體配置界面（7）選擇“激光器”打開激光器。（8）選擇“操作”然后選擇“連接Rx到Tx”（9）當打開兩個端口同時測試收發(fā)兩條光纖時，選擇“雙重測試視圖”（10）可同時顯示用戶的收發(fā)流量（三）匯總案例解析1.傳輸設(shè)備緩存小導(dǎo)致應(yīng)用層帶寬不達標的案例案例描述：某公司申請了一條由東城區(qū)金寶街89號金寶大廈到高碑店電話局IDC機房50M的以太網(wǎng)電路，用戶申告線路帶寬不達標，上傳數(shù)據(jù)只能達到20多兆，區(qū)局多次打環(huán)測試沒問題，線路路由拓撲如下圖所示：案例分析和詳細處理過程：測試工程師在A端接上儀表，Z端打環(huán)進行二層環(huán)回測試，經(jīng)測試發(fā)現(xiàn)線路速率為50Mbps，線路無丟幀、錯幀，線路二層測試正常。測試工程師在A端接上儀表，Z端接回用戶路由器，進行等效環(huán)回測試，經(jīng)測試能達到50M,反過來A端接用戶路由器，Z端接儀表，三層等效環(huán)回測試也能達到50M.測試工程師在A,Z端接上儀表，進行4層應(yīng)用層測試，二層環(huán)回測得線路時延RTT是0.8ms，線路帶寬是50M,則理論TCP測試窗口WindowSize(Byte)=RTT(sec)*BW(bps)/8(bitsperByte)計算得：5KB，測試結(jié)果如下：通過以上測試，發(fā)現(xiàn)有大量的重傳幀，傳輸網(wǎng)管查看線路配置，發(fā)現(xiàn)此條線的緩存只有200K,將緩存增加到2M,經(jīng)測試正常。用戶應(yīng)用上傳數(shù)據(jù)能達到45M，用戶對線路質(zhì)量表示認可，用戶應(yīng)用上傳數(shù)據(jù)結(jié)果如下圖：客戶超速導(dǎo)致網(wǎng)速卡頓丟包案例案例描述：某客戶申告300M的互聯(lián)網(wǎng)專線光15075網(wǎng)速卡頓，Ping測丟包，聯(lián)通監(jiān)測用戶超速，用戶在自己交換機端口的監(jiān)測流量不超速，線路路由拓撲如下圖所示：案例分析和詳細處理過程：互聯(lián)網(wǎng)網(wǎng)管查看局端端口：用戶上傳流量超過340M，用戶300M線路滿載.聯(lián)通流量統(tǒng)計截圖從統(tǒng)計截圖上看，用戶發(fā)出的流量遠遠超出申請的300M線路帶寬的流量。用戶在自己交換機端口的監(jiān)測流量：上行流量大概在150-200M之間，下行流量幾乎沒有。用戶流量監(jiān)測截圖將儀表串接在電路中，測試上下行流量：測試儀表電口連接圖PORT1口連光貓，收互聯(lián)網(wǎng)方向的流量，即下載流量。PORT2口連用戶設(shè)備，收用戶的流量，即上行流量。測試結(jié)果顯示，用戶發(fā)出的流量即上行流量374.96M，超過申請的帶寬300M，下載流量223.84M。互聯(lián)網(wǎng)放開限速，測試用戶發(fā)出的流量達504M。用戶在交換機出口監(jiān)測的流量200M，而在DDOS出口的流量就達到370M,多出的流量應(yīng)該就是DDOS設(shè)備產(chǎn)生的，測試拓撲圖：測試結(jié)果：DDOS設(shè)備端口起來后就發(fā)出190M多的流量，定點此設(shè)備為故障點。Wireshark抓包分析結(jié)果（限速300M抓的包），用戶最高的瞬時流量達620M,線路中有大量亂序TCP流量，平均大約有200M。Wireshark抓包線路流量分析截圖Wireshark抓包線路亂序TCP包分析截圖Wireshark抓到的亂序包3.客戶超速導(dǎo)致時延變大案例案例描述：某客戶一條到山東濟南的20M專線，用戶申告時延大，兩端工程師上門對PING一小時時延均大約10ms正常，但在有負載的情況下長ping每隔一兩分鐘就會有一個大時延最大達500ms。線路路由拓撲如下圖所示：案例分析和詳細處理過程：將儀表串接在北京用戶路由器發(fā)的光路中，測試用戶的流量并抓包：（2）儀表測試結(jié)果，用戶流量超速，瞬時峰值最大達27M多，超過用戶申請的線路20M的帶寬，測試流量圖（檢測時長單位：ms）如下圖：儀表測試結(jié)果（3）線路流量超速與ping測結(jié)果中時延變大同時出現(xiàn)，流量超速與時延對比圖如下：（4）儀表測出的速率只能精確到1秒內(nèi)的平均值，測試結(jié)果：儀表測試截圖（5）Wireshark軟件統(tǒng)計出的按秒計的平均流量圖，最大27M附近，與儀表測的結(jié)果基本一致。Wireshark軟件統(tǒng)計截圖（6）Wireshark軟件按1毫秒分析線路的瞬時流量，發(fā)現(xiàn)線路的最高達450M，統(tǒng)計結(jié)果：（6）Wireshark軟件線路中所有包流量統(tǒng)計：線路中所有包流量統(tǒng)計截圖（7）Wireshark軟件過濾主機12流量統(tǒng)計：過濾主機12流量統(tǒng)計截圖（7）Wireshark軟件過濾主機11流量統(tǒng)計：過濾主機11流量統(tǒng)計截圖（8）從分析疊加看，突發(fā)的大流量是有11，12這兩臺主機產(chǎn)生的。（四）總結(jié)1.針對運營商的線路帶寬二層測試正常，但基于網(wǎng)絡(luò)層、應(yīng)用層的網(wǎng)絡(luò)性能測試指標不達標故障建議傳統(tǒng)專線的二層、三層測試方法，只能驗證聯(lián)通線路的二層、三層性能，在實際應(yīng)用中，用戶最關(guān)切的是應(yīng)用，接上自身設(shè)備進行線路調(diào)試時，常常會出現(xiàn)各種各樣的問題。TCP應(yīng)用層測試法的總結(jié)：1）首先二層流量的測試，確定物理層和數(shù)據(jù)鏈路層正常，同時測出鏈路的MTU值和線路的傳輸時延RTT；2）用等效環(huán)回測試法測試線路的網(wǎng)絡(luò)層性能，同時測試用戶設(shè)備的處理能力；3）依據(jù)測出的傳輸時延和線路的帶寬算出TCP測試窗口；4）微調(diào)測試窗口的大小，測出線路的最大應(yīng)用層帶寬；5）應(yīng)用層帶寬不達標的原因大多是由于線路的緩存小造成的，需要網(wǎng)管核實整條線路上所經(jīng)過的所有設(shè)備的緩存；6）Window系統(tǒng)的TCP窗口最大為64K，并且Windows在vista之后的系統(tǒng)不再提供修改TCP窗口的方法，而測試線路的應(yīng)用層又與TCP窗口有關(guān)，使用用戶終端（如個人PC、服務(wù)器等）測試應(yīng)用層帶寬誤差較大，所以不建議用電腦測試應(yīng)用層帶寬。2.針對用戶的業(yè)務(wù)超速故障建議路由器和交換機的端口流量統(tǒng)計是5分鐘的平均流量，傳輸設(shè)備的端口流量統(tǒng)計是5秒鐘的平均流量，都不能完全反應(yīng)出用戶的實時流量，往往統(tǒng)計出來的結(jié)果與實際差別很大。儀表測試的精度是1秒的平均流量，測量的準確性提高很多，儀表還能抓包，抓下來的包用Wireshark軟件分析，流量統(tǒng)計可以精確到1毫秒，