京東大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維監(jiān)控

1、 京東大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維監(jiān)控序言網(wǎng)絡(luò)，相當(dāng)于是互聯(lián)網(wǎng)服務(wù)的神經(jīng)系統(tǒng)和循環(huán)系統(tǒng)。監(jiān)控，是網(wǎng)絡(luò)運(yùn)維團(tuán)隊(duì)了解網(wǎng)絡(luò)服務(wù)的眼睛。隨著網(wǎng)絡(luò)規(guī)模的高速發(fā)展、運(yùn)維技術(shù)與理念的演進(jìn)，網(wǎng)絡(luò)監(jiān)控已不滿足于簡(jiǎn)單地掌握網(wǎng)絡(luò)設(shè)備的運(yùn)行狀態(tài)、流量、延時(shí)和丟包，如何準(zhǔn)確地表現(xiàn)出服務(wù)的可用性、快速發(fā)現(xiàn)問(wèn)題和定位問(wèn)題，提高手工運(yùn)維和自動(dòng)化運(yùn)維效率，是迫切的需求和挑戰(zhàn)。本文介紹京東網(wǎng)絡(luò)團(tuán)隊(duì)在監(jiān)控方向的一些思考和實(shí)踐。本文的四個(gè)部分：京東網(wǎng)絡(luò)現(xiàn)狀；監(jiān)控設(shè)計(jì)思考；京東監(jiān)控實(shí)踐；網(wǎng)絡(luò)監(jiān)控展望；一、京東網(wǎng)絡(luò)現(xiàn)狀從數(shù)據(jù)量表上來(lái)看京東的業(yè)務(wù)增長(zhǎng)，下面是京東的一張覆蓋了2014年618到2017年618所有的出口和專線的數(shù)據(jù)流量的圖表。藍(lán)色

2、是專線DCI，紅色是互聯(lián)網(wǎng)的公網(wǎng)流量。大家可以看到2017年618的DCI流量增長(zhǎng)非常非?？?；對(duì)比上一年，它已經(jīng)翻了將近一倍，主要的原因是大數(shù)據(jù)和一些后臺(tái)的日志分析等系統(tǒng)占了很大比例的流量。2017年最大的一個(gè)變化就是很多獨(dú)立的業(yè)務(wù)部署了自己的數(shù)據(jù)中心，而以前京東的各個(gè)業(yè)務(wù)混雜到一起。由于不同的業(yè)務(wù)出現(xiàn)了自己的數(shù)據(jù)中心，說(shuō)明了不同的業(yè)務(wù)對(duì)網(wǎng)絡(luò)的一些硬件和結(jié)構(gòu)、性能和品質(zhì)有了不同要求。而以前（特指代：在2013年和2014年期間）京東是僅僅來(lái)解決基本的通訊問(wèn)題，比如：帶寬或者簡(jiǎn)單基礎(chǔ)的硬件可靠性問(wèn)題。1.1、網(wǎng)絡(luò)架構(gòu)的持續(xù)優(yōu)化在網(wǎng)絡(luò)架構(gòu)的持續(xù)優(yōu)化上實(shí)際有很多小的細(xì)節(jié)優(yōu)化，但是抽象出來(lái)的只有四個(gè)方

3、面進(jìn)行了持續(xù)的投入。全國(guó)骨干網(wǎng)結(jié)構(gòu)升級(jí)對(duì)于全國(guó)骨干網(wǎng)來(lái)說(shuō)，京東在很長(zhǎng)一段時(shí)間內(nèi)是部署在北方地區(qū)也就是北京，而CDN卻是部署在全國(guó)；中后期在廣州也部署了一些核心的節(jié)點(diǎn)，以及部分海外節(jié)點(diǎn)。但是，當(dāng)時(shí)并沒(méi)有形成一個(gè)整體全國(guó)性的傳輸網(wǎng)絡(luò)。今年，我們完成了改造的最重要的第一階段：?jiǎn)?dòng)了在北京、上海、廣州三地雙平面的全國(guó)100G傳輸網(wǎng)絡(luò)平臺(tái)，目前處于建設(shè)初期?；ヂ?lián)網(wǎng)接入層建設(shè)改造互聯(lián)網(wǎng)接入層主要是自建BGP，解決的是互聯(lián)網(wǎng)質(zhì)量的業(yè)務(wù)體驗(yàn)問(wèn)題，而我們沒(méi)辦法簡(jiǎn)單通過(guò)單線、第三方互聯(lián)網(wǎng)解決。在方案的設(shè)計(jì)過(guò)程中發(fā)生了還有一些細(xì)節(jié)的變化，比如說(shuō)：城域網(wǎng)從原來(lái)的四核心改為雙核心結(jié)構(gòu)，所有的數(shù)據(jù)中心都會(huì)雙接到這兩個(gè)核心

4、上，這樣結(jié)構(gòu)簡(jiǎn)單、流量易于調(diào)度，在管理、自動(dòng)化、可視等各個(gè)方面都有優(yōu)勢(shì)。在未來(lái)我們想達(dá)到這樣一個(gè)理想效果，當(dāng)南北運(yùn)營(yíng)商網(wǎng)絡(luò)出現(xiàn)大面積網(wǎng)絡(luò)異常的時(shí)候，我們?cè)诩兇饴酚傻膶用嫱瓿蓸I(yè)務(wù)切換。DCN二層到三層的改造我們最近一年半最痛苦的問(wèn)題是網(wǎng)絡(luò)規(guī)模太大了，現(xiàn)在一個(gè)網(wǎng)絡(luò)里面至少10個(gè)POD，有大量的服務(wù)器和Docker，當(dāng)前架構(gòu)下設(shè)備的性能、穩(wěn)定性達(dá)到了上限。網(wǎng)絡(luò)設(shè)備不能簡(jiǎn)單地關(guān)注端口密度、帶寬容量、電源容量等，還要考慮ARP、路由等各類表項(xiàng)資源，都是影響系統(tǒng)的重要因素。在二層網(wǎng)絡(luò)里我們做一次網(wǎng)絡(luò)核心的故障處理，從故障狀態(tài)到可用狀態(tài)整個(gè)過(guò)程大概經(jīng)歷了五六個(gè)小時(shí)以上而且是兩天完成，整個(gè)過(guò)程就像拆彈一樣，操

5、作復(fù)雜且有極高風(fēng)險(xiǎn)。所以我們后來(lái)在運(yùn)維、基礎(chǔ)架構(gòu)上列了幾個(gè)規(guī)矩：第一，網(wǎng)絡(luò)可以做到可以在10分鐘內(nèi)完成應(yīng)急案處理。第二，部分網(wǎng)絡(luò)損失不對(duì)網(wǎng)絡(luò)造成致命傷害。第三，結(jié)構(gòu)要非常簡(jiǎn)單的，具備較好的可擴(kuò)展性、可運(yùn)維性。提高網(wǎng)絡(luò)割接的可靠性網(wǎng)絡(luò)主要有運(yùn)維和建設(shè)兩個(gè)方向。過(guò)去一年半里，京東網(wǎng)絡(luò)團(tuán)隊(duì)有60%以上的精力消耗到建設(shè)上，因?yàn)榘l(fā)展太快了。已發(fā)生的夜間割接，2016年300多次、2017上半年超過(guò)300次。為了確保網(wǎng)絡(luò)操作的可靠性，建立了標(biāo)準(zhǔn)化的SOP操作文檔、技術(shù)方案審核、雙人操作等多種機(jī)制。并且，在推動(dòng)自動(dòng)化工具逐步替代手工操作。1.2、網(wǎng)絡(luò)環(huán)境愈發(fā)嚴(yán)峻除上述的問(wèn)題外，如今的網(wǎng)絡(luò)環(huán)境也愈發(fā)嚴(yán)峻。目前

6、的網(wǎng)絡(luò)規(guī)模越來(lái)越大，變更次數(shù)越來(lái)越高，業(yè)務(wù)場(chǎng)景越來(lái)越復(fù)雜（比如：上面我們提到過(guò)的為業(yè)務(wù)特別樹(shù)立的一個(gè)獨(dú)立的數(shù)據(jù)中心，就會(huì)出現(xiàn)了特有的故障）。另外網(wǎng)絡(luò)抖動(dòng)問(wèn)題會(huì)越發(fā)明顯，通常這抖動(dòng)網(wǎng)絡(luò)上不易感知，而應(yīng)用系統(tǒng)或用戶對(duì)抖動(dòng)問(wèn)題卻很敏感。從做事情的角度，從提供良好服務(wù)的角度，我們應(yīng)該分析到底原因是什么，該怎樣解決誰(shuí)來(lái)解決。運(yùn)維工作量和效率也是非常大的挑戰(zhàn)，例如：業(yè)務(wù)方提出500臺(tái)服務(wù)器的從單網(wǎng)卡改為雙網(wǎng)卡的Bond，同期發(fā)生幾起不易定位原因的故障需要分析排查，每件工作都是對(duì)運(yùn)維力量的劇烈消耗。當(dāng)人員大量消耗在著些事務(wù)性工作上的時(shí)候就沒(méi)辦法做好架構(gòu)優(yōu)化、工作改進(jìn)的工作了。從團(tuán)隊(duì)利用率上來(lái)說(shuō)我們的工作效率

7、實(shí)際上是下降了的。大家看上面這張圖，這是2016年部分時(shí)期的可用性統(tǒng)計(jì)指標(biāo)。圖中有幾個(gè)結(jié)果很差的互聯(lián)網(wǎng)可用性，通常是有一些故障和問(wèn)題導(dǎo)致的，這些問(wèn)題大量的消耗我們的運(yùn)維資源，是我們最優(yōu)先要去解決的問(wèn)題。1.3、業(yè)務(wù)要求日益增高之前業(yè)務(wù)要求相對(duì)簡(jiǎn)單，帶寬不夠則盡量做成1:1收斂比，設(shè)備可靠性不夠則增加冗余，容量不夠則擴(kuò)大規(guī)模；現(xiàn)在業(yè)務(wù)對(duì)超大規(guī)模數(shù)據(jù)中心、超大路由表項(xiàng)、低延時(shí)、25G/40G差異化接入都提出了更高的要求，特別是網(wǎng)絡(luò)的穩(wěn)定性，網(wǎng)絡(luò)團(tuán)隊(duì)需要更全面、精細(xì)的感知網(wǎng)絡(luò)，快速發(fā)現(xiàn)和定位問(wèn)題，減少重復(fù)問(wèn)題的發(fā)生，制定有效的應(yīng)急預(yù)案，確保高水準(zhǔn)的網(wǎng)絡(luò)可用性。另外，業(yè)務(wù)希望獲得更多的網(wǎng)絡(luò)信息和數(shù)據(jù)，

8、以幫助業(yè)務(wù)進(jìn)行更好的部署、管理和調(diào)度，例如及時(shí)準(zhǔn)確的主機(jī)IP網(wǎng)絡(luò)接入位置信息、流量和網(wǎng)絡(luò)質(zhì)量信息等，需要網(wǎng)絡(luò)團(tuán)隊(duì)開(kāi)放更多的API和功能支持上層應(yīng)用。最后，網(wǎng)絡(luò)排障和問(wèn)題分析，是各個(gè)業(yè)務(wù)團(tuán)隊(duì)的常規(guī)需求，要么是網(wǎng)絡(luò)運(yùn)維團(tuán)隊(duì)協(xié)助排障，要么是開(kāi)發(fā)出友好的工具提供給業(yè)務(wù)自助完成，顯然后者是良性發(fā)展的必然選擇。二、監(jiān)控設(shè)計(jì)思考2.1、明確監(jiān)控目標(biāo)首先，“網(wǎng)絡(luò)是不是好的”，核心是定義“好”的標(biāo)準(zhǔn)；其次，要準(zhǔn)確感知到網(wǎng)絡(luò)異常，關(guān)鍵是做到對(duì)網(wǎng)絡(luò)核心監(jiān)控項(xiàng)準(zhǔn)確監(jiān)控；最后，要快速定性問(wèn)題并觸發(fā)應(yīng)對(duì)措施，核心是決策機(jī)制，確定嚴(yán)重程度、影響面；2.2、定義網(wǎng)絡(luò)“好”的標(biāo)準(zhǔn)什么是網(wǎng)絡(luò)“好”的標(biāo)準(zhǔn)？用戶覺(jué)得好才是真的好。網(wǎng)

9、絡(luò)工程師在面對(duì)問(wèn)題時(shí)的本能是排查分析問(wèn)題的原因、嘗試修復(fù)故障，往往眼里只有網(wǎng)絡(luò)設(shè)備、功能協(xié)議的運(yùn)行情況，異常狀態(tài)和現(xiàn)象，而忽視了網(wǎng)絡(luò)服務(wù)的核心是滿足業(yè)務(wù)的聯(lián)通性需要。當(dāng)網(wǎng)規(guī)模到了一定程度之后，一兩條鏈路或幾臺(tái)設(shè)備的好與壞說(shuō)明不了整體網(wǎng)絡(luò)服務(wù)是不是好的問(wèn)題。網(wǎng)絡(luò)團(tuán)隊(duì)要站在更高的層面，脫離只關(guān)注白盒、只關(guān)注網(wǎng)絡(luò)設(shè)備的思維，從用戶視角看網(wǎng)絡(luò)服務(wù)情況。2.3、找到感知網(wǎng)絡(luò)的有效方法知道什么是好網(wǎng)絡(luò)，我們就要搞定感知網(wǎng)絡(luò)，就要模擬用戶的視角，做黑盒監(jiān)控。京東網(wǎng)絡(luò)團(tuán)隊(duì)在2016年下半年開(kāi)始在黑盒監(jiān)控方向走的比較快，進(jìn)行了大量的實(shí)踐和嘗試。黑盒監(jiān)控本質(zhì)上還是白盒，但需要改變思維方式。例如：交換機(jī)板卡重啟僅僅

10、是導(dǎo)致網(wǎng)絡(luò)抖動(dòng)的原因之一，用戶視角看到的是網(wǎng)絡(luò)抖動(dòng)，在處理邏輯上要先定性網(wǎng)絡(luò)出現(xiàn)了抖動(dòng)再定位是什么原因引起的。另外，在做網(wǎng)絡(luò)核心項(xiàng)監(jiān)控時(shí)，要抓大放小，不要什么都想一步做好，把最常見(jiàn)的、最嚴(yán)重的故障優(yōu)先識(shí)別出來(lái)，首先解決核心問(wèn)題。2.4、網(wǎng)絡(luò)異常處理的預(yù)案與決策機(jī)制網(wǎng)絡(luò)異常主要有兩類：第一類是依靠網(wǎng)絡(luò)自身的健壯性，可以自愈或承受的，往往這種僅降低網(wǎng)絡(luò)的健康度、增加了不可用的風(fēng)險(xiǎn)；這類異常不是我們關(guān)注的重點(diǎn)。第二類是明顯影響了網(wǎng)絡(luò)局部或全部服務(wù)的可用性，但又沒(méi)有導(dǎo)致網(wǎng)絡(luò)服務(wù)中斷或完全不可用，只能通過(guò)人工干預(yù)來(lái)執(zhí)行應(yīng)急預(yù)案的異常事件；這種問(wèn)題才是最關(guān)鍵的、需要及時(shí)處理的。2.5、網(wǎng)絡(luò)監(jiān)控到底要做什么

11、？這是一個(gè)簡(jiǎn)單的總結(jié)，網(wǎng)絡(luò)監(jiān)控要干嗎？第一句話隨著監(jiān)控的深入，我們發(fā)現(xiàn)想象的網(wǎng)絡(luò)質(zhì)量跟我們主觀實(shí)際測(cè)出到的確實(shí)不一樣。監(jiān)控要看啥呢？故障可用性、健康度、交付質(zhì)量就是我一個(gè)新的網(wǎng)絡(luò)建設(shè)完以后這部署立刻部署上完成驗(yàn)收、操作的影響我們做一個(gè)專線切換真的就是平滑的嗎？我們下線板卡沒(méi)有影響嗎？但是因?yàn)闆](méi)有數(shù)據(jù)我們以為是好的、還有運(yùn)行狀態(tài)。做好以上這些才是網(wǎng)絡(luò)監(jiān)控要做的事情。三、京東監(jiān)控實(shí)踐3.1、監(jiān)控的前期準(zhǔn)備準(zhǔn)備工作如下：AAA -bono-publico.de/projects/tac_plus.html NTP SNMP python + go SYSLOG /network-security/s

12、yslog-ng/ CMDB mysql + php + python 特別是需要手工維護(hù)的信息（例如：設(shè)備管理IP、互聯(lián)網(wǎng)出口、專線接口等）在前期，我們需要為監(jiān)控做一些基礎(chǔ)的工作。首先，一定要有AAA，解決設(shè)備的統(tǒng)一管理問(wèn)題。第二，就是NTP，設(shè)備時(shí)間一定要正確。第三，要具備基本的SNMP采集能力。今年京東618的流量采集比以往有一個(gè)突破，以前的采集密度是分鐘極，今年到了10秒級(jí)，并給我們帶來(lái)巨大的震撼。這個(gè)震撼就是我們發(fā)現(xiàn)原來(lái)的流量統(tǒng)計(jì)偏差很大，10秒采集的結(jié)果數(shù)值增加了20%，也就是說(shuō)如果跑了80%的帶寬，實(shí)際上是96%甚至百分之百。第四，SYSLOG可以幫我們了解很多未發(fā)現(xiàn)問(wèn)題，進(jìn)行回

13、溯和追蹤；前三點(diǎn)都是看事中出了什么問(wèn)題，而SYSLOG是看事后出現(xiàn)什么問(wèn)題，所以SYSLOG很重要，特別捕捉事前沒(méi)見(jiàn)過(guò)的日志。最后一個(gè)就是基礎(chǔ)信息，基礎(chǔ)信息是整個(gè)監(jiān)控的基礎(chǔ)，需要注意的是很多基礎(chǔ)信息是必須手工定義的，例如：哪些接口是專線？某臺(tái)設(shè)備是什么角色等等。這類信息我稱之為管理信息，是很難脫離人為因素完全自動(dòng)化的。3.2、基本面監(jiān)控核心邏輯是：有一些顯而易見(jiàn)的狀況，說(shuō)明網(wǎng)絡(luò)一定出了問(wèn)題；那么就找到并呈現(xiàn)出來(lái)，先回答是否有問(wèn)題（是不是好的）；目前京東網(wǎng)正在使用的有：互聯(lián)網(wǎng)出口、POD上聯(lián)、DCI的實(shí)時(shí)流量和近24小時(shí)流量峰值；近6小時(shí)互聯(lián)網(wǎng)、DCI的總流量環(huán)比；近24小時(shí)全網(wǎng)syslog、d

14、rop、crc的總量；近6小時(shí)全網(wǎng)應(yīng)用服務(wù)方法性能等關(guān)鍵業(yè)務(wù)異常報(bào)警的總量；當(dāng)前各IDC出口到全國(guó)各省網(wǎng)絡(luò)質(zhì)量、DCI網(wǎng)絡(luò)質(zhì)量；當(dāng)前全網(wǎng)網(wǎng)絡(luò)設(shè)備、服務(wù)器的總量與存活數(shù)；基本面監(jiān)控就是要做到這樣一個(gè)效果：有幾個(gè)重要的大屏，當(dāng)你看到上面有異常的時(shí)候，就表明就一定出現(xiàn)了問(wèn)題。如果上面的狀態(tài)顯示良好，說(shuō)明網(wǎng)絡(luò)沒(méi)有什么大的問(wèn)題（但不代表沒(méi)有小的問(wèn)題）。京東網(wǎng)絡(luò)團(tuán)隊(duì)最近一年半就是在解決這個(gè)問(wèn)題。第一部分是流量，包括互聯(lián)網(wǎng)出口、POD上聯(lián)、DCI的實(shí)時(shí)流量和近24小時(shí)的峰值。第二部分是流量環(huán)比。目前我們做的互聯(lián)網(wǎng)專線，環(huán)比看出異常來(lái)，我們專線遠(yuǎn)高于頭一天，但是曲線基本結(jié)構(gòu)波形是一致的，看起來(lái)問(wèn)題都不大。第三

15、部分是近24小時(shí)全網(wǎng)SYSLOG在各個(gè)時(shí)間點(diǎn)的總和，每一分鐘異常數(shù)。SYSLOG可能只有0到兩三個(gè)，但是出現(xiàn)大量異常有幾十個(gè)、上百個(gè)，就可以非常直觀的看出有問(wèn)題發(fā)生，接下來(lái)再去排查定位就非常容易了。第四部分是近6個(gè)小時(shí)所有業(yè)務(wù)應(yīng)用方法調(diào)用性能和指標(biāo)異常。3.3、互聯(lián)網(wǎng)質(zhì)量監(jiān)控的事例上圖中電信到三個(gè)省份互聯(lián)網(wǎng)出現(xiàn)異常了，可以看到有電信、聯(lián)通、移動(dòng)還有BGP。電信到電信出現(xiàn)異常，說(shuō)明是這個(gè)省內(nèi)部的問(wèn)題。如果僅僅是跨運(yùn)營(yíng)商則不需要特別的處理和關(guān)注。上圖中互聯(lián)網(wǎng)出口流量，有一個(gè)紅框畫(huà)出來(lái)的出口，使用率特接近60%，但沒(méi)有超出過(guò)去24小時(shí)的峰值，不算嚴(yán)重但需要關(guān)注。上圖中可以看到箭頭指出位置有30多個(gè)S

16、YSLOG報(bào)警，很容易看出問(wèn)題來(lái)。最后一個(gè)方法性能可以看到有幾個(gè)毛刺是不正常的。上圖是互聯(lián)網(wǎng)質(zhì)量監(jiān)控，它的基本思路比較簡(jiǎn)單，展示各個(gè)機(jī)房到各個(gè)省份的質(zhì)量監(jiān)控。每個(gè)小方格，從右到左是當(dāng)前到近60分鐘的網(wǎng)絡(luò)質(zhì)量，并隨著時(shí)間推移向左移動(dòng)，來(lái)表現(xiàn)過(guò)去一小時(shí)內(nèi)是否有異常發(fā)生、以及異常的持續(xù)時(shí)間或恢復(fù)正常的時(shí)間。上圖的紅圈位置表示有一個(gè)省的移動(dòng)網(wǎng)絡(luò)出現(xiàn)問(wèn)題，右邊圖片中的紅線是動(dòng)態(tài)報(bào)警閾值，閾值不是固定的，而是根據(jù)實(shí)際監(jiān)控的歷史數(shù)據(jù)計(jì)算得出的動(dòng)態(tài)閾值，這樣可以避免一刀切的粗暴判斷方式。3.4、DCN網(wǎng)絡(luò)質(zhì)量監(jiān)控的事例最后是數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)怎么去監(jiān)控。微軟的一篇名為pingmesh的論文非常知名，它的基本邏輯

17、是以最小的代價(jià)最大話的模擬full-mesh的端到端網(wǎng)絡(luò)黑盒監(jiān)控效果。從監(jiān)控結(jié)果可以直觀的得出來(lái)機(jī)架內(nèi)、機(jī)架間、POD內(nèi)、POD間、機(jī)房間網(wǎng)絡(luò)質(zhì)量。上面三張圖片是京東實(shí)際做出來(lái)的Pingmesh效果，在數(shù)據(jù)中心內(nèi)網(wǎng)它的覆蓋率接近50%。從監(jiān)控結(jié)果看跟我們想象的遠(yuǎn)遠(yuǎn)不一樣，我在很多年里一直認(rèn)為數(shù)據(jù)中心內(nèi)網(wǎng)很穩(wěn)定，現(xiàn)在看到是有明顯丟包的情況。這類監(jiān)控可以非常直觀地發(fā)現(xiàn)網(wǎng)絡(luò)的異常，接下來(lái)再基于白盒監(jiān)控去定位問(wèn)題的原因是什么。以上是京東網(wǎng)絡(luò)做的很有限的一些工作，做的并不多、存在很多不足，主要問(wèn)題還是希望從白盒監(jiān)控思維中跳出來(lái)，抽象的去看一個(gè)大的網(wǎng)絡(luò)，從用戶視角觀察，要做深做細(xì)需要有更多持續(xù)的思考和實(shí)踐。四、網(wǎng)絡(luò)監(jiān)控展望監(jiān)控只是工具和手段，監(jiān)控可以告訴我們要做好什么事。上圖是網(wǎng)絡(luò)可用性的達(dá)成情況，從中我們可以分析出兩件事情：第一件