技術報告基于主動節(jié)點的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)設計實現(xiàn)

1、計劃類別 項目編號 項目技術報告課題名稱 項目主持人 承擔單位 題目：基于主動節(jié)點的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)設計與實現(xiàn)電力企業(yè)內(nèi)部網(wǎng)絡監(jiān)控設備眾多，品牌性能各不相同，網(wǎng)絡監(jiān)控難度也越來越大。為了解決不同平臺的網(wǎng)絡設備監(jiān)控的難題，本文以跨平臺技術為基礎，設計了由網(wǎng)絡資源設備、主動節(jié)點、監(jiān)控信息庫構成的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)。系統(tǒng)設計了基于主動網(wǎng)絡的動態(tài)數(shù)據(jù)采集算法實現(xiàn)數(shù)據(jù)的周期性采集，采用主動報文的形式將信息發(fā)送給監(jiān)控平臺服務端，通過構造主動節(jié)點實現(xiàn)數(shù)據(jù)的采集和傳送控制。本系統(tǒng)于2015年在國網(wǎng)吉林省電力有限公司開始應用，實現(xiàn)了對電力系統(tǒng)不同網(wǎng)絡設備進行狀態(tài)監(jiān)控集中管理，極大的提高了運維效率。關鍵詞：主動

2、節(jié)點；數(shù)據(jù)采集；主動報文1 引言（Introduction）隨著信息技術的發(fā)展和網(wǎng)絡規(guī)模的擴大，企業(yè)內(nèi)部的網(wǎng)絡結構也日益復雜，電力企業(yè)也不例外，各類網(wǎng)絡監(jiān)控設備種類繁多，這些設備品牌、性能、操作系統(tǒng)各不相同，日志和告警格式也各式各樣。對這些設備的網(wǎng)絡監(jiān)控難度也越來越大，網(wǎng)絡監(jiān)控已經(jīng)成為現(xiàn)代企業(yè)信息化建設的難點。近年來，網(wǎng)絡監(jiān)控技術也從傳統(tǒng)的集中式轉(zhuǎn)變?yōu)榉植际健吸c代理轉(zhuǎn)向多層次。這些新型監(jiān)控技術的產(chǎn)生，為解決電力企業(yè)的網(wǎng)絡監(jiān)管問題，提供了很好的技術手段1，2。本文設計基于主動節(jié)點的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)，對電力企業(yè)不同平臺的網(wǎng)絡設備進行監(jiān)控，方便電力企業(yè)實現(xiàn)網(wǎng)絡維護和監(jiān)控。系統(tǒng)采用主動節(jié)點和監(jiān)控平

3、臺為基礎，采集各類數(shù)據(jù)。通過主動報文的形式發(fā)送給監(jiān)控平臺服務端，并進行展示，實現(xiàn)對電力企業(yè)網(wǎng)絡設備的集中監(jiān)控，提高運維效率。2 系統(tǒng)的總體設計（General design）網(wǎng)絡監(jiān)控是指對網(wǎng)絡運行狀態(tài)數(shù)據(jù)進行實時采集、分析、預測，并對網(wǎng)絡運行狀態(tài)實施控制。由于電力企業(yè)的網(wǎng)絡系統(tǒng)涉及到許多不同平臺基礎的網(wǎng)絡設備，為此在系統(tǒng)的設計過程中采用跨平臺設計。根據(jù)電力企業(yè)內(nèi)部的網(wǎng)絡設備監(jiān)控的具體需求，基于主動節(jié)點的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)的系統(tǒng)總體架構設計如圖1所示。由圖1可以看出，基于主動節(jié)點的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)主要由網(wǎng)絡資源設備、主動節(jié)點、監(jiān)控系統(tǒng)和系統(tǒng)使用用戶四部分構成。網(wǎng)絡資源設備包括交換機、路由器、終

4、端監(jiān)測設備、各類服務器，以及其他的軟硬件設備等。主動節(jié)點是各類監(jiān)控服務的載體，為SNMP、WMI、Syslog等服務提供運行基礎。主動節(jié)點采用主動報文的形式與監(jiān)控系統(tǒng)進行通信，將各類消息傳送至監(jiān)控系統(tǒng)。主動節(jié)點上的主動服務對本地的各類對象和其他節(jié)點的網(wǎng)絡資源進行管理。監(jiān)控系統(tǒng)根據(jù)主動節(jié)點采集的數(shù)據(jù)為用戶提供網(wǎng)絡運行狀態(tài)信息、服務器運行狀態(tài)信息、集群狀態(tài)信息等，實現(xiàn)各類告警信息的提示，并為用戶提供權限管理和任務分析等功能，同時將各類信息存入監(jiān)控系統(tǒng)數(shù)據(jù)庫3。3 主動節(jié)點設計（Design of active nodes）3.1 主動節(jié)點功能主動節(jié)點是指被安裝監(jiān)控代理的網(wǎng)絡設備，是網(wǎng)絡監(jiān)控系統(tǒng)的核

5、心部件，具有管理非主動節(jié)點和被監(jiān)控系統(tǒng)管理的雙重身份。主動節(jié)點的所有功能都是通過節(jié)點上運行的主動代理服務實現(xiàn)的，包括命令的獲取、數(shù)據(jù)的采集和告警的處理等4-6。主動代理的具體功能結構如圖2所示，其包含的功能如下：（1）獲取和接收網(wǎng)絡監(jiān)控中心的各類指令，執(zhí)行對網(wǎng)絡節(jié)點的監(jiān)控、異常數(shù)據(jù)采集和數(shù)據(jù)回傳。（2）根據(jù)網(wǎng)絡監(jiān)控中心的指令，實現(xiàn)對本地服務庫的管理、配置等。（3）接收主動報文，并對主動報文進行解析，并執(zhí)行主動報文中的主動代碼。（4）依據(jù)SNMP協(xié)議，調(diào)用本地SNMP服務和WMI服務，實現(xiàn)對周圍非主動節(jié)點和網(wǎng)絡設備的管理。（5）對采集的數(shù)據(jù)，根據(jù)一定的策略進行分析、過濾和壓縮，消除冗余數(shù)據(jù)，降低

6、會出數(shù)據(jù)的流量，減少監(jiān)控系統(tǒng)的計算任務量。3.2 主動報文處理當主動節(jié)點受到一個主動報文后，主動報文處理器首先對報文的類型進行判斷。如果報文的類型不在主動節(jié)點處理的范圍內(nèi)，則這個報文就會被丟棄。如果報文能夠被節(jié)點識別，則節(jié)點會根據(jù)報文類型進行相應的處理。如果接收到的是普通數(shù)據(jù)采集報文。則主動節(jié)點接收到此報文后，首先對主動報文進行安全認證，認證通過后，主動報文處理器將其發(fā)送到相應的數(shù)據(jù)采集主動環(huán)境中。主動環(huán)境依據(jù)主動報文的主動代碼，完成相應主動服務的啟動工作，并進行數(shù)據(jù)采集。如果接受到的報文是主動服務庫管理數(shù)據(jù)報文，則主動報文處理器會將此報文發(fā)送給主動服務管理進程。主動服務管理進程根據(jù)主動報文中

7、的主動代碼管理主動服務庫，實現(xiàn)對主動節(jié)點各類服務的動態(tài)增加、刪除和修改等功能7。4 主動報文的設計（Design of active packet）在基于主動節(jié)點的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)中，主動報文負責傳輸節(jié)點間的主動程序和相關數(shù)據(jù)，是監(jiān)控系統(tǒng)中數(shù)據(jù)傳輸?shù)闹匾d體。與傳統(tǒng)的網(wǎng)絡數(shù)據(jù)報文相比，主動報文的特點在于主動報文中含有可以執(zhí)行的主動代碼。主動IP信包是主動報文的一種。本文采用主動IP信包的方式來構造主動報文。主動IP信包，在傳統(tǒng)IP數(shù)據(jù)報文的基礎上，增加了一種攜帶主動代碼的機制，具體方法是在IP數(shù)據(jù)報文的選項域中插入主動代碼。從而將傳統(tǒng)的IP網(wǎng)絡升級為主動網(wǎng)絡。主動IP信包由IP頭、專用頭和載

8、荷三部分組成，報文的具體結構如圖3所示。在主動IP信報中，IP頭由源地址、目的地址和IP選項三部分內(nèi)容構成，IP頭的內(nèi)容與TCP/IP協(xié)議中的內(nèi)容是一致的，從而實現(xiàn)與IP數(shù)據(jù)包的兼容。主動報文的核心組成部分為專用頭，它由版本號、報文類型、前地址和類型等部分構成。版本號代表著IP信包的版本，類型對轉(zhuǎn)發(fā)程序和相關的代碼、協(xié)議等內(nèi)容進行標識。報文的類型直接影響著報文其他內(nèi)容的容量。前地址用于傳遞主動代碼，為主動報文經(jīng)過的上一跳的網(wǎng)絡節(jié)點地址。報文中的載荷部分對傳輸層是透明的，包括著網(wǎng)絡應用層的各類信息。主動IP信包的最大特點在于它能夠?qū)鹘y(tǒng)的IP數(shù)據(jù)包進行兼容，能夠在傳統(tǒng)的IP數(shù)據(jù)包中嵌入主動代碼，

9、這位主動網(wǎng)絡與傳統(tǒng)網(wǎng)絡的兼容提供了基礎。 5 數(shù)據(jù)采集方法（Data collection method）獲取網(wǎng)絡運行狀態(tài)監(jiān)控的基礎數(shù)據(jù)的關鍵就是網(wǎng)絡運行狀態(tài)數(shù)據(jù)的采集。只有獲取了足夠的數(shù)據(jù)，網(wǎng)絡監(jiān)控人員才能在這些基礎之上對網(wǎng)絡運行的狀態(tài)進行分析、預警和進一步的控制8。為了實現(xiàn)更好的采集和傳送網(wǎng)絡監(jiān)控數(shù)據(jù)，本文設計了基于主動網(wǎng)絡的數(shù)據(jù)采集和傳送方法。5.1 基于主動網(wǎng)絡的數(shù)據(jù)采集算法針對網(wǎng)絡監(jiān)控系統(tǒng)的數(shù)據(jù)采集問題，本文設計了基于主動網(wǎng)絡的動態(tài)數(shù)據(jù)數(shù)據(jù)采集算法，算法的流程如圖4所示，算法描述如下：第1步：假設t為主動節(jié)點的采樣周期，則每間隔t秒，主動節(jié)點就會對網(wǎng)絡設備的各種狀態(tài)進行一次重新采樣。

10、第2步：對監(jiān)控系統(tǒng)中的每一個監(jiān)控設備都設定一個固定的數(shù)據(jù)采集周期，用T表示，設備的采集周期T應不小于主動節(jié)點的采樣周期t。T的值要等于節(jié)點采用周期t的平均值。主動節(jié)點每間隔T秒向監(jiān)控中心上報一次網(wǎng)絡的運行狀態(tài)數(shù)據(jù)。第3步：對有特殊性能要求的指標，設定數(shù)據(jù)監(jiān)控的規(guī)則和閥值。主動節(jié)點每間隔t秒就會按照性能指標規(guī)則重新計算一次性能狀態(tài)數(shù)據(jù)，如果指標數(shù)值超過閥值，則將性能數(shù)據(jù)上報至網(wǎng)絡監(jiān)控中的監(jiān)控系統(tǒng)中。第4步：若網(wǎng)絡運行狀態(tài)的特定指標性能產(chǎn)生異常，則該指標性能數(shù)據(jù)的采集方式由周期性采樣變?yōu)橹鲃訑?shù)據(jù)采集方式進行，并實時將性能及狀態(tài)數(shù)據(jù)傳送至網(wǎng)絡監(jiān)控中心。第5步：若網(wǎng)絡監(jiān)控人員要對某一項特定的性能指標進

11、行監(jiān)控，則向節(jié)點發(fā)送主動報文，將此項指標的采集方式由周期性采集轉(zhuǎn)變?yōu)橹鲃邮綄崟r采集方式。觀察完畢后，則再次發(fā)送主動報文，將數(shù)據(jù)采集方式有主動采集轉(zhuǎn)變?yōu)橹芷谛圆杉?.2 算法對比分析本文提出的數(shù)據(jù)采集算法與傳統(tǒng)的數(shù)據(jù)采集算法相比較，具有較強的優(yōu)勢。對比過程如圖5所示。其中開始時間用T0表示，結束時間用T1表示。將兩種算法在T1T0的時間間隔內(nèi)分別從網(wǎng)絡流量和網(wǎng)絡數(shù)據(jù)有效率兩方面進行比較。在數(shù)據(jù)傳輸過程中，數(shù)據(jù)包包括IP頭、UDP頭和狀態(tài)數(shù)據(jù)等部分。假定每個數(shù)據(jù)包中IP頭、UDP頭、運行狀態(tài)數(shù)據(jù)和請求數(shù)據(jù)各算一個單位的數(shù)據(jù)，則進行如圖5所示對比。（1）網(wǎng)絡流量分析。在T1至T0內(nèi)，采用傳統(tǒng)采集算

12、法所消耗的網(wǎng)絡流量為3*2*6/（T1-T0）=36/（T1-T0），采用本文數(shù)據(jù)采集算法所消耗的網(wǎng)絡流量為3*3/（T1-T0）=9/（T1-T0），由此可見本文設計算法的消耗的網(wǎng)絡流量小。（2）網(wǎng)絡數(shù)據(jù)有效率分析。在T1至T0內(nèi)，采用傳統(tǒng)采集算法傳輸?shù)臄?shù)據(jù)有效率為1*6/（3*2*6）=1/6，采用本文數(shù)據(jù)采集算法傳輸?shù)臄?shù)據(jù)有效率為2/（3*3）=2/9，由此可見本文設計算法在數(shù)據(jù)傳輸過程中，數(shù)據(jù)有效率更高。6 結論（Conclusion）本文以跨平臺技術為基礎，設計了由網(wǎng)絡資源設備、主動節(jié)點、監(jiān)控信息庫構成的跨平臺網(wǎng)絡監(jiān)控系統(tǒng)。設計了基于主動網(wǎng)絡的周期性數(shù)據(jù)采集算法，采用主動報文的形式將

13、信息發(fā)送給監(jiān)控平臺服務端，通過構造主動節(jié)點實現(xiàn)數(shù)據(jù)的采集和傳送控制。實踐證明，該系統(tǒng)能成功的不同平臺的網(wǎng)絡設備進行監(jiān)控，提高電力系統(tǒng)的運維效率。參考文獻（References）1 Thomas R，Christel B，Martin R.Wireless Security Situation Awareness with Attack Identification Decision SupportC.2011 IEEE Symposium on Computational Intelligence in Cyber Security（CICS）.Paris：IEEE，2011：144-151.

14、2 XIE Li-Xia，Wang Ya-chao，YU Jin-bo.Network Security Situation Awareness Based on Neural NetworksJ.Journal Tsinghua University：Science & Technology，2013，23（12）：1750-1760.3 HANG Tong-qing，ZHUANG Yi.An Approach to Real-Time Network Security Situation PredictionJ.Journal of Chinese Computer System，2014，35（2）：303-306.4 崔杰，李陶深，蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲平臺設計與開發(fā)J.計算機研究與發(fā)展，2012，49（l）：12-18.5 丁琳琳，等.基于Ma