H3C網(wǎng)絡流量分析解決方案

1、方案背景隨著網(wǎng)絡的應用越來越廣泛，規(guī)模也隨之日漸增長，網(wǎng)絡中承載的業(yè)務也越來越豐富。企業(yè)需要及時的了解到網(wǎng)絡中承載的業(yè)務，及時的掌握網(wǎng)絡流量特征，以便使網(wǎng)絡帶寬配置最優(yōu)化，及時解決網(wǎng)絡性能問題。目前企業(yè)在管理網(wǎng)絡當中普遍遭遇到了如下的問題：1、 網(wǎng)絡的可視性：網(wǎng)絡利用率如何？什么樣的程序在網(wǎng)絡中運行？主要用戶有哪些？網(wǎng)絡中是否產(chǎn)生異常流量？有沒有長期的趨勢數(shù)據(jù)用作網(wǎng)絡帶寬規(guī)劃？2、 應用的可視性：當前網(wǎng)內有哪些應用？分別產(chǎn)生了多少流量？網(wǎng)絡中應用使用的模式是什么？企業(yè)內部重要應用執(zhí)行狀況如何？3、 用戶使用網(wǎng)絡模式的可視性：哪些用戶產(chǎn)生的流量最多？哪些服務器接收的流量最多？哪些會話產(chǎn)生了流量？

2、分別使用了哪些應用？從這些企業(yè)管理網(wǎng)絡中所經(jīng)常遇到的問題來看，需要有一種解決方案能讓網(wǎng)絡管理人員及時了解到詳細的網(wǎng)絡使用情形，使網(wǎng)絡管理人員及時洞察網(wǎng)絡運行狀況、及時了解網(wǎng)內應用的執(zhí)行情況。為了應對企業(yè)網(wǎng)絡管理中的這些問題，于是，H3c公司的NTA(NetworkTrafficAnalysis)解決方案應運而生！所謂的工欲善其事，必先利其器，NTA解決方案可以幫助網(wǎng)絡管理人員了解企業(yè)內部網(wǎng)絡之運行狀況，及時發(fā)現(xiàn)并解決網(wǎng)絡中的性能瓶頸問題、網(wǎng)絡異?，F(xiàn)象，也能方便用戶進行網(wǎng)絡優(yōu)化、網(wǎng)絡設備投資、網(wǎng)絡帶寬優(yōu)化等的參考，并方便網(wǎng)絡管理員及時解決網(wǎng)絡異常問題。NetStream技術介紹在理解Networ

3、kTrafficAnalysis念，它們是該解決方案的基礎。解決方案之前，首先需要了解NetStream的一些基本概“流”概念NetStream的流定義為：由源到目的方向的一系列單向的數(shù)據(jù)包。NetStream流是通過7元組來標識的，即通過接口索引、源IP地址、目的IP地址、源端口號、目的端口號、協(xié)議號和ToS組成的七元組確定一個NetStream流，設備根據(jù)七元組信息對過往的數(shù)據(jù)包進行NetStream統(tǒng)計。卜圖中就包括四條流:從ClientA到WWWServe亦向通信時產(chǎn)生的流;從WWWServe渤ClientA方向通信時產(chǎn)生的流;從ClientB至UFTPServer方向通信時產(chǎn)生的流;

4、從FTPServer到ClientB方向通信時產(chǎn)生的流;圖1網(wǎng)絡中流的舉例說明從上例中可以很容易地理解，流是單向的，同時流也是基于協(xié)議的。形象地說，通過NetStream流可以記錄下來網(wǎng)絡中wh6what、when、where、how。技術NetStreamNetStream是H3c公司基于“流”的概念，定義了一種用于路由器/交換機輸出網(wǎng)絡流量的統(tǒng)計數(shù)據(jù)的方法，路由器/交換機對通過其的IP數(shù)據(jù)包進行統(tǒng)計和分析，并上報給網(wǎng)流采集器，網(wǎng)流采集器把搜集的數(shù)據(jù)包及統(tǒng)計數(shù)據(jù)傳送到網(wǎng)流分析器，經(jīng)合并處理后存入數(shù)據(jù)庫，并進行進一步的分析處理。NetStream技術可利用網(wǎng)絡中數(shù)據(jù)流創(chuàng)造價值，并可在最大限度減

5、小對路由器/交換機性能影響的前提下提供詳細的數(shù)據(jù)流統(tǒng)計信息。NTANTA解決方案介紹系統(tǒng)組成NetworkTrafficAnalysis解決方案包括：網(wǎng)流采樣設備(NetTrafficExporter)、網(wǎng)流流采集設備(NetTrafficCollector)、數(shù)據(jù)分析處理設備(NetTrafficProcessor),三個設備之間的關系如下圖所示：各組成部分的關系圖2NetworkTrafficAnalyzeNTE負責流量的采集和發(fā)送，NTC設備負責收集和存儲NTE發(fā)來的流量統(tǒng)計數(shù)據(jù)信息；NTP從數(shù)據(jù)庫中獲取收集到的數(shù)據(jù)，經(jīng)分析加工后以直觀的圖表、報表等方式為網(wǎng)絡規(guī)劃、網(wǎng)絡優(yōu)化、網(wǎng)絡監(jiān)控、流

6、量趨勢分析、異常檢測等提供直接的數(shù)據(jù)依據(jù)。1) NetTrafficExporter提供NetStream技術接口的網(wǎng)絡設備（H3c公司的路由器和交換機及華為公司的路由器），負責對設備各個端口進出的網(wǎng)絡報文進行流分類統(tǒng)計，然后打包輸出。2) NetTrafficCollectorNTC可以采集多個NTE設備輸出的數(shù)據(jù)，對數(shù)據(jù)進行過濾和聚合，并將數(shù)據(jù)存儲在數(shù)據(jù)庫中供分析處理。3) NetTrafficProcessorNTP是一個網(wǎng)絡流量的分析工具，對采集來的流量數(shù)據(jù)進行分析處理。為便于網(wǎng)絡管理人員的操作，采用基于Web形式訪問，提供直觀的、圖形化的管理界面，所有數(shù)據(jù)輸出都以友好的形式直接在We

7、b頁面中顯示。NTE設備功能作為支持NetStream的網(wǎng)絡設備，首先需要打開網(wǎng)絡設備的偵聽端口，然后配置將NetStream日志要發(fā)送到哪個IP的哪個端口（即NTC設備的監(jiān)聽端口）。這樣，設備就會把NetStream日志以UDP包的形式發(fā)往NTC而NTC則可從偵聽端口源源不斷的接收NetStream日志。NTC設備功能NetStream日志被NTC設備采集到之后，將會做聚合處理，這樣可減少最終存入數(shù)據(jù)庫的的數(shù)據(jù)量，并提高了分析的效率；同時，NTC設備也會對存入數(shù)據(jù)庫的數(shù)據(jù)作進一步的統(tǒng)計處理，以便快速產(chǎn)生各類分析報表。NTP設備功能NTP對NTC生成的所有數(shù)據(jù)進行分析，對數(shù)據(jù)進行二次聚合、統(tǒng)計

8、分析,分析的結果以非常直觀的圖表、表格等形式展示給用戶，通過這些分析結果，用戶可以監(jiān)控網(wǎng)絡使用狀況、應用使用狀況、用戶網(wǎng)絡訪問行為，并可監(jiān)控到流量異常狀況以便用戶進一步做分析。報表功能用戶可根據(jù)統(tǒng)計分析的需求，自定義報表生成規(guī)則，由報表引擎生成報表，并將統(tǒng)計分析的結果以餅圖、曲線圖、統(tǒng)計信息表格等直觀的形態(tài)展示出來。當前實現(xiàn)的報表功能列表和簡要說明如下：功能類別功能項目功能說明配置功能設備接口自動識別對指定的設備(設備IP地址、團體字)，自動發(fā)現(xiàn)其各種接口設備物理端口的流量統(tǒng)計對指定的設備的物理端口流量通過SNMFPT式進行統(tǒng)計接口組設置對自動發(fā)現(xiàn)的接口按組進行分類，并按組進行統(tǒng)計設置應用聚合

9、策略設置統(tǒng)計實時性系統(tǒng)參數(shù)設置設置TopN的N值大小，數(shù)據(jù)保存時間，以及磁盤使用方面的信息應用管理設置修改預先定義好的網(wǎng)絡應用的端口號和協(xié)議號，以及新增未知網(wǎng)絡應用的端口號和協(xié)議號分析功能設備接口流量統(tǒng)計顯示設備各個接口的流量值和接口的帶寬占用率基于接口的流量分布指定設備、接口和時間段，顯示其流量在這段時間的趨勢圖基于接口的應用分布指定設備、接口和時間段，顯示其各種應用(TopN)流量在一段時間的趨勢圖和比例基于接口的源IPTopN指定設備、接口和時間段，顯示其流量排名靠前的TopN源IP地址以及流量值和占用流量的比例基于接口的目的IPTopN指定設備、接口和時間段，顯示其流量排名靠前的Top

10、N目的IP地址以及流量值和占用流量的比例基于接口的會話TopN指定設備、接口和時間段，顯示其流量排名靠前的TopN源和目的IP會話以及流量值和占用流量的比例基于接口的應用相關TopN源IP和目的IP列表指定設備、接口，在應用流量趨勢圖中，查看指定應用的TopN源IP地址和TopN目的IP地址基于接口的TopN源IP相關的應用TopN列表和會話TopN目的IP列表指定設備、接口，在源IPTopN列表中，查看指定源IP地址的應用TopN排名和會話TopN的目的IP地址基于接口的TopN目的IP相關的應用TopN列表和會話TopN源IP列表指定設備、接口，在目的IPTopN列表中，查看指定目的IP地

11、址的應用TopN排名和會話TopN的源IP地址基于接口的TopN會話相關的應用明細指定設備、接口，在會話TopN列表中，查看其會話的應用明細列表流量值和所占比例支持周期報表提供網(wǎng)流周期性（每小時、每日、每周、每月）狀態(tài)的綜合報表，提供直觀的網(wǎng)流狀態(tài)展示。支持即時報表提供網(wǎng)流當前狀態(tài)（最近一小時）的綜合報表，提供準實時的網(wǎng)絡流量展不。報表展示目前對于NetStreamV5日志，NTP提供以下統(tǒng)計分析報表:1、流量統(tǒng)計報表-給出一段時間內入出流量的趨勢圖，以及按入出流量統(tǒng)計總流量、最大速率、最小速率、平均速率，并給出流量明細信息：2、應用統(tǒng)計報表-給出一段時間內流入、流出的各種應用以及趨勢圖。3、

12、應用明細報表-給出應用統(tǒng)計報表中某個應用的明細信息，包含該應用的趨勢、使用該應用源節(jié)點以及目的節(jié)點應用統(tǒng)計報表-給出一段時間內流入、流出的各種應用以及趨勢圖。以餅圖的形4、來源統(tǒng)計報表-給出一段時間內，作為源IP的各個節(jié)點產(chǎn)生的流量的信息。式展示，并給出產(chǎn)生流量最多的節(jié)點：top5、來源明細報表-給出來源統(tǒng)計報表中某個節(jié)點的明細信息。并給出與源節(jié)點通信的目的節(jié)點以及與源節(jié)點通信的top應用：以餅6、目的統(tǒng)計報表-給出一段時間內，作為目的IP的各個節(jié)點接收的流量的統(tǒng)計信息。圖的形式展示，并給出接收流量最多的節(jié)點7、目的明細報表-給出目的統(tǒng)計報表中某個節(jié)點的明細信息。并給出與目的節(jié)點通信的top目

13、的節(jié)點以及與目的點通信的top應用8、會話統(tǒng)計報表-給出會話節(jié)點流量TOP分布圖，以及會話節(jié)點流量9、會話明細報表一一給出會話統(tǒng)計報表中，某對IP之間在一段時間內產(chǎn)生的流量的趨勢,并給出這對IP之間通信所使用的應用圖11會話明細報表DIG采集設備針對一些不支持NetStream技術的網(wǎng)絡設備，H3c公司還提供了一種DIG采集設備，只要網(wǎng)絡設備支持端口鏡像，DIG采集設備能直接從鏡像端口收集網(wǎng)絡流量信息，并形成DIG日志提供給NTC/NTPS行流量分析。DIG日志DIG日志又稱為探針日志，是由探針型采集器（即XLogDIG日志探針組件）直接從交換機的鏡像端口、共享式HUM分流器中采集用戶上網(wǎng)信息

14、，并對訪問網(wǎng)絡的數(shù)據(jù)包進行分類統(tǒng)計而生成的日志記錄。目前，DIG日志的版本是1.0,DIG1.0日志記錄包含以下內容:開始時間結束時間源IP地址目的IP地址源端口號目的端口號協(xié)議類型（目前區(qū)分TCRUD可口ICMP三種協(xié)議）輸入包個數(shù)輸出包個數(shù)輸入字節(jié)數(shù)輸出字節(jié)數(shù)DIG采集設備DIG日志采集器所需要做的工作是把流經(jīng)設備端口的數(shù)據(jù)報文中，按照DIG日志的數(shù)據(jù)格式對數(shù)據(jù)報文進行過濾和統(tǒng)計，最終形成DIG日志輸出。DIG采集器有以下幾種方式對網(wǎng)絡設備端口的數(shù)據(jù)報文進行采集：1、 從鏡像端口采集對于支持鏡像端口的交換機、路由器設備，可以將鏡像端口直接同DIG日志探針組件的采集網(wǎng)卡相連，實現(xiàn)數(shù)據(jù)采集。此

15、類采集方式，需要設置設備鏡像端口，保證鏡像端口和采集網(wǎng)卡的類型匹配、帶寬匹配。2、 分流器采集在設備不支持鏡像端口的情況下，為了不影響設備性能，比較專業(yè)的采集方案是采用分流器,從設備端口接收網(wǎng)絡數(shù)據(jù)報文。此方案通常應用于光纖鏈路，價格高昂。3、 共享式HUB采集對于不支持端口鏡像的設備，且需要監(jiān)控的端口帶寬小于100M的情況下，可以使用共享式HUB現(xiàn)對端口數(shù)據(jù)的采集。但這種方式很容易引起網(wǎng)絡單點故障，不推薦使用。DIG日志探針組件對采集到的原始網(wǎng)絡報文進行實時處理，需要對報文進行過濾處理，也就是說根據(jù)過濾規(guī)則，要過濾掉一些不希望繼續(xù)處理的報文；然后可進行聚合處理，即按照預置聚合條件將多條報文聚

16、合成一條，這樣就減少了后續(xù)處理以及歸檔的日志數(shù)據(jù)量。聚合之后，DIG日志探針組件將會形成DIG日志，并將DIG日志發(fā)送給NTC/NTPS行處理。NTA解決方案的典型組網(wǎng)利用NetStream日志，NTA提供了一種網(wǎng)絡監(jiān)測、分析的方式，直接從支持NetStream功能的路由器和交換機中收集流量信息，可以靈活啟動不同層面（接入層、匯聚層、核心層）的網(wǎng)絡設備進行NetStream流量日志收集，并將收集的內容以NetStream格式的日志輸出給NTC/NTP設備進行分析。用戶使用NTA的分析功能，可以做網(wǎng)絡使用狀況監(jiān)控、用戶行為追蹤、異常流量檢測等，并且基于功能豐富的報表，用戶可以做網(wǎng)絡規(guī)劃方面的決策

17、。NetStream日志可以開啟在路由器中、匯聚層/核心層交換機中。圖12NTA解決方案典型組網(wǎng)NTA的應用場景NetStream技術定義了一種路由器/交換機向管理系統(tǒng)輸出流量數(shù)據(jù)的方法，通過采集和分析流量數(shù)據(jù)，并將流量數(shù)據(jù)與管理控制臺中的其他網(wǎng)絡和應用性能指標建立關系，對網(wǎng)絡運行狀態(tài)進行管理。NetStream技術的IP網(wǎng)絡流量數(shù)據(jù)報文中包含許多有價值的流量統(tǒng)計數(shù)據(jù)，這些流信息充分揭示了有關網(wǎng)絡使用的“4W問題：Who誰（IP）使用了網(wǎng)絡?What:網(wǎng)絡流量的類型是什么?When在什么時間使用網(wǎng)絡，使用了多長時間?Where!：網(wǎng)絡流量流向何處?利用NTA網(wǎng)流分析系統(tǒng)對這些數(shù)據(jù)進行統(tǒng)計分析，

18、就能從中提取出網(wǎng)絡流量特征，從而為網(wǎng)絡管理員提供一張豐富而詳盡的網(wǎng)絡利用視圖。網(wǎng)絡優(yōu)化通過NTA解決方案，可以使網(wǎng)絡管理員及時掌握網(wǎng)絡負載狀況，網(wǎng)內應用資源使用情況，盡早發(fā)現(xiàn)網(wǎng)絡結構的不合理，或是網(wǎng)絡性能瓶頸，盡快作出網(wǎng)絡優(yōu)化方面的決斷，使網(wǎng)絡帶寬分配最優(yōu)化，為用戶提供高品質的網(wǎng)絡服務，并且避免了網(wǎng)絡帶寬和服務器瓶頸問題。圖13網(wǎng)絡優(yōu)化的應用場景網(wǎng)絡規(guī)劃參考利用NetStream流日志以及NTA長期監(jiān)控網(wǎng)絡帶寬而形成的各類趨勢報表，有助于網(wǎng)絡管理員跟蹤和預測網(wǎng)絡鏈路流量的增長，從而能有效的規(guī)劃網(wǎng)絡升級（例如，增加路由服務、端口或使用更高帶寬的接口）。圖14網(wǎng)絡規(guī)劃參考應用場景流量監(jiān)測1.1WA

19、N對于一個企業(yè)來說，WAN寬通常是有PM的，如果WAN鏈路上的流量增大，通常企業(yè)的做法就是進行投資以升級WAN1路，但是如果企業(yè)能掌握WANf量的特征，制定相應的策略（比如QoS和針對源或目的IP地址作流限制），就能使WANt寬得到最合理最充分的使用，避免進行不必要的升級投資，而NTA解決方案所提供的分析結果能夠使網(wǎng)絡管理員洞察WAN鏈路的流量特征、承載的應用、用戶使用狀況，從而針對是否應投資升級帶寬快速的作出快速響應！1.2圖15WAN流量監(jiān)測應用場景網(wǎng)絡流量異常監(jiān)測網(wǎng)絡管理員都希望在網(wǎng)絡性能突然下降的時候找到“真兇”所在，并迅速解決問題。利用NTA解決方案提供的某段時間內的流量、應用趨勢分析，可非常直觀的看到網(wǎng)絡流量是否有突然增長或突然下降的現(xiàn)象，并進一步分析出是哪些用戶產(chǎn)生了最多的流量、