四川大學學報工程科學版論文模板_第1頁
四川大學學報工程科學版論文模板_第2頁
四川大學學報工程科學版論文模板_第3頁
四川大學學報工程科學版論文模板_第4頁
四川大學學報工程科學版論文模板_第5頁
已閱讀5頁,還剩3頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

NTCI-Flow:-種可擴展的高速網(wǎng)絡(luò)流量處理框架王煜驄1,陳興蜀收稿日期:2016-05-31.基金項目:國家自然科學基金資助項目“基于動態(tài)多維特征的網(wǎng)絡(luò)行為模型研究”(61272447收稿日期:2016-05-31.基金項目:國家自然科學基金資助項目“基于動態(tài)多維特征的網(wǎng)絡(luò)行為模型研究”(61272447)作者簡介:王煜驄(1991-),男,碩士生.研究方向:大數(shù)據(jù)安全.E-mail:stwwxjs@163.com.通信聯(lián)系人E-mail:chenxsh@網(wǎng)絡(luò)出版時間:此位置必預留10個五號字空位網(wǎng)絡(luò)出版地址:(四川大學計算機學院,四川成都610065)摘要:針對當前基于軟/硬件的流導出技術(shù)存在的數(shù)據(jù)失真、不易擴展等問題,提出了一種準確、通用、易擴展的高速網(wǎng)絡(luò)流量處理框架NTCI-Flow。該框架通過增加高性能包抓取工具,改進與優(yōu)化傳輸性能,引入消息系統(tǒng)將流量高速導入實時處理平臺進行分布式的包解析與流重組,增加Hive流數(shù)據(jù)導入模塊實時存儲網(wǎng)絡(luò)流量,實現(xiàn)了萬兆流量的準確采集及可擴展處理,為大數(shù)據(jù)分析網(wǎng)絡(luò)流量奠定基礎(chǔ)。實驗結(jié)果表明,NTCI-Flow可實現(xiàn)萬兆流量的采集與處理,每秒可處理1260萬個包,易于在大規(guī)模集群中部署,具有良好的擴展性,且得到的流量統(tǒng)計信息比NetStream更準確。關(guān)鍵詞:包抓取;大數(shù)據(jù);分布式;Storm;流重組中圖分類號:TP302 文獻標志碼:ANTCI-Flow:AScalableHigh-speedNetworkTrafficProcessingFramework

WANGYucongCHENXingshu*LUOYonggang,WANGYue(SchoolofComputerSci.,SichuanUniv.,Chengdu610065,China)Abstract:Currentsoftware-basedandhardware-basednetworkflowexporttechnologiesarelackofscalabilityanddataaccuracy.Inordertosolvetheseproblems,aaccurate,generic,scalablehigh-speednetworktrafficprocessingframeworkNTCI-Flowwaspresented.Firstly,thecollectionandforwardingof10Gbpsnetworktrafficwasrealizedbyaddinghigh-performancepacketcapturetoolandimprovingtransmissionperformance;Secondly,thefunctionofdistributedpacketparsingandflowrestructuringwasachievedbyimportingnetworktrafficintorealtimeprocessingplatformwithmessagesystem;Finally,networktrafficwasstoredintoHiveinrealtimebyimplementingstreamingdatastoragemoduletoachievethegoalofBigdataanalysisofnetworktraffic.ExperimentalresultsshowedthatNTCI-Flowcouldrealizethecollectionandhandlingof10Gbpsnetworktrafficandprocess12.6millionpacketspersecond.Inaddition,NTCI-Flowcouldbeeasilydeployedinlarge-scaleclusterwithbetterscalabilityandtrafficstatisticsaccuracythenNetStream.KeyWords:packetcapture;BigData;distributed;Storm;flowrestructuring網(wǎng)絡(luò)流量信息是網(wǎng)絡(luò)安全分析系統(tǒng)中的重要數(shù)據(jù)源,但隨著網(wǎng)絡(luò)流量規(guī)模的不斷增加,處理網(wǎng)絡(luò)流量變得更加困難。為應(yīng)對該問題,已有解決方案大致可分為以下幾類:1)基于硬件的解決方案基于硬件板卡采集網(wǎng)絡(luò)流量是目前較通用的解決方案,即使用IPFIXU]、NetFlow[2]或NetStream[3]采集板卡實現(xiàn)流量采集及網(wǎng)絡(luò)流導出。但是,該方案需網(wǎng)絡(luò)設(shè)備(如路由器)支持,并且由于它使用采樣的方式采集網(wǎng)絡(luò)流量,犧牲了數(shù)據(jù)的準確性,導出的網(wǎng)絡(luò)流信息與實際流量存在偏差,不適用于網(wǎng)絡(luò)安全分析的場景。2)基于軟件的解決方案隨著x86平臺的發(fā)展,已有許多機構(gòu)研究利用單機多核的軟件方式對網(wǎng)絡(luò)流量進行采集與處理。DPDKKI、PF_RINGDNA[5]等基于零拷貝技術(shù)實現(xiàn)軟件方式的高性能抓包,nProbe[6],YAH7]則在高性能抓包工具的基礎(chǔ)之上,實現(xiàn)了基于流的統(tǒng)計輸出功能。為實現(xiàn)性能擴展,nProbe通過網(wǎng)卡的RSS(ReceiveSideScaling)技術(shù)將網(wǎng)絡(luò)包分組至多個隊列存儲,然后利用多進程采集每個隊列中的網(wǎng)絡(luò)包并實現(xiàn)流重組功能;YAF則使用單進程抓取并分發(fā)網(wǎng)絡(luò)包,然后利用多進程并行處理,實現(xiàn)流重組功能。由于上述軟件均采用單機架構(gòu)實現(xiàn),性能受單機的CPU核數(shù)限制。此外,由其導出的流數(shù)據(jù)通常存儲在本地磁盤,通過建立索引實現(xiàn)簡單的檢索及分析,如n2disk[8],SiLK[9]等,不具備與其他數(shù)據(jù)綜合分析的能力。包抓取,并高速轉(zhuǎn)發(fā)至消息系統(tǒng)緩存。2) 消息系統(tǒng):使用高性能的分布式消息系統(tǒng)Kafka緩存數(shù)據(jù),并作為數(shù)據(jù)總線負責數(shù)據(jù)收集層與實時處理層間的數(shù)據(jù)傳輸。3) 實時處理:基于Storm實現(xiàn)分布式的包信息提取及流重組功能。4) 分布式存儲:使用HDFS分布式文件系統(tǒng)永久存儲包信息和流信息,利用Hive管理元數(shù)據(jù),與交互式分析平臺集成。5) 離線/交互式分析:使用離線分析平臺Spark或Hadoop實現(xiàn)復雜的流量分析建模;使用SparkSQL實現(xiàn)交互式分析。圖1NTCI-Flow架構(gòu)圖Fig.1OverviewoftheNTCI-Flowarchitecture1.1網(wǎng)絡(luò)流量采集針對當前研究存在的問題,本文提出了一種可擴展的高速網(wǎng)絡(luò)流量處理框架,主要貢獻如下:1) 基于高性能的包抓取技術(shù)實現(xiàn)萬兆流量采集,利用批處理技術(shù)改進與優(yōu)化導入性能,制定分發(fā)策略實現(xiàn)網(wǎng)絡(luò)包的分組分發(fā)。2) 基于Storm實現(xiàn)包解析和流重組功能,采用分布式架構(gòu)解決單機處理的性能受限問題。3) 解決Hive數(shù)據(jù)倉庫不支持流數(shù)據(jù)導入的問題,實現(xiàn)包信息與流信息的實時存儲,為大數(shù)據(jù)分析網(wǎng)絡(luò)流量奠定基礎(chǔ)。1NTCI-Flow框架NTCI-Flow基于大數(shù)據(jù)平臺構(gòu)建,整體框架如圖1所示,包括以下模塊:1)網(wǎng)絡(luò)流量采集:實現(xiàn)高性能的網(wǎng)絡(luò)傳統(tǒng)的網(wǎng)絡(luò)包抓取方式通常是基于LibPcap"]實現(xiàn),具體實現(xiàn)如圖2左部所示,網(wǎng)絡(luò)包到達網(wǎng)卡驅(qū)動后首先通過DMA方式存入環(huán)形緩沖區(qū),然后拷貝至內(nèi)核態(tài)的抓取緩沖區(qū),最后由用戶程序拷貝至用戶態(tài)緩沖區(qū)進行處理。該方式抓取一個網(wǎng)絡(luò)包需要經(jīng)過多次數(shù)據(jù)拷貝、一次中斷和系統(tǒng)調(diào)用,抓取性能較低,在高速網(wǎng)絡(luò)流量的環(huán)境下存在嚴重的丟包現(xiàn)象。如圖2右部所示,本文采用PF_RINGDNA工具,通過使用內(nèi)存預分配、自定義網(wǎng)絡(luò)緩沖結(jié)構(gòu)、內(nèi)存映射等技術(shù),實現(xiàn)了網(wǎng)絡(luò)包零拷貝,解決了傳統(tǒng)抓包方式存在的高丟包問題,保證了萬兆網(wǎng)卡的線速包抓取能力。

圖2網(wǎng)絡(luò)流量采集實現(xiàn)示意圖Fig.2Implementationofnetworktrafficcollection1.2高速流量導入為解決單機處理性能受限的問題,需要將采集的網(wǎng)絡(luò)流量分發(fā)至多個節(jié)點進行分布式處理。為了避免數(shù)據(jù)收集層與數(shù)據(jù)處理層耦合度過高,本文采用Kafka消息系統(tǒng)中間件構(gòu)建分布式導入層,從而實現(xiàn)可擴展的網(wǎng)絡(luò)流量導入。本文選用Kafka作為中間件主要有以下兩方面的考慮:1) 與MemcacheQ[11】和Redis[12]等內(nèi)存消息系統(tǒng)不同,Kafka將所有消息持久化存儲到容量較大的磁盤中。因此,Kafka可提供更高的存儲能力,更適合大規(guī)模網(wǎng)絡(luò)流量傳輸?shù)膱鼍啊?) Kafka使用主題來區(qū)分不同類型的消息,每個主題包含一個或多個分區(qū),單個分區(qū)中的消息被順序存儲及消費[⑶。由于Kafka采用分布式架構(gòu)實現(xiàn),分區(qū)可分布于多個節(jié)點,擴展性優(yōu)于單機多隊列方式。為實現(xiàn)網(wǎng)絡(luò)包的合理分發(fā),本文設(shè)計如下發(fā)送策略,將屬于同一條流的所有包發(fā)送至相同分區(qū)存儲:IP地址、源端口、目的端口、第3層協(xié)議類型,n為Kafka中存儲原始包的分區(qū)數(shù)。網(wǎng)絡(luò)流量的導入性能不僅與Kafka自身吞吐率有關(guān),還受限于發(fā)送進程的網(wǎng)絡(luò)傳輸性能。經(jīng)測試,若不考慮網(wǎng)絡(luò)帶寬,發(fā)送進程的傳輸性能與網(wǎng)絡(luò)包大小成正比,即網(wǎng)絡(luò)包越大,傳輸速率越快。然而抓取的網(wǎng)絡(luò)包普遍較小,通常不超過1518字節(jié),因此,本文利用批處理技術(shù)將多個網(wǎng)絡(luò)包封裝為一條大消息進行發(fā)送,從而提升傳輸性能。1.3分布式流處理同一條流中的網(wǎng)絡(luò)包具有相同的五元組,即源IP地址、目的IP地址、源端口、目的端口、協(xié)議類型⑵。因此,本文對流的定義為,在一定時間內(nèi)具有相同五元組的網(wǎng)絡(luò)包的集合。同時,流老化條件定義如下:流已經(jīng)空閑了指定的時間長度(InactiveTimer,默認為15秒)長時間會話強制超時(ActiveTimer,默認為30分鐘)TCP標識包含F(xiàn)IN、RST。本文采用基于流的方式記錄網(wǎng)絡(luò)流量信息,即將五元組相同的包進行匯總,收集其統(tǒng)計特征并輸出。nProbe、YAF等通常在同一進程中實現(xiàn)包的采集、解析以及流重組,很難靈活地擴展性能。為解決該問題,本文將包的讀取、解析以及流重組操作劃分成多個功能組件,基于Storm平臺實現(xiàn)分布式流處理,其拓撲圖如圖3所示。P=hash(t,P=hash(t,t,t,t,t)modnid 12345其中,P.d為包存入的具體分區(qū)號,t「]為包中的五元組,即源IP地址、目的i,iGL1,5j讀取包解析分發(fā)流重組存儲圖3分布式流處理拓撲圖Fig.3Topologyofdistributedstreamingdata

processing1) 網(wǎng)絡(luò)包讀取組件該組件負責從Kafka讀取網(wǎng)絡(luò)包,然后使用Storm的Shuffle分組機制均衡地分發(fā)給各個包解析實例;2) 包解析組件該組件負責對每個網(wǎng)絡(luò)包進行解析,提取相應(yīng)信息,如源IP地址、目的IP地址、源端口、目的端口、第3層協(xié)議類型、包大小等。3) 分發(fā)組件該組件基于一定的策略對提取的包信息進行分發(fā),主要完成以下兩個功能:a) 基于流的轉(zhuǎn)發(fā):將包信息按其所屬流進行轉(zhuǎn)發(fā),保證屬于同一條流的所有包分發(fā)至同一流重組實例中處理。b) 包信息重用:將包信息同時分發(fā)給其他組件(如存儲組件),實現(xiàn)包信息重用及功能擴展。4) 流重組組件該組件的具體實現(xiàn)如圖4所示,其中,流表基于Hash桶實現(xiàn),由五元組構(gòu)成的原始字節(jié)數(shù)組作為Hash桶的鍵,流的統(tǒng)計信息作為值保存在Hash桶中,主要包括五元組、包數(shù)、總字節(jié)數(shù)、流持續(xù)時間、流方向(連接發(fā)起方或接受方)等。通過增加以下兩個線程對流表進行操作,實現(xiàn)流的創(chuàng)建、更新及導出功能:圖4流重組實現(xiàn)示意圖Fig.4Implementationofflowrestructuringa)線程1負責對包信息進行處理,利用五元組構(gòu)成的鍵從流表中查找對應(yīng)的流,若不存在,則創(chuàng)建新的流存入流表中;若存在,則檢查該流是否已老化,若未老化,則對流中的統(tǒng)計信息進行更新;否則移除該流,并將其統(tǒng)計信息輸出,然后創(chuàng)建新的流存入流表中。b)線程2負責定期掃描流表,移除不活躍的流,并將該流的統(tǒng)計信息輸出。5)存儲組件該組件負責對提取的包信息或?qū)С龅牧餍畔⑦M行實時存儲。1.4實時分布式存儲NTCI-Flow底層存儲采用分布式文件系統(tǒng)HDFS以滿足高吞吐量、高可靠性、低成本及可擴展等要求,并利用Hive數(shù)據(jù)倉庫管理元數(shù)據(jù),從而更好地與交互式分析平臺SparkSQL集成。由于流信息和包信息數(shù)據(jù)量較大,為減輕存儲壓力,需選擇合適的文件編碼和壓縮方式。已有大量工作對比了Parquet、Avro、JSON、SequenceFile、ORC等文件格式性能Ml。根據(jù)已有的測試結(jié)果,考慮到包信息產(chǎn)生速率較快,選用非壓縮的SequenceFile格式保證高寫入速率;而流信息輸出速率適中,選用面向分析型業(yè)務(wù)的列式存儲格式Parquet,同時結(jié)合高效的Snappy壓縮算法以優(yōu)化分析效率。Hive只支持批量導入數(shù)據(jù)到Hive表中,而NTCI-Flow需要將流信息逐條寫入Hive表。因此,本文基于KiteSDK3]開發(fā)流導入組件,實現(xiàn)Hive的實時流導入,同時提供基于時間的動態(tài)分區(qū)機制,減少按時間段分析中不必要的數(shù)據(jù)讀取操作,從而減少交互式分析的響應(yīng)時間。2擴展性分析2.1功能擴展網(wǎng)絡(luò)流量分析的技術(shù)、算法以及可以關(guān)聯(lián)分析的數(shù)據(jù)源均在不斷發(fā)展,為適應(yīng)不斷更新的需求,NTCI-Flow采用了解耦合的思想,通過添加Kafka中間件提升本框架的功能擴展性。由于Kafka實現(xiàn)了數(shù)據(jù)在可配置時間內(nèi)的持久化存儲,定義了統(tǒng)一的數(shù)據(jù)存儲格式和通訊協(xié)議,因此,數(shù)據(jù)收集層與數(shù)據(jù)處理層只需遵循該協(xié)議即可實現(xiàn)解耦合方式的數(shù)據(jù)傳遞。其中,解耦合性主要體現(xiàn)在以下兩個方面:1) 數(shù)據(jù)收集層可在不影響數(shù)據(jù)處理層的情況下實現(xiàn)數(shù)據(jù)源的動態(tài)擴展。2) 數(shù)據(jù)處理層可靈活地調(diào)整處理邏輯,既能對同一數(shù)據(jù)源采用不同方式進行處理,也能對不同數(shù)據(jù)源進行關(guān)聯(lián),實現(xiàn)數(shù)據(jù)增強功能。2.2性能擴展為適應(yīng)網(wǎng)絡(luò)流量規(guī)模不斷增長的趨勢,網(wǎng)絡(luò)流量處理框架應(yīng)具有良好的水平擴展能力。NTCI-Flow的水平擴展能力主要體現(xiàn)在以下幾個方面:1) 包抓取模塊的擴展能力現(xiàn)有的x86平臺可實現(xiàn)零丟包抓取多個萬兆網(wǎng)卡的網(wǎng)絡(luò)包,因此包抓取模塊最大的限制因素是如何通過現(xiàn)有的Linux網(wǎng)絡(luò)棧將數(shù)據(jù)傳輸?shù)竭h端Kafka集群。本文采用Linux網(wǎng)卡聚合解決該問題,即將多個網(wǎng)卡綁定為一個邏輯網(wǎng)卡,從而實現(xiàn)網(wǎng)絡(luò)傳輸性能的線性擴展。2) 消息系統(tǒng)的擴展能力經(jīng)過實驗測試,若不考慮網(wǎng)絡(luò)帶寬限制,消息系統(tǒng)的吞吐率主要受磁盤寫入性能影響。通過增加硬盤數(shù)目,合理配置Broker及分區(qū)數(shù)可以實現(xiàn)消息系統(tǒng)吞吐率的線性擴展。3) 基于Storm的流處理的擴展能力。Storm的實現(xiàn)架構(gòu)保證了包信息提取、流重組、數(shù)據(jù)存儲等組件均可設(shè)置多個運行實例來提高并行度,同時Storm的分布式架構(gòu)可確保通過增加服務(wù)器數(shù)量提升吞吐率。3實驗及分析3.1實驗環(huán)境實驗平臺共4個節(jié)點:節(jié)點1采用PF_RING的pfsend工具線速發(fā)送偽造網(wǎng)絡(luò)包,速率最高可達14Mpps,節(jié)點2運行網(wǎng)絡(luò)包抓取及轉(zhuǎn)發(fā)程序,節(jié)點3、4用于部署Kafka與Storm,進行包信息提取及流重組。其中,節(jié)點1、2直接通過萬兆光纖互聯(lián),節(jié)點2、3、4則通過10Gbit以太網(wǎng)互聯(lián),具體配置信息見表1。表1測試主機配置信息Tab.1Testhostsconfiguration節(jié)點CPU內(nèi)存/GB硬盤/TB主頻/GHz核數(shù)1,22.50864132.50864842.4020256163.2網(wǎng)絡(luò)流量采集性能通過使用pfsend工具分別線速發(fā)送不同大小的數(shù)據(jù)包,測試網(wǎng)絡(luò)流量采集模塊抓包及轉(zhuǎn)發(fā)的性能,同時記錄抓取10億條包時的丟包率,結(jié)果如表2所示。由表2可見,網(wǎng)絡(luò)流量采集模塊性能較好,可實現(xiàn)萬兆流量的抓取及轉(zhuǎn)發(fā),即使在萬兆流量均為最小包(60字節(jié))的情況下,仍可保證僅有0.03%的丟包率。表2網(wǎng)絡(luò)流量采集性能測試Tab.2Performancetestofnetworktrafficcollection包大小/字節(jié)發(fā)包速率/MppsCPU使用率/%丟包率/%抓取轉(zhuǎn)發(fā)6014.583.491.90.037001.773.015.20.00610001.271.520.00.00215000.871.610.90.00023.3網(wǎng)絡(luò)流量導入性能網(wǎng)絡(luò)流量的導入基于Kafka實現(xiàn),由于Kafka對消息進行持久化存儲,硬盤性能對其吞吐率影響較大,因此,本文測試了在采用不同硬盤數(shù)目時,網(wǎng)絡(luò)流量導入層的最大吞吐率,同時也記錄了硬盤的平均寫入速率,結(jié)果如圖5所示。圖5網(wǎng)絡(luò)流量導入性能測試Fig.5Performancetestofnetworktrafficimport通過分析實驗結(jié)果可知,網(wǎng)絡(luò)流量導入性能與硬盤數(shù)呈正比,具有較高的吞吐率及可擴展性。同時,由于Kafka利用了Linux的Pagecache功能,使得導入層最大吞吐率可超過硬盤寫入速率限制。3.4流重組性能及對比基于Storm的分布式流重組主要包含以下三個組件:Kafka讀取組件(K)、包信息提取組件(P)、流重組組件(F)。表3為流處理模塊中各個組件以不同并發(fā)度運行時的吞吐率及CPU使用情況。實驗結(jié)果表明,系統(tǒng)具有良好的擴展性,且通過合理配置各組件并行度,吞吐率可達12.6百萬包每秒。表3流重組性能測試Tab.3Performancetestofflowrestructuring并發(fā)度/組件吞吐率/MppsCPU使用核數(shù)/核1K-1P-1F3.831K-2P-2F6.752K-2P-2F7.662K-3P-3F1082K-4P-4F12.610本文通過查閱文獻及實驗,比較了NTCI-Flow與nProbe等已有成果的流重組性能,結(jié)果如表4所示。其中,nProbe軟件版本為v.7.3.160506,測試環(huán)境與NTCI-Flow相同,nProbe在單機下通過RSS(ReceiveSideScaling)技術(shù)實現(xiàn)多進程并行處理以擴展性能;Scap[16通過內(nèi)核模塊直接在內(nèi)核中處理網(wǎng)絡(luò)包,導出流信息,從而減少內(nèi)核到用戶程序的數(shù)據(jù)拷貝,該方式雖減輕了用戶程序的壓力,但增加了內(nèi)核開銷,同時也存在單機性能受限的問題。本文提出的NTCI-Flow采用分布式架構(gòu)實現(xiàn),具有較高的吞吐率及擴展能力,同時較為通用,擴展成本較低。表4現(xiàn)有技術(shù)與NTCI-Flow的性能比較Tab.4Performancecomparisonofexisting

technologyandNTCI-Flow流處理技術(shù)吞吐率說明MppsGbpsnProbe9.610單機、RSS/6核Scap-6單機、內(nèi)核模塊/1核NTCI-Flow12.610分布式/10核3.5實際應(yīng)用本框架目前已用于采集并處理某機構(gòu)的出口流量,該機構(gòu)平均流量約3.5Gbps,峰值帶寬為6Gbps,每秒包數(shù)最高可達百萬級。本文利用NTCI-Flow與NetStream同時對該機構(gòu)的出口流量進行了采集,并根據(jù)其導出的流信息,統(tǒng)計并對比了2016年1月10日的總包數(shù)、總流數(shù)、主機數(shù)以及平均流量大小。結(jié)果如圖6所示,NetStream因基于采樣方式采集流量及存在性能瓶頸,出現(xiàn)了較嚴重的數(shù)據(jù)失真問題,總包數(shù)、總流數(shù)、主機數(shù)以及平均流量均小于實際水平,而NTCI-Flow還原的流量數(shù)據(jù)則更準確。圖6NTCI-Flow與NetStream的對比圖Fig.6ContrastofNTCI-FlowandNetStream4總結(jié)隨著x86架構(gòu)的發(fā)展、基于軟件的高性能包抓取技術(shù)的進步(如DPDK、NETMAP和PF_RINGDNA等),更多技術(shù)人員傾向于選擇在x86服務(wù)器上實現(xiàn)軟件方式的包抓取。大數(shù)據(jù)平臺技術(shù),尤其是Hadoop開源生態(tài)圈的不斷完善,其極低的使用成本及強大的處理能力,使大數(shù)據(jù)平臺受到更多網(wǎng)絡(luò)安全領(lǐng)域技術(shù)人員的追捧。當前研究并未將二者很好地結(jié)合起來,因此本文將二者結(jié)合提出一種可擴展的高速網(wǎng)絡(luò)流量處理框架NTCI-Flow,對流量高性能抓取與高效傳輸、消息系統(tǒng)、分布式流處理及實時存儲等關(guān)鍵技術(shù)進行研究,保證系統(tǒng)在功能、性能兩方面的可擴展能力。實驗數(shù)據(jù)表明,NTCI-Flow的吞吐率及擴展能力滿足高速網(wǎng)絡(luò)的要求。通過實際應(yīng)用的長期運行情況來看,本文提出的NTCI-Flow能在較低的投入成本下,提供比NetStream更加準確的流量統(tǒng)計數(shù)據(jù)。參考文獻:[1]QuittekJ,ZsebyT,ClaiseB,etal.RFC3917:RequirementsforIPFlowInformationExport(IPFIX)[S].USA.ITEFWorkingGroup,2004.⑵IntroductiontoCiscoIOSNetFlow-ATechnicalOverview[EB/OL].(2012-5)[2016-5-17].http://www.ciseo.eomZeZenZusZproduetsZcollateralZios-nx-os-softwareZios-netflowZprod_white_paper0900aeed80406232.html.華為技術(shù)有限公司.NetStream技術(shù)白皮書[EBZOL].(2014-2-19)[2016-5-17].http:ZZZilink/cnenterpriseZdownloadZHW_350968

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論