網(wǎng)絡(luò)流量模型及分析(最終思路)課件

1、1網(wǎng)絡(luò)流量模型及分析我們的工作網(wǎng)絡(luò)流量相關(guān)概念網(wǎng)絡(luò)流量的采集網(wǎng)絡(luò)流量模型實例分析1234網(wǎng)絡(luò)流量概念分類測量網(wǎng)絡(luò)流量的特點自相似性長相關(guān)性周期性、突發(fā)性、混沌性網(wǎng)絡(luò)流量相關(guān)概念網(wǎng)絡(luò)流量-概念網(wǎng)絡(luò)流量就是網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量 單位時間內(nèi)通過網(wǎng)絡(luò)設(shè)備或者傳輸介質(zhì)的信息量報文數(shù)數(shù)據(jù)包數(shù)字節(jié)數(shù)網(wǎng)絡(luò)流量-分類Packet-level的流量分類關(guān)注數(shù)據(jù)包（packet）的特征及其到達過程Flow-level的流量分類由源IP地址、源端口、目的IP地址、目的端口、應(yīng)用協(xié)議組成的五元組Stream-level的流量分類由源IP地址、目的IP地址、應(yīng)用協(xié)議組成的三元組上述三種分類方法，流量的粒度由小到大遞增。廣泛

2、使用參考文獻：Internet流量模型分析與評述_張賓，楊家海，吳建平網(wǎng)絡(luò)流量-測量主動向目標鏈路或目標節(jié)點發(fā)送探測包測量延遲、帶寬、丟包率被動接入網(wǎng)絡(luò)的測量探針監(jiān)測、記錄網(wǎng)絡(luò)上的數(shù)據(jù)情況主動測量會額外注入流量，被動測量涉及安全性與私密性問題主動測量確定網(wǎng)絡(luò)整體性能，被動測量故障定位！理想的網(wǎng)絡(luò)測量不影響數(shù)據(jù)包轉(zhuǎn)發(fā)的速度完整的流量監(jiān)控占用資源少不會泄露用戶的隱私速度完整資源安全網(wǎng)絡(luò)測量的意義Internet流量工程和網(wǎng)絡(luò)行為學的研究的依據(jù)開發(fā)高性能網(wǎng)絡(luò)設(shè)備和設(shè)計網(wǎng)絡(luò)協(xié)議的理論基礎(chǔ)開展Qos敏感應(yīng)用提供Qos保證的前提條件診斷網(wǎng)絡(luò)的運行狀況，進行更好的管理保障網(wǎng)絡(luò)安全，防范網(wǎng)絡(luò)攻擊運營商針對網(wǎng)絡(luò)

3、流量進行業(yè)務(wù)上的收費網(wǎng)絡(luò)流量的特點自相似性長相關(guān)性周期性突發(fā)性混沌性采集自臺灣地區(qū)的臺中教育大學網(wǎng)絡(luò)主節(jié)點服務(wù)器Incming artides共計71天的每小時網(wǎng)絡(luò)流量數(shù)據(jù)圖自相似性局部結(jié)構(gòu)與總體結(jié)構(gòu)相比具有某種程度的一致性種類確定自相似性隨機自相似性（網(wǎng)絡(luò)流量）赫斯特指數(shù)（Hurst）確定自相似性示例自相似性-從分布的角度定義參考文獻：基于時間相關(guān)的網(wǎng)絡(luò)流量建模與預(yù)測研究_高波自相似性-赫斯特指數(shù)（Hurst）表征自相似特性的一個重要參數(shù)當0H0.5時，表示負相關(guān)，即不具備自相似性高低值交替的趨勢持續(xù)一段時間（粗糙曲線）當H=0.5時，隨機過程呈現(xiàn)為某種“隨機游走”狀態(tài)，即不同時間的狀態(tài)轉(zhuǎn)換

4、是互不相關(guān)的當0.5H0，k0，則 Pareto 分布概率密度函數(shù) f(x)是如下描述的分段函數(shù)結(jié)論：當多個獨立同分布的 ON/OFF 數(shù)據(jù)源流量疊加時，如果 ON 狀態(tài)或者 OFF 狀態(tài)的持續(xù)時間服從重尾分布，那么疊加流量將具有自相似性39帕累托分布（Pareto）重尾分布的ON/OFF模型優(yōu)點可以解釋產(chǎn)生自相似的部分原因，有助于深入地了解自相似的本質(zhì)缺點各個源端必須是獨立同分布的,且輸出速率為常數(shù)與實際網(wǎng)絡(luò)業(yè)務(wù)不符，適用范圍受限C，即Convergence，表示趨同性網(wǎng)絡(luò)趨同性說明：以往的 ON/OFF 模型中對于各個 ON/OFF 源之間獨立同分布的假設(shè)變得不切實際，導致 ON/OFF

5、模型生成流量的合成流量的自相關(guān)函數(shù)并不滿足實際網(wǎng)絡(luò)流量的長相關(guān)特性C-ON/OFF模型1、根據(jù) Internet 中廣泛存在的趨同性改進現(xiàn)有的 ON/OFF 模型，使各源之間具有一定的相關(guān)性，討論各源之間相關(guān)性與合成流量長相關(guān)性的關(guān)系2、建立基于 ON/OFF 模型的具有趨同性的新網(wǎng)絡(luò)流量模型。3、使用歸一化子協(xié)方差函數(shù)和Hurst參數(shù)驗證實驗步驟假設(shè) ON/OFF 模型中有 N 個 ON/OFF 源，每個 ON/OFF 源產(chǎn)生的流量分別是 X1(m)、X2(m)、XN(m)，其中 m 為整數(shù)離散時間， m 0。這 N 個源生成流量的合成流量 X(m)為：設(shè) n 為時間間隔，n 為大于等于零的

6、整數(shù)，那么，X(m)的自相關(guān)函數(shù)為：理論驗證N 個獨立同分布 ON/OFF 源的合成流量的自協(xié)方差函數(shù)與每個源流量自協(xié)方差函數(shù)的關(guān)系：其中c(n)是合成流量的自協(xié)方差函數(shù)，ci(n)是每個源流量的自協(xié)方差一系列數(shù)學推導V. Paxson 等人34指出，ON 周期或 OFF 周期的持續(xù)時間具有輕尾分布的 ON/OFF 模型在獨立同分布條件下產(chǎn)生的合成流量是短相關(guān)流量結(jié)論1：當 ON/OFF 結(jié)構(gòu)模型滿足獨立同分布、ON 周期或 OFF 周期持續(xù)時間呈輕尾分布時，源產(chǎn)生的流量具有短相關(guān)性質(zhì)結(jié)論1各個源產(chǎn)生流量的自協(xié)方差函數(shù)與互協(xié)方差函數(shù)說明：由于各個源之間不獨立，因此第二項必不為零結(jié)論2：單個流量

7、之間的互協(xié)方差是否可加將直接決定聚合流量自協(xié)方差函數(shù)是否可加，即各源生成流量之間的互相關(guān)性的強弱決定了合成流量自協(xié)方差的可加性當On或者Off持續(xù)周期不獨立當 ON/OFF 結(jié)構(gòu)模型滿足獨立同分布、ON 周期或 OFF 周期持續(xù)時間呈輕尾分布時，源產(chǎn)生的流量具有短相關(guān)性質(zhì)只要滿足獨立同重尾分布這個條件，無論單個流量還是合成流量都是長相關(guān)流量如果各源之間不獨立，具有一定相關(guān)性，那么，對于重尾分布來說，合成流量必然長相關(guān)理論論證之結(jié)論歸一化自協(xié)方差函數(shù)，又稱自相關(guān)系數(shù)Hurst參數(shù)估值兩種驗證方法實驗條件控制輕尾分布重尾分布數(shù)據(jù)源獨立獨立，輕尾獨立，重尾數(shù)據(jù)源不獨立不獨立，輕尾不獨立，重尾第一組：

8、ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈輕尾分布，且各源之間相互獨立。第二組：ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈輕尾分布（指數(shù)分布），但各源之間不獨立，具有一定相關(guān)性第三組：ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈重尾分布（選取 Pareto 分布作為重尾分布的代表），且各源之間相互獨立第四組：ON/OFF 模型各源的 ON、OFF 狀態(tài)周期均呈重尾分布（Pareto 分布），各源之間不獨立，具有一定相關(guān)性實驗條件設(shè)置歸一自協(xié)方差驗證結(jié)論Hurst參數(shù)估值驗證結(jié)論構(gòu)造新模型C-On/off條件設(shè)置1） 固定 n，觀察 C-ON/OFF 模型生成流量的歸

9、一化自協(xié)方差隨 N 值的變化情況；2） 固定 N，觀察 C-ON/OFF 模型生成流量的歸一化自協(xié)方差隨 n 值的變化情況。使用C-on/off模型測試實驗結(jié)果（n固定）實驗結(jié)果（N固定）Hurst驗證新模型Hurst驗證新模型首先通過理論分析證明了如下結(jié)論：在經(jīng)典ON/OFF 模型的基礎(chǔ)上加入各 ON/OFF 源之間的相關(guān)性，可以在 ON 周期和OFF 周期持續(xù)時間分布為輕尾分布的條件下產(chǎn)生長相關(guān)性質(zhì)的流量然后對上述結(jié)論進行了仿真驗證，仿真結(jié)果表明：在 ON/OFF 模型各源之間增加相關(guān)性之后，即使 ON/OFF 模型的 ON 周期和 OFF 周期持續(xù)時間呈輕尾分布，合成流量依然具有長相關(guān)性

10、；若 ON 周期和 OFF 周期持續(xù)時間呈重尾分布，那么各源之間的相關(guān)性將加劇合成流量的自相似程度，表現(xiàn)為 Hurst 參數(shù)值的增加C-on/off結(jié)論流量模型的發(fā)展歷程傳統(tǒng)模型（短相關(guān)）自相似模型（長相關(guān)）流量模型的新發(fā)展 泊松模型 馬爾科夫模型 回歸模型重尾分布的ON/OFF模型M/G/排隊模型FBM/FGN模型基于神經(jīng)網(wǎng)絡(luò)的模型多分形模型20時期70年代-1994年1994年-2004年2004 年泊松回歸引發(fā)的爭論至今2004 年,Karagiannis 等人通過分析Tier 1 ISP 的骨干鏈路流量發(fā)現(xiàn),目前高帶寬和高聚合的鏈路流量在極小尺度下近似泊松過程,從而引發(fā)了人們對網(wǎng)絡(luò)流量

11、特征及建模的新思索和爭論之所以這樣劃分,并不表示近時期的流量模型不具有自相似的特征,主要是為了更清晰地了解近些年網(wǎng)絡(luò)流量模型的發(fā)展情況流量建模新發(fā)展近年其他模型的發(fā)展流量預(yù)測模型基于神經(jīng)網(wǎng)絡(luò)的模型混沌理論模型模糊理論模型混合模型多分形模型展望流量模型的發(fā)展目前的網(wǎng)絡(luò)模型基本都基于流量時間序列的自相似特性，未來是否還會有別的特性發(fā)現(xiàn)？目前的流量均基于時間特性，是否將來會考慮空間特性？網(wǎng)絡(luò)流量的小尺度行為的研究新的物理模型的發(fā)展模型的簡單和精確性發(fā)展（1）節(jié)點1 ：為整個校區(qū)的網(wǎng)絡(luò)出口處，是整個校區(qū)的流量總和，具有最高匯聚度（2）節(jié)點2： 為匯聚層中一個子網(wǎng)絡(luò)結(jié)構(gòu)的總流量，該子網(wǎng)絡(luò)節(jié)點的總流量是3

12、 個子網(wǎng)絡(luò)中流量最小的（3）節(jié)點3： 為匯聚層中一個子網(wǎng)絡(luò)結(jié)構(gòu)的總流量，該子網(wǎng)絡(luò)節(jié)點的流量是3 個子網(wǎng)絡(luò)中流量最大的（4）節(jié)點4 ：為最下層路由器連接的交換機的流量總和實例分析：校園網(wǎng)7采用被動測量技術(shù)，并對采集的報文抽樣統(tǒng)計。運用Solarwinds軟件對校園網(wǎng)流量信息進行抽樣測量。根據(jù)每30min的時間間隔來完成對校園網(wǎng)流量數(shù)據(jù)信息的采集。校園網(wǎng)流量測量參考文獻：校園網(wǎng)絡(luò)流量分析與預(yù)測研究_張昕基于BP神經(jīng)網(wǎng)絡(luò)的流量預(yù)測BP 神經(jīng)網(wǎng)絡(luò)算法的訓練步驟如下：（1）樣本分類。把樣本分為訓練樣本和測試樣本，訓練樣本用于訓練網(wǎng)絡(luò)，測試樣本用于測試網(wǎng)絡(luò)預(yù)測性能。（2）網(wǎng)絡(luò)初始化。隨機初始化 BP 神經(jīng)

13、網(wǎng)絡(luò)的權(quán)值和閾值，設(shè)置網(wǎng)絡(luò)學習速率 。（3）預(yù)測輸出。把訓練樣本輸入網(wǎng)絡(luò)，計算網(wǎng)絡(luò)預(yù)測輸出并計算網(wǎng)絡(luò)預(yù)測輸出和期望輸出的誤差e。（4）權(quán)值修正。根據(jù)誤差e修正網(wǎng)絡(luò)權(quán)值和閾值，從而使網(wǎng)絡(luò)預(yù)測值逼近期望值。（5）判斷算法是否結(jié)束，如沒有結(jié)束，返回步驟 3，繼續(xù)運行。sigmoid基于BP神經(jīng)網(wǎng)絡(luò)的流量預(yù)測學習速率 取 0.1基于BP神經(jīng)網(wǎng)絡(luò)的流量預(yù)測在網(wǎng)絡(luò)訓練達到 50 次時訓練的均方誤差為 0.108142，在訓練達到 500 次時均方誤差為 0.106294，實際上，當訓練達到 220 次時均方誤差基本沒有變化，說明此時訓練次數(shù)的增加并不能改善網(wǎng)絡(luò)流量的預(yù)測性能?；谛〔ㄉ窠?jīng)網(wǎng)絡(luò)的流量預(yù)測模型

14、將小波分析和神經(jīng)網(wǎng)絡(luò)直接結(jié)合，把神經(jīng)網(wǎng)絡(luò)隱含層的傳輸函數(shù)用小波函數(shù)代替，大多數(shù)前向多層神經(jīng)網(wǎng)絡(luò)都是基于 Sigmoid函數(shù)的基函數(shù)網(wǎng)絡(luò)，用這種網(wǎng)絡(luò)作函數(shù)逼近時，由于 Sigmoid 函數(shù)自身的局限性使得其是一種次優(yōu)網(wǎng)絡(luò)。把神經(jīng)網(wǎng)絡(luò)隱含層的傳輸函數(shù)用小波函數(shù)代替，這樣的結(jié)合從本質(zhì)上改變了預(yù)測模型的結(jié)構(gòu)，在不影響預(yù)測精度的前提下，縮短了模型的訓練時間，提高了訓練的速度,克服了神經(jīng)網(wǎng)絡(luò)容易陷入局部次優(yōu)的缺點，且算法易實現(xiàn)、易應(yīng)用和易推廣。Morlet 母小波基函數(shù)：基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測模型基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測模型基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測模型本節(jié)實驗采用松散型小波神經(jīng)網(wǎng)絡(luò)模型進行流量預(yù)測

15、。首先運用小波對采集的數(shù)據(jù)流量序列進行小波分解，此處選擇 haar 小波對流量進行 3 層小波分解基于小波神經(jīng)網(wǎng)絡(luò)的流量預(yù)測模型在本實驗中采用的小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為 4-9-1。網(wǎng)絡(luò)權(quán)值的初值是在參數(shù)初始化時隨機得到。本實驗對小波神經(jīng)網(wǎng)絡(luò)反復進行 500 次訓練校園網(wǎng)網(wǎng)絡(luò)流量分析流量分析步驟：選擇一種方法采集流量選擇一種或多種流量分析模型對采集到的流量的預(yù)處理劃分訓練集、測試集對元數(shù)據(jù)做必須的映射處理分解元數(shù)據(jù)，分面處理訓練模型，分析并預(yù)測參考文獻（1）基于時間相關(guān)的網(wǎng)絡(luò)流量建模與預(yù)測研究高波Internet 流量模型分析與評述張賓, 楊家海, 吳建平自相似網(wǎng)絡(luò)流量模型研究王暉，季振洲，朱素霞網(wǎng)絡(luò)流量模型與流量預(yù)測技術(shù)研究張久坤校園網(wǎng)絡(luò)流量分析與預(yù)測研究張昕網(wǎng)絡(luò)流量分析關(guān)鍵技術(shù)研究任春梅校園網(wǎng)絡(luò)流量自相似性分析與研究張浩參考文獻（2）Wide Area Traffic: The Fail