模糊加權(quán)markov鏈模型在網(wǎng)絡(luò)行為檢測(cè)中的應(yīng)用

模糊加權(quán)markov鏈模型在網(wǎng)絡(luò)行為檢測(cè)中的應(yīng)用

網(wǎng)絡(luò)作為一個(gè)重要的基礎(chǔ)設(shè)施，在所有應(yīng)用中都起著重要作用。網(wǎng)絡(luò)運(yùn)營(yíng)管理通常根據(jù)osi模型的功能劃分，側(cè)重于錯(cuò)誤、配置、費(fèi)用、性能和安全等技術(shù)管理。由于網(wǎng)絡(luò)上大量活躍的服務(wù)提供商缺乏有效的管理機(jī)制，因此無(wú)法滿(mǎn)足當(dāng)前的網(wǎng)絡(luò)安全需求。根據(jù)用戶(hù)的網(wǎng)絡(luò)行為，分析用戶(hù)的網(wǎng)絡(luò)行為，全面描述用戶(hù)在網(wǎng)絡(luò)和網(wǎng)絡(luò)上的運(yùn)行，這對(duì)于全面了解用戶(hù)的行為特征和網(wǎng)絡(luò)使用情況，及時(shí)調(diào)整網(wǎng)絡(luò)連接分布，制定路徑策略，提高網(wǎng)絡(luò)性能、應(yīng)用效率和服務(wù)用戶(hù)具有重要作用。本文提出的模糊加權(quán)馬維模型能夠正確檢測(cè)網(wǎng)絡(luò)用戶(hù)的行為變化。1預(yù)測(cè)用戶(hù)行為模型1.1kov鏈模型Markov鏈模型對(duì)用戶(hù)在使用網(wǎng)絡(luò)時(shí)作了如下假設(shè)(Markov性假設(shè)):假設(shè)所有用戶(hù)使用網(wǎng)絡(luò)過(guò)程是一個(gè)特殊的隨機(jī)過(guò)程:齊次的離散Markov鏈.即:設(shè)離散隨機(jī)變量X的值域?yàn)橛赡秤脩?hù)使用網(wǎng)絡(luò)行為的特征構(gòu)成的集合,則一個(gè)用戶(hù)使用網(wǎng)絡(luò)過(guò)程就構(gòu)成一個(gè)隨機(jī)變量X的取值序列,并且該序列滿(mǎn)足Markov性.根據(jù)假設(shè),Markov鏈模型定義如下:單Markov鏈模型可以表示為一個(gè)三元組M=X,A,α.其中,X是一個(gè)離散隨機(jī)變量,值域?yàn)閧x1,x2,···,xn},每個(gè)xi對(duì)應(yīng)用戶(hù)的一個(gè)行為狀態(tài),稱(chēng)為模型的一個(gè)狀態(tài);A為轉(zhuǎn)移概率矩陣,簡(jiǎn)稱(chēng)轉(zhuǎn)移矩陣,每一項(xiàng)Pij=(Xt=xj|Xt-1=xi)表示由狀態(tài)xi轉(zhuǎn)移到狀態(tài)xj的概率;α為初始狀態(tài)分布,每一項(xiàng)為Pt=P(Xt=0=x1).即利用網(wǎng)絡(luò)用戶(hù)行為特征的歷史數(shù)據(jù),統(tǒng)計(jì)出連續(xù)兩個(gè)時(shí)間段內(nèi)網(wǎng)絡(luò)用戶(hù)行為的概率Pij(i,j∈E)(前一時(shí)間段,用戶(hù)行為處于i區(qū);后一時(shí)間段,用戶(hù)行為處于j區(qū)),構(gòu)造一步轉(zhuǎn)移概率矩陣:記概率向量P(t)=(p1(t),p2(t),···,pn(t))T為第t個(gè)時(shí)間段網(wǎng)絡(luò)用戶(hù)行為的絕對(duì)概率向量,其中pi(t)表示第t個(gè)時(shí)間段網(wǎng)絡(luò)用戶(hù)行為處于第i(i∈E)區(qū)的絕對(duì)概率.根據(jù)(1)式知,用戶(hù)的網(wǎng)絡(luò)行為在第t+k個(gè)時(shí)間段(k∈E)的絕對(duì)概率向量為若給定初始概率向量P(0)=(p1(0),p2(0),···,pn(0))T,由(2)式可知t時(shí)間段后網(wǎng)絡(luò)用戶(hù)行為預(yù)測(cè)的Markov過(guò)程模型為因此,可在已知初始概率向量的情況下,對(duì)于任意時(shí)間段后用戶(hù)的網(wǎng)絡(luò)行為區(qū)間的概率分布做出預(yù)測(cè),并判定其行為是否變遷.1.2用戶(hù)狀態(tài)t根據(jù)上述建立的Markov鏈模型,可以用下式,由t-1時(shí)刻用戶(hù)的網(wǎng)絡(luò)行為狀態(tài),預(yù)測(cè)t時(shí)刻的網(wǎng)絡(luò)行為狀態(tài):將(4)式稱(chēng)為單Markov模型.其中,向量N(t)表示用戶(hù)在時(shí)刻t的狀態(tài),如果此時(shí)用戶(hù)處于狀態(tài)xi,則該向量的第i維等于1,其余各維都為0.用向量P(t)表示在時(shí)刻t系統(tǒng)的狀態(tài)概率向量,每一維表示不同狀態(tài)的概率.向量P(t)概率值最大的那一維所對(duì)應(yīng)的狀態(tài),就是用戶(hù)在時(shí)刻t最可能的狀態(tài).1.3基于多sts-ms的多在鏈轉(zhuǎn)動(dòng)軸通常一個(gè)隨機(jī)序列{x(t)}的可能取值范圍是一個(gè)實(shí)數(shù)區(qū)間,如果采用Markov鏈模型預(yù)測(cè)方法,就必須先將這個(gè)實(shí)數(shù)區(qū)間劃分成有限個(gè)明確的子區(qū)間,并用狀態(tài)來(lái)表示.但是在許多問(wèn)題中,狀態(tài)并不是明確的子集合,例如利用用戶(hù)行為狀態(tài)特征值來(lái)確定異常、偏正常、較正?；蛘５刃袨闋顟B(tài).因?yàn)樗鼈兌际悄：隣顟B(tài),故要用用戶(hù)行為狀態(tài)特征值上的模糊子集來(lái)表示才更接近于實(shí)際情況.因此,針對(duì)此類(lèi)情況就必須采用基于模糊狀態(tài)的Markov鏈模型的預(yù)測(cè)方法.而Markov鏈預(yù)測(cè)的關(guān)鍵問(wèn)題在于計(jì)算轉(zhuǎn)移矩陣中的轉(zhuǎn)移概率值,轉(zhuǎn)移概率計(jì)算的基礎(chǔ)在于狀態(tài)的劃分,顯然將狀態(tài)劃分為明確狀態(tài)的劃分矩陣進(jìn)一步拓廣為將狀態(tài)劃分為模糊狀態(tài)的劃分矩陣,轉(zhuǎn)移概率的問(wèn)題就可以解決了.設(shè)隨機(jī)序列{x(t),t∈T},其中參數(shù)集T={0,1,2,···},在其論域{x(t),t∈T}上劃分出k個(gè)模糊狀態(tài):E={1,2,···,k}按照一定的方法總能得到x(t)隸屬于某個(gè)模糊狀態(tài)i的隸屬度函數(shù),隸屬度函數(shù)記為ui(xt),滿(mǎn)足k由于數(shù)據(jù)序列最后的狀態(tài)轉(zhuǎn)向不明確,故計(jì)算Mi(m)時(shí)不考慮時(shí)間序列x(t)中最后的m個(gè)數(shù)據(jù),則模糊狀態(tài)的Markov鏈轉(zhuǎn)移概率可作如下定義:為了證明xt落入狀t態(tài)=i1的數(shù)據(jù)個(gè)數(shù),易證為狀態(tài)i經(jīng)過(guò)m步轉(zhuǎn)移到狀態(tài)j的數(shù)據(jù)個(gè)數(shù),且有即為狀態(tài)i經(jīng)過(guò)m步轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率,且滿(mǎn)足,獲得模糊狀態(tài)劃分的轉(zhuǎn)移概率矩陣P(m).單Markov鏈模型預(yù)測(cè)用戶(hù)行為的準(zhǔn)確率可以達(dá)到70%左右.為了提高預(yù)測(cè)準(zhǔn)確率,本文建立了基于多階加權(quán)組合Markov模型,以充分利用用戶(hù)的歷史網(wǎng)絡(luò)行為信息進(jìn)行預(yù)測(cè).可以利用下式,根據(jù)(t-1,t-2,···,t-n)多時(shí)刻用戶(hù)的網(wǎng)絡(luò)行為狀態(tài),預(yù)測(cè)t時(shí)刻的網(wǎng)絡(luò)行為狀態(tài):將(9)式稱(chēng)為加權(quán)Markov模型,其中An表示Markov鏈的n階轉(zhuǎn)移矩陣;wi是權(quán)值,滿(mǎn)足等式w1+w2+···wh=1.實(shí)驗(yàn)證明,h的取值越大,模型的預(yù)測(cè)準(zhǔn)確率就越高.2網(wǎng)絡(luò)用戶(hù)行為特征的特性影響網(wǎng)絡(luò)的因素很多,目前主要是研究網(wǎng)絡(luò)流量變化,其研究手段主要是以主動(dòng)方式或被動(dòng)方式測(cè)量網(wǎng)絡(luò)流量,采用概率論、數(shù)理統(tǒng)計(jì)等數(shù)學(xué)工具分析測(cè)量網(wǎng)絡(luò)流量,從而發(fā)現(xiàn)一些網(wǎng)絡(luò)行為特征的規(guī)律性.網(wǎng)絡(luò)內(nèi)每個(gè)用戶(hù)的行為特征可以用一個(gè)五元組{T,S,C,B,Q}來(lái)描述:T:上網(wǎng)時(shí)間(time),每個(gè)用戶(hù)使用網(wǎng)絡(luò)的時(shí)間和頻度,可以用實(shí)際值來(lái)表示.Q:訪(fǎng)問(wèn)操作造成的數(shù)據(jù)流量.上傳、下載的流量等,記為W.根據(jù)上述分析可以計(jì)算單位時(shí)間內(nèi)網(wǎng)絡(luò)用戶(hù)行為特征值,即通過(guò)上述方法,對(duì)于網(wǎng)絡(luò)內(nèi)部的每個(gè)用戶(hù),都建立起一個(gè)基本的行為數(shù)據(jù)庫(kù),如圖1所示:3基于模糊加權(quán)模型的用戶(hù)行為預(yù)測(cè)3.1基于已發(fā)展的分類(lèi)模型通過(guò)服務(wù)器提取用戶(hù)行為流量,根據(jù)(10)式,把某用戶(hù)使用網(wǎng)絡(luò)行為的30天歷史平均特征值(對(duì)求的值取倒數(shù),即1/M),先從小到大重排,然后再應(yīng)用有序聚類(lèi)法對(duì)用戶(hù)的狀態(tài)分類(lèi),建立用戶(hù)使用網(wǎng)絡(luò)行為分級(jí)標(biāo)準(zhǔn)(相當(dāng)于確定Markov鏈的狀態(tài)空間).可以通過(guò)最優(yōu)分割法求得最優(yōu)分類(lèi).最優(yōu)分割法的基本思想是基于方差分析的思想:即尋找一個(gè)分割,使各段內(nèi)部指標(biāo)值間的差異最小,而各段之間的差異最大,這個(gè)分割也就被稱(chēng)為最優(yōu)分割.現(xiàn)假設(shè)指標(biāo)值依次是x1,x2,···,xn,其中每個(gè)xi均是P維向量,則最優(yōu)分割法的操作步驟如下:1)定義類(lèi)的直徑設(shè)某一類(lèi)Gij是{xi,xi+1,···,xj},ji,定義其均值向量為將該類(lèi)內(nèi)部各指標(biāo)值間的總差異定義為該類(lèi)的直徑,由于表示指標(biāo)值間總差異的最常用的數(shù)量指標(biāo)是離差平方和.所以常用的直徑就是類(lèi)內(nèi)離差平方和.用D(i,j)表示Gij的直徑,則定義2)定義目標(biāo)函數(shù)將n個(gè)有序指標(biāo)值分為k類(lèi),設(shè)某一種分法為其中分點(diǎn)1=i1<i2<···<ik<ik+1=n(定義這種分類(lèi)的損失函數(shù)即目標(biāo)函數(shù)為類(lèi)內(nèi)總離差平方和):n,k固定時(shí),e[P(n,k)]越小表示各類(lèi)的類(lèi)內(nèi)離差平方和越小,分類(lèi)是合理的,因此要尋求一種分法P(n,k)使目標(biāo)函數(shù)達(dá)到最小.3)求最優(yōu)分類(lèi)用P*(n,k)表示e[P(n,k)]達(dá)到極小的分類(lèi).要將n個(gè)有序數(shù)據(jù)分成k類(lèi),等價(jià)于將它先分成兩部分:{1,2,···,j-1},{j,j+1,···,n},然后再將{1,2,···,j-1}分成k-1類(lèi),而{j,j+1,···,n}單獨(dú)成一類(lèi),即P(n,k):P(j,k-1),···,P(n-1,k-1).于是得因此,對(duì)于n個(gè)有序數(shù)據(jù),當(dāng)要分k類(lèi)時(shí),可首先找jk使?jié)M足于是第k類(lèi)Gk=(jk,jk+1,···,n),然后找jk-1得k-1類(lèi),依次繼續(xù)下去,就得到所有的類(lèi)根據(jù)上述的最優(yōu)分割法,用戶(hù)的行為狀態(tài)到底分成幾類(lèi),取決于目標(biāo)函數(shù)關(guān)于分類(lèi)數(shù)k的圖像,可按矩陣{e[P(n,k)]}n×n中的最后一行數(shù)值畫(huà)出e[P(n,k)]關(guān)于k的圖像,轉(zhuǎn)折點(diǎn)處的k則是所要找的最優(yōu)分割類(lèi)數(shù).據(jù)此,根據(jù)計(jì)算所得用戶(hù)行為特征值數(shù)據(jù)(表1)畫(huà)出目標(biāo)函數(shù)關(guān)于分類(lèi)數(shù)k的圖像(圖2).圖2中,最優(yōu)分類(lèi)數(shù)為4,其分類(lèi)狀況為4個(gè)區(qū)間,即4個(gè)狀態(tài):可以定義為1(12.5以下)為行為異常,2(12.5～13.5)為行為偏正常,3(13.5～14.5)為行為較正常,4(14.5以上)為行為正常.以此標(biāo)準(zhǔn)劃分用戶(hù)適用網(wǎng)絡(luò)行為的等級(jí),如表1所示.3.2基于步長(zhǎng)的wk的預(yù)測(cè)步驟1根據(jù)用戶(hù)使用網(wǎng)絡(luò)行為以及和計(jì)算各階自相關(guān)系數(shù)rk和規(guī)范的自相關(guān)系數(shù)wk,k∈E.式中rk表示第k階(滯時(shí)為k個(gè)時(shí)段的)自相關(guān)系數(shù),xi表示第i時(shí)段的指標(biāo)值,x表示指標(biāo)值均值,n表示指標(biāo)值序列的長(zhǎng)度.對(duì)各階自相關(guān)系數(shù)規(guī)范化,即把對(duì)各階自相關(guān)系數(shù)規(guī)范化后的wk作為各種滯時(shí)(步長(zhǎng))的Markov鏈的權(quán)重(m為按預(yù)測(cè)需要計(jì)算到的最大階數(shù)),如表2所示.步驟2根據(jù)表2計(jì)算統(tǒng)計(jì)量:得χ2>χa2((m-1)2),故用戶(hù)使用網(wǎng)絡(luò)行為特征滿(mǎn)足馬氏性.步驟3計(jì)算各階步長(zhǎng)的馬氏鏈一步轉(zhuǎn)移概率矩陣.步驟4根據(jù)歷史資料和各階轉(zhuǎn)移概率矩陣對(duì)用戶(hù)第31天的網(wǎng)絡(luò)行為進(jìn)行預(yù)測(cè),如表3所示.由表3計(jì)算知:max{P(i)}=0.4074,對(duì)應(yīng)的狀態(tài)為1,所以預(yù)測(cè)的狀態(tài)為1,而該用戶(hù)第31天的網(wǎng)絡(luò)行為實(shí)際狀態(tài)為1,預(yù)測(cè)準(zhǔn)確.由于以各種步長(zhǎng)的自相關(guān)系數(shù)為權(quán),用各種步長(zhǎng)的Markov鏈加權(quán)和來(lái)預(yù)測(cè)用戶(hù)行為狀態(tài),較普通的Markov鏈的預(yù)測(cè)方法,可以更充分、合理地利用用戶(hù)的歷史行為信息,可以成功地將Markov鏈與相關(guān)分析有效地結(jié)合起來(lái)進(jìn)行預(yù)測(cè).4均值和標(biāo)準(zhǔn)差為了驗(yàn)證模糊加權(quán)Markov鏈模型的預(yù)測(cè)能力,并與單Markov鏈模型相比較,本文通過(guò)某大學(xué)服務(wù)器的日志文件,提取了某用戶(hù)的流量數(shù)據(jù)并計(jì)算,比較了普通Markov鏈模型與加權(quán)Markov模型在均值和標(biāo)準(zhǔn)差方面的預(yù)測(cè)效果(如圖3,圖4所示).圖3中,Y軸表示均值誤差,圖4中,Y軸表示標(biāo)準(zhǔn)差誤差.明顯地看出,在一般情況下,基于普通馬氏鏈預(yù)測(cè)模型的預(yù)測(cè)均值和標(biāo)準(zhǔn)差要大于加權(quán)馬氏鏈的預(yù)測(cè)模型,基于4階加權(quán)馬氏鏈預(yù)測(cè)模型的預(yù)測(cè)均值和標(biāo)準(zhǔn)差要大于5階加權(quán)馬氏鏈預(yù)測(cè)模型,階數(shù)相同時(shí),模糊加權(quán)的預(yù)測(cè)效果最好.可以得出,加權(quán)馬氏鏈預(yù)測(cè)模型預(yù)測(cè)效果優(yōu)于基于一般的馬氏鏈模型,階數(shù)越多,加權(quán)馬氏鏈預(yù)測(cè)效果越優(yōu),但相應(yīng)計(jì)算量越大.5確定復(fù)合信息的模糊狀態(tài)劃分函數(shù),進(jìn)行分析模型的分析本文利用模糊理論對(duì)用戶(hù)行為的狀態(tài)進(jìn)行了模糊劃分,提出了模糊狀態(tài)的馬爾可夫鏈的概率計(jì)算公式,計(jì)算出了狀態(tài)轉(zhuǎn)移矩陣;采取以規(guī)范化的各階自相關(guān)系數(shù)為權(quán)重,實(shí)現(xiàn)了模糊加權(quán)馬爾可夫鏈模型預(yù)測(cè)方法;分析了網(wǎng)絡(luò)用戶(hù)行為遷移情況,通過(guò)與實(shí)際資料數(shù)據(jù)對(duì)比,發(fā)現(xiàn)分析結(jié)果與實(shí)際數(shù)據(jù)一致.隨著預(yù)測(cè)對(duì)象序列的逐天增加,資料的代表性也日益增強(qiáng),自相關(guān)系數(shù)、模糊狀態(tài)劃分、權(quán)重將會(huì)發(fā)生某些變化,這種變化是預(yù)測(cè)理論模式不斷完善的過(guò)程.所以應(yīng)將預(yù)測(cè)對(duì)象的新的實(shí)測(cè)值加入到資料序列加以分析,調(diào)整自相關(guān)系數(shù)和模糊狀態(tài)劃分函數(shù),重新計(jì)算權(quán)重,以便進(jìn)一步提高預(yù)測(cè)精度.S:訪(fǎng)問(wèn)的站點(diǎn)(site),可劃分為門(mén)戶(hù)類(lèi)、新聞?lì)?、娛?lè)類(lèi)等.可以通過(guò)訪(fǎng)問(wèn)此站點(diǎn)流量占總流的比例來(lái)表示,即,其中si表示用戶(hù)訪(fǎng)問(wèn)i站點(diǎn)的流量,W表示用戶(hù)在T時(shí)間內(nèi)使用網(wǎng)絡(luò)的總流量.