用于無監(jiān)督異常發(fā)現(xiàn)的幾何方法

用于無監(jiān)督異常發(fā)現(xiàn)的幾何方法框架無標(biāo)簽數(shù)據(jù)的入侵檢測(cè)無需清理好的數(shù)據(jù)集可用作歷史數(shù)據(jù)分析的反饋無監(jiān)督異常監(jiān)測(cè)的優(yōu)勢(shì)將數(shù)據(jù)映射到特征空間選取數(shù)據(jù)特征特征空間映射根據(jù)空間距離找出異常值聚類KNNSVM幾何框架方法靈活性：可選取不同數(shù)據(jù)特征進(jìn)行映射，應(yīng)用同一種算法進(jìn)行異常值檢測(cè)使用幾何框架方法的優(yōu)勢(shì)使用幾何框架方法的假設(shè)前提正常數(shù)據(jù)量>>異常數(shù)據(jù)量異常數(shù)據(jù)值與正常數(shù)據(jù)值十分不同數(shù)值數(shù)據(jù)標(biāo)準(zhǔn)化（計(jì)算方差/平均值）數(shù)值敏感->分部敏感離散數(shù)據(jù)將離散屬性i所有可能的值記為Σi對(duì)于任何一個(gè)屬性都有|Σi|個(gè)與之對(duì)應(yīng)的坐標(biāo)一個(gè)坐標(biāo)包含所有屬性值與屬性值相聯(lián)系的坐標(biāo)有正值1/|Σi|其余與特征相聯(lián)系的坐標(biāo)記值為0屬性i不同的兩條記錄值被記成映射—選取數(shù)據(jù)特征1

網(wǎng)絡(luò)連接記錄使用SpectrumKernel特征空間為|Σ|k維空間，每一個(gè)坐標(biāo)系（coordinate）對(duì)應(yīng)一個(gè)特定的k長(zhǎng)度的子連續(xù)數(shù)據(jù)特征空間中特定的坐標(biāo)系所對(duì)應(yīng)的值為子連續(xù)數(shù)據(jù)在連續(xù)數(shù)據(jù)中出現(xiàn)次數(shù)的數(shù)值映射—選取數(shù)據(jù)特征2

Sequenceofsystemcalls樣本點(diǎn)為x1,x2…xi樣本點(diǎn)存在的空間為輸入空間X映射至特征空間Y，記為： Ф：X->Y向量y的范數(shù)為與自己的內(nèi)積映射—特征空間映射1兩個(gè)項(xiàng)量之間的距離公式：對(duì)應(yīng)的X1,X2的距離為映射—特征空間映射概念：x,z∈X,X屬于Rn空間,非線性函數(shù)Φ實(shí)現(xiàn)輸入空間X到特征空間F的映射,其中F屬于Rm，n<<m。核函數(shù)技術(shù)接收2個(gè)低維空間的向量，能夠計(jì)算出經(jīng)某變換后高維空間里的向量?jī)?nèi)積值。映射—特征空間映射2

核函數(shù)映射—特征空間映射3

ConvolutionKernels卷積核步驟計(jì)算所有點(diǎn)兩兩間距離距離小于半徑w，則兩點(diǎn)相近，計(jì)算鄰近點(diǎn)數(shù)量N(x)N(x)=|{s|d(x,s)<=w}|N(x)小則代表鄰近點(diǎn)少，鄰近點(diǎn)少的則為異常值缺陷計(jì)算量太大，計(jì)算復(fù)雜度為O(n2)異常值判斷—聚類1在計(jì)算機(jī)科學(xué)中，算法的時(shí)間復(fù)雜度是一個(gè)函數(shù)，它定量描述了該算法的運(yùn)行時(shí)間。這是一個(gè)關(guān)于代表算法輸入值的字符串的長(zhǎng)度的函數(shù)。時(shí)間復(fù)雜度常用大O符號(hào)表述，不包括這個(gè)函數(shù)的低階項(xiàng)和首項(xiàng)系數(shù)。使用這種方式時(shí)，時(shí)間復(fù)雜度可被稱為是漸近的，它考察當(dāng)輸入值大小趨近無窮時(shí)的情況。舉例，如果一個(gè)算法對(duì)于任何大小為n的輸入，它至多需要5n^3+3n的時(shí)間運(yùn)行完畢，那么它的漸近時(shí)間復(fù)雜度是O(n^3)。計(jì)算復(fù)雜度步驟選取一點(diǎn)作為第一個(gè)簇的中心如果下一個(gè)點(diǎn)在距離簇中心w距離的范圍內(nèi)，將點(diǎn)加入簇內(nèi)如果不在，以此點(diǎn)為中心，建立半徑為w的新簇重復(fù)以上兩步直至所有點(diǎn)都計(jì)算結(jié)束，一個(gè)點(diǎn)可能會(huì)加入多個(gè)簇N(c)為簇中點(diǎn)的數(shù)量，N(x)≈N(c)，x為簇中不為中心的點(diǎn)N(x)小的則為異常值異常值判斷—聚類2

Fixedwidthclusteringalgorithm異常值判斷—KNN1步驟計(jì)算樣本點(diǎn)至KNNs的距離總和，計(jì)為KNN

score密集區(qū)域的KNNscore相對(duì)較小缺陷計(jì)算復(fù)雜度太高，為O(n2)異常值判斷—KNN2步驟使用Fixedwidthclusteringalgorithm的方法將每個(gè)樣本都添加到一個(gè)簇中C為所有簇組成的簇集合P為有可能成為KNN的點(diǎn)集K為KNN點(diǎn)集P、K初始為空計(jì)算樣本點(diǎn)x到所有簇中心的距離將距離x最近的簇從C中移動(dòng)至集合P定義結(jié)合性質(zhì)3，可得的點(diǎn)一定比C集