電子科技大學(xué) 計算機入侵檢測技術(shù)2

計算機入侵檢測技術(shù)—基于多傳感器數(shù)據(jù)融合的入侵檢測技術(shù)第二章基于多傳感器數(shù)據(jù)融合的入侵檢測技術(shù)

第一節(jié)引言

下一代的IDS需要通過各種異質(zhì)的分布式網(wǎng)絡(luò)傳感器來獲取并融合數(shù)據(jù)，以形成對網(wǎng)絡(luò)系統(tǒng)的態(tài)勢估計。

這樣的IDS用到了多傳感器數(shù)據(jù)融合技術(shù)，其概念最早出現(xiàn)于20世紀70年代的軍事領(lǐng)域，具有較強的軍事特色它已成功應(yīng)用于軍事和民用的諸多方面。

定義2.1數(shù)據(jù)融合（DataFusion）：是一個多級多側(cè)面的加工過程，包括對多個數(shù)據(jù)源的數(shù)據(jù)和信息的自動化檢測、互聯(lián)、相關(guān)、估計和組合處理。

第一節(jié)引言本章的主要內(nèi)容包括：

1、提出了一種新型基于多傳感器數(shù)據(jù)融合的網(wǎng)絡(luò)入侵檢測機制DFIDM；

2、結(jié)合數(shù)據(jù)融合技術(shù)中的分布式多傳感器系統(tǒng)，分別針對單目標和多目標的情況進行理論分析，提出了數(shù)據(jù)融合技術(shù)能較大程度提高入侵檢測系統(tǒng)的有效性和準確性的理論依據(jù)；

3、基于理論分析得出的依據(jù)，詳細討論DFIDM機制的設(shè)計與實現(xiàn)；

4、研究DFIDM機制中數(shù)據(jù)校準、實時性保證等其它一些重要問題；

5、對該機制進行了實驗驗證和性能分析；第二節(jié)數(shù)據(jù)融合技術(shù)的理論依據(jù)

一、數(shù)據(jù)融合技術(shù)的意義

1、提高系統(tǒng)穩(wěn)定性：即使某些傳感器失效、受到干擾或無法覆蓋事件和目標的全體時，仍有傳感器可以提供信息；

2、擴大觀測在空間和時間上的覆蓋范圍：利用多個傳感器，可以在不同時間和視點上觀測同一目標，擴大了系統(tǒng)檢測的時空范圍；

3、增加對象的信息量：由于采用了不同種類的、在時空上分布的傳感器，可以在不同層面上獲取對象更多的互補信息；

4、增加信息的準確性；

5、提高決策的準確性。第二節(jié)數(shù)據(jù)融合技術(shù)的理論依據(jù)二、融合系統(tǒng)的功能模塊

從整體框架上看，一個融合系統(tǒng)的主要功能模塊包括：傳感器及其管理模塊、數(shù)據(jù)管理模塊、信息優(yōu)化融合模塊和數(shù)據(jù)傳輸通道。三、融合系統(tǒng)的基本結(jié)構(gòu)

根據(jù)多傳感器系統(tǒng)中觀測、決策和融合的關(guān)系，大體上可分為集中式和分布式兩種基本結(jié)構(gòu)。

三、融合系統(tǒng)的基本結(jié)構(gòu)

1、集中式結(jié)構(gòu)中，各傳感器對目標進行觀測所得到的原始數(shù)據(jù)全部送到融合中心FC（FusionCenter），由融合中心完成對數(shù)據(jù)的各種處理，然后做出最終決策。圖2.1集中式融合系統(tǒng)三、融合系統(tǒng)的基本結(jié)構(gòu)

2、分布式結(jié)構(gòu)分為以下三種 （1）并行結(jié)構(gòu)對信道帶寬與融合中心處理能力的要求較低，本章的DFIDM就采用這種結(jié)構(gòu)。圖2.2并行分布式融合系統(tǒng)三、融合系統(tǒng)的基本結(jié)構(gòu)

（2）串行分布式融合系統(tǒng)。第一個檢測器，其余每個檢測器在接收自己的觀測數(shù)據(jù)之外，還能獲得上一個檢測器的決策，融合后的最終結(jié)果由最后一個檢測器輸出。串行結(jié)構(gòu)在鏈路發(fā)生故障時會導(dǎo)致整個系統(tǒng)都會受到影響，故應(yīng)用場合比并行結(jié)構(gòu)少圖2.3串行分布式融合系統(tǒng)

三、融合系統(tǒng)的基本結(jié)構(gòu)

（3）網(wǎng)絡(luò)分布式融合系統(tǒng)。第0層的各個檢測器接收自己的觀測矢量并做出決策，形成第1層輸入矢量。從第1層到第k層為中間融合層，第k＋1層為最終融合層。這種多層決策融合網(wǎng)絡(luò)可以實現(xiàn)比單純并行或串行更優(yōu)的功能，但會大大增加系統(tǒng)的開銷。圖2.4網(wǎng)絡(luò)分布式融合系統(tǒng)四、分布式檢測與決策融合的概念模型由傳感器、決策器和融合中心組成，其模型如下圖。圖2.5單目標并行分布式檢測與決策融合系統(tǒng)入侵行為u........u1unu2決策器g2決策器gn傳感器2傳感器nu2…………融合中心（FC）檢測器（DM）g傳感器1決策器g1四、分布式檢測與決策融合的概念模型a、先給出其概念模型：設(shè)有個假設(shè)（Hypothesis）：，，…，（對于二元假設(shè)為，可表示入侵行為的有或無）

b、設(shè)有n個檢測器，每個檢測器DM（DecisionMaker）由傳感器（Sensor）和決策器組成。第i個檢測器對目標的觀測矢量為

=，i=1,2,…,n

，每個檢測器DM根據(jù)其目標觀測矢量，按一定方法和準則做出相應(yīng)本地決策=C、該模型僅對檢測一種入侵行為有效，稱為“單目標多傳感器二元融合系統(tǒng)”；當(dāng)系統(tǒng)需要同時對多種入侵行為進行檢測，則需要對該模型進行擴展，稱為“多目標多傳感器二元融合系統(tǒng)”。（H）

五、通過多傳感器提高系統(tǒng)準確性的幾個結(jié)論結(jié)論一：在適當(dāng)?shù)娜诤喜呗苑绞较?，多傳感器融合之后的條件熵不大于單傳感器的條件熵，即多傳感器系統(tǒng)的融合輸出可以獲得更小的不確定度。結(jié)論二：當(dāng)觀測信息相關(guān)性最小，也即它們相互獨立時，融合系統(tǒng)對輸出不準確性的壓縮能力（CompressAbility）最大。為此，在系統(tǒng)中各傳感器之間應(yīng)相互無關(guān)，互不干擾。結(jié)論三：融合系統(tǒng)的性能還取決于是否最大程度的提取了系統(tǒng)的先驗信息，即系統(tǒng)的融合性能與各檢測器的自身性能密切相關(guān)。第三節(jié)單目標多傳感器二元融合系統(tǒng)

系統(tǒng)模型圖如下：圖2.6單目標、二元并行分布式融合系統(tǒng)

第三節(jié)單目標多傳感器二元融合系統(tǒng)a、設(shè)二元假設(shè)：

表示不存在目標，表示存在目標，它們的先驗概率分別為和。各檢測器將各自決策和決策水平與傳遞到融合中心，融合中心基于這些本地決策作出最后的決策。b、通過推導(dǎo)可得最終融合可靠性函數(shù)：第三節(jié)單目標多傳感器二元融合系統(tǒng)結(jié)論四：對于單目標二元的多傳感器融合系統(tǒng)，a、融合后的最終可靠性由被檢測目標的先驗概率、各檢測器的虛警概率和漏報概率所決定，可表達為以上函數(shù)關(guān)系；b、由于各不相同，各檢測器會對最終決策產(chǎn)生不同程度的影響。虛警率和漏報率越小的檢測器對最終決策的影響越大；c、為保證融合公式中的準確性，在系統(tǒng)運行前和運行過程中，都應(yīng)進行統(tǒng)一的功能測試；第三節(jié)單目標多傳感器二元融合系統(tǒng) d、在得到最終融合可靠性系數(shù)后，系統(tǒng)還需要提供閾值和判決函數(shù)來得出最終的判決結(jié)果，可表示如下：第四節(jié)多目標多傳感器二元融合系統(tǒng)

在實際應(yīng)用場合下，如果需要對同時發(fā)生的多種入侵行為進行判斷，可將其擴展為多目標多傳感器二元融合系統(tǒng)。其系統(tǒng)模型圖如下：圖2.7多目標、二元并行分布式融合系統(tǒng)第四節(jié)多目標多傳感器二元融合系統(tǒng)一、基本思路：將多目標多傳感器二元融合系統(tǒng)的問題，轉(zhuǎn)化為m個單目標多傳感器二元融合系統(tǒng)的問題。二、系統(tǒng)所檢測的目標是二元目標，每個目標代表了一種已知入侵類型，每個類型的二元假設(shè)分別代表了該入侵類型的發(fā)生與否，n個檢測器仍然通過分布式結(jié)構(gòu)對多個目標進行檢測。三、依據(jù)：從系統(tǒng)的設(shè)計目標來看，并不需要在檢測過程中建立不同入侵類型之間的關(guān)聯(lián)，因而以上方法是符合設(shè)計要求的。第四節(jié)多目標多傳感器二元融合系統(tǒng)四、數(shù)據(jù)結(jié)構(gòu)的變化： 1、本地檢測為向量，對于檢測器i的本地決策可表示如下，一般地，表示檢測器對攻擊類型的檢測結(jié)果。

2、本地決策經(jīng)過融合中心處理后得到的最終融合結(jié)果，也是一個與表達方式相同的向量。 3、在融合中心進行數(shù)據(jù)融合的過程中，數(shù)據(jù)樣本并非向量而是一個m×n的矩陣。第五節(jié)多目標多傳感器二元融合系統(tǒng)

DFIDM的層次模型和功能布局如圖2.8所示

圖2.8DFIDM的層次和功能模型第五節(jié)多目標多傳感器二元融合系統(tǒng)一、按整個系統(tǒng)的功能劃分為5個層次：1、首先通過遍布系統(tǒng)各處的分布式傳感器獲取原始數(shù)據(jù)；2、原始數(shù)據(jù)經(jīng)過校準過濾后填寫標準的原始數(shù)據(jù)記錄庫，并形成相關(guān)對象；3、對象提取在時間（或空間）上相關(guān)聯(lián)，其數(shù)據(jù)按統(tǒng)一標準關(guān)聯(lián)、配對、分類，形成一個基于對象的集合；4、利用融合決策算法，對狀態(tài)進行提取以形成對入侵行為的威脅評估；5、根據(jù)威脅評估進行最終決策；6、在以上層次結(jié)構(gòu)以外，管理策略獨立存在并管理、維護整個系統(tǒng)。第五節(jié)多目標多傳感器二元融合系統(tǒng)二、各部分功能說明

1、分布式傳感器DS（DistributingSensors）布置在系統(tǒng)的各個部分，主要分為兩類，即基于主機的傳感器和基于網(wǎng)絡(luò)的傳感器，這些傳感器用來獲取來自網(wǎng)絡(luò)或者主機的原始數(shù)據(jù)；

2、數(shù)據(jù)提取模塊DR（DataRefinement）應(yīng)布置于傳感器本地，以便于提高效率；

圖2.8DFIDM的層次和功能模型二、各部分功能說明

3、為保證檢測的實時性，傳感器網(wǎng)絡(luò)必須比被保護的目標網(wǎng)絡(luò)快，這樣才能及時做出分析和響應(yīng)，關(guān)于保證該系統(tǒng)檢測功能的實時性問題，本章將在后面詳細討論；

4、對象提取OR（ObjectRefinement）和威脅估價TA（ThreatAssessment）兩個模塊可一同布置于融合中心FS（FusionCenter）。這有利于對象提取時，通過配準形成一個基于對象的聚集的集合，同時也有利于狀態(tài)提取和威脅評估時的數(shù)據(jù)集中處理；圖2.8DFIDM的層次和功能模型第六節(jié)DFIDM的數(shù)據(jù)與對象提取

一、入侵行為的表示與存儲 在DFIDM中選擇類似于SNMPMIB（ManagementInformationBinary）的結(jié)構(gòu)來分類存貯各類入侵行為，稱之為入侵規(guī)則數(shù)據(jù)庫，或規(guī)則樹，如圖2.9。圖2.9規(guī)則樹示意圖

第六節(jié)DFIDM的數(shù)據(jù)與對象提取二、分布式傳感器DS（DistributingSensors）

DS布置在系統(tǒng)的各個部分來獲取原始數(shù)據(jù)，其輸出應(yīng)該是完整的網(wǎng)絡(luò)原始數(shù)據(jù)樣本。三、數(shù)據(jù)提取模塊DR（DataRefinement） DR應(yīng)布置于傳感器本地，以減小傳輸開銷，其作用是對DS的原始數(shù)據(jù)進行預(yù)處理。主要功能為：

1、對DS所提供的數(shù)據(jù)進行過濾，保證數(shù)據(jù)的規(guī)范性；

2、對DS提供的原始數(shù)據(jù)進行本地決策，并形成相關(guān)對象；

三、數(shù)據(jù)提取模塊DR（DataRefinement）

3、對本地決策后形成的對象標志符OID，加上時間標記TT（TimeTag）和空間標記ST（SpaceTag），由此形成帶有時空標記的OID。

DFIDM為保證從目標系統(tǒng)獲取的數(shù)據(jù)具有時間上的一致性，在網(wǎng)絡(luò)各節(jié)點處維護標準的系統(tǒng)時間周期SSTC（SystemStandardTimeCycle），該時間周期在系統(tǒng)內(nèi)具有一致性和唯一性。

4、DR輸出的對象為本地決策LDM（LocalDecision－Making），主要包括時間標記、空間標記和入侵類型等，如圖2.10所示。

圖2.10本地決策LDM示意圖第六節(jié)DFIDM的數(shù)據(jù)與對象提取四、對象提取OR（ObjectRefinement） OR針對各節(jié)點傳來的LDM進行處理，應(yīng)布置于融合中心FC。對象提取的作用，是按照共同的入侵類型，對數(shù)據(jù)進行區(qū)分，并形成一個基于對象的集合。 按以下幾個步驟進行

1、OR通過初始數(shù)據(jù)緩存空間ODC（OriginalDataCache）接收并存儲來自各節(jié)點LDM，該空間是一個對象存儲的集合； 2、網(wǎng)絡(luò)故障或延遲等因素可能導(dǎo)致同時產(chǎn)生的對象會異步到達，為此采用了三級延遲緩存的設(shè)計思想來加以解決。ODC作為第一級緩存；二級緩存空間SDC用作時間校準；三級緩存空間TDC用作對最后按規(guī)則選出的輸出對象集合進行緩存。四、對象提取OR（ObjectRefinement）

3、對于SDC中創(chuàng)建時間等于DV的集合，OR可認為已通過時間校準。其中，每個對象的時間標記都相同。即將從SDC送到TDC的一個集合的情況如圖2.11所示：圖2.11即將從SDC傳輸?shù)絋DC的集合情況四、對象提取OR（ObjectRefinement） 4、按入侵類型對對象進行處理，形成若干集合，OR輸出的是經(jīng)過時間校準、基于不同入侵類型并包含n個集合的集合群（n為該時刻入侵行為的類型數(shù)，數(shù)量可變）。從系統(tǒng)初始化10ms后，每1ms產(chǎn)生n個集合，在沒有入侵的情況下，OR輸出為空。四、對象提取OR（ObjectRefinement）

從TDC最終輸出的若干集合的情況如圖2.12所示：圖2.12OR最終輸出到TA的集合群四、對象提取OR（ObjectRefinement）

5、工作流程如圖2.13所示來自各節(jié)點的LDM1，2,...，nODCSDCTDC存放原始數(shù)據(jù)的對象集合存放時間標記相同的對象集合存放按特定規(guī)則選取后的對象集合，例如相同入侵類型的集合輸出到TA圖2.13OR的工作流程圖

四、對象提取OR（ObjectRefinement）接收各節(jié)點LDM1,2,…,n并存入ODC中每個WT對ODC內(nèi)的對象進行一次處理該對象所對應(yīng)時間標記的集合是否存在?是將該對象加入SDC中的相應(yīng)集合創(chuàng)建集合，并將該對象加入SDC中相應(yīng)集合START系統(tǒng)對SDC內(nèi)的各集合不斷輪詢集合創(chuàng)建時間>=DV?系統(tǒng)將該集合內(nèi)各元素，按不同入侵類型重新劃分并形成集合群，存入TDC否否是END圖2.13OR的工作流程圖

第七節(jié)融合與最終決策

本節(jié)討論DFIDM的最后一個部分TA（ThreatenAssessment），其作用主要有三個，即融合策略與算法、威脅評估以及啟動響應(yīng)辦法。

一、各本地決策與本地檢測器的可靠性系數(shù) 1、可靠性系數(shù)的調(diào)整 DFIDM維護一個基于各檢測器可靠性系數(shù)的二維矩陣，一般地，為第i個檢測器對第j種入侵行為的可靠性系數(shù)，并根據(jù)系統(tǒng)實際性能不斷對其進行調(diào)整。一、各本地決策與本地檢測器的可靠性系數(shù)

2、可靠性系數(shù)的計算

將一次融合過程的檢測器可靠性系數(shù)值記為

,并應(yīng)用于最終融合決策公式的計算中。從系統(tǒng)角度來看，考慮到各檢測器的可靠性本身具有相同的可信度，簡化起見，DFIDM將函數(shù)

g設(shè)定為算術(shù)平均和，即：第七節(jié)融合與最終決策二、根據(jù)入侵檢測系統(tǒng)的實際需要，DFIDM在進行融合決策時還引入了空間因素、時序因素、歷史記錄、人工加權(quán)這四個主要因素： 1、空間因素，是指目標系統(tǒng)各節(jié)點上檢測器對同一種入侵行為的聯(lián)合預(yù)警。

2、時序因素，是指當(dāng)真實攻擊發(fā)生時，各節(jié)點由于網(wǎng)絡(luò)拓撲和路由的不同，可能在對同一入侵行為的檢測上出現(xiàn)異步性。

3、歷史記錄因素可針對具有一定規(guī)律的入侵行為提高準確性，本文僅選取特定的攻擊源IP地址段這一情況加以分析。為此，系統(tǒng)維護一個對應(yīng)于攻擊類型來源的列表，使用可變階二維矩陣表達。

4、鑒于入侵行為并非完全按可預(yù)知的方式進行，而常常具有突發(fā)性、階段性，在融合因素中人為的權(quán)衡也有其存在的合理性，為此引入了人為判斷系數(shù)。

第七節(jié)融合與最終決策三、融合結(jié)果

最終決策結(jié)果表達為各影響因素的函數(shù)。

由于無論對函數(shù)f的準確性怎樣進行優(yōu)化，這5個因素實際上應(yīng)該對決策結(jié)果施加的影響大小，都難以被準確的反映為具體數(shù)值。DFIDM的最終決策結(jié)果以定性分析為主，定量計算為輔。

三、融合結(jié)果1、定性結(jié)果的描述

系統(tǒng)能詳細、規(guī)范地對融合過程中所涉及的因素進行描述，并提交相關(guān)報告，系統(tǒng)管理者能很詳細地對目標系統(tǒng)中可能發(fā)生的各類入侵狀況進行了解，并在此基礎(chǔ)上進行相應(yīng)處理。2、定量公式計算

設(shè)系統(tǒng)最終決策為

Z，可用一維數(shù)組表達，其分量表示對第j種入侵行為的決策值，將所有因素等同考慮，則可得：2、定量公式計算 最終決策Z是元素值介于0到1之間的一維數(shù)組，分別對應(yīng)了各類入侵在某個時刻，經(jīng)過DFIDM融合后的發(fā)生概率。由于各個影響因素在入侵實際發(fā)生時，可能會對融合決策起到不同作用，故可以加入調(diào)整系數(shù)序列，對于不同因素進行調(diào)整，擴展的計算公式為：第七節(jié)融合與最終決策四、處理與響應(yīng)辦法

在得到最終融合可靠性系數(shù)L(u)后，系統(tǒng)還需要提供閾值A(chǔ)和判決函數(shù)f()，來得出最終判決結(jié)果f(L(u))。

四、處理與響應(yīng)辦法

當(dāng)系統(tǒng)具有低、中、高響應(yīng)辦法時，閾值A(chǔ)和判決函數(shù)f()的方式可以設(shè)置如下：取值在[0,0.3]（閾值條件）之間對應(yīng)威脅程度為低；[0.3,0.7]（閾值條件）對應(yīng)威脅程度為中；大于0.7（閾值條件）為高。然后根據(jù)判決結(jié)果，系統(tǒng)啟動不同的響應(yīng)處理辦法。第七節(jié)融合與最終決策五、管理策略

最后是系統(tǒng)管理策略，在以上層次結(jié)構(gòu)以外，系統(tǒng)的整體管理策略獨立存在并管理、維護整個系統(tǒng)。其功能包括：規(guī)則庫升級、各層次數(shù)據(jù)庫的維護（初始化、定期清空等）、系統(tǒng)各部分的性能檢查與調(diào)優(yōu)，等等。圖2.14FDIDM最終決策報告

第八節(jié)DFIDM的及時性和準確性一、DFIDM的及時性

1、在以網(wǎng)絡(luò)為平臺的融合系統(tǒng)中，分布式傳感器所獲得的數(shù)據(jù)需要盡可能地在本地處理，這是實現(xiàn)DFIDM及時性的第一個重要措施。

2、為保證及時性，還需要通過建立獨立、高速的檢測網(wǎng)絡(luò)或?qū)δ繕司W(wǎng)絡(luò)進行限速來實現(xiàn)。二、DFIDM的準確性與性能優(yōu)化，需要通過定期測試和調(diào)優(yōu)來加以解決。第九節(jié)實驗環(huán)境、結(jié)果與性能分析

一、實驗準備： 實驗環(huán)境為1個融合中心FC（Intel服務(wù)器1G），5個節(jié)點（PC賽揚666），攻擊數(shù)據(jù)由1臺PC賽揚666提供。為了既驗證DFIDM機制的有效性，又易于操作，實驗中下載了五種開放源碼的入侵檢測系統(tǒng)，分別是snort（版本1.7）、PSAD（版本1.2）、Bro（版本0.7）、preclude（版本0.7）、IDES（版本0.4）。

第九節(jié)實驗環(huán)境、結(jié)果與性能分析1、漏報率的比較實驗： 為測試DFIDM的漏報率，選擇了5種入侵類型。分別對同時攻擊類型為1、3、5的情況進行3組實驗，每組實驗分別進行了1000次，得出3組數(shù)據(jù)，這些數(shù)據(jù)為融合后的結(jié)果。以0.5為閾值，判斷其檢測結(jié)果是否正確，正確記為1，否則為0。最后對每組實驗中同一入侵類型，計算所有樣本數(shù)據(jù)之和的算術(shù)平均值e，得到DFIDM漏報率的平均值1－e。此后，對snort和Bro同樣進行上述3組實驗，各1000次，采用同樣方法得到其漏報率，并列表比較。第九節(jié)實驗環(huán)境、結(jié)果與性能分析漏報率的比較數(shù)據(jù)如下表2.1：(1)、同時攻擊種類為1時：攻擊類型攻擊實現(xiàn)工具

漏報率（％）SnortBroDFIDMTCPFloodTFN4.13.70.9表2.1攻擊種類為1時的結(jié)果比較第九節(jié)實驗環(huán)境、結(jié)果與性能分析(2)、同時攻擊種類為3時：

攻擊類型

攻擊實現(xiàn)工具漏報