基于對手思維建模的分布式入侵檢測模型

1、基于對手思維建模的分布式入侵檢測模型:思維建模;入侵檢測;網(wǎng)絡(luò)入侵 0引言 伴隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)安全已經(jīng)成為一個(gè)至關(guān)重要的問題,也是計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)之一。為了達(dá)到當(dāng)場檢測出惡意的網(wǎng)絡(luò)入侵行為并馬上采取防范反擊措施的目的,實(shí)時(shí)監(jiān)測黑客入侵行為并以程序自動(dòng)產(chǎn)生響應(yīng)的網(wǎng)絡(luò)入侵檢測系統(tǒng)(Intrusion Detection System, IDS)產(chǎn)生了。入侵檢測被認(rèn)為是防火墻之后的第二道安全閘門,可以在不影響網(wǎng)絡(luò)性能的情況下能對網(wǎng)絡(luò)進(jìn)行監(jiān)聽,從而提供對內(nèi)部攻擊、外部攻擊和誤操作的實(shí)時(shí)保護(hù),大大提高了網(wǎng)絡(luò)的安全性1。 自從1980年4月James P. Anderson第一次詳細(xì)闡述了

2、入侵檢測的概念以來,入侵檢測系統(tǒng)經(jīng)歷了從集中式系統(tǒng)向分布式、智能化系統(tǒng)的發(fā)展歷程。與此同時(shí),高級入侵活動(dòng)也變得越來越呈現(xiàn)出分布性和協(xié)調(diào)性的特點(diǎn),具體表現(xiàn)在: (1)一次入侵可能分布在網(wǎng)絡(luò)中的多個(gè)機(jī)器上2。 (2)一次攻擊可能只是一個(gè)更大規(guī)模入侵的一個(gè)部分,它只是使用當(dāng)前被攻陷的網(wǎng)絡(luò)作為跳板,最終的目標(biāo)可能是攻擊別的系統(tǒng)或非法得到其他資源3。 (3) 多次簡單攻擊可以組合成為一次更復(fù)雜的長時(shí)間協(xié)同入侵4。 這使得傳統(tǒng)的基于分布式數(shù)據(jù)采集和集中分析的分布式入侵檢測系統(tǒng)很難檢測出大規(guī)模的分布式智能協(xié)作攻擊,并且不能對這些攻擊作出實(shí)時(shí)反應(yīng)。然而,Agent技術(shù)的發(fā)展為解決這些問題提供了契機(jī)。一些學(xué)者提

3、出,由于Agent本身具有協(xié)同工作、智能化、自治性和移動(dòng)性等特點(diǎn),將其引入入侵檢測系統(tǒng)可以彌補(bǔ)傳統(tǒng)分布式入侵檢測的不足,也為入侵檢測技術(shù)提供了很多新的思路。文獻(xiàn)5提出利用免疫學(xué)的思想設(shè)計(jì)出一個(gè)基于Agent的入侵檢測模型。這個(gè)模型是層狀結(jié)構(gòu),能動(dòng)態(tài)學(xué)習(xí)、檢測出已知和未知的入侵、檢測出不同層次的入侵。文獻(xiàn)6提出了一種采取無控制中心的多Agent 結(jié)構(gòu), 每個(gè)檢測部件都是獨(dú)立的檢測單元, 盡量降低各檢測部件間的相關(guān)性。文獻(xiàn)7提出了一種層次結(jié)構(gòu)的基于自治Agent的入侵檢測框架AAFID。其中監(jiān)視器是系統(tǒng)的單一失效點(diǎn)。盡管如此,入侵者出于自身利益的考慮會(huì)對檢測Agent有意回避甚至對關(guān)鍵節(jié)點(diǎn)Agen

4、t主動(dòng)攻擊,而且協(xié)作入侵通常會(huì)故意采取一些行動(dòng)以隱藏其意圖或掩蓋其行動(dòng)軌跡,如: (1)能夠檢測到的入侵行動(dòng)可能只是一部分,甚至檢測到的入侵行動(dòng)可能是誤導(dǎo)的。 (2)入侵者可能采用靈活的計(jì)劃以同時(shí)完成多個(gè)目的。 (3)入侵者也許多次重復(fù)一些步驟。 這些都極大地增大了入侵檢測的難度,僅僅對檢測系統(tǒng)自身采用Agent技術(shù)的分布式入侵系統(tǒng)很難達(dá)到實(shí)時(shí)檢測復(fù)雜入侵的目標(biāo)。在更高的層次上,筆者將入侵者和入侵檢測方抽象為是以“局部運(yùn)作、全局共享”為核心的多Agent系統(tǒng),對抗雙方都是一組自治的Agent通過協(xié)調(diào)它們的知識完成入侵和入侵檢測。在求解的過程中,各Agent之間達(dá)成了協(xié)作、協(xié)調(diào)、協(xié)商、理性、對抗

5、、交互等各種關(guān)系?；谶@種抽象以及入侵檢測的本質(zhì)(根據(jù)入侵者的行動(dòng)及時(shí)推斷出入侵者的意圖),本文提出了以對手思維建模和對手意圖識別技術(shù)為基礎(chǔ)的多Agent分布式入侵檢測系統(tǒng)模型IRAIDS,為解決大規(guī)模、分布式、智能化入侵提供了解決方法。 1IRAIDS模型 1.1對手思維建模 對手思維模型的核心在于意圖的識別,因?yàn)橐鈭D對應(yīng)于實(shí)際的行為規(guī)劃,這也正是入侵檢測的目標(biāo)。本文提到的意圖識別包含兩個(gè)層次的含義: (1)單個(gè)對手意圖的識別 在該模型中使用TA(Tracer Agent)針對單個(gè)對手的思維狀態(tài)建模,目標(biāo)是通過分析單個(gè)對手的行動(dòng)序列推測其可能的入侵行為。具體請見TA部分。 (2)對手群體意圖

6、的識別 單個(gè)對手的思維建模只能檢測出簡單的個(gè)體入侵意圖,對于大規(guī)模的分布式網(wǎng)絡(luò)入侵就無能為力了。為了解決這個(gè)問題,筆者在模型中提出通過檢測Agent之間的協(xié)作方式,分析群體對手的意圖以找出其入侵計(jì)劃。這些工作主要是通過BA(Basic Agent)內(nèi)部TA之間的合作以及BA之間的協(xié)作完成的。 1.2IRAIDS模型描述 IRAIDS模型由TA、BA、SA(Supervise Agent)和MA(Ma-nage Agent)組成,如圖1所示。在一個(gè)網(wǎng)絡(luò)中BA、SA、MA通過相互協(xié)作監(jiān)督組成了一個(gè)嚴(yán)密安全的入侵檢測系統(tǒng)。 其中TA是BA內(nèi)根據(jù)檢測到的對手主機(jī)的訪問情況對對手思維建模的Agent,主

7、要用來識別單個(gè)對手的入侵及其意圖。BA是執(zhí)行某些檢測任務(wù)的Agent,它可以分布在主機(jī)或網(wǎng)絡(luò)上,將多個(gè)可疑對手歸結(jié)為一個(gè)對手群,對對手群體入侵目的進(jìn)行意圖識別。SA是某一邏輯網(wǎng)段的監(jiān)督Agent,它監(jiān)督網(wǎng)段內(nèi)的BA的運(yùn)行狀態(tài)并對網(wǎng)段內(nèi)的流量和訪問等信息進(jìn)行統(tǒng)計(jì)。MA是整個(gè)系統(tǒng)的管理者,處于整個(gè)網(wǎng)絡(luò)與Internet接口處(通常是網(wǎng)關(guān)),對整個(gè)系統(tǒng)的流量、網(wǎng)段內(nèi)的SA的狀態(tài)進(jìn)行監(jiān)督管理。 2模型結(jié)構(gòu)分析 2.1TA的結(jié)構(gòu) 由于網(wǎng)絡(luò)中需要檢測的對方主機(jī)的數(shù)量可能會(huì)很多,實(shí)現(xiàn)對手Agent要求所占資源必須足夠小,在模型上就需要足夠精簡。本文對對手建立一個(gè)簡潔的輕型Agent模型,如圖2所示。對手思維

8、模型由三層組成,分別是: (1)交互層。當(dāng)某個(gè)BA判斷網(wǎng)絡(luò)中某臺主機(jī)的行為超過了可能入侵的閾值時(shí),就根據(jù)下面的模型對對手建立一個(gè)輕型Agent,以后獲取的這個(gè)對手的行為就交由該Agent處理,由TA對對手的操作進(jìn)行匹配、識別其入侵意圖。交互層主要與產(chǎn)生它的BA進(jìn)行交流,由BA將它所“關(guān)心”的對手情況傳送給它,處理后由交互層反饋給BA。 (2)處理層。利用所歸屬的BA檢測數(shù)據(jù)庫對交互層傳來的信息進(jìn)行入侵規(guī)則匹配與意圖識別,在單個(gè)對手的層次上檢測可能的入侵。 (3)存儲層用來存放處理層的中間過程和結(jié)果。 2.2BA的主要功能和結(jié)構(gòu) BA是運(yùn)用對手群意圖識別技術(shù),通過相互協(xié)商方式進(jìn)行入侵檢測的Age

9、nt。每個(gè)BA負(fù)責(zé)一定的檢測任務(wù),檢測入侵的某個(gè)方面。BA由下面幾個(gè)部分組成:DB(數(shù)據(jù)庫)、通信單元、加/解密單元、數(shù)據(jù)采集單元、數(shù)據(jù)預(yù)處理單元、分析引擎、狀態(tài)分析引擎、入侵處理單元、用戶接口和對對手思維建模的Agent(TA),如圖3所示。 下面按照分類詳細(xì)介紹各部分的功能: (1)通信單元。提供BA與邏輯網(wǎng)段內(nèi)其他BA以及上層SA進(jìn)行加密通信的能力,也是BA的數(shù)據(jù)來源之一。 (2)加/解密單元。為了保障Agent之間通信的安全化而設(shè)立的一個(gè)對消息進(jìn)行加密和解密的單元,是維護(hù)系統(tǒng)安全運(yùn)行的重要單元之一。 (3)數(shù)據(jù)采集單元。系統(tǒng)數(shù)據(jù)的另一來源,從系統(tǒng)日志、審計(jì)文件以及網(wǎng)絡(luò)數(shù)據(jù)包中獲取檢測需

10、要的數(shù)據(jù)。 (4)數(shù)據(jù)預(yù)處理單元。對從采集單元獲得的數(shù)據(jù)進(jìn)行過濾、抽象化和標(biāo)準(zhǔn)化操作,便于分析引擎對數(shù)據(jù)進(jìn)行分析。 (5)分析引擎。BA的核心單元,利用內(nèi)部TA反饋的可疑入侵信息,對可疑入侵群體進(jìn)行意圖識別,同時(shí)與邏輯網(wǎng)段內(nèi)其他BA協(xié)作檢測并向上層SA報(bào)告。 本文原文 (6)狀態(tài)分析引擎。它是系統(tǒng)進(jìn)行自我狀態(tài)進(jìn)行監(jiān)督以及對上層SA觀察的單元,一旦發(fā)現(xiàn)SA存在問題將及時(shí)發(fā)動(dòng)一次選舉,保證系統(tǒng)運(yùn)行的完整性。 (7)入侵處理單元。發(fā)現(xiàn)入侵時(shí)的處理模塊,通常的做法是向用戶報(bào)警并根據(jù)其危害性采取限制登錄范圍、鎖定用戶賬號甚至切斷網(wǎng)絡(luò)連接等措施。 (8)用戶接口。它是用戶與BA交互的單元,用戶可以向BA中

11、添加新的檢測模型、規(guī)則等信息,也可以對可疑入侵進(jìn)行判斷分析并給出結(jié)論。 (9)DB。數(shù)據(jù)庫是BA存儲系統(tǒng)信息、檢測模型、經(jīng)預(yù)處理后的數(shù)據(jù)和中間數(shù)據(jù)的單元。數(shù)據(jù)庫中的內(nèi)容主要有下面三部分: 網(wǎng)絡(luò)的拓?fù)湫畔?包括當(dāng)前BA所處網(wǎng)絡(luò)的其他BA的地址、上層SA的地址、MA地址等描述網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的信息。 知識庫,主要包括入侵檢測方法、單個(gè)對手意圖識別算法、對手群體意圖識別算法。其中檢測方法數(shù)據(jù)庫包括正常模式庫和異常模式庫(分別用于異常檢測和誤用檢測方法)。這兩種數(shù)據(jù)庫可以根據(jù)數(shù)據(jù)來源分為不同類別子數(shù)據(jù)庫。這樣,異常數(shù)據(jù)可以根據(jù)其來源在相應(yīng)的子數(shù)據(jù)庫中得到迅速的匹配。 經(jīng)預(yù)處理的數(shù)據(jù)。所有經(jīng)過預(yù)處理得到的標(biāo)

12、準(zhǔn)化和格式化的數(shù)據(jù)都保存在數(shù)據(jù)庫中,用來保存對手的入侵證據(jù)。 2.3SA的主要功能和結(jié)構(gòu) SA的主要作用是對所在邏輯網(wǎng)段內(nèi)其他BA的狀態(tài)進(jìn)行監(jiān)督管理、接收BA發(fā)送的可疑報(bào)告、同其他SA協(xié)商以及向上層MA提交入侵和可疑入侵情況。由于SA是從一個(gè)邏輯網(wǎng)段的所有BA中選舉出來的,與BA的結(jié)構(gòu)基本相同。不同的是,SA數(shù)據(jù)庫中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)除了包括本邏輯網(wǎng)段內(nèi)的其他主機(jī)的地/址信息外,還保存其他網(wǎng)段的SA和部分BA(便于發(fā)現(xiàn)某個(gè)SA失效時(shí)可以通知其網(wǎng)段內(nèi)的BA)的地址信息。 2.4MA的主要功能和結(jié)構(gòu) MA是處于整個(gè)網(wǎng)絡(luò)與Internet接口處,是對整個(gè)網(wǎng)絡(luò)進(jìn)行監(jiān)控和檢測入侵的核心單元,常常處于與Int

13、ernet接口的網(wǎng)絡(luò)設(shè)備中,對全網(wǎng)的數(shù)據(jù)流量進(jìn)行統(tǒng)計(jì)跟蹤。MA可以通過大量的學(xué)習(xí),統(tǒng)計(jì)正常和異常情況下網(wǎng)絡(luò)中的數(shù)據(jù)流量、各個(gè)局域網(wǎng)段的流量以及正常和異常的訪問信息等知識。通過MA在高層監(jiān)控,一旦發(fā)現(xiàn)流向某個(gè)網(wǎng)段或者整個(gè)系統(tǒng)的流量發(fā)生劇烈變化,可以通過學(xué)習(xí)的結(jié)果判斷是否出現(xiàn)入侵,并及時(shí)向可能發(fā)生的入侵網(wǎng)段的SA發(fā)出警告。 MA的結(jié)構(gòu)與BA、SA十分相似,但是它只需要對網(wǎng)絡(luò)中的數(shù)據(jù)包進(jìn)行分析,在數(shù)據(jù)采集單元中只接收通信單元和網(wǎng)絡(luò)中的數(shù)據(jù)包的信息。其他部分類似,需要詳細(xì)解釋的是MA的數(shù)據(jù)庫。MA的數(shù)據(jù)庫中存放著下面三種數(shù)據(jù): (1)整個(gè)網(wǎng)絡(luò)主機(jī)和Agent位置的實(shí)時(shí)信息,尤其是網(wǎng)絡(luò)中SA的實(shí)時(shí)位置信

14、息。這個(gè)目標(biāo)主要通過定期檢測和接收更新的方式達(dá)到。 (2)知識庫,其中包括了MA、SA、BA檢測需要使用的所有知識。也就是說,MA的數(shù)據(jù)庫中存放了整個(gè)系統(tǒng)需要的知識的總和。 (3) MA從網(wǎng)絡(luò)中獲取的數(shù)據(jù)流量和統(tǒng)計(jì)信息,以及入侵檢測的中間信息都存儲在數(shù)據(jù)庫中,便于進(jìn)一步的統(tǒng)計(jì)學(xué)習(xí)。 MA為用戶提供了觀測整個(gè)系統(tǒng)的運(yùn)行狀態(tài)、網(wǎng)絡(luò)中的數(shù)據(jù)流量以及動(dòng)態(tài)配置系統(tǒng)的功能。更重要的是為用戶提供了一個(gè)向系統(tǒng)添加修改檢測模式的入口,可以隨時(shí)更新系統(tǒng)的檢測模式庫,增強(qiáng)了系統(tǒng)檢測入侵的能力。 2.5系統(tǒng)運(yùn)行流程 系統(tǒng)工作的流程主要包括兩部分,即自底向上過程和自頂向下過程。 自底向上處理過程 (1)BA獲取系統(tǒng)日志

15、、審計(jì)數(shù)據(jù)以及抓取網(wǎng)絡(luò)中的需要檢測數(shù)據(jù)包,經(jīng)過預(yù)處理后根據(jù)源IP地址進(jìn)行以下分類處理: 對未建立的對手模型的數(shù)據(jù)包通過定義的疑似度函數(shù)度量入侵的可能性,對超過閾值的包建立對手思維追蹤Agent即TA,并將數(shù)據(jù)交給TA處理。 對已經(jīng)建立起TA的對手直接將數(shù)據(jù)傳給TA。 (2)獲取數(shù)據(jù)后的TA進(jìn)行誤用檢測、異常檢測、意圖識別等一系列操作,如檢測到可疑入侵則根據(jù)異常檢測設(shè)定的關(guān)聯(lián)閾值判斷是否需要向BA報(bào)告,若發(fā)現(xiàn)入侵則立即報(bào)告。 (3)BA接收到TA發(fā)送的關(guān)聯(lián)檢測報(bào)告時(shí),將其內(nèi)部TA的關(guān)聯(lián)閾值合并起來,看其是否超過聯(lián)合攻擊閾值,一旦超過立即進(jìn)行聯(lián)合入侵檢測和群體意圖識別,即將各個(gè)TA在數(shù)據(jù)庫中存儲的

16、數(shù)據(jù)合并起來,先檢測是否為已知的聯(lián)合攻擊,再對對手群體意圖進(jìn)行識別。對于對手群的行動(dòng)不符合任意已知的聯(lián)合入侵方式但入侵可疑度很高的,將利用數(shù)據(jù)挖掘技術(shù)從存儲的數(shù)據(jù)中挖掘出新的入侵模式并向系統(tǒng)中其他Agent廣播。 (4)當(dāng)BA沒有發(fā)現(xiàn)大量可疑入侵,但SA監(jiān)測網(wǎng)段內(nèi)的數(shù)據(jù)流量等信息反映入侵可能發(fā)生時(shí),BA之間通過相互協(xié)作檢測入侵。 (5)當(dāng)MA根據(jù)統(tǒng)計(jì)分析判斷系統(tǒng)可能被入侵時(shí),SA之間相互協(xié)作,完成共同檢測復(fù)雜入侵的任務(wù)。 自頂向下處理過程 (1)用戶通過MA提供的接口向全局?jǐn)?shù)據(jù)庫中添加能檢測新的入侵方式的模型,隨后MA將模型發(fā)送到下層的SA中。SA接收到新的檢測模型后,根據(jù)網(wǎng)絡(luò)情況選擇要擴(kuò)充此

17、類檢測類型的BA,并將模型發(fā)送到BA的數(shù)據(jù)庫中。 (2)BA接收到新的入侵檢查模型后,立即更新TA的檢測方式,即TA在檢測時(shí)對這個(gè)新模型的規(guī)則也進(jìn)行匹配。 3關(guān)鍵技術(shù) 3.1檢測方法 文獻(xiàn)8中提到了用IP陷阱的方式,利用IP 陷阱和流量標(biāo)本不僅能夠識別已知的異常行為, 還能夠不斷地學(xué)習(xí)和積累。文獻(xiàn)9中提到了一種追蹤可疑用戶入侵鏈的方式獲取入侵者的訪問信息。在檢測方法中,不管是誤用檢測還是異常檢測,基于主機(jī)型或是基于網(wǎng)絡(luò)型,各種檢測方法和技術(shù)手段都各有利弊。目前還沒有通用的檢測方法出現(xiàn)。比較恰當(dāng)?shù)淖龇ㄊ?綜合分析各種檢測方法的利弊以及最優(yōu)使用場所,在復(fù)雜的網(wǎng)絡(luò)環(huán)境中根據(jù)各個(gè)網(wǎng)段的情況,在每個(gè)網(wǎng)段

18、中部署多個(gè)最優(yōu)檢測方法的Agent,這些Agent之間相互合作共同完成檢測任務(wù)。這樣做的好處是可以利用多種檢測方法的優(yōu)點(diǎn),避免其缺點(diǎn),增強(qiáng)系統(tǒng)的檢測能力和檢測效率。 使用誤用檢測和異常檢測相結(jié)合的方法進(jìn)行入侵檢測,即首先對于獲取的數(shù)據(jù)進(jìn)行誤用檢測;如不能判斷是否為入侵(有可能是未曾識別出的入侵類型)再使用異常檢測方法獲取一個(gè)可疑度,將此可疑度與閾值相比判斷是否為入侵。 3.2Agent狀態(tài)監(jiān)測及恢復(fù)策略 系統(tǒng)中的BA、SA、MA均存在狀態(tài)分析引擎,用于監(jiān)控自身所處的狀態(tài)(如負(fù)載重、輕、沒有負(fù)載、是否被入侵等)、檢測其他Agent的狀態(tài)和回復(fù)其他Agent發(fā)送的詢問請求。Agent之間狀態(tài)的監(jiān)督

19、包括下面幾種:BA內(nèi)的監(jiān)督、SA內(nèi)的監(jiān)督、BA與SA之間相互監(jiān)督,以及MA與SA之間相互監(jiān)督。其中,BA每隔一定時(shí)間檢測所在網(wǎng)段的SA是否正常工作,并在需要時(shí)報(bào)告入侵檢測情況,SA也采用同樣的方法檢測BA的狀態(tài);BA內(nèi)、SA內(nèi)采用被動(dòng)監(jiān)督方式,即在需要協(xié)同工作時(shí)才檢測對方狀態(tài);MA與SA的監(jiān)督方式和BA與SA的相似。 狀態(tài)監(jiān)督可以保證系統(tǒng)整體的正常運(yùn)行,當(dāng)系統(tǒng)中某些Agent出現(xiàn)問題時(shí)按照下面的恢復(fù)策略進(jìn)行恢復(fù): (1)如果SA發(fā)現(xiàn)BA沒有響應(yīng)狀態(tài)請求,判定失效后立即調(diào)整網(wǎng)內(nèi)其他BA的檢測工作,讓其他BA合作完成失效BA的檢測任務(wù)。如果在一定時(shí)間段內(nèi)失效的BA仍沒有恢復(fù),在確定所在主機(jī)正常工作的情況下復(fù)制一個(gè)新的BA重新開始檢測。 (2)如果BA發(fā)現(xiàn)SA停止響應(yīng),則立即發(fā)動(dòng)一次選舉,從網(wǎng)絡(luò)中正常工作的BA中選舉一個(gè)負(fù)載最輕的擔(dān)任SA任務(wù);被選中的SA向MA報(bào)告網(wǎng)段內(nèi)SA的更換信息,確保MA的及時(shí)更新。 (3)如果MA或SA發(fā)現(xiàn)SA停止工作,則發(fā)送消息給同網(wǎng)段的其他BA發(fā)動(dòng)