（計算機應(yīng)用技術(shù)專業(yè)論文）面向異常檢測的關(guān)聯(lián)模式挖掘算法研究.pdf

摘要 摘要 隨著科技的進(jìn)步和計算機網(wǎng)絡(luò)的飛速發(fā)展 人們已形成這樣的共識 網(wǎng)絡(luò)和電子商 務(wù)是企業(yè)制勝的必由之路 然而 高度發(fā)達(dá)的網(wǎng)絡(luò)也帶來了高風(fēng)險 網(wǎng)絡(luò)與信息系統(tǒng)的 安全已成為人們高度關(guān)注的社會問題 如何預(yù)測 識別 評估這些潛在的風(fēng)險 以最為 經(jīng)濟(jì)和有效的對策來處理這些風(fēng)險 將成為現(xiàn)代企業(yè)管理中的一個迫切需要解決的技術(shù) 問題 在一定程度上 決定著一個企業(yè)的生存和發(fā)展 企業(yè) 尤其是電子商務(wù)企業(yè) 建立網(wǎng)絡(luò)安全防護(hù)體系的全部意義就在于管理風(fēng)險 作為網(wǎng)絡(luò)安全防護(hù)體系的一個重要組成部分的異常檢測技術(shù)已引起了許多研究人員的極 大關(guān)注 并具有廣闊的市場前景 國內(nèi)外研究成果表明 將數(shù)據(jù)挖掘技術(shù)應(yīng)用于異常檢測在理論上是可行的 在技術(shù) 上建立這樣一套系統(tǒng)也是必要和可能的 關(guān)聯(lián)模式的挖掘是面向異常檢測的數(shù)據(jù)挖掘技 術(shù)中的一類基本且具有十分重要意義的研究課題 本論文研究工作的目的就是針對企業(yè) 風(fēng)險管理的需求 研究如何建立面向異常檢測的關(guān)聯(lián)模式挖掘模型 并提出相應(yīng)的解決 方案 為構(gòu)建網(wǎng)絡(luò)安全防護(hù)體系建立相應(yīng)的算法基礎(chǔ) 本論文的主要內(nèi)容及創(chuàng)新點可以歸納為以下五個方面 1 分析了面向異常檢測的關(guān)聯(lián)模式挖掘算法的主要技術(shù)難點 包括數(shù)據(jù)離散化問 題 效率問題 并行挖掘問題 針對性問題 增量更新問題等 提出了面向異常檢測的 關(guān)聯(lián)模式挖掘模型和一種模式編碼及模式比較方法 2 針對安全審計數(shù)據(jù)的特點 提出了一種面向異常檢測的基于約簡模式的關(guān)聯(lián)模 式挖掘算法和兩類關(guān)聯(lián)模式的增量式更新算法 通過這些算法的實現(xiàn) 不僅能夠高效地 發(fā)現(xiàn)安全審計事務(wù)數(shù)據(jù)庫中的關(guān)聯(lián)模式或用戶行為模式 而且可以快速更新已挖掘模式 及時反映用戶行為模式的改變 最終達(dá)到降低誤報率和漏報率的效果 3 發(fā)現(xiàn)最大關(guān)聯(lián)模式對關(guān)聯(lián)模式或用戶行為模式挖掘具有十分重要的意義 提出 了一種基于頻繁模式樹的最大關(guān)聯(lián)模式挖掘算法 并就其增量式更新問題進(jìn)行了研究 實現(xiàn)了一種快速的最大關(guān)聯(lián)模式增量式更新算法 4 并行關(guān)聯(lián)模式或用戶行為模式的挖掘是面向分布式協(xié)同異常檢測的數(shù)據(jù)挖掘技 術(shù)中的一項重要內(nèi)容 提出了s h a r e d n o t h i n g 并行安全審計數(shù)據(jù)庫中一種快速的并行關(guān) 聯(lián)模式挖掘算法 并對其增量式更新問題進(jìn)行了研究 進(jìn)而提出了一種有效的并行關(guān)聯(lián) 模式增量式更新挖掘算法 5 約束關(guān)聯(lián)模式的挖掘是面向異常檢測的數(shù)據(jù)挖掘技術(shù)中的一個關(guān)鍵技術(shù) 提出 了約束最大關(guān)聯(lián)模式 約束關(guān)聯(lián)模式 約束并行關(guān)聯(lián)模式的挖掘算法 并對其增量式更 新問題進(jìn)行了研究 設(shè)計了相應(yīng)的約束關(guān)聯(lián)模式增量式更新算法 關(guān)鍵詞 風(fēng)險管理 異常檢測 數(shù)據(jù)挖掘 關(guān)聯(lián)模式 最大關(guān)聯(lián)模式 增量式更新 頻 繁模式樹 t 東南 人學(xué)博士學(xué)位論文 a b s t r a c t a l o n g w i t ht h ep r o g r e s so f s c i e n c e t e c h n o l o g ya n dt h er a p i dd e v e l o p m e n to fc o m p u t e r n e t w o r k n e t w o r ka n de b u s i n e s sh a v eb e c o m et h eo n l yw a yb yw h i c he n t e r p r i s e sg a i n c o m p e t i t i v ea d v a n t a g e s h o w e v e ah i g h l ya d v a n c e dn e t w o r kh a sb r o u g h tu sh i g hr i s k t h e s e c u r i t yo ft h en e t w o r ka n di n f o r m a t i o ns y s t e mh a sb e c o m eas o c i a lp r o b l e mw h i c hp e o p l e p a y m u c ha t t e n t i o nt o h o wt op r e d i c t i d e n t i f y e v a l u a t et h e s ep o t e n t i a lp r o b l e m s a n dm a n a g e t h e mw i t he c o n o m i ca n de f f e c t i v ec o u n t e r m e a s u r e sw i l lb eat e c h n i c a lp r o b l e mt ob er e s o l v e d f o rm o d e mb u s i n e s sm a n a g e m e n t w h i c hw i l ld e t e r m i n a t et h ee x i s t e n c ea n dd e v e l o p m e n to f a ne n t e r p r i s e t h em o s ti m p o r t a n ts i g n i f i c a n c eo fe s t a b l i s h i n gd e f e n s es y s t e m so fn e t w o r ks a f e t yf o r e n t e r p r i s e s e s p e c i a l l y e b u s i n e s s e n t e r p r i s e s l i e s i nr i s k m a n a g e m e n t t h ea b n o n n i t y d e t e c t i o nt e c h n o l o g y w h i c hi st h ee s s e n t i a lc o m p o n e n to ft h ed e f e n s es y s t e m so fn e t w o r k s a f e t y h a sb r o u g h tt om a n yr e s e a r c h e r s a t t e n t i o n a n dh a sw i d em a r k e tf o r e g r o u n d r e s e a r c h e sf r o mh o m ea n da b r o a ds h o wt h a ti ti sf e a s i b l ei nt h e o r yt oa p p l yd a t am i n i n g t e c t m o l o g yt oa b n o r m i t yd e t e c t i o n a n di ti sp o s s i b l et oc o n s t r u c ts u c has y s t e mi nt e c h n o l o g y t o o t h em i n i n gf o ra s s o c i a t i o np a t t e r n si sq u i t ea ni m p o r t a n tr e s e a r c ht a s ki nt h er e s e a r c ho n d a t am i n i n gt e c h n o l o g yf o ra b n o m t i t yd e t e c t i o n i nt h i s p a p e r t h em o d e lo fa s s o c i a t i o n p a t t e m sm i n i n g f o ra b n o r m i t yd e t e c t i o na n di t s a l g o r i t h m s a r ep r o p o s e d w h i c he s t a b i i s h c o r r e s p o n d i n ga l g o r i t h m se l e m e n t s f o r t h ed e f e n s es y s t e m so f n e t w o r ks a f e t y t h em a i nr e s u l t sa n dc o n t e n t so b t a i n e di nt h i sd i s s e r t a t i o na r ea sf c l l l o w s f i r s t l y t h em o d e l o fa s s o c i a t i o np a t t e r n sm i n i n gf o ra b n o r m i t yd e t e c t i o ni sp r o p o s e d t h e p r o b l e m sa n dt e c h n i c a ld i f f i c u l t yo fi t sa l g o r i t h ma r ea n a l y z e d w h i c h i n c l u d ed i s p e r s i o n e f f i c i e n c y p a r a l l e l d a t am i n i n g p e r t i n e n c e i n c r e m e n t a lu p d a t i n ga n ds oo n t h ep a t t e m c o d i n g a n dt h em e t h o dt oc o m p a r et w ok i n d so f p a t t e r n sa r ep u tf o r w a r d s e c o n d l y f o r t h ec h a r a c t e r i s t i co f s e c u r i t ya u d i td a t a a na l g o r i t h mf o rm i n i n g a s s o c i a t i o n p a t t e r n so na b n o r m i t yd e t e c t i o ni sp r o p o s e d t w ok i n d so f i n c r e m e n t a lu p d a t i n ga l g o r i t h m s a r ea l s op r e s e n t e d b yt h e s ea l g o r i t h m s w ec a nn o to n l yf i n da s s o c i a t i o np a t t e m so ru s e r b e h a v i o r sp a t t e r n se f f i c i e n t l yf r o ms e c u r i t ya u d i td a t a b u ta l s ou p d a t et h em i n e dp a t t e r n sf a s t s o t h ec h a n g i n go fu s e rb e h a v i o r sp a t t e m sw i l lb er e f l e c t e d i nt i m e a n dr a t i oo ff a l s e n e g a t i v ea n d f a l s ep o s i t i v e sw i l ld e s c e n di nt h ee n d t h i r d l y i ti sv e r yi m p o r t a n tt of i n dm a x i m u m a s s o c i a t i o np a t t e r n s an e w a l g o r i t h ma n d i t su p d a t i n ga l g o r i t h mf o rm i n i n gm a x i m u ma s s o c i a t i o np a t t e r n sa r ep r o p o s e d w h i c hi sb a s e d o nan o v e lf r e q u e n tp a t t e r nt r e e f p t r e e s t r u c t u r e a ne x t e n d e dp r e f i x t r e e s t r u c t u r ef o r s t o r i n gc o m p r e s s e d a n dc r u c i a li n f o r m a t i o na b o u t f r e q u e n tp a t t e r n s i i a b s t r a c t f o u r t h l y s e c u r i t ya u d i td a t aa r ed i s t r i b u t e di nn a t u r e s ot h ed e v e l o p m e n to fa l g o r i t h m s f o re f f i c i e n tm i n i n go fa s s o c i a t i o np a t t e r n sf r o m s h a r e d n o t h i n gp a r a l l e ls e c u r i t ya u d i td a t a h a s i t s u n i q u ei m p o r t a n c e an e wa l g o r i t l g na n di t su p d a t i n ga l g o r i t h mf o rm i n i n ga s s o c i a t i o n p a t t e r n sf r o ms h a r e d n o t h i n gp a r a l l e ls e c u r i t y a u d i td a t aa r e p r e s e n t e d f i f t h l y m o s ta l g o r i t h m sd on o tc o n s i d e ra n yd o m a i nk n o w l e d g e a sar e s u l tt h e yc a r l g e n e r a t em a n y i r r e l e v a n t i e u n i n t e r e s t i n g p a t t e r n s s o m i n i n ga l g o r i t h mf o rc o n s t r a i n e d a s s o c i a t i o np a t t e r n so na b n o r m i t yd e t e c t i o ni sak e yp r o b l e m a ne f f e c t i v ea l g o r i t h mf o r m i n i n ga s s o c i a t i o np a a e m s w i t hi t e mc o n s t r a i n t sa n di t su p d a t i n ga l g o r i t h ma r ep r e s e n t e d k e y w o r d s r i s km a n a g e m e n t a n o m a l yd e t e c t i o n d a t am i n i n g a s s o c i a t i o np a t t e m s m a x i m u m a s s o c i a t i o np a t t e r n s i n c r e m e n t a lu p d a t i n g f p t r e e i i i 東南大學(xué)學(xué)位論文獨創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是我個人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果 盡我所知 除了文中特別加以標(biāo)注和致謝的地方外 論文中不包含其他人已經(jīng)發(fā)表或撰寫過 的研究成果 也不包含為獲得東南大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材料 與我 一同工作的同志對本研究所做的任何貢獻(xiàn)均己在論文中作了明確的說明并表示了謝意 研究生簽名 拳址日期 絲 東南大學(xué)學(xué)位論文使用授權(quán)聲明 東南大學(xué) 中國科學(xué)技術(shù)信息研究所 國家圖書館有權(quán)保留本人所送交學(xué)位論文的復(fù)印 件和電子文檔 可以采用影印 縮印或其他復(fù)制手段保存論文 本人電子文檔的內(nèi)容和紙質(zhì) 論文的內(nèi)容相一致 除在保密期內(nèi)的保密論文外 允許論文被查閱和借閱 可以公布 包括 刊登 論文的全部或部分內(nèi)容 論文的公布 包括刊登 授權(quán)東南大學(xué)研究生院辦理 研究生簽名 苤堡壘導(dǎo)師簽名 叢生蘭 日期 6 弼 緒論 第一章緒論 1 1 課題研究背景 本論文的研究工作是國家自然科學(xué)基金項目 面向企業(yè)風(fēng)險管理的數(shù)據(jù)挖掘技術(shù)及 其應(yīng)用研究 基金立項編號 7 9 9 70 0 9 2 和國家科技型中小企業(yè)技術(shù)創(chuàng)新基金項目 m 天商2 0 0 0 智能商務(wù)管理軟件 基金立項編號 0 0 c 2 6 2 13 2 1 i0 1 4 的一部分 主要工 作集中在企業(yè)風(fēng)險管理需求中的面向異常檢測的關(guān)聯(lián)模式挖掘算法研究 i i 1 風(fēng)險及企業(yè)風(fēng)險管理 所謂風(fēng)險p 1 r i s k 即是指 傷害或損失的可能性 t h ep o s s i b i l i t yo f h a r mo rl o s t 這個術(shù)語描述的是事件及其后果的不確定性 它們對企業(yè)本身和企業(yè)目標(biāo)有著不可預(yù)料 的影響 風(fēng)險的涵蓋面很廣 可以是c e o 的突然死亡 也可以是一場摧毀一個企業(yè)公司 辦公大樓的地震等等 有些風(fēng)險是可以預(yù)料的 有些風(fēng)險是不以人的意志為轉(zhuǎn)移的 我 們必須盡最大限度的努力找到它們并采取預(yù)防措施來減少其危害性 風(fēng)險的核心因素是不確定性 3 棚1 即某個危險事件發(fā)生時出現(xiàn)損失的可能性 風(fēng)險是 不確定情況中出現(xiàn)非預(yù)料結(jié)果的可能性 比如 當(dāng)一個企業(yè)或企業(yè)的一個部門把自己的 服務(wù)器連接到因特網(wǎng)上的時候 它們會遭到攻擊嗎 它們可能會 被 黑 掉 也可能永遠(yuǎn)都沒有成 為攻擊的目標(biāo) 結(jié)果雖然不確定 可威脅卻確實存在 企業(yè)風(fēng)險管理1 3 1 0 是旨在對 企業(yè)風(fēng)險的不確定性及可能性等 因素進(jìn)行考察 預(yù)測 收集 分 析的基礎(chǔ)上制定出包括風(fēng)險識 別 風(fēng)險衡量 積極管理風(fēng)險 有效處理風(fēng)險及妥善處理風(fēng)險所 致?lián)p失等一整套系統(tǒng)而科學(xué)的管 理方法 簡單地講 企業(yè)風(fēng)險管 理就是對企業(yè)中有負(fù)面后果的潛 在風(fēng)險或威脅進(jìn)行識別 評估和 管理等的過程 如圖1 1 所示 圖1 1 企業(yè)風(fēng)險管理的過程 1 風(fēng)險識別 是指對企業(yè)所面臨的尚未發(fā)生的潛在的各種風(fēng)險 或威脅 進(jìn)行系 統(tǒng)的歸納分析 從而加以認(rèn)識與辨別的過程 現(xiàn)實社會中的風(fēng)險并不都是顯露在外的 東南大學(xué)博士學(xué)位論文 未加識別或錯誤識別的風(fēng)險通常不僅是難以優(yōu)化管理的風(fēng)險 而且還會造成意料之外的 損失 不論整個風(fēng)險管理計劃的其他方面做得多么周到 科學(xué) 如在風(fēng)險識別方面工作 做得不好 沒有對即將發(fā)生的風(fēng)險給出正確的識別 就不可能有效地控制和處置風(fēng)險 企業(yè)的生產(chǎn)經(jīng)營活動便無法正常進(jìn)行 所以 風(fēng)險識別在整個風(fēng)險管理中具有十分重要 的作用 2 風(fēng)險評估 是指用現(xiàn)代化定量分析的方法對特定風(fēng)險發(fā)生的可能性或損失的范 圍與程度進(jìn)行評估與衡量 實施風(fēng)險管理 僅僅能識別風(fēng)險還遠(yuǎn)遠(yuǎn)不夠 還必須對可能 出現(xiàn)的后果從數(shù)量上予以充分的估計與衡量 只有準(zhǔn)確地衡量各種風(fēng)險 刊 能決定是采 用自留風(fēng)險還是通過保險轉(zhuǎn)嫁風(fēng)險 準(zhǔn)確衡量各種風(fēng)險還能為風(fēng)險管理決策者提供科學(xué) 的依據(jù) 所以風(fēng)險評估是風(fēng)險管理的一個重要內(nèi)容 3 風(fēng)險管理 是指對風(fēng)險進(jìn)行具體的管理 它包括風(fēng)險管理工具的選擇以及風(fēng)險 管理的實施與評價 在完成了以上步驟之后就要對是否需要實施風(fēng)險管理 如何實施風(fēng) 險管理等進(jìn)行決策 比如是承接風(fēng)險 還是轉(zhuǎn)移風(fēng)險 或采用其他方法等 1 1 2 風(fēng)險管理是網(wǎng)絡(luò)安全防護(hù)的重要技術(shù) 隨著科技的進(jìn)步和計算機網(wǎng)絡(luò)的飛速發(fā)展 信息產(chǎn)業(yè)及其應(yīng)用市場得到了巨大的發(fā) 展 政府 金融 電信等企事業(yè)單位對網(wǎng)絡(luò)的依賴程度越來越高 網(wǎng)絡(luò)和電子商務(wù)已經(jīng) 成為企業(yè)制勝的必由之路 越來越多的企業(yè)將自己的關(guān)鍵業(yè)務(wù)置于網(wǎng)絡(luò)之上 網(wǎng)上運營 的業(yè)務(wù)量也在不斷增加 并取得了卓越的成績 然而 高度發(fā)達(dá)的網(wǎng)絡(luò)也帶來了高風(fēng)險 網(wǎng)絡(luò)與信息系統(tǒng)的安全已經(jīng)成為人們高度關(guān)注的社會問題 并且上升到了一個關(guān)系企業(yè) 生存和發(fā)展的焦點問題 企業(yè)網(wǎng)絡(luò)之所以處于風(fēng)險之中 是因為企業(yè)所采用的網(wǎng)絡(luò)系統(tǒng)平臺以及其應(yīng)用中存 在許多漏洞 i h 8 如常用的微軟操作系統(tǒng) 使用最廣泛的網(wǎng)絡(luò)t c p i p 協(xié)議等都存在著 許多漏洞 對于這些漏洞 企業(yè)必須引起高度警戒 如何預(yù)測 識別 評估這些潛在的 風(fēng)險 以最為經(jīng)濟(jì)和有效的對策來處理這些意外的風(fēng)險 己成為現(xiàn)代企業(yè)管理中的一個 重要的組成部分 在一定程度上 決定著一個企業(yè)的生存和發(fā)展 早期在企業(yè)風(fēng)險管理 方面所做的努力大多是基于簡單的直覺 由于當(dāng)時企業(yè)在機構(gòu) 業(yè)務(wù)以及市場競爭環(huán)境 等方面遠(yuǎn)沒有現(xiàn)在的企業(yè)這么復(fù)雜 這種憑直覺的做法足以應(yīng)付 但是 一旦企業(yè)的網(wǎng) 絡(luò)系統(tǒng)連接到因特網(wǎng)上 企業(yè)就等于連通了整個世界 因特網(wǎng)的每個端點都可以被看成 一個潛在的威脅 企業(yè)里的計算機信息會被非法操縱 破壞和利用 成為傷害自身或作 為中間體傷害他人的工具 因特網(wǎng)時代的風(fēng)險將會顯得更巨大 更突然 因此 對企業(yè) 風(fēng)險的管理越來越需要依賴于科學(xué)的方法 企業(yè) 尤其是電子商務(wù)企業(yè) 建立網(wǎng)絡(luò)安全防護(hù)體系的全部意義就在于風(fēng)險管理 1 安防技術(shù)應(yīng)能使企業(yè)更好地確認(rèn)哪些端點在訪問企業(yè)的網(wǎng)絡(luò)系統(tǒng) 它們的身份到底是 誰 它們訪問的目的是什么 它們訪問的行為是否正常 等等 安全防護(hù)體系通過相應(yīng) 的技術(shù) 產(chǎn)品 幫助企業(yè)了解網(wǎng)絡(luò)自身的安全性 漏洞在何處 被攻破之后破壞性有多 2 緒論 大 同時幫助企業(yè)解決那些產(chǎn)生風(fēng)險管理的漏洞問題 也就是說 通過這類風(fēng)險管理系 統(tǒng)的運行 企業(yè)能夠發(fā)現(xiàn)網(wǎng)絡(luò)安全威脅存在那里 然后采用相應(yīng)的解決方案 因此 從 信息安全的角度來看 風(fēng)險管理是網(wǎng)絡(luò)安全防御中的 項重要技術(shù) 1 2 企業(yè)網(wǎng)絡(luò)的安全防護(hù)體系結(jié)構(gòu) 隨著i n t e r n e t 的迅速發(fā)展和網(wǎng)絡(luò)社會的到來 網(wǎng)絡(luò)將會無所不在地影響企業(yè)生產(chǎn) 管 理和決策等業(yè)務(wù)活動的各個方面 計算機網(wǎng)絡(luò)系統(tǒng)的應(yīng)用在給企業(yè)帶來極大方便的同時 也給企業(yè)帶來了涉及安全的新的隱患 一般而言 對網(wǎng)絡(luò)安全的威脅主要表現(xiàn)在 未授 權(quán)的非法訪問 冒充合法用戶 破壞數(shù)據(jù)的完整性 干擾系統(tǒng)正常運行 利用網(wǎng)絡(luò)傳播 病毒 線路偵聽等 由此應(yīng)運而生了許多用于網(wǎng)絡(luò)安全的產(chǎn)品 如防火墻 v p n c a 及掃描器等 其產(chǎn)品所含組件的功能主要為 訪問控制 鑒別與認(rèn)證 加密等 3 1 1 1 9 它們對防止系統(tǒng)被非法訪問都有一定的效果 但也存在許多缺陷 例如 利用防火墻技 術(shù) 經(jīng)過合理配置 通常能夠在內(nèi)外網(wǎng)之間提供安全的網(wǎng)絡(luò)保護(hù) 降低網(wǎng)絡(luò)安全的風(fēng)險 為網(wǎng)絡(luò)服務(wù)提供較好的身份認(rèn)證和訪問控制技術(shù) 但防火墻技術(shù)并不是萬能的 其問題 主要表現(xiàn)在 1 7 1 8 入侵者可以尋找防火墻背后可能敞開的后門或者通過蠻力攻擊或 利用計算機軟 硬件系統(tǒng)的缺陷闖入未授權(quán)的計算機及網(wǎng)絡(luò)資源 防火墻完全不能阻 止內(nèi)部襲擊 對于企業(yè)內(nèi)部員工來說防火墻形同虛設(shè) 而調(diào)查發(fā)現(xiàn) 8 0 以上的攻擊都 來自內(nèi)部 許多造成嚴(yán)重后果的系統(tǒng)入侵正是由內(nèi)部攻擊者發(fā)起的 由于性能的限制 防火墻通常不能提供實時的入侵檢測能力 防火墻對于病毒也是束手無策的 又如 傳統(tǒng)的身份認(rèn)證技術(shù) 包括k e r b e r o s 技術(shù) 并不能抵制脆弱性口令 字典攻擊 特洛伊 木馬 網(wǎng)絡(luò)窺探器以及電磁輻射等攻擊手段 對于訪問控制 入侵者也可以利用脆弱性 程序或系統(tǒng)漏洞繞過訪問控制 或者提升用戶權(quán)限 或者非法讀寫文件等等 針對原有安全模型的這些缺陷 有些學(xué)者提出企業(yè)網(wǎng)絡(luò)的安全防護(hù)體系結(jié)構(gòu)應(yīng)包含 4 部分 2 1 即如圖1 2 所示 此結(jié)構(gòu)具有較強的可靠性 適用于實際應(yīng)用 可以組成一 個 完整的 動態(tài)的 安全循環(huán) 在這個結(jié)構(gòu)中 構(gòu)筑一個安全防御模塊只是其中的一 小部分 它還應(yīng)包括入侵檢測模 塊 調(diào)查模塊以及事后分析模塊 檢測模塊用于發(fā)現(xiàn)各種違反系統(tǒng) 安全規(guī)則的入侵行為 調(diào)查模塊 將檢測模塊所獲得的數(shù)據(jù)加以分 析 并確認(rèn)當(dāng)前所發(fā)生的有關(guān)入 侵企圖 事后分析模塊確定將來 如何抵制類似的入侵行為 在這 以前 人們的注意力主要集中在 防御模塊上 隨著系統(tǒng)脆弱性評 估及入侵檢測工作的深入 入侵 圖1 2 企業(yè)網(wǎng)絡(luò)的安全防護(hù)體系結(jié)構(gòu)圖 東南大學(xué)博士學(xué)位論文 檢測模塊也越來越受到人們的重視 而后兩個模塊的研究開發(fā)工作尚有待于進(jìn)一步的開 展 1 3 企業(yè)網(wǎng)絡(luò)的入侵檢測系統(tǒng) 前已述及 隨著網(wǎng)絡(luò)技術(shù)的發(fā)展 網(wǎng)絡(luò)環(huán)境變得越來越復(fù)雜 對于網(wǎng)絡(luò)安全來說 防火墻 加密 身份認(rèn)證等傳統(tǒng)技術(shù)已暴露出明顯的不足和弱點 因此 很多研究部門 目前正在致力于提出更多更強大的主動策略和方案來增強網(wǎng)絡(luò)的安全性 入侵檢測系統(tǒng) 就是其中一個有效的解決途徑 入侵檢測的主要目的有 1 1 1 3 1 4 2 0 2 1 識別入侵者 識別入侵行為 檢測和監(jiān)視已成 功的安全突破 為對抗措施及時提供重要信息 從這個角度來看待安全問題 入侵檢測 是非常必要的 它可以彌補傳統(tǒng)安全保護(hù)措施的不足 入侵檢測系統(tǒng)將成為系統(tǒng)安全的 第二道防線 并已引起了許多學(xué)者的極大興趣 成為近幾年很多研究人員進(jìn)行網(wǎng)絡(luò)安全 研究的一個極其重要的課題 1 3 1 入侵檢測系統(tǒng) 入侵檢測技術(shù)是為了保證計算機系統(tǒng)的安全而設(shè)計與配置的一種能夠及時發(fā)現(xiàn)并報 告系統(tǒng)中異常現(xiàn)象的技術(shù) 是一種用于檢測計算機網(wǎng)絡(luò)中違反安全策略行為的技術(shù) 它 通過對計算機網(wǎng)絡(luò)或計算機系統(tǒng)中的若干關(guān)鍵點收集信息并進(jìn)行分析 從中發(fā)現(xiàn)網(wǎng)絡(luò)或 系統(tǒng)中是否有違反安全策略的行為和被攻擊的跡象 0 0 2 2 描 進(jìn)行入侵檢測的軟件與硬件的組合就是入侵檢測系統(tǒng) i d s i n t r u s i o nd e t e c t i o n s y s t e m 該系統(tǒng)能夠識別出不希望有的活動 從而達(dá)到限制這些非法活動 以保護(hù)系統(tǒng) 的安全 入侵檢測系統(tǒng)的應(yīng)用 能夠在入侵攻擊對系統(tǒng)發(fā)生危害之前檢測到入侵攻擊 著利 用報警與防護(hù)系統(tǒng)驅(qū)逐入侵攻擊 在入侵攻擊過程中 能減少入侵攻擊所造成的損失 在被入侵攻擊后 收集入侵攻擊的相關(guān)信息 作為防范系統(tǒng)的知識 以增強系統(tǒng)的防范 能力 由此可見 入侵檢測系統(tǒng)可以彌補防火墻等傳統(tǒng)安全防御措施的不足 為網(wǎng)絡(luò)安 全提供實時的入侵檢測及采取相應(yīng)的防護(hù)手段 它不僅能檢測來自外部的入侵行為 同 時也能指出內(nèi)部用戶的未授權(quán)活動 可以這樣認(rèn)為 入侵檢測實質(zhì)上是應(yīng)用了 以守為 攻 的策略 它所提供的數(shù)據(jù)不僅有可能用來發(fā)現(xiàn)合法用戶是否濫用特權(quán) 還有可能成 為追究入侵者法律責(zé)任的有效證據(jù) 1 3 2 入侵檢測系統(tǒng)的實現(xiàn) 入侵檢測系統(tǒng)的實現(xiàn)過程分為兩步 2 0 一是信息收集 二是信號分析 1 信息收集 信息收集的內(nèi)容主要包括網(wǎng)絡(luò) 系統(tǒng) 數(shù)據(jù)以及用戶活動的狀態(tài)和行為 系統(tǒng)需要 在計算機網(wǎng)絡(luò)系統(tǒng)中的若干關(guān)鍵點 不同網(wǎng)段和不同主機 收集信息 入侵檢測系統(tǒng)所 利用的信息一般來自以下4 個方面 4 緒論 1 系統(tǒng)和網(wǎng)絡(luò)日志文件 入侵者經(jīng)常在系統(tǒng)目志文件中留下其蹤跡 因此 充分利用系統(tǒng)和網(wǎng)絡(luò)日志文件信 息是檢測入侵的必要條件 曰志中包含發(fā)生在系統(tǒng)和網(wǎng)絡(luò)上的不尋常和不期望活動的證 據(jù) 這些證據(jù)可以指出有入侵者正在入侵或已成功入侵系統(tǒng) 通過查看日志文件 能夠 發(fā)現(xiàn)入侵企圖或成功的入侵 并能快速啟動相應(yīng)的應(yīng)急h 向應(yīng)程序加以處理 2 系統(tǒng)目錄和文件 網(wǎng)絡(luò)環(huán)境中的文件系統(tǒng)包含了很多軟件和數(shù)據(jù)文件 包含重要信息的文件和私有數(shù) 據(jù)文件經(jīng)常是入侵者修改或破壞的目標(biāo) 目錄和文件中的異常改變 特別是那些正常情 況下限制訪問的信息 很可能就是一種入侵產(chǎn)生的指示和信號 入侵者經(jīng)常替換 修改 和破壞他們獲得訪問權(quán)的系統(tǒng)上的文件 同時 為了隱藏系統(tǒng)中他們的表現(xiàn)及活動痕跡 都會盡力去替換系統(tǒng)程序或修改系統(tǒng)日志文件 3 程序執(zhí)行中的有關(guān)信息 網(wǎng)絡(luò)系統(tǒng)上的程序執(zhí)行一般包括操作系統(tǒng) 網(wǎng)絡(luò)服務(wù) 用戶啟動的程序和特定目的 的應(yīng)用 例如數(shù)據(jù)庫服務(wù)器 每個系統(tǒng)上執(zhí)行的程序由一到多個進(jìn)程來實現(xiàn) 每個進(jìn)程 執(zhí)行在不同權(quán)限的環(huán)境中 這種環(huán)境控制著進(jìn)程可訪問的資源 程序和數(shù)據(jù)文件等 一 個進(jìn)程的執(zhí)行行為由它運行時所執(zhí)行的操作來表現(xiàn) 操作執(zhí)行的方式不同 它利用的系 統(tǒng)資源也就不同 一個進(jìn)程出現(xiàn)了異常行為可能表明入侵者正在入侵企業(yè)的運行系統(tǒng) 入侵者可能會 將程序或服務(wù)器的運行分解 從而導(dǎo)致其失敗 或者是以非用戶或管理員意圖的方式操 作 f 4 物理形式的入侵信息 這包括兩個方面的內(nèi)容 一是未授權(quán)的對網(wǎng)絡(luò)硬件的連接 另一個是對物理資源的 未授權(quán)的訪問 入侵者會想方設(shè)法地突破網(wǎng)絡(luò)的各種防衛(wèi) 如果入侵者能夠在物理上訪 問內(nèi)部網(wǎng) 就能安裝他們自己的設(shè)備和軟件 據(jù)此 入侵者可以了解網(wǎng)上用戶加上去的 不安全設(shè)備 然后利用這些設(shè)備訪問網(wǎng)絡(luò) 2 信號分析 信號分析是指對于上述4 類收集到的有關(guān)系統(tǒng) 網(wǎng)絡(luò) 數(shù)據(jù) 用戶活動狀態(tài)和行為 等信息進(jìn)行分析 一般通過3 種技術(shù)手段進(jìn)行分析 模式匹配 統(tǒng)計分析和完整性分析 1 模式匹配 模式匹配就是將收集到的信息與已知的網(wǎng)絡(luò)入侵和系統(tǒng)誤用模式數(shù)據(jù)庫進(jìn)行比較 從而發(fā)現(xiàn)違背安全策略的行為 該方法的一大優(yōu)點是只需收集相關(guān)的數(shù)據(jù)集合 從而顯 著減輕了系統(tǒng)的負(fù)擔(dān) 且技術(shù)已相當(dāng)成熟 它與病毒防火墻所采用的方法一樣 檢測準(zhǔn) 確率和效率都相當(dāng)高 但是該方法存在的弱點是需要不斷地升級以應(yīng)付不斷出現(xiàn)的入侵 者攻擊手法 不能檢測從未出現(xiàn)過的入侵者攻擊手段 f 2 統(tǒng)計分析 統(tǒng)計分析方法首先給系統(tǒng)對象創(chuàng)建一個統(tǒng)計描述 統(tǒng)計正常使用時的一些測量屬性 5 東南人學(xué)博 一學(xué)位論文 測量屬性的平均值將被用來與網(wǎng)絡(luò) 系統(tǒng)的行為進(jìn)行比較 當(dāng)任何觀察值在正常范圍之 外 就認(rèn)為有入侵發(fā)生 其優(yōu)點是可檢測到未知的入侵和更為復(fù)雜的入侵 缺點是誤報 率高 也不適用于用戶正常行為的突然改變 3 完整性分析 完整性方法主要關(guān)注某個文件或?qū)ο笫欠癖恍薷?這經(jīng)常包括文件和目錄的內(nèi)容及 其屬性 它在發(fā)現(xiàn)被更改的 被特洛伊化的應(yīng)用程序方面特別有效 其優(yōu)點是無論模式 匹配方法和統(tǒng)計分析方法能否發(fā)現(xiàn)入侵 只要是成功的攻擊導(dǎo)致了文件或其他對象的任 何改變 它都能被發(fā)現(xiàn) 缺點是一般以批處理方式實現(xiàn) 不能用于實時n 向應(yīng) 1 3 2 入侵檢測方法 根據(jù)被檢測對象的不同 入侵檢測系統(tǒng)可被分為4 類 2 基于主機的入侵檢測系統(tǒng) 基于網(wǎng)絡(luò)的入侵檢測系統(tǒng) 混合入侵檢測系統(tǒng)和基于應(yīng)用軟件的入侵檢測系統(tǒng) 1 基于主機的入侵檢測系統(tǒng) h o s t i n t r u s i o nd e t e c t i o ns y s t e m 基于主機的入侵檢測 系統(tǒng) 如圖1 3 所示 通 常安裝在權(quán)限被授予和跟 蹤的主機上 主要是對該 主機的網(wǎng)絡(luò)實時連接以及 桑 系統(tǒng)審計同志進(jìn)行智能化 的分析和判斷 如果其主霜 一 圖1 3 基于主機目志的檢測 體活動十分可疑 入侵檢測系統(tǒng)就會采取相應(yīng)的措施 這種檢測方法首先要求系統(tǒng)根據(jù)配置信息中設(shè)置的需要審計事件 這些事件一旦發(fā) 生 系統(tǒng)就將具體參數(shù)記錄在日志文件中 檢測系統(tǒng)則依據(jù)一定算法對日志文件中的審 計數(shù)據(jù)進(jìn)行分析 最后得出結(jié)果報告 2 基于網(wǎng)絡(luò)的入侵檢測系統(tǒng) n e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m 基于網(wǎng)絡(luò)的入侵檢測系統(tǒng) 如圖1 4 所示 通常放置在 比較重要的網(wǎng)段內(nèi) 不停地監(jiān) 視網(wǎng)段內(nèi)的各種數(shù)據(jù)包 對每 i t t 一個數(shù)據(jù)包或可疑的數(shù)據(jù)包進(jìn) 行特征分析 如果數(shù)據(jù)包與系 統(tǒng)內(nèi)置的某些模式吻合 入侵 檢測系統(tǒng)就會發(fā)出警報甚至直 接切斷網(wǎng)絡(luò)連接 通常 將入侵檢測系統(tǒng)放 置在防火墻或網(wǎng)關(guān)后 就像網(wǎng) 圖1 4 基于網(wǎng)絡(luò)數(shù)據(jù)包的檢測 緒論 絡(luò)探測器一樣 捕獲所有內(nèi)傳或外傳的數(shù)據(jù)包 但它并不延誤數(shù)據(jù)包的傳送速度 因為 它對數(shù)據(jù)包來說僅僅是在進(jìn)行監(jiān)視 3 混合入侵檢測系統(tǒng) m i x i n t r u s i o nd e t e c t i o n s y s t e m 基于網(wǎng)絡(luò)的入侵檢測系統(tǒng)和基于主機的入侵檢測系統(tǒng)都有不足之處 單純使用一類 技術(shù)都會造成主動防御體系不夠全面 但是 它們的缺憾是互補的 如果將這兩類技術(shù) 有效地結(jié)合起來并部署在網(wǎng)絡(luò)內(nèi) 則會構(gòu)架成一套完整的主動防御體系 混合入侵檢測 系統(tǒng) m i d s 綜合了基于網(wǎng)絡(luò)和基于主機兩種系統(tǒng)特點的入侵檢測系統(tǒng) 既可發(fā)現(xiàn)網(wǎng)絡(luò)中 的攻擊信息 也可從系統(tǒng)日志中發(fā)現(xiàn)異常情況 4 基于應(yīng)用軟件的入侵檢測系統(tǒng) a p p l i c a t i o n i n t r u s i o nd e t e c t i o ns y s t e m 基于應(yīng)用軟件的入侵檢測系統(tǒng)是在應(yīng)用軟件級收集信息 比如各種應(yīng)用程序 數(shù)據(jù) 庫管理軟件 w 曲服務(wù)器和防火墻都能生成自己的日志 日志信息是由放置在應(yīng)用軟件 中的檢測感應(yīng)器負(fù)責(zé)收集和分析的 對于上述任何一種被測對象 就具體的檢測方法而言 進(jìn)一步可分為基于知識的檢 測和基于行為的檢測 1 基于知識的檢測 誤用檢測 基于知識的入侵檢測也被稱為誤用檢測 m i s u s ed e t e c t i o n 這一檢測假設(shè)入侵者活 動可以用一些模式來表示 系統(tǒng)的目標(biāo)就是檢測主體活動是否符合這些模式 它可以將 已有的入侵方法檢查出來 但對新的入侵方法無能為力 其難點在于如何設(shè)計模式使之 既能夠表達(dá) 入侵 現(xiàn)象而又不會將正常的活動包含進(jìn)來 2 基于行為的檢測 異常檢測 基于行為的入侵檢測也稱為異常檢 狽 l j a n o m a l yd e t e c t i o n 基于異常的檢測方法主要 來源于這樣的思想 任何人的正常行為都是有一定的規(guī)律性 并且可以通過分析這些行 為產(chǎn)生的日志信息總結(jié)出這些規(guī)律 而入侵和濫用行為則通常和正常的行為存在較大的 差異 通過檢查這些差異就可以檢測入侵 例如 如果企業(yè)信息系統(tǒng)中的一個用戶x 僅 僅是在某個時間段 如早上9 點到下午5 點之間 在企業(yè)某部門的辦公室使用計算機 則該用戶在晚上的活動是異常的 就有可能認(rèn)為是入侵 這樣系統(tǒng)就可以檢測出非法的 入侵行為 此外不屬于入侵的異常行為 濫用自己的權(quán)限 也能被檢測到 異常檢測的 難點在于如何建立 用戶正常使用模式 以及如何設(shè)計統(tǒng)計算法 從而不把正常的操作作 為 入侵 或忽略真正的 入侵 行為 在上述兩種入侵檢測方法中 異常檢測是一個非?；钴S的入侵檢測研究領(lǐng)域 它具 有與系統(tǒng)相對無關(guān) 通用性較強 可以檢測出以前未出現(xiàn)過的攻擊方法等優(yōu)點 常用的 異常檢測方法和技術(shù)包括 2 2 i 1 統(tǒng)計異常檢測方法 根據(jù)異常檢測器觀察主體的活動 然后產(chǎn)生刻畫這些活動行 為的輪廓 每一個輪廓保存記錄主體的當(dāng)前行為 并定時地將當(dāng)前的輪廓與存儲的輪廓 合并 通過比較當(dāng)前的輪廓與已存儲的輪廓來判斷異常行為 從而檢測出網(wǎng)絡(luò)入侵 2 基于特征選擇異常檢測 通過從一組度量中挑選能檢測出入侵的度量構(gòu)成子集來 東南大學(xué)博士學(xué)位論文 準(zhǔn)確地預(yù)測或分類已檢測到的入侵 3 基于貝葉斯推理異常檢測方法 通過在任意給定的時刻 測量a l a a n 變量值推理判斷系統(tǒng)是否有入侵事件發(fā)生 其中每個變量a 表示系統(tǒng)不同的方面特征 如磁盤i o 的活動數(shù)量 或者系統(tǒng)中頁面出錯的數(shù) 4 基于貝葉斯網(wǎng)絡(luò)異常檢測方法 貝葉斯網(wǎng)絡(luò)實現(xiàn)了貝葉定理所揭示的學(xué)習(xí)功能 能發(fā)現(xiàn)大量變量之間的關(guān)系 是進(jìn)行預(yù)測 分類等數(shù)據(jù)分析的有力工具 基于貝葉斯網(wǎng) 絡(luò)異常檢測方法是通過建立起異常入侵檢測貝葉斯網(wǎng) 然后將其用作分析異常測量工具 5 基于數(shù)據(jù)挖掘異常檢測方法 計算機聯(lián)網(wǎng)導(dǎo)致了大量的審計記錄 對象行為日志 信息的數(shù)據(jù)量通常非常大 如何從大量的數(shù)據(jù)中 濃縮 出一個值或一組值來表示對象 行為概貌 并以此進(jìn)行對象行為的異常分析和檢測 就可以借用數(shù)據(jù)挖掘的方法 若單 獨依靠手工方法去發(fā)現(xiàn)記錄中異常現(xiàn)象是不夠的 往往操作不便 不容易找出審計記錄 間相互關(guān)系 除了上述5 種方法外 還有一些其他方法 如神經(jīng)網(wǎng)絡(luò)法 遺傳算法 免疫系統(tǒng)方 法 模糊識別法等 這些方法目前大多數(shù)都停留理論研究階段 初步的成果可以參閱有 關(guān)的參考文獻(xiàn) 2 3 3 3 j 1 4 異常檢測與數(shù)據(jù)挖掘 異常檢測是目前入侵檢測系統(tǒng)的主要研究方向 1 1 1 4 2 0 2 2 其特點是通過對系統(tǒng)行為的 檢測 可以發(fā)現(xiàn)未知的攻擊行為 異常檢測技術(shù)實質(zhì)上可歸結(jié)為對安全審計數(shù)據(jù)的處理 這種處理可以針對網(wǎng)絡(luò)數(shù)據(jù) 也可以針對主機的審計記錄或應(yīng)用程序的日志文件 其目 的在于正常使用模式的建立以及如何利用這些模式對當(dāng)前的系統(tǒng)或用戶行為進(jìn)行比較 從而判斷出與正常模式的偏離程度 應(yīng)該看到 隨著操作系統(tǒng)的日益復(fù)雜化和網(wǎng)絡(luò)數(shù)據(jù) 流量的急劇膨脹 導(dǎo)致了安全審計數(shù)據(jù)同樣以驚人的速度遞增 激增的數(shù)據(jù)背后蘊藏著 許多重要的信息 例如用戶或系統(tǒng)的正常使用模式等 人們希望能夠?qū)ζ溥M(jìn)行更高抽象 層次的分析 以便更好地利用這些數(shù)據(jù) 目前的安全審計系統(tǒng)可以高效地實現(xiàn)安全審計 數(shù)據(jù)的輸入 查詢 統(tǒng)計等功能 但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)聯(lián) 關(guān)系 規(guī)則和用戶或 系統(tǒng)行為模式等 無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢 缺乏挖掘數(shù)據(jù)背后蘊藏的 知識的手段 導(dǎo)致出現(xiàn)了 安全審計數(shù)據(jù)爆炸但知識貧乏 的現(xiàn)象 如何從大量的安全審計數(shù)據(jù)中提取具有表性的系統(tǒng)或用戶特征模式 用于對程序或 用戶行為進(jìn)行描述 是實現(xiàn)安全事件審計系統(tǒng)的關(guān)鍵 為了對安全審計數(shù)據(jù)進(jìn)行全面 高速和準(zhǔn)確的分析 可以使用數(shù)據(jù)挖掘技術(shù)來處理這些安全審計數(shù)據(jù) 從包含大量冗余 信息的數(shù)據(jù)中提取盡可能多的蘊藏的安全信息 抽象出有利于進(jìn)行判斷和比較的特征模 型 這種特征模型可以是基于誤用檢測的特征向量模型 也可以是基于異常檢測的行為 描述模型 根據(jù)這些特征向量模型和行為描述模型 可以由計算機利用相應(yīng)的算法判斷 出當(dāng)前網(wǎng)絡(luò)行為的性質(zhì) 數(shù)據(jù)挖掘 d a t am i n i n g d m 又稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn) k n o w l e d g ed i s c o v e r y i n 8 緒論 d a t a b a s e k d d 是數(shù)據(jù)庫研究和應(yīng)用的前沿領(lǐng)域 這一領(lǐng)域可以定義為 從業(yè)已構(gòu) 建的大型數(shù)據(jù)庫中高效地提取并發(fā)現(xiàn)隱式的 未知的 有潛在應(yīng)用價值的模式或規(guī)則 為企業(yè)進(jìn)行基于知識的決策提供可靠的理論依據(jù) 數(shù)據(jù)挖掘本身是一項通用的知識發(fā)現(xiàn) 技術(shù) 其目的是要從海量數(shù)據(jù)中提取出我們所感興趣的數(shù)據(jù)信息或知識 本論文的研究工作即是在企業(yè)風(fēng)險管理的主題下 將數(shù)據(jù)挖掘技術(shù)中的關(guān)聯(lián)模式應(yīng) 用于異常檢測領(lǐng)域 建立面向異常檢測的關(guān)聯(lián)模式挖掘模型 并提出相應(yīng)的算法 利用 這些算法所得結(jié)果建立用戶的正常行為模式 為實際檢測過程中用戶行為的判斷提供比 較的依據(jù) 1 5 國內(nèi)外研究現(xiàn)狀 國內(nèi)外的研究和實驗測試結(jié)果表明 將關(guān)聯(lián)模式挖掘技術(shù)應(yīng)用于異常檢測在理論上 是可行的 在技術(shù)上建立這樣一套系統(tǒng)也是可能的 2 1 2 7 圖1 5 建立入侵檢鍘模型的數(shù)據(jù)挖掘過程 目前 國際上在這個方向的研究很活躍 2 1 2 3 3 9 l 這些研究大多數(shù)得到美國國防部高 級研究計劃署 d a r p a 美國國家自然科學(xué)基金 n s f 等的支持 其中 美國哥倫 比亞大學(xué)的w e n k el e e 等研究人員在這方面做了大量工作 他們提出了建立入侵檢測模 型的數(shù)據(jù)挖掘過程1 2 1 2 7 1 如圖1 5 所示 此過程主要包括以下4 步 1 把原始審計數(shù)據(jù)轉(zhuǎn)換成a s c i i 格式的網(wǎng)絡(luò)分組信息或主機事件數(shù)據(jù) 其中 原 始審計數(shù)據(jù)是指從網(wǎng)絡(luò)或主機上獲得的二進(jìn)制的審計數(shù)據(jù) 2 把網(wǎng)絡(luò)分組信息或主機事件數(shù)據(jù)轉(zhuǎn)換成連接或主機會話記錄 每條記錄有多個連 9 東南大學(xué)博士學(xué)位論文 接特征組成 如連接建立的時間 連接持續(xù)的時間 連接使用的服務(wù)端口 源i p 目的 i p 連接的結(jié)束狀態(tài)等 3 利用數(shù)據(jù)挖掘技術(shù)中的關(guān)聯(lián)模式分析算法和序列分析算法挖掘出連接記錄數(shù)據(jù) 庫中的頻繁模式 如關(guān)聯(lián)模式和頻繁序列等 4 構(gòu)造入侵檢測模型 即使用一個分類程序 如r i p p e r 4 0 1 程序 構(gòu)造分類器 上述步驟需要不斷地反復(fù)和評估 比如如果分類器的分類效果不好 就需要通過關(guān) 聯(lián)模式的挖掘和比較 構(gòu)造出更有助分類的特征 在圖1 5 中 關(guān)聯(lián)模式的挖掘是其中的一個重要組成部分 利用其所挖掘的模式 為連接記錄構(gòu)造附加特征 如時間統(tǒng)計特征 主機統(tǒng)計特征等 從而可以顯著地降低虛 報率和漏檢率 在國內(nèi) 將關(guān)聯(lián)模式技術(shù)運用于異常檢測的研究也有報道 如清華大學(xué)的連一峰等 人提出的基于模式挖掘的用戶行為異常檢測模型 2 0 4 1 武漢大學(xué)的路勇等人提出的基于 數(shù)據(jù)挖掘技術(shù)的入侵檢測框架 4 2 西安交通大學(xué)的張勇等人提出的基于分布式代理的網(wǎng) 絡(luò)入侵檢測技術(shù)的研究與實現(xiàn)刪等等 4 4 0 1 這些項目或研究大多數(shù)得到了國家自然科學(xué) 基金 國家重點基金研究發(fā)展規(guī)劃項目或國家8 6 3 高技術(shù)項目等的資助 文獻(xiàn)1 2 0 4 1 1 應(yīng)用 了數(shù)據(jù)挖掘中的關(guān)聯(lián)分析和序列分析 提取出正常情況下用戶所執(zhí)行命令中所存在的相 關(guān)性 建立每個用戶的歷史行為模式 為實際檢測過程用戶行為的判斷提供比較的依據(jù) 文獻(xiàn) 4 2 提出了基于分布式數(shù)據(jù)挖掘的入侵檢測系統(tǒng)框架 詳細(xì)討論了該系統(tǒng)的實現(xiàn)方 案 模塊結(jié)構(gòu)和關(guān)鍵技術(shù) 給出了系統(tǒng)訓(xùn)練和評價方法 此系統(tǒng)是以基于關(guān)聯(lián)規(guī)則方法 的分布式數(shù)據(jù)挖掘技術(shù)為核心 從而實現(xiàn)了規(guī)則庫的自動生成和更新 并能有效地檢測 出大規(guī)模的協(xié)同攻擊 文獻(xiàn) 4 3 提出了一套新的基于分布協(xié)作式代理的網(wǎng)絡(luò)入侵檢測技 術(shù) 這項技術(shù)通過代理的協(xié)同工作來阻止本地主機和整個網(wǎng)絡(luò)的入侵行為 并且能夠發(fā) 現(xiàn)入侵者的入侵線路 這樣就為徹底根除入侵提供了手段 綜上所述 異常檢測中的關(guān)聯(lián)模式挖掘已經(jīng)成為一個非常熱門的話題 而且會在今 后的一段時間內(nèi)持續(xù)發(fā)展 但就目前而言 這些研究總體上來說還處于理論探討階段 一種模型 或框架 只能解決 部分問題 離實際應(yīng)用還有一定距離 仍有許多問題 有待于進(jìn)一步的研究和完善 需要開發(fā)出有效的關(guān)聯(lián)模式挖掘算法和相應(yīng)的體系結(jié)構(gòu) 1 6 本文的主要內(nèi)容 本文共分為8 個部分 1 第一章緒論 說明了本文所研究課題的背景 意義 目的以及國內(nèi)外的研究現(xiàn) 狀 簡單地介紹了風(fēng)險 企業(yè)風(fēng)險管理及數(shù)據(jù)挖掘等相關(guān)術(shù)語 2 1 第二章面向異常檢測的關(guān)聯(lián)模式挖掘模型 描述了異常檢測中入侵者和合法用 戶的行為特點 提出了面向異常檢測的關(guān)聯(lián)模式挖掘模型 分析了面向異常檢測的關(guān) 聯(lián)模式挖掘算法的主要技術(shù)難點 1 0 緒論 3 第三章面向異常檢測的關(guān)聯(lián)模式挖掘算法 針對安全審計數(shù)據(jù)的特點 提出了 一種面向異常