動態(tài)表分區(qū)技術(shù)在網(wǎng)絡(luò)安全審計系統(tǒng)中的應(yīng)用

1、動態(tài)表分區(qū)技術(shù)在網(wǎng)絡(luò)平安審計系統(tǒng)中的應(yīng)用動態(tài)表分區(qū)技術(shù)在網(wǎng)絡(luò)平安審計系統(tǒng)中的應(yīng)用0引言基于內(nèi)容的網(wǎng)絡(luò)平安審計系統(tǒng)，為了進(jìn)展事后統(tǒng)計分析和提供證據(jù)，需要將用戶指定范圍內(nèi)所有采集到的數(shù)據(jù)信息存入數(shù)據(jù)庫以及相對應(yīng)的文件中?？梢员４孑^長時間范圍內(nèi)的歷史數(shù)據(jù)信息對于網(wǎng)絡(luò)平安審計系統(tǒng)來說是非常重要的，通常情況下需要保存最近三個月的歷史數(shù)據(jù)信息。經(jīng)過前期需求和數(shù)據(jù)測試分析，1G的電信網(wǎng)絡(luò)中每天大約會增加6 000萬個數(shù)據(jù)文件和數(shù)據(jù)記錄，這樣其存儲的數(shù)據(jù)庫規(guī)模非常大。 ，數(shù)據(jù)庫規(guī)模的不斷變大，將會導(dǎo)致數(shù)據(jù)庫系統(tǒng)性能的急劇下降，使得數(shù)據(jù)庫維護(hù)的本錢不斷上升，甚至造成周期性的停機(jī)。1表分區(qū)表分區(qū)技術(shù)就是當(dāng)數(shù)據(jù)庫中

2、的某個表變得特別大時，可以根據(jù)一定的條件或者規(guī)那么，將一個大表劃分為多個包含少量數(shù)據(jù)的分區(qū)，每個分區(qū)都是一個邏輯實體，是表的一個子集。通過將一個大表拆分成為多個更小的單個表，使得只訪問一小部分?jǐn)?shù)據(jù)的查詢執(zhí)行得更快。另外，對于這些小表可以更快地執(zhí)行維護(hù)任務(wù)如重建索引、數(shù)據(jù)備份或?qū)雽?dǎo)出等。在超大型數(shù)據(jù)庫中，通常不使用單個分區(qū)中的大數(shù)據(jù)集，而采用經(jīng)過優(yōu)化設(shè)計的本地分區(qū)和訪問策略，可以使查詢性能進(jìn)步一倍以上，甚至幾十倍。采用表分區(qū)技術(shù)的優(yōu)點：1可以極大地縮短查詢時間；2減少數(shù)據(jù)加載時間，改善數(shù)據(jù)庫的可維護(hù)性；3解決從活動數(shù)據(jù)庫中刪除歷史數(shù)據(jù)時出現(xiàn)的數(shù)據(jù)修剪問題。2動態(tài)表分區(qū)表分區(qū)按照實現(xiàn)的方式不同可

3、以分為靜態(tài)和動態(tài)兩種。所謂靜態(tài)表分區(qū)就是在數(shù)據(jù)庫初始化的時候按照預(yù)定格式一次性生成所有分區(qū)。而動態(tài)表分區(qū)那么是應(yīng)用程序根據(jù)一定的規(guī)那么動態(tài)創(chuàng)立所需分區(qū)，并對這些分區(qū)進(jìn)展動態(tài)管理和維護(hù)。采用靜態(tài)表分區(qū)技術(shù)的應(yīng)用程序?qū)崿F(xiàn)比較簡單，但是可擴(kuò)展性較差。采用動態(tài)表分區(qū)技術(shù)的應(yīng)用程序?qū)崿F(xiàn)要復(fù)雜一些，但是開發(fā)出來的應(yīng)用程序可擴(kuò)展性較好，可以根據(jù)不同的需求進(jìn)展擴(kuò)展。靜態(tài)表分區(qū)是目前超大型數(shù)據(jù)庫系統(tǒng)解決方案中普遍采用的一種技術(shù)，到目前為止，還未見一種比較完善的基于動態(tài)分區(qū)的解決方案。另外，將基于動態(tài)分區(qū)的超大型數(shù)據(jù)庫系統(tǒng)性能問題的解決方案應(yīng)用到網(wǎng)絡(luò)平安領(lǐng)域是一個需要特別研究的問題。設(shè)計開發(fā)的網(wǎng)絡(luò)平安審計系統(tǒng)產(chǎn)品

4、定位于100M1000M以上的高端網(wǎng)絡(luò)用戶兼容中低端用戶，其數(shù)據(jù)存儲和處理規(guī)模非常宏大，為了使得產(chǎn)品具有更好的擴(kuò)展性能，該系統(tǒng)采用動態(tài)表分區(qū)技術(shù)。3多表查詢在采用分區(qū)視圖技術(shù)實現(xiàn)多表結(jié)合查詢之前必須動態(tài)創(chuàng)立一個包含多個成員表的分區(qū)視圖。對于超大型數(shù)據(jù)庫來說，動態(tài)創(chuàng)立幾個表的分區(qū)索引視圖需要大量的時間。另外，分區(qū)視圖技術(shù)是通過使用結(jié)合查詢運算符來實現(xiàn)的，很多個大數(shù)據(jù)量表的結(jié)合查詢性能是比較低的，這將在下面的性能測試中進(jìn)展說明。采用臨時表技術(shù)那么沒有多表結(jié)合查詢的那些限制，實現(xiàn)也比較簡單，性能比執(zhí)行結(jié)合查詢要好得多，但是產(chǎn)生的事務(wù)日志信息比較多。另外，采用臨時表技術(shù)的時候還可以利用多表分頁查詢機(jī)制

5、來控制每次數(shù)據(jù)查詢時需要訪問的數(shù)據(jù)范圍以及返回的記錄數(shù)，以進(jìn)步數(shù)據(jù)查詢的速度。對于性能要求比較高的超大型數(shù)據(jù)庫應(yīng)用程序來說，建議采用臨時表技術(shù)來滿足動態(tài)分區(qū)的數(shù)據(jù)庫查詢統(tǒng)計的性能要求。4解決方案本文采用一種如圖2所示的解決方案，來解決基于動態(tài)表分區(qū)的網(wǎng)絡(luò)平安審計系統(tǒng)超大型數(shù)據(jù)庫的性能問題，并為開發(fā)人員提供獨立于數(shù)據(jù)庫設(shè)計的基于動態(tài)表分區(qū)的數(shù)據(jù)庫通用訪問接口。此方案在普通數(shù)據(jù)庫應(yīng)用程序的根底上增加一個的基于動態(tài)表分區(qū)的訪問接口的模塊，并對該模塊進(jìn)展優(yōu)化。5結(jié)論由于采取了動態(tài)表分區(qū)技術(shù)并對相關(guān)接口進(jìn)展優(yōu)化，使得網(wǎng)絡(luò)平安審計系統(tǒng)的性能得到了很大進(jìn)步。在千兆環(huán)境壓力測試中每秒能提交9000條左右的數(shù)據(jù)記錄，各種數(shù)據(jù)庫查詢統(tǒng)計操作都可以得到快速