SANGFORACSG新產(chǎn)品培訓(xùn)

1、培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)目的培訓(xùn)目的AC3.2&SG3.2AC3.2&SG3.2新產(chǎn)品培訓(xùn)新產(chǎn)品培訓(xùn)能說(shuō)出三種以上能說(shuō)出三種以上AC3.2&SG3.2AC3.2&SG3.2版本解決的問(wèn)題。版本解決的問(wèn)題。掌握什么情況下需要選用掌握什么情況下需要選用AC3.2&SG3.2AC3.2&SG3.2版本。版本。掌握掌握3.23.2版本數(shù)據(jù)審計(jì)及數(shù)據(jù)版本數(shù)據(jù)審計(jì)及數(shù)據(jù)同步原理同步原理目錄目錄一、一、3.2具體解決了哪些問(wèn)題具體解決了哪些問(wèn)題二、日志審計(jì)二、日志審計(jì)三、日志同步三、日志同步四、中間表四、中間表五、日志精簡(jiǎn)五、日志精簡(jiǎn)六、升級(jí)及注意事項(xiàng)六、升級(jí)及注

2、意事項(xiàng)七、七、FAQ 1.1.數(shù)據(jù)庫(kù)插入速度慢。 在帶寬較大（大于240Mb）的情況下，產(chǎn)生日志的速度大于數(shù)據(jù)庫(kù)插入的速度，產(chǎn)生漏審計(jì)。 2.2.數(shù)據(jù)恢復(fù)機(jī)制差。 在數(shù)據(jù)庫(kù)異常崩潰后，會(huì)丟失全部歷史日志。 3.3.同步與統(tǒng)計(jì)數(shù)據(jù)慢。 3.2之前版本日志量大(A表日志超過(guò)2000萬(wàn)條，附件數(shù)超過(guò)25萬(wàn))的時(shí)候，日志同步速度慢或異常停止，3.2版本支持A表6000萬(wàn)條日志同步。 4.4.審計(jì)冗余日志過(guò)多。 冗余日志太多，導(dǎo)致審計(jì)性能下降。 5.5.數(shù)據(jù)庫(kù)收縮。 解決數(shù)據(jù)庫(kù)表刪除后，數(shù)據(jù)庫(kù)占用硬件空間大小沒(méi)有釋放的問(wèn)題。一、一、3.2具體解決了哪些問(wèn)題具體解決了哪些問(wèn)題培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)目的培訓(xùn)目

3、的日志審計(jì)日志審計(jì)能說(shuō)出能說(shuō)出3.23.2版本在寫(xiě)日志方面較之前版本有哪版本在寫(xiě)日志方面較之前版本有哪些改進(jìn)。些改進(jìn)。能說(shuō)出高性能模式和普通模式的區(qū)別。能說(shuō)出高性能模式和普通模式的區(qū)別。能說(shuō)出能說(shuō)出MYSQLMYSQL改用存儲(chǔ)引擎解決了什么問(wèn)題。改用存儲(chǔ)引擎解決了什么問(wèn)題。二、日志審計(jì)3.2之前版本日志審計(jì)3.2以前的版本由aclog直接寫(xiě)內(nèi)置 mysql數(shù)據(jù)庫(kù)，通過(guò)insert命令逐條插入數(shù)據(jù)庫(kù)的，如圖，日志寫(xiě)入速度及同步速度比較慢。1、對(duì)比之前版本3.2版本日志審計(jì)AC3.2版本Aclog改變?nèi)罩局饤l地插入到數(shù)據(jù)庫(kù)中的機(jī)制，而是生成日志文件（sync_file和load_file），再由日

4、志導(dǎo)入模塊（Loader）負(fù)責(zé)將日志批量導(dǎo)入到數(shù)據(jù)庫(kù)中。解決以往版本由aclog直接將日志逐條插入數(shù)據(jù)庫(kù)的效率低問(wèn)題。1、對(duì)比之前版本（續(xù)）、對(duì)比之前版本（續(xù)） aclog將日志寫(xiě)到兩個(gè)文件中：sync_file和load_file。sync_file是5分鐘寫(xiě)一個(gè)文件，load_file間隔時(shí)間比較短（5s）。 sync_file主要功能是：向外置數(shù)據(jù)中心同步數(shù)據(jù)或者恢復(fù)內(nèi)置mysql。它里面保存的日志和內(nèi)置mysql相同。 load_file主要功能是：日志中轉(zhuǎn)，實(shí)現(xiàn)批量向內(nèi)置的mysql插入數(shù)據(jù)，而且它里面的日志在被loader導(dǎo)入完成后自動(dòng)刪除。1、對(duì)比之前版本（續(xù)）、對(duì)比之前版本（續(xù)

5、） 在客戶日志量很大的情況下，為了提高在客戶日志量很大的情況下，為了提高AC數(shù)據(jù)同步性能，數(shù)據(jù)同步性能，AC可以啟用高性能模式，可以啟用高性能模式，在高性模式下，在高性模式下，aclog只會(huì)寫(xiě)只會(huì)寫(xiě)sync_file下的文下的文件，不會(huì)寫(xiě)件，不會(huì)寫(xiě)load_file的文件，所以?xún)?nèi)置數(shù)據(jù)中的文件，所以?xún)?nèi)置數(shù)據(jù)中心無(wú)日志記錄，只進(jìn)行外置數(shù)據(jù)日志同步。啟心無(wú)日志記錄，只進(jìn)行外置數(shù)據(jù)日志同步。啟用高性能模式如下圖。用高性能模式如下圖。2、高性能模式、高性能模式2、高性能模式（續(xù)）、高性能模式（續(xù)） AC3.2版本采用日志批量導(dǎo)入數(shù)據(jù)庫(kù)及日志損壞自動(dòng)修復(fù)機(jī)制，分別版本采用日志批量導(dǎo)入數(shù)據(jù)庫(kù)及日志損壞自動(dòng)

6、修復(fù)機(jī)制，分別由由load和和recover程序?qū)崿F(xiàn)。解決了日志寫(xiě)入慢及日志庫(kù)損壞無(wú)法修復(fù)程序?qū)崿F(xiàn)。解決了日志寫(xiě)入慢及日志庫(kù)損壞無(wú)法修復(fù)的問(wèn)題，的問(wèn)題，loader和和recover同樣適用于外置數(shù)據(jù)中心。如上圖同樣適用于外置數(shù)據(jù)中心。如上圖3、日志導(dǎo)入及恢復(fù)機(jī)制、日志導(dǎo)入及恢復(fù)機(jī)制3.1.Loader通過(guò)檢測(cè)是否存在load_file文件（5S），如果存在則將load_file里面的日志導(dǎo)入數(shù)據(jù)庫(kù)。3.2.Loader向MYSQL導(dǎo)入數(shù)據(jù)，正常結(jié)導(dǎo)入成功后，把load_file文件進(jìn)行刪除。3.3.如果Loader導(dǎo)入表失敗并且自行修復(fù)表，則調(diào)用Recover進(jìn)行修復(fù)。3.4.Revocer

7、從sync_file中，把導(dǎo)入失敗的表，進(jìn)行重新還原導(dǎo)入。導(dǎo)入成功則返回給Loader。3.5.如果導(dǎo)入不成功，償試三次都失敗。則回復(fù)相應(yīng)的錯(cuò)誤給Loader，并且交還控制權(quán)給Loader。3、日志導(dǎo)入及恢復(fù)機(jī)制（續(xù)）、日志導(dǎo)入及恢復(fù)機(jī)制（續(xù)） AC3.2版本數(shù)據(jù)中心采用版本數(shù)據(jù)中心采用myisam數(shù)據(jù)庫(kù)存儲(chǔ)引擎，數(shù)據(jù)庫(kù)存儲(chǔ)引擎，AC3.2之前版本采用之前版本采用innodb數(shù)據(jù)庫(kù)存儲(chǔ)引擎，數(shù)據(jù)庫(kù)存儲(chǔ)引擎，innodb存存儲(chǔ)引擎存在以下兩個(gè)問(wèn)題：儲(chǔ)引擎存在以下兩個(gè)問(wèn)題：無(wú)法釋放數(shù)據(jù)庫(kù)空間無(wú)法釋放數(shù)據(jù)庫(kù)空間 某天或某幾天的表?yè)p壞，可能導(dǎo)致整個(gè)數(shù)據(jù)庫(kù)損壞，從某天或某幾天的表?yè)p壞，可能導(dǎo)致整個(gè)數(shù)據(jù)庫(kù)

8、損壞，從而導(dǎo)致整個(gè)日志丟失。而導(dǎo)致整個(gè)日志丟失。Myisam存儲(chǔ)引擎有效地解決了上述兩個(gè)問(wèn)題存儲(chǔ)引擎有效地解決了上述兩個(gè)問(wèn)題4、數(shù)據(jù)庫(kù)存儲(chǔ)引擎、數(shù)據(jù)庫(kù)存儲(chǔ)引擎myisamMyisam存儲(chǔ)引擎特點(diǎn)是每天的每種表都是單獨(dú)存儲(chǔ)的，好處是某個(gè)表?yè)p壞了，還可以再重新load一次修復(fù)。這種方式的數(shù)據(jù)庫(kù)會(huì)有很多文件，比如20101130的A表就會(huì)產(chǎn)生三個(gè)文件：A20101130.frm（結(jié)構(gòu)表）、A20101130.MYI（索引表）、A20101130.MYD（日志表）。4、數(shù)據(jù)庫(kù)存儲(chǔ)引擎、數(shù)據(jù)庫(kù)存儲(chǔ)引擎myisam(續(xù)續(xù))5.15.1、3.23.2日志審計(jì)不再由日志審計(jì)不再由aclogaclog直接寫(xiě)數(shù)據(jù)

9、庫(kù)。改成直接寫(xiě)數(shù)據(jù)庫(kù)。改成aclogaclog直接把日志寫(xiě)到直接把日志寫(xiě)到sync_filesync_file和和load_fileload_file兩個(gè)文件中。每隔一段時(shí)間，一次性導(dǎo)入一批日志記錄，兩個(gè)文件中。每隔一段時(shí)間，一次性導(dǎo)入一批日志記錄，從而極大提高了效率。從而極大提高了效率。5.25.2、sync_filesync_file文件存在硬盤(pán)上，用于同步到外置數(shù)據(jù)中心和內(nèi)置數(shù)據(jù)庫(kù)恢復(fù)使文件存在硬盤(pán)上，用于同步到外置數(shù)據(jù)中心和內(nèi)置數(shù)據(jù)庫(kù)恢復(fù)使用，每五分鐘生成一個(gè)文件。用，每五分鐘生成一個(gè)文件。Load_fileLoad_file用于導(dǎo)入到內(nèi)置數(shù)據(jù)庫(kù)中，導(dǎo)入成功后用于導(dǎo)入到內(nèi)置數(shù)據(jù)庫(kù)中，導(dǎo)

10、入成功后便刪除，每便刪除，每5s5s左右導(dǎo)入一次。左右導(dǎo)入一次。5.35.3、Sync_fileSync_file與內(nèi)置數(shù)據(jù)中心存放著相同的日志，所以產(chǎn)生一個(gè)問(wèn)題，磁盤(pán)使與內(nèi)置數(shù)據(jù)中心存放著相同的日志，所以產(chǎn)生一個(gè)問(wèn)題，磁盤(pán)使用率降低一半。用率降低一半。5.45.4、支持某一天的日志表壞了，可以直接從日志文件、支持某一天的日志表壞了，可以直接從日志文件(sync_file)(sync_file)中恢復(fù)。只支中恢復(fù)。只支持恢復(fù)當(dāng)天的，暫時(shí)不支持內(nèi)置數(shù)據(jù)庫(kù)完全掛掉后，全盤(pán)恢復(fù)。但是可以使用外持恢復(fù)當(dāng)天的，暫時(shí)不支持內(nèi)置數(shù)據(jù)庫(kù)完全掛掉后，全盤(pán)恢復(fù)。但是可以使用外置數(shù)據(jù)中心，把日志文件中的日志導(dǎo)出。置

11、數(shù)據(jù)中心，把日志文件中的日志導(dǎo)出。5.55.5、啟用高性能模式的時(shí)候，、啟用高性能模式的時(shí)候，aclogaclog只寫(xiě)只寫(xiě)sync_filesync_file文件，內(nèi)置數(shù)據(jù)中心無(wú)日志。文件，內(nèi)置數(shù)據(jù)中心無(wú)日志。5.65.6、MYSQLMYSQL改改myisammyisam為存儲(chǔ)引擎，解決數(shù)據(jù)庫(kù)收縮問(wèn)題。為存儲(chǔ)引擎，解決數(shù)據(jù)庫(kù)收縮問(wèn)題。5、日志審計(jì)總結(jié)、日志審計(jì)總結(jié)培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)目的培訓(xùn)目的日志同步。日志同步。了解數(shù)據(jù)同步整體過(guò)程了解數(shù)據(jù)同步整體過(guò)程了解外置數(shù)據(jù)日志導(dǎo)入了解外置數(shù)據(jù)日志導(dǎo)入loadload及日志恢復(fù)及日志恢復(fù)recoverrecover功能功能能說(shuō)出什么情況下建議用壓縮算法

12、能說(shuō)出什么情況下建議用壓縮算法三、日志同步三、日志同步 3.2之前 版本日志同步采用每條日志同步及每條日志寫(xiě)入外置數(shù)據(jù)中心mysql的方式缺點(diǎn)：同步速度慢，每天同步的日志大概2000w條左右，日志量比較大的客戶，經(jīng)常出現(xiàn)日志同步速度跟不上日志產(chǎn)生速度，同步滯后。 3.2版本數(shù)據(jù)采用新的同步機(jī)制，內(nèi)置數(shù)據(jù)中心每隔5分鐘生成一個(gè)日志文件，日志同步時(shí)，直接將日志文件同步到外置數(shù)據(jù)中心，然后由我們的load程序批量load到數(shù)據(jù)庫(kù)。優(yōu)點(diǎn)：大大提高 了同步效率，高端設(shè)備一天支持6000w的日志同步，解決了同步速度慢的問(wèn)題。1、對(duì)比之前版本、對(duì)比之前版本上圖為日志同步的整體過(guò)程， 同步過(guò)程中涉及三種表，配

13、置表，日志表和附件 ，同步的先后順序?yàn)椋号渲帽砣罩颈砀郊?、日志同步整體流程、日志同步整體流程這里所說(shuō)的配置表，指的是用戶表，組織架構(gòu)表及應(yīng)用表等，如左圖。2.1、配置表同步、配置表同步2.1、配置表同步（續(xù)）、配置表同步（續(xù)） 配置表的同步由同步客戶端程序datasync將配置表同步至外置數(shù)據(jù)中心，然后由外置數(shù)據(jù)中心服務(wù)端程序調(diào) 用load導(dǎo)入器，將配置表導(dǎo)入至mysql，完成配置表同步。每次啟動(dòng)同步都會(huì)進(jìn)行配置表的同步，同步前先檢驗(yàn)各配置表的md5值，如果md5不一樣，則認(rèn)為配置表發(fā)生改變，需要進(jìn)行同步。2.1、配置表同步（續(xù)）、配置表同步（續(xù)）配置表md5網(wǎng)關(guān)序號(hào)load2.2、日志表同

14、步、日志表同步日志表指的是用戶上網(wǎng)產(chǎn)生的真實(shí)日志，包括 A ，U， P， M， C， O， I， S， F， Q， T這些表。日志表的同步過(guò)程如下：2.2、日志表同步（續(xù)）、日志表同步（續(xù)）.aclog把實(shí)時(shí)日志寫(xiě)進(jìn)日志文件sync_file下，如下圖：日志文件的命名規(guī)則如下:例20101130_1515_5F86F7A5_Q.dat，20101130為日期，1515為時(shí)間，5F86F7A5網(wǎng)關(guān)序號(hào)，Q表的命名，從圖中可以看出日志文件是每隔5分鐘生成一次2.2、日志表同步（續(xù)）、日志表同步（續(xù)）.同步客戶端直接從日志文件sync_file中讀取日志文件并同步至外置數(shù)據(jù)中心，同步順序?yàn)椋篈 -U

15、- P- M- C- O- I- S- F- Q- T.外置數(shù)據(jù)同時(shí)調(diào)用load導(dǎo)入器將已同步過(guò)來(lái)的日志表導(dǎo)入至數(shù)據(jù)庫(kù)。外置數(shù)據(jù)中心日志表同步如下圖：2.3、附件同步、附件同步 完成當(dāng)前5分鐘日志表的同步后，需要進(jìn)行當(dāng)前5分鐘附件的同步，直接由同步器將當(dāng)前5分鐘內(nèi)的附件打包，同步至外置數(shù)據(jù)中心進(jìn)行解包，便完成該5分鐘附件的同步。外置數(shù)據(jù)中心附件同步日志如下圖：附件在內(nèi)置數(shù)據(jù)中心打包成20101209_1530_5F86F7A5_X.dat這種形式進(jìn)行同步。 外置數(shù)據(jù)中心同樣具有l(wèi)oad和recover機(jī)制，原理和內(nèi)置數(shù)據(jù)中心一樣，差別的是，內(nèi)置數(shù)據(jù)中心load和recover一直在運(yùn)行，而外置

16、的load和recover只是在需要的時(shí)候才調(diào)用，如下圖：3、外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能、外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能3.1.Datacenter同步完成sync_file之后，會(huì)調(diào)用Loader.exe。3.2.Loader.exe把sync_file文件中相關(guān)日志，導(dǎo)入到MYSQL數(shù)據(jù)庫(kù)中。導(dǎo)入成功后，Loader.exe程序退出工作，等待下一次datacenter對(duì)其進(jìn)行調(diào)用。3.3.如果Loader在導(dǎo)入數(shù)據(jù)庫(kù)表的時(shí)候出現(xiàn)錯(cuò)誤，并且進(jìn)行簡(jiǎn)單的repair還無(wú)法修復(fù)，則調(diào)用 Recover.exe進(jìn)行修復(fù) 。3.4.Recover.exe被調(diào)用起來(lái)后，把無(wú)法修復(fù)的表進(jìn)行drop，d

17、rop完之后，再?gòu)膕ync_file里面，把對(duì)面的表進(jìn)行恢復(fù)。如果成功，則把控制權(quán)交還給Loader，并退出。3.5.如果Recover失敗超過(guò)三次，剛返回給Loader相關(guān)錯(cuò)誤信息，然后退出。3、外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能（續(xù)）、外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能（續(xù)）4、壓縮算法、壓縮算法同步日志使用壓縮算法同步日志使用壓縮算法： LZOLZO和和LZMALZMA，默認(rèn)是，默認(rèn)是LZOLZO，使用，使用LZMALZMA壓縮算法可以在界面上配置，壓縮算法可以在界面上配置，可以將壓縮比率提高可以將壓縮比率提高1 1倍，但是同步倍，但是同步時(shí)間并不一定會(huì)會(huì)因?yàn)閴嚎s比率增時(shí)間并不一定會(huì)會(huì)因?yàn)閴嚎s比

18、率增加而縮短，因?yàn)閴嚎s也會(huì)占用較長(zhǎng)加而縮短，因?yàn)閴嚎s也會(huì)占用較長(zhǎng)的時(shí)間了。的時(shí)間了。注意：?jiǎn)⒂迷撍惴ㄓ锌赡鼙炔粏⒂米⒁猓簡(jiǎn)⒂迷撍惴ㄓ锌赡鼙炔粏⒂迷撍惴ǜ?，因?yàn)閴嚎s比較耗時(shí)，該算法更慢，因?yàn)閴嚎s比較耗時(shí)，也在內(nèi)網(wǎng)環(huán)境下不建議使用。在帶也在內(nèi)網(wǎng)環(huán)境下不建議使用。在帶寬不足的情況下，如通過(guò)寬不足的情況下，如通過(guò)vpnvpn，多，多個(gè)分支向總部同步日志，可以啟用。個(gè)分支向總部同步日志，可以啟用。 5.15.1、內(nèi)置到外置數(shù)據(jù)中心同步，每次傳五分鐘的sync_filesync_file內(nèi)容和五分鐘相關(guān)的附件。傳輸完成后，外置數(shù)據(jù)中心，立刻調(diào)用導(dǎo)入器(Loader)(Loader)對(duì)日志文件進(jìn)行導(dǎo)入。

19、5.25.2、同步日志的順序?yàn)榕渲帽?日志表-附件，其中日志表的同步順序?yàn)椋?A -U- P- M- C- O- I- S- F- Q- T 5.35.3、LZMALZMA算法，壓縮比雖然提高 ，但是同步速度不一定提高。建議內(nèi)網(wǎng)環(huán)境不啟用，帶寬不足時(shí)再啟用。 5.45.4、內(nèi)置數(shù)據(jù)中心LoaderLoader過(guò)的日志文件(load_file)(load_file)會(huì)被刪除，而外置數(shù)據(jù)中心LoaderLoader過(guò)的日志文件不會(huì)被刪除。 5.55.5、RecoverRecover只能修復(fù)當(dāng)天的數(shù)據(jù)庫(kù)，無(wú)法修復(fù)整個(gè)數(shù)據(jù)庫(kù)。 5.65.6、sync_filesync_file中的日志文件刪除機(jī)制同數(shù)

20、據(jù)庫(kù)日志刪除機(jī)制5、日志同步總結(jié)、日志同步總結(jié)培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)目的培訓(xùn)目的中間表中間表能在進(jìn)行日志統(tǒng)計(jì)，報(bào)表生成時(shí)合理利用能在進(jìn)行日志統(tǒng)計(jì)，報(bào)表生成時(shí)合理利用中間表，以提高速度中間表，以提高速度四、中間表四、中間表 隨著審計(jì)日志量的增加，數(shù)據(jù)中心查詢(xún)、統(tǒng)計(jì)、生成報(bào)表等速度隨著審計(jì)日志量的增加，數(shù)據(jù)中心查詢(xún)、統(tǒng)計(jì)、生成報(bào)表等速度越來(lái)越慢，為了滿足客戶使用數(shù)據(jù)中心可以在短時(shí)間內(nèi)響應(yīng)并給出結(jié)越來(lái)越慢，為了滿足客戶使用數(shù)據(jù)中心可以在短時(shí)間內(nèi)響應(yīng)并給出結(jié)果的需求，提出中間表的實(shí)現(xiàn)機(jī)制。中間表由后臺(tái)程序果的需求，提出中間表的實(shí)現(xiàn)機(jī)制。中間表由后臺(tái)程序midtable實(shí)現(xiàn)，實(shí)現(xiàn)，將原始表中具有求和意義的

21、字段（流量，時(shí)間，行為等）按組、用戶、將原始表中具有求和意義的字段（流量，時(shí)間，行為等）按組、用戶、IP、應(yīng)用類(lèi)型及具體應(yīng)用做二次統(tǒng)計(jì)，一定程度上提高查詢(xún)、統(tǒng)計(jì)的、應(yīng)用類(lèi)型及具體應(yīng)用做二次統(tǒng)計(jì)，一定程度上提高查詢(xún)、統(tǒng)計(jì)的頁(yè)面響應(yīng)。頁(yè)面響應(yīng)。1、為什么要引入中間表、為什么要引入中間表 3.0之前的中間表直接從數(shù)據(jù)庫(kù)中讀取日志，每半個(gè)小時(shí)作為一個(gè)時(shí)間段，生成中間表。中間表使用有限，如果要統(tǒng)計(jì)四個(gè)小時(shí)的流量，則需要查詢(xún)8次中間表。 3.2版本較之前版本發(fā)生了變化，生成中間表的原始數(shù)據(jù)不是從數(shù)據(jù)庫(kù)中讀取，直接從sync_file下的文件中讀取，另外也不僅僅是取半個(gè)小時(shí)內(nèi)置的數(shù)據(jù)生成中間表，可以取半個(gè)小

22、時(shí)，一個(gè)小時(shí)，4個(gè)小時(shí)內(nèi)的數(shù)據(jù)生成相應(yīng)的中間表，這樣要統(tǒng)計(jì)四個(gè)小時(shí)內(nèi)的流量，只需要查詢(xún)一次中間表即可，提高了統(tǒng)計(jì)的速度2、對(duì)比之前版本、對(duì)比之前版本 3.2版本中間表程序會(huì)讀取sync_file下的日志文件生成A、F、T、U四種原始表的中間表。不同類(lèi)型日志的中間表有不同的時(shí)間段，如下，中間表一覽：3、中間表一覽、中間表一覽中間表命名規(guī)則：如： MidFGA1H20101026 其中Mid表示該表為中間表，F(xiàn)表示該表為流量表的中間表，GA分別表示“組”和“具體應(yīng)用”，1H表示中間表為一張1小時(shí)的中間表，20101026表示中間表的生成時(shí)間。結(jié)合前面的中間表一覽，如果需要統(tǒng)計(jì)某個(gè)用戶13：00至1

23、7：00這段時(shí)間的流量情況，需要查幾次中間表？3、中間表一覽（續(xù)）、中間表一覽（續(xù)）培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)目的培訓(xùn)目的日志精簡(jiǎn)日志精簡(jiǎn)了解日志精簡(jiǎn)對(duì)哪些應(yīng)用做了精簡(jiǎn)。了解日志精簡(jiǎn)對(duì)哪些應(yīng)用做了精簡(jiǎn)。五、日志精簡(jiǎn)五、日志精簡(jiǎn) 其他應(yīng)用：相同源其他應(yīng)用：相同源IPIP、目標(biāo)、目標(biāo)IP, 5minIP, 5min記一次記一次 P2PP2P：相同源：相同源IP, 5minIP, 5min記一次記一次 游戲游戲/ /炒股：相同源炒股：相同源IPIP、具體應(yīng)用、具體應(yīng)用, 10min, 10min記一次記一次 拒絕日志：相同源拒絕日志：相同源IPIP、具體應(yīng)用、域名、具體應(yīng)用、域名, 10min, 10mi

24、n記一次記一次 PSPS：優(yōu)化日志記錄也做了一些小修改從原來(lái)的：優(yōu)化日志記錄也做了一些小修改從原來(lái)的5S5S記錄一記錄一次增加到次增加到30S30S一次。一次。1、日志精簡(jiǎn)方案、日志精簡(jiǎn)方案由于其它應(yīng)用，由于其它應(yīng)用，p2pp2p及拒絕類(lèi)的較多，現(xiàn)采用了以下日志精簡(jiǎn)方案及拒絕類(lèi)的較多，現(xiàn)采用了以下日志精簡(jiǎn)方案2、日志精簡(jiǎn)設(shè)置、日志精簡(jiǎn)設(shè)置六、升級(jí)及注意事項(xiàng)六、升級(jí)及注意事項(xiàng)培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)目的培訓(xùn)目的升級(jí)及注升級(jí)及注意事項(xiàng)意事項(xiàng)能說(shuō)出從低版本升級(jí)上來(lái)，有哪些注意事能說(shuō)出從低版本升級(jí)上來(lái)，有哪些注意事項(xiàng)項(xiàng) 1 1、升級(jí)之前最好將之前的日志同步一下，否則升級(jí)后日志就不會(huì)同步了。 因?yàn)樯?jí)之后，

25、同步文件只存在于sync_filesync_file文件里面，而老的數(shù)據(jù)依舊存在于mysqlmysql數(shù)據(jù)庫(kù)里。所以如果升級(jí)前沒(méi)有同步到外置數(shù)據(jù)中心的數(shù)據(jù)，將不再被同步。但是內(nèi)置依舊可以查到相關(guān)的日志記錄。 2 2、從低版本如3.03.0版本升級(jí)到3.23.2，必須使用update5.0update5.0版本升級(jí)客戶端。并且要開(kāi)啟升級(jí)授權(quán)序列號(hào)，才能進(jìn)行升級(jí)。使用update4.0update4.0無(wú)法進(jìn)行升級(jí)，會(huì)報(bào)錯(cuò)。 3 3、刪除日志時(shí)會(huì)將數(shù)據(jù)庫(kù)和日志文件中的日志（sync_fileksync_filek中的日志）會(huì)一起刪除。 4 4、外置數(shù)據(jù)中心安裝程序支持中文版本windows ser

26、ver windows server 2000,windows server 2003,windows server 20082000,windows server 2003,windows server 2008，只支持3232位操作系統(tǒng)。 5 5、外置數(shù)據(jù)中心，附件保存可以選擇加密或者不加密。 6 6、日志庫(kù)大小統(tǒng)計(jì)：外置4 4小時(shí)統(tǒng)計(jì)一次，因?yàn)? 4小時(shí)調(diào)用一次自動(dòng)刪除，在刪除后進(jìn)行統(tǒng)計(jì)。7、同步器狀，雙擊同步連接，不再顯示同步的日志數(shù)，而顯示同步的的時(shí)間點(diǎn)。8、外置數(shù)據(jù)中心日志，可以查看到，同步過(guò)來(lái)的日志文件和附件包。并且可以看到每次同步完后，調(diào)用loader進(jìn)行數(shù)據(jù)導(dǎo)入。 9 9、同

27、步帳號(hào)里面的定時(shí)同步設(shè)置，可以設(shè)置同步時(shí)間間隔。為每多少分鐘同步一次。也就是，如果同步完成之后，經(jīng)過(guò)多少時(shí)間之后，再進(jìn)行一次數(shù)據(jù)同步。如下圖。七、FAQ1、數(shù)據(jù)中心無(wú)法查詢(xún)?nèi)罩尽?shù)據(jù)中心無(wú)法查詢(xún)?nèi)罩?檢查審計(jì)策略是否啟用，用戶與策略關(guān)聯(lián)是否正確檢查審計(jì)策略是否啟用，用戶與策略關(guān)聯(lián)是否正確 檢查系統(tǒng)日志是否有關(guān)于審計(jì)，數(shù)據(jù)庫(kù)方面的告警或錯(cuò)誤日志檢查系統(tǒng)日志是否有關(guān)于審計(jì)，數(shù)據(jù)庫(kù)方面的告警或錯(cuò)誤日志 檢查當(dāng)前管理員是否有查詢(xún)相關(guān)組的查詢(xún)權(quán)限檢查當(dāng)前管理員是否有查詢(xún)相關(guān)組的查詢(xún)權(quán)限 2、數(shù)據(jù)中心日志無(wú)法同步檢查數(shù)據(jù)中心配置是否正確檢察設(shè)備系統(tǒng)日志和外置數(shù)據(jù) 中心日志是否有數(shù)據(jù)中心同步器，mysql方

28、面的報(bào)錯(cuò)。從設(shè)備上測(cè)試到外置數(shù)據(jù)中心810端口通信是否正常。 檢查外置數(shù)據(jù)中心datacenter.exe和mysql運(yùn)行是否正常謝謝 謝！謝！ 1.1.數(shù)據(jù)庫(kù)插入速度慢。 在帶寬較大（大于240Mb）的情況下，產(chǎn)生日志的速度大于數(shù)據(jù)庫(kù)插入的速度，產(chǎn)生漏審計(jì)。 2.2.數(shù)據(jù)恢復(fù)機(jī)制差。 在數(shù)據(jù)庫(kù)異常崩潰后，會(huì)丟失全部歷史日志。 3.3.同步與統(tǒng)計(jì)數(shù)據(jù)慢。 3.2之前版本日志量大(A表日志超過(guò)2000萬(wàn)條，附件數(shù)超過(guò)25萬(wàn))的時(shí)候，日志同步速度慢或異常停止，3.2版本支持A表6000萬(wàn)條日志同步。 4.4.審計(jì)冗余日志過(guò)多。 冗余日志太多，導(dǎo)致審計(jì)性能下降。 5.5.數(shù)據(jù)庫(kù)收縮。 解決數(shù)據(jù)庫(kù)表刪

29、除后，數(shù)據(jù)庫(kù)占用硬件空間大小沒(méi)有釋放的問(wèn)題。一、一、3.2具體解決了哪些問(wèn)題具體解決了哪些問(wèn)題培訓(xùn)內(nèi)容培訓(xùn)內(nèi)容培訓(xùn)目的培訓(xùn)目的日志審計(jì)日志審計(jì)能說(shuō)出能說(shuō)出3.23.2版本在寫(xiě)日志方面較之前版本有哪版本在寫(xiě)日志方面較之前版本有哪些改進(jìn)。些改進(jìn)。能說(shuō)出高性能模式和普通模式的區(qū)別。能說(shuō)出高性能模式和普通模式的區(qū)別。能說(shuō)出能說(shuō)出MYSQLMYSQL改用存儲(chǔ)引擎解決了什么問(wèn)題。改用存儲(chǔ)引擎解決了什么問(wèn)題。二、日志審計(jì)5.15.1、3.23.2日志審計(jì)不再由日志審計(jì)不再由aclogaclog直接寫(xiě)數(shù)據(jù)庫(kù)。改成直接寫(xiě)數(shù)據(jù)庫(kù)。改成aclogaclog直接把日志寫(xiě)到直接把日志寫(xiě)到sync_filesync_fi

30、le和和load_fileload_file兩個(gè)文件中。每隔一段時(shí)間，一次性導(dǎo)入一批日志記錄，兩個(gè)文件中。每隔一段時(shí)間，一次性導(dǎo)入一批日志記錄，從而極大提高了效率。從而極大提高了效率。5.25.2、sync_filesync_file文件存在硬盤(pán)上，用于同步到外置數(shù)據(jù)中心和內(nèi)置數(shù)據(jù)庫(kù)恢復(fù)使文件存在硬盤(pán)上，用于同步到外置數(shù)據(jù)中心和內(nèi)置數(shù)據(jù)庫(kù)恢復(fù)使用，每五分鐘生成一個(gè)文件。用，每五分鐘生成一個(gè)文件。Load_fileLoad_file用于導(dǎo)入到內(nèi)置數(shù)據(jù)庫(kù)中，導(dǎo)入成功后用于導(dǎo)入到內(nèi)置數(shù)據(jù)庫(kù)中，導(dǎo)入成功后便刪除，每便刪除，每5s5s左右導(dǎo)入一次。左右導(dǎo)入一次。5.35.3、Sync_fileSync_file與內(nèi)置數(shù)據(jù)中心存放著相同的日志，所以產(chǎn)生一個(gè)問(wèn)題，磁盤(pán)使與內(nèi)置數(shù)據(jù)中心存放著相同的日志，所以產(chǎn)生一個(gè)問(wèn)題，磁盤(pán)使用率降低一半。用率降低一半。5.45.4、支持某一天的日志表壞了，可以直接從日志文件、支持某一天的日志表壞了，可以直接從日志文件(sync_file)(sync_file)中恢復(fù)。只支中恢復(fù)。只支持恢復(fù)當(dāng)天的，暫時(shí)不支持內(nèi)置數(shù)據(jù)庫(kù)完全掛掉后，全盤(pán)恢復(fù)。但是可以使用外持恢復(fù)當(dāng)天的，暫時(shí)不支持內(nèi)置數(shù)據(jù)庫(kù)完全掛掉后，全盤(pán)恢復(fù)。但是可以使用外置數(shù)據(jù)中心，把日志文件中的日志導(dǎo)出。置數(shù)據(jù)中心，把日志文件中的日志導(dǎo)出。5.55.5、啟用高性能模式的時(shí)候，、啟用高性能模式的時(shí)