某新產(chǎn)品培訓(xùn)教材

SANGFORAC3.2&SG3.2新產(chǎn)品培訓(xùn)目錄一、3.2具體解決了哪些問題二、日志審計(jì)三、日志同步四、中間表五、日志精簡六、升級(jí)及注意事項(xiàng)七、FAQ1.數(shù)據(jù)庫插入速度慢。在帶寬較大（大于240Mb）的情況下，產(chǎn)生日志的速度大于數(shù)據(jù)庫插入的速度，產(chǎn)生漏審計(jì)。2.數(shù)據(jù)恢復(fù)機(jī)制差。在數(shù)據(jù)庫異常崩潰后，會(huì)丟失全部歷史日志。3.同步與統(tǒng)計(jì)數(shù)據(jù)慢。3.2之前版本日志量大(A表日志超過2000萬條，附件數(shù)超過25萬)的時(shí)候，日志同步速度慢或異常停止，3.2版本支持A表6000萬條日志同步。4.審計(jì)冗余日志過多。冗余日志太多，導(dǎo)致審計(jì)性能下降。5.數(shù)據(jù)庫收縮。 解決數(shù)據(jù)庫表刪除后，數(shù)據(jù)庫占用硬件空間大小沒有釋放的問題。一、3.2具體解決了哪些問題二、日志審計(jì)3.2之前版本日志審計(jì)3.2以前的版本由aclog直接寫內(nèi)置mysql數(shù)據(jù)庫，通過insert命令逐條插入數(shù)據(jù)庫的，如圖，日志寫入速度及同步速度比較慢。1、對比之前版本3.2版本日志審計(jì)AC3.2版本Aclog改變?nèi)罩局饤l地插入到數(shù)據(jù)庫中的機(jī)制，而是生成日志文件（sync_file和load_file），再由日志導(dǎo)入模塊（Loader）負(fù)責(zé)將日志批量導(dǎo)入到數(shù)據(jù)庫中。解決以往版本由aclog直接將日志逐條插入數(shù)據(jù)庫的效率低問題。1、對比之前版本（續(xù)）aclog將日志寫到兩個(gè)文件中：sync_file和load_file。sync_file是5分鐘寫一個(gè)文件，load_file間隔時(shí)間比較短（5s）。sync_file主要功能是：向外置數(shù)據(jù)中心同步數(shù)據(jù)或者恢復(fù)內(nèi)置mysql。它里面保存的日志和內(nèi)置mysql相同。load_file主要功能是：日志中轉(zhuǎn)，實(shí)現(xiàn)批量向內(nèi)置的mysql插入數(shù)據(jù)，而且它里面的日志在被loader導(dǎo)入完成后自動(dòng)刪除。1、對比之前版本（續(xù)）在客戶日志量很大的情況下，為了提高AC數(shù)據(jù)同步性能，AC可以啟用高性能模式，在高性模式下，aclog只會(huì)寫sync_file下的文件，不會(huì)寫load_file的文件，所以內(nèi)置數(shù)據(jù)中心無日志記錄，只進(jìn)行外置數(shù)據(jù)日志同步。啟用高性能模式如下圖。2、高性能模式2、高性能模式（續(xù)）AC3.2版本采用日日志批量導(dǎo)導(dǎo)入數(shù)據(jù)庫庫及日志損損壞自動(dòng)修修復(fù)機(jī)制，，分別由load和recover程序?qū)崿F(xiàn)。。解決了日日志寫入慢慢及日志庫庫損壞無法法修復(fù)的問問題，loader和recover同樣適用于于外置數(shù)據(jù)據(jù)中心。如如上圖3、日志導(dǎo)入入及恢復(fù)機(jī)機(jī)制3.1.Loader通過檢測是是否存在load_file文件（5S），如果存存在則將load_file里面的日志志導(dǎo)入數(shù)據(jù)據(jù)庫。3.2.Loader向MYSQL導(dǎo)入數(shù)據(jù)，，正常結(jié)導(dǎo)導(dǎo)入成功后后，把load_file文件進(jìn)行刪刪除。3.3.如果Loader導(dǎo)入表失敗敗并且自行行修復(fù)表，，則調(diào)用Recover進(jìn)行修復(fù)。。3.4.Revocer從sync_file中，把導(dǎo)入入失敗的表表，進(jìn)行重重新還原導(dǎo)導(dǎo)入。導(dǎo)入入成功則返返回給Loader。3.5.如果導(dǎo)入不不成功，償償試三次都都失敗。則則回復(fù)相應(yīng)應(yīng)的錯(cuò)誤給給Loader，并且交還還控制權(quán)給給Loader。3、日志導(dǎo)入入及恢復(fù)機(jī)機(jī)制（續(xù)））AC3.2版本數(shù)據(jù)中中心采用myisam數(shù)據(jù)庫存儲(chǔ)儲(chǔ)引擎，AC3.2之前版本采采用innodb數(shù)據(jù)庫存儲(chǔ)儲(chǔ)引擎，innodb存儲(chǔ)引擎存存在以下兩兩個(gè)問題：：①無法釋放數(shù)數(shù)據(jù)庫空間間②某天或某幾幾天的表損損壞，可能能導(dǎo)致整個(gè)個(gè)數(shù)據(jù)庫損損壞，從而而導(dǎo)致整個(gè)個(gè)日志丟失失。Myisam存儲(chǔ)引擎有有效地解決決了上述兩兩個(gè)問題4、數(shù)據(jù)庫存存儲(chǔ)引擎myisamMyisam存儲(chǔ)引擎特特點(diǎn)是每天天的每種表表都是單獨(dú)獨(dú)存儲(chǔ)的，，好處是某某個(gè)表損壞壞了，還可可以再重新新load一次修復(fù)。。這種方式式的數(shù)據(jù)庫庫會(huì)有很多多文件，比比如20101130的A表就會(huì)產(chǎn)生生三個(gè)文件件：A20101130.frm（結(jié)構(gòu)表））、A20101130.MYI（索引表））、A20101130.MYD（日志表））。4、數(shù)據(jù)庫存存儲(chǔ)引擎myisam(續(xù))5.1、3.2日志審計(jì)不不再由aclog直接寫數(shù)據(jù)據(jù)庫。改成成aclog直接把日志志寫到sync_file和load_file兩個(gè)文件中中。每隔一一段時(shí)間，，一次性導(dǎo)導(dǎo)入一批日日志記錄，，從而極大大提高了效效率。5.2、sync_file文件存在硬硬盤上，用用于同步到到外置數(shù)據(jù)據(jù)中心和內(nèi)內(nèi)置數(shù)據(jù)庫庫恢復(fù)使用用，每五分分鐘生成一一個(gè)文件。。Load_file用于導(dǎo)入到到內(nèi)置數(shù)據(jù)據(jù)庫中，導(dǎo)導(dǎo)入成功后后便刪除，，每5s左右導(dǎo)入一一次。5.3、Sync_file與內(nèi)置數(shù)據(jù)據(jù)中心存放放著相同的的日志，所所以產(chǎn)生一一個(gè)問題，，磁盤使用用率降低一一半。5.4、支持某一一天的日志志表壞了，，可以直接接從日志文文件(sync_file)中恢復(fù)。只只支持恢復(fù)復(fù)當(dāng)天的，，暫時(shí)不支支持內(nèi)置數(shù)數(shù)據(jù)庫完全全掛掉后，，全盤恢復(fù)復(fù)。但是可可以使用外外置數(shù)據(jù)中中心，把日日志文件中中的日志導(dǎo)導(dǎo)出。5.5、啟用高性性能模式的的時(shí)候，aclog只寫sync_file文件，內(nèi)置置數(shù)據(jù)中心心無日志。。5.6、MYSQL改myisam為存儲(chǔ)引擎擎，解決數(shù)數(shù)據(jù)庫收縮縮問題。5、日志審計(jì)計(jì)總結(jié)三、日志同同步3.2之前版本本日志同步步采用每條條日志同步步及每條日日志寫入外外置數(shù)據(jù)中中心mysql的方式缺點(diǎn)：同步步速度慢，，每天同步步的日志大大概2000w條左右，日日志量比較較大的客戶戶，經(jīng)常出出現(xiàn)日志同同步速度跟跟不上日志志產(chǎn)生速度度，同步滯滯后。3.2版本數(shù)據(jù)采采用新的同同步機(jī)制，，內(nèi)置數(shù)據(jù)據(jù)中心每隔隔5分鐘生成一一個(gè)日志文文件，日志志同步時(shí)，，直接將日日志文件同同步到外置置數(shù)據(jù)中心心，然后由由我們的load程序批量load到數(shù)據(jù)庫。。優(yōu)點(diǎn)：大大大提高了了同步效率率，高端設(shè)設(shè)備一天支支持6000w的日志同步步，解決了了同步速度度慢的問題題。1、對比之前前版本上圖為日志志同步的整整體過程，，同步過過程中涉及及三種表，，配置表，，日志表和和附件，，同步的先先后順序?yàn)闉椋号渲帽肀砣罩颈砀郊?、日志同步步整體流程程這里所說的的配置表，，指的是用用戶表，組組織架構(gòu)表表及應(yīng)用表表等，如左左圖。2.1、配置表同同步2.1、配置表同同步（續(xù)））配置表的同同步由同步步客戶端程程序datasync將配置表同同步至外置置數(shù)據(jù)中心心，然后由由外置數(shù)據(jù)據(jù)中心服務(wù)務(wù)端程序調(diào)調(diào)用load導(dǎo)入器，將將配置表導(dǎo)導(dǎo)入至mysql，完成配置置表同步。。每次啟動(dòng)動(dòng)同步都會(huì)會(huì)進(jìn)行配置置表的同步步，同步前前先檢驗(yàn)各各配置表的的md5值，如果md5不一樣，則則認(rèn)為配置置表發(fā)生改改變，需要要進(jìn)行同步步。2.1、配置表同同步（續(xù)））配置表md5網(wǎng)關(guān)序號(hào)load2.2、日志表同同步日志表指的的是用戶上上網(wǎng)產(chǎn)生的的真實(shí)日志志，包括A，U，P，M，C，O，I，S，F(xiàn)，Q，T這些表。日志表的同同步過程如如下：2.2、日志表同同步（續(xù)））①.aclog把實(shí)時(shí)日志志寫進(jìn)日志志文件sync_file下，如下圖圖：日志文件的的命名規(guī)則則如下:例20101130_1515_5F86F7A5_Q.dat，20101130為日期，1515為時(shí)間，5F86F7A5網(wǎng)關(guān)序號(hào)，，Q表的命名，，從圖中可可以看出日日志文件是是每隔5分鐘生成一一次2.2、日志表同同步（續(xù)））②.同步客戶端端直接從日日志文件sync_file中讀取日志志文件并同同步至外置置數(shù)據(jù)中心心，同步順順序?yàn)椋篈->U->P->M->C->O->I->S->F->Q->T③.外置數(shù)據(jù)同同時(shí)調(diào)用load導(dǎo)入器將已已同步過來來的日志表表導(dǎo)入至數(shù)數(shù)據(jù)庫。外外置數(shù)據(jù)中中心日志表表同步如下下圖：2.3、附件同步步完成當(dāng)前5分鐘日志表表的同步后后，需要進(jìn)進(jìn)行當(dāng)前5分鐘附件的的同步，直直接由同步步器將當(dāng)前前5分鐘內(nèi)的附附件打包，，同步至外外置數(shù)據(jù)中中心進(jìn)行解解包，便完完成該5分鐘附件的的同步。外外置數(shù)據(jù)中中心附件同同步日志如如下圖：附件在內(nèi)置置數(shù)據(jù)中心心打包成20101209_1530_5F86F7A5_X.dat這種形式進(jìn)進(jìn)行同步。。外置數(shù)據(jù)中中心同樣具具有l(wèi)oad和recover機(jī)制，原理理和內(nèi)置數(shù)數(shù)據(jù)中心一一樣，差別別的是，內(nèi)內(nèi)置數(shù)據(jù)中中心load和recover一直在運(yùn)行行，而外置置的load和recover只是在需要要的時(shí)候才才調(diào)用，如如下圖：3、外置數(shù)據(jù)據(jù)中心日志志導(dǎo)入及恢恢復(fù)功能3.1.Datacenter同步完成sync_file之后，會(huì)調(diào)調(diào)用Loader.exe。3.2.Loader.exe把sync_file文件中相關(guān)關(guān)日志，導(dǎo)導(dǎo)入到MYSQL數(shù)據(jù)庫中。。導(dǎo)入成功功后，Loader.exe程序退出工工作，等待待下一次datacenter對其進(jìn)行調(diào)調(diào)用。3.3.如果Loader在導(dǎo)入數(shù)據(jù)據(jù)庫表的時(shí)時(shí)候出現(xiàn)錯(cuò)錯(cuò)誤，并且且進(jìn)行簡單單的repair還無法修復(fù)復(fù)，則調(diào)用用Recover.exe進(jìn)行修復(fù)。。3.4.Recover.exe被調(diào)用起來來后，把無無法修復(fù)的的表進(jìn)行drop，drop完之后，再再從sync_file里面，把對對面的表進(jìn)進(jìn)行恢復(fù)。。如果成功功，則把控控制權(quán)交還還給Loader，并退出。。3.5.如果Recover失敗超過三三次，剛返返回給Loader相關(guān)錯(cuò)誤信信息，然后后退出。3、外置數(shù)據(jù)據(jù)中心日志志導(dǎo)入及恢恢復(fù)功能（（續(xù)）4、壓縮算法法同步日志使使用壓縮算算法：LZO和LZMA，默認(rèn)是LZO，使用LZMA壓縮算法可可以在界面面上配置，，可以將壓壓縮比率提提高1倍，但是同同步時(shí)間并并不一定會(huì)會(huì)會(huì)因?yàn)閴簤嚎s比率增增加而縮短短，因?yàn)閴簤嚎s也會(huì)占占用較長的的時(shí)間了。。注意：啟用用該算法有有可能比不不啟用該算算法更慢，，因?yàn)閴嚎s縮比較耗時(shí)時(shí)，也在內(nèi)內(nèi)網(wǎng)環(huán)境下下不建議使使用。在帶帶寬不足的的情況下，，如通過vpn，多個(gè)分支支向總部同同步日志，，可以啟用用。5.1、內(nèi)內(nèi)置到外置置數(shù)據(jù)中心心同步，每每次傳五分分鐘的sync_file內(nèi)內(nèi)容和五分分鐘相關(guān)的的附件。傳傳輸完成后后，外置數(shù)數(shù)據(jù)中心，，立刻調(diào)用用導(dǎo)入器(Loader)對對日志文件件進(jìn)行導(dǎo)入入。5.2、同同步日志的的順序?yàn)榕渑渲帽?>日志表->附件，，其中日志志表的同步步順序?yàn)?，，A->U->P->M->C->O->I->S->F->Q->T5.3、LZMA算法，，壓縮比雖然然提高，但但是同步速度度不一定提高高。建議內(nèi)網(wǎng)網(wǎng)環(huán)境不啟用用，帶寬不足足時(shí)再啟用。。5.4、內(nèi)置置數(shù)據(jù)中心Loader過的日志文文件(load_file)會(huì)被刪刪除，而外置置數(shù)據(jù)中心Loader過的日志文文件不會(huì)被刪刪除。5.5、Recover只能修復(fù)當(dāng)當(dāng)天的數(shù)據(jù)庫庫，無法修復(fù)復(fù)整個(gè)數(shù)據(jù)庫庫。5.6、sync_file中的日日志文件刪除除機(jī)制同數(shù)據(jù)據(jù)庫日志刪除除機(jī)制5、日志同步總總結(jié)四、中間表隨著審計(jì)日志志量的增加，，數(shù)據(jù)中心查查詢、統(tǒng)計(jì)、、生成報(bào)表等等速度越來越越慢，為了滿滿足客戶使用用數(shù)據(jù)中心可可以在短時(shí)間間內(nèi)響應(yīng)并給給出結(jié)果的需需求，提出中中間表的實(shí)現(xiàn)現(xiàn)機(jī)制。中間間表由后臺(tái)程程序midtable實(shí)現(xiàn)，將原始始表中具有求求和意義的字字段（流量，，時(shí)間，行為為等）按組、、用戶、IP、應(yīng)用類型及及具體應(yīng)用做做二次統(tǒng)計(jì)，，一定程度上上提高查詢、、統(tǒng)計(jì)的頁面面響應(yīng)。1、為什么要引引入中間表3.0之前的中間表表直接從數(shù)據(jù)據(jù)庫中讀取日日志，每半個(gè)個(gè)小時(shí)作為一一個(gè)時(shí)間段，，生成中間表表。中間表使使用有限，如如果要統(tǒng)計(jì)四四個(gè)小時(shí)的流流量，則需要查詢8次中間表。3.2版本較之前版版本發(fā)生了變變化，生成中中間表的原始始數(shù)據(jù)不是從從數(shù)據(jù)庫中讀讀取，直接從從sync_file下的文件中讀讀取，另外也也不僅僅是取取半個(gè)小時(shí)內(nèi)內(nèi)置的數(shù)據(jù)生生成中間表，，可以取半個(gè)個(gè)小時(shí)，一個(gè)個(gè)小時(shí)，4個(gè)小時(shí)內(nèi)的數(shù)數(shù)據(jù)生成相應(yīng)應(yīng)的中間表，，這樣要統(tǒng)計(jì)計(jì)四個(gè)小時(shí)內(nèi)內(nèi)的流量，只需要查詢一一次中間表即即可，提高了統(tǒng)計(jì)計(jì)的速度2、對比之前版版本3.2版本中間表程程序會(huì)讀取sync_file下的日志文件件生成A、F、T、U四種原始表的的中間表。不不同類型日志志的中間表有有不同的時(shí)間間段，如下，，中間表一覽覽：3、中間表一覽覽中間表命名規(guī)規(guī)則：如：MidFGA1H20101026其中Mid表示該表為中中間表，F(xiàn)表示該表為流流量表的中間間表，GA分別表示“組組”和“具體體應(yīng)用”，1H表示中間表為為一張1小時(shí)的中間表表，20101026表示中間表的的生成時(shí)間。。結(jié)合前面的中間表一覽，如果需要統(tǒng)計(jì)某個(gè)用戶13：00至17：00這段時(shí)間的流量情況，需要查幾次中間表？3、中間表一覽覽（續(xù)）五、日志精簡簡其他應(yīng)用：相相同源IP、目標(biāo)IP,5min記一次P2P：相同源IP,5min記一次游戲/炒股：相同源源IP、具體應(yīng)用,10min記一次拒絕日志：相相同源IP、具體應(yīng)用、、域名,10min記一次PS：優(yōu)化日志記記錄也做了一一些小修改從從原來的5S記錄一次增加加到30S一次。1、日志精簡方方案由于其它應(yīng)用用，p2p及拒絕類的較較多，現(xiàn)采用用了以下日志志精簡方案2、日志精簡設(shè)設(shè)置六、升級(jí)及注注意事項(xiàng)1、升級(jí)之前前最好將之前前的日志同步步一下，否則則升級(jí)后日志志就不會(huì)同步步了。因?yàn)樯?jí)之后后，同步文件件只存在于sync_file文件件里面，而老老的數(shù)據(jù)依舊舊存在于mysql數(shù)據(jù)據(jù)庫里。所以以如果升級(jí)前前沒有同步到到外置數(shù)據(jù)中中心的數(shù)據(jù)，，將不再被同同步。但是內(nèi)內(nèi)置依舊可以以查到相關(guān)的的日志記錄。。2、從低版本本如3.0版版本升級(jí)到3.2，必須須使用update5.0版本升級(jí)級(jí)客戶端。并并且要開啟升升級(jí)授權(quán)序列列號(hào)，才能進(jìn)進(jìn)行升級(jí)。使使用update4.0無法進(jìn)行升升級(jí)，會(huì)報(bào)錯(cuò)錯(cuò)。3、刪除日志志時(shí)會(huì)將數(shù)據(jù)據(jù)庫和日志文文件中的日志志（sync_filek中的日志志）會(huì)一起刪刪除。4、外置數(shù)據(jù)據(jù)中心安裝程程序支持中文文版本windowsserver2000,windowsserver2003,windowsserver2008，只支持持32位操作作系統(tǒng)。5、外置數(shù)據(jù)據(jù)中心，附件件保存可以選選擇加密或者者不加密。6、日志庫大大小統(tǒng)計(jì)：外外置4小時(shí)統(tǒng)統(tǒng)計(jì)一次，因因?yàn)?小時(shí)調(diào)調(diào)用一次自動(dòng)動(dòng)刪除，在刪刪除后進(jìn)行統(tǒng)統(tǒng)計(jì)。7、同步器狀，，雙擊同步連連接，不再顯顯示同步的日日志數(shù)，而顯顯示同步的的的時(shí)間點(diǎn)。8、外置數(shù)據(jù)中中心日志，可可以查看到，，同步過來的的日志文件和和附件包。并并且可以看到到每次同步完完后，調(diào)用loader進(jìn)行數(shù)據(jù)導(dǎo)入入。9、同步帳號(hào)號(hào)里面的定時(shí)時(shí)同步設(shè)置，，可以設(shè)置同同步時(shí)間間隔隔。為每多少少分鐘同步一一次。也就是是，如果同步步完成之后，，經(jīng)過多少時(shí)時(shí)間之后，再再進(jìn)行一次數(shù)數(shù)據(jù)同步。如如下圖。七、FAQ1、數(shù)據(jù)中心無無法查詢?nèi)罩局劲贆z查審計(jì)策略略是否啟用，，用戶與策略略關(guān)聯(lián)是否正正確②檢查系統(tǒng)日志志是否有關(guān)于于審計(jì)，數(shù)據(jù)據(jù)庫方面的告告警或錯(cuò)誤日日志③檢查當(dāng)前管理理員是否有查查詢相關(guān)組的的查詢權(quán)限2、數(shù)據(jù)中心日日志無法同步步①檢查數(shù)據(jù)中心心配置是否正正確②檢察設(shè)備系統(tǒng)統(tǒng)日志和外置置數(shù)據(jù)中心心日志是否有有數(shù)據(jù)中心同同步器，mysql方面的報(bào)錯(cuò)。。③從設(shè)備上測試試到外置數(shù)據(jù)據(jù)中心810端口通信是否否正常。檢查外置數(shù)據(jù)據(jù)中心datacenter.exe和mysql運(yùn)行是否正常常謝謝謝！9、靜夜四無鄰鄰，荒居舊業(yè)業(yè)貧。。12月-2212月-22Saturday,December17,202210、雨中黃葉樹樹，燈下白頭頭人。。08:03:0208:03:0208:0312/17/20228:03:02AM11、以我獨(dú)沈久久，愧君相見見頻。。12月-2208:03:0208:03Dec-2217-Dec-2212、故人江海別別，幾度隔山山川。。08:03:0208:03:0208:03Saturday,December17,202213、乍見翻疑夢夢，相悲各問問年。。12月-2212月-2208:03:0208:03:02December17,202214、他鄉(xiāng)生白發(fā)發(fā)，舊國見青青山。。17十二月月20228:03:02上午08:03:0212月-2215、比不了得得就不比，，得不到的的就不要。。。。十二月228:03上上午12月-2208:03December17,202216、行動(dòng)出成果果，工作出財(cái)財(cái)富。。2022/12/178:03:0208:03:0217December202217、做前，能夠夠環(huán)視四周；；做時(shí)，你只只能或者最好好沿著以腳為為起點(diǎn)的射線線向前。。8:03:02上午8:03上上午08:03:0212月-229、沒有失敗，，只有暫時(shí)停停止成功！。。12月-2212月-22Saturday,December17,202210、很多事情努努力了未必有有結(jié)果，但是是不努力卻什什么改變也沒沒有。。08:03:0208:03:0208:0312/17/20228:03:02AM11、成功就是是日復(fù)一日日那一點(diǎn)點(diǎn)點(diǎn)小小努力力的積累。。。12月-2208:03:0208:03Dec-2217-Dec-2212、世間成事事，不求其其絕對圓滿滿，留一份份不足，可可得無限完完美。。08:03:0208:03:0208:03Saturday,December17,202213、不知香積積寺，數(shù)里里入云峰。。。12月-2212月-2208:03:0208:03:02December17,202214、意志堅(jiān)強(qiáng)強(qiáng)的人能把把世界放在在手中像泥泥塊一樣任任意揉捏。。17十二二月20228:03:02上上午08:03:0212月-2215、楚