ORACLEREDOLOG文件分析及C語言描述

1、第 24 卷 第 7 期2003 年 7 月小 型 微 型 計 算 機(jī) 系 統(tǒng)m in i- m icro syst em sv o l124 n o. 7j u ly 2003redo lo g 文件分析及 c李 偉 明語言描述o racl e( 廣東省公安廳 交通警察總隊 科技科, 廣東 廣州 510410)摘要: o rac le 數(shù)據(jù)庫系統(tǒng)通過 r edo l o g 技術(shù)來管理數(shù)據(jù)操作和事務(wù), 如何分析跟蹤 r edo l o g 文件, 實現(xiàn)對數(shù)據(jù)庫操作的監(jiān)控, 在數(shù)據(jù)庫審計、數(shù)據(jù)庫復(fù)制和數(shù)據(jù)庫安全等方面具有重要的實用價值. 本文對 o ra cl e r edo l o g文件進(jìn)

2、行了詳盡的分析, 給出了 r edo l o g 文件頭、文件體塊結(jié)構(gòu)和文件數(shù)據(jù)結(jié)構(gòu)的 c 語言描述, 以及 r edo l o g事務(wù)控制機(jī)制的分析, 并已成功的用于數(shù)據(jù)庫審計和數(shù)據(jù)庫復(fù)制系統(tǒng).關(guān) 鍵 詞: r edo l o g;中圖分類號: t p 316數(shù)據(jù)庫; 審計; 復(fù)制文獻(xiàn)標(biāo)識碼: a文 章 編 號: 100021220 (2003) 0721243204o racl e redo lo g f ile ana ly s is an d d e scr ip t ion w ith c l an guagel iw e i2m ing(s cience and t ech nol

3、ogy r esea rch i nstitu tion of g u ang d ong t raf f ic a dm in istra tion, g u ang z h ou 510410, c h ina )a bstrac t: o ra lce da taba se sy stem s u t ilize r edo l o g tech no lo gy to m anage da ta op e ra t io n s and t ran sac t io n s . h ow to ana lyze and t rack r edo l o g f ile, rea liz

4、e th e in sp ec t io n and co n t ro l o f th e d a taba se op e ra t io n s in da taba se aud it, da taba se rep lica t io n, da taba se secu r ity and m any side s, w h ich h a s im po r tan t u sefu l va lue s. t h is p ap e r ana lyze s th e r edo l o g f ile in de ta il, g ive s th e de sc r ip

5、 t io n o f r edo l o g f ile h ead, f ile bo dy st ruc tu re w ith th e c language, and th e de sc r ip t io n o f th e r edo l o g t ran sac t io n co n t ro l m ech an ism. in th e end, th is tech no lo gy h a s been u t ilized in da taba se aud it and da ta cop y sy stem succe ssfu lly.key words

6、: r edo l o g; da taba se; aud it; rep lica t io n1引言r edo l o g 文件, 直接從 r edo l o g 中讀取符合審計條件的數(shù)據(jù), 就有可能實現(xiàn)對包括數(shù)據(jù)庫管理員 (dba ) 在內(nèi)的用 戶 的 所 有 增、刪、改 操 作 進(jìn) 行 有 效 的 審 計. 要 想 通 過 r edol o g 對數(shù)據(jù)庫的事務(wù)和數(shù)據(jù)變化進(jìn)行跟蹤, 對數(shù)據(jù)庫操作進(jìn)行監(jiān)控, 就必須清楚了解 r edo l o g 的文件格式和 o rac le對 r edo l o g 的操作機(jī)制. 但由于 o ra cl e 公司沒有公開r edo l o g 的技術(shù)

7、細(xì)節(jié), 這就必須要對 r edo l o g 二進(jìn)制 文件進(jìn)行分析. 本文給出了針對 r edo l o g 二進(jìn)制文件的分析, 給出了 r edo l o g 文件頭、文件體塊結(jié)構(gòu), 并給出了r edo l o g 文件的 c 語言描述, 以及 r edo l o g 事務(wù)控制 機(jī)制, 為捕獲對數(shù)據(jù)庫的數(shù)據(jù)更改和操作, 實現(xiàn)基于 r edol o g 的數(shù)據(jù)庫審計和數(shù)據(jù)復(fù)制奠定了堅實的基礎(chǔ).數(shù)據(jù)庫應(yīng)用的不斷深入, 對數(shù)據(jù)的存儲提出了真實性、安全性、可靠性要求, 全國大力推廣電子政務(wù)系統(tǒng)對計算機(jī)數(shù)據(jù) 的安全又提出了更高的要求, 如何防止數(shù)據(jù)被非法修改和偽 造, 特別是如何防止業(yè)務(wù)數(shù)據(jù)被具有數(shù)據(jù)

8、庫管理員 (dba ) 權(quán) 限用戶非授權(quán)修改, 一直是管理信息系統(tǒng)想解決而沒有徹底 解決的問題. 目前對于 o rac le 一類的關(guān)系型數(shù)據(jù)庫系統(tǒng)主要 采用 t r igge r 的方法對數(shù)據(jù)庫進(jìn)行審計, 審計的數(shù)據(jù)通過網(wǎng) 絡(luò)遠(yuǎn)程傳送到安全的地方存放. 這種方法并不能對系統(tǒng)管理 員進(jìn)行有效審計, 主要原因是:(1) 系統(tǒng)管理員可以控制系統(tǒng) t r igge r 的關(guān)閉和開啟;( 2) 系統(tǒng)管理員以 in te rna l 用戶登錄到 o rac le 時, 系統(tǒng) t r igge r 對數(shù)據(jù)庫的操作不起作用, 此時的各種操作不能被審 計下來. 同時 t r igge r 的方法加大了數(shù)據(jù)庫系

9、統(tǒng)的開銷.由于 o rac le 數(shù)據(jù)庫有一重要特性是使用 r edo l o g 文 件來實現(xiàn)事務(wù)和數(shù)據(jù)庫的恢復(fù), 通過 r edo l o g 文件維護(hù) 數(shù)據(jù)庫數(shù)據(jù)和事務(wù)一致性, r edo l o g 記錄了數(shù)據(jù)庫事務(wù)和物理操作的所有信息, 不管什么用戶以何種方式登錄, 所有的增、刪、改操作都會登錄在 r edo l o g 中. 因此, 如果能跟蹤redo lo g 文件的分析與 c 語言描述2o ra cl e 通過l gw r 進(jìn)程實現(xiàn)對 r edo l o g 的管理,l gw r 進(jìn)程循環(huán)寫預(yù)先設(shè)定的若干個 r edo l o g 文件來保 存數(shù)據(jù)庫操作信息. r edo l

10、o g 以二進(jìn)制格式文件保存, 包括文件頭和文件體兩部分.2. 1 redo lo g 文件頭的分析r edo l o g 文件按塊存儲, 每塊大小為 512by te s 或 1k、收稿日期: 2002210208 作者簡介: 李偉明, 碩士, 工程師, 主要從事智能交通, 交通信息管理系統(tǒng), 數(shù)據(jù)庫系統(tǒng)應(yīng)用的研究開發(fā)工作.2k 等, 其中文件的第一、二塊為文件頭, 第一塊包含文件塊大小, 塊的總數(shù)等信息. 第二塊保存了文件版本號, 兼容版本號,數(shù)據(jù)庫 id 號, 數(shù)據(jù)庫名, 控制順序號, 文件大小, 文件序號, 文 件塊大小和文件類型等 r edo l o g 文件的基本信息; 從第 二塊

11、起, 每塊都有一個塊頭, 包含 r edo l o g 順序號, 塊號 等信息. 本文以運行在 x 86 平臺上的 o ra cl e 數(shù)據(jù)庫系統(tǒng) 的 r edo l o g 存儲數(shù)據(jù)為例, 整型數(shù)的存放均是低字節(jié)在 前, 高字節(jié)在后. 其中數(shù)據(jù)的字節(jié)長度和字節(jié)順序跟 c pu 有 關(guān).第一塊示例如下:00000000 00 00 00 00 00 02 00 00 00 08 00 00 6d 6c 6b 6a00000010 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000000020 00 00 00 00 00 00 00 00 00

12、00 00 00 00 00 00 00. . . . . .由上塊結(jié)構(gòu)可以得到 r edo l o g 文件塊大小為 00 0200 00 即 512 by te s, 該 r edo l o g 文件塊的總數(shù)為 00 08 0000 即 2048 塊.第二塊示例如下:00000200 b 1 02 00 00 01 00 00 00 7d 69 e 1 1a 00 00 11 0c00000210 00 00 10 08 00 00 10 08 60 bd 45 3a 4f 52 43 4c00000220 00 00 00 00 4e 08 00 00 00 08 00 00 00 02

13、 00 0000000230 01 00 02 00 00 00 00 00 00 00 00 00 00 00 00 0000000240 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000000250 00 00 00 00 00 00 00 00 00 00 00 00 54 68 72 65. . . . . .此例中: 塊頭為 b 1 02 00 00 01 00 00 00 7d 69 e 1 1a 0000 11 0c , 由 此 結(jié) 構(gòu) 可 以 得 出 該 r edo l o g 順 序 號 為0x 000002b 1, 塊 號

14、為 0x 00000001. 緊 接 著 是 文 件 版 本 號 為0x 08100000, 兼 容 版 本 號 為 0x 08100000, 數(shù) 據(jù) 庫 id 號 為0x 3a45bd60, 數(shù)據(jù)庫名為 o r cl , 控制順序號為 0x x 84e, 文件大小為 0x 800 塊, r edo l o g 文件序號為 1, 文件塊大 小為 512 字節(jié), 文件類型為 2 即 r edo l o g 文件類型.由以上分析, r edo l o g 文件頭中的第一塊數(shù)據(jù)結(jié)構(gòu)用c 語言描述如下:typ edef st ruc t f ileh ead0un signed lo ng no u

15、se;un signed lo ng b lo ck size; un signed lo ng b lo ck co un t; un signed lo ng x labe l; redo b lo ck 0;文件頭中第二塊的數(shù)據(jù)結(jié)構(gòu)用 c 語言描述如下:st ruc t b lo ck h eadun signed lo ng b lo ck sequence; un signed lo ng b lo ck num be r; un signed lo ng t im e;st ruc t f ileh ead1st ruc t b lo ck h ead un signed lo n

16、gun signed lo ngun signed lo ng by teun signed lo ngun signed lo ng un signed lo ng un signed sho r t un signed sho r t by teby teun signed lo ng un signed lo ng st ruc t scn 1un signed lo ng un signed lo ng st ruc t scn 1un signed lo ng st ruc t scn 1un signed lo ng un signed sho r t un signed sho

17、r th ead12b lo ck h ead;so f tw a re2v sn;com p a t ib ility2v sn; db id;db nam e8;co n t ro lseq;f ile size;b lo ck size;f ilenum be r;f ile typ e;f ille r40x28;de sc r ip t0x40;nab; nex t ava ilab le b lo ck re se tco un t;re se t scn;hw s; h d r w r ite seq th read;low scn;low scn t im e;nex t sc

18、n;nex t scn t im e;eo t; end o f th readd is; t rue if th read d isab led a t end o fth is lo g enab le scn;enab le scn t im e; th readc lo se scn; tc st im e;lo gfo rm a t2v sn;st ruc t scn 1un signed lo ng st ruc t scn 1un signed lo ng un signed lo ng;2. 2redo lo g 文件體的分析與 c 語言描述r edo l o g 從第三塊開始

19、屬于 r edo l o g 的文件體,文件體由 redo 記錄組成, redo 記錄又散布在 r edo l o g 文件的各數(shù)據(jù)塊中. redo 記錄可能在一個數(shù)據(jù)塊中, 也可能在 多個數(shù)據(jù)塊中, 一個數(shù)據(jù)塊也可能含有多個 redo 記錄.文件體的每個數(shù)據(jù)塊由塊頭和塊數(shù)據(jù)組成, 塊頭由 r e 2do l o g 順 序 號 sequence, 塊 號 b lo ck num be r, 塊 更 新 時 間w r ite t im e, 第 一 個 redo 記 錄 的 位 置 o ff se t, 以 及 校 驗 和ch eck sum 組成, 塊頭含有 redo 記錄的 redo 塊地

20、址. 塊數(shù)據(jù)就 是 redo 記錄, redo 記錄包含 o ra cl e 數(shù)據(jù)庫的事務(wù)信息和 物理操作信息, 由記錄頭、ch ange 項組成, ch ange 項由 ch ange 頭、ch ange 索引表、ch ange 數(shù)據(jù)體組成.r edo l o g 文件體數(shù)據(jù)塊示例如下:00000600 b 1 02 00 00 03 00 00 00 80 69 e 1 1a 10 00 00 0000000610 5c 02 00 00 01 00 7d 00 d 9 37 1c 31 05 02 0b 0000000620 01 00 00 00 02 00 40 00 b 3 e 9

21、 1b 31 7d 00 00 0000000630 01 00 00 00 04 00 20 00 2c 00 00 00 22 00 00 00. . . . . .2. 2. 1文件體數(shù)據(jù)塊塊頭分析及 c 語言描述上述示例文件體的數(shù)據(jù)塊第一行表示該數(shù)據(jù)塊的塊頭信息, 其組成部分的意義如下所示:sequence= 0x2b 1 b lo ck num be r= 0x 3w r ite t im e= 0x1a e 16980o ff se t = 0x 10由上, r edo l o g 文件體數(shù)據(jù)塊塊頭數(shù)據(jù)結(jié)構(gòu)用 c 語言un signed sho r t un signed sho

22、r to ff se t;ch eck sum ;st ruc t scn 1 un signed lo ng scn ba se;un signed sho r t scn w rapp e r;un signed sho r t f ille r;7 期李偉明 等: o ra cl e r edo l o g 文件分析及 c 語言描述1245描述如下:st ruc t b lo ck h eadun signed lo ng sequence;un signed lo ng b lo ck num be r;un signed lo ng t im e;數(shù)據(jù)類型.由 上, 本 示 例 中

23、緊 接 著 redo 記 錄 scnch ange 項的 ch ange 頭的值, 分別為:o p = 5. 2cl s = 0x 0ba fn = 1dba d = 0x 00400002的 是 第 一 個o ff se t;ch eck sum ;un signed sho r t un signed sho r tscn =seq = t yp =0x 007d. 311be9b 310;2. 2. 2 文件體數(shù)據(jù)塊的塊數(shù)據(jù)分析及 c 語言描述redo 記錄 (塊數(shù)據(jù)) 由記錄頭, ch ange 項組成.(1) redo 記錄 (塊數(shù)據(jù)) 的記錄頭的語言描述及分析用 c 語言描述 r

24、edo l o g 的記錄頭數(shù)據(jù)結(jié)構(gòu), 可表示 如下:ch ange 索引表由索引表長度 ( 2 個字節(jié)) , ch ange 項的長度 (各兩個字節(jié)) 組成. 在本示例中, 如文件體數(shù)據(jù)塊第四行所 示, 第一個 ch ange 項的索引表為 04 00 20 00 可以看出, 索引表 大 小 為 0x 0004 個 字 節(jié), 表 示 只 有 一 個 表 項, 0x 0020 表 示ch ange 第一項的大小為 0x 0020 個字節(jié).ch ange 數(shù)據(jù)體的結(jié)構(gòu)根據(jù) ch ange 頭操作碼 o p 不同而 不同. 由于操作碼較多, 下面給出幾個重要的操作碼 o p 分析, 及其 ch a

25、nge 數(shù)據(jù)體的結(jié)構(gòu).st ruc t reco rdh eadun signed lo ng reco rd leng th;un signed sho r t v l d ;un signed sho r t rec scnw rapp e r;un signed lo ng rec scnba se;塊數(shù)據(jù)中 ch ange 數(shù)據(jù)體的 ch ange 頭操作碼 o p 的分2. 2. 3析;其中, reco rd leng th 為 redo 記錄的長度, rec scnw rapp e r、rec scnba se 合起來為 redo 記錄的 scn ( sy stem ch ange

26、 num 2be r) , scn 是 o rac le 數(shù)據(jù)庫中最重要的數(shù)據(jù)之一, scn 由一 個單獨的線程產(chǎn)生, 相當(dāng)于系統(tǒng)的一個時間戳, o rac le 的操作 可根據(jù) scn 來排序, 每個事務(wù)提交時都分配唯一一個 scn值, 事務(wù)可根據(jù) scn 來排序.由示例數(shù)據(jù)塊第二行可得:reco rd leng th = 0x025cv l d = 1r ec scnw rapp e r= 0x 7dr ec scnba se= 0x 311c37d9(1) o p = 5. 2 x id h eade rcha n ge # 1 t yp: 0 cl s: 11 a fn : 1 dba

27、 : 0x 00400002 scn :0x007d. 3122328a seq : 1 o p: 5. 2k tudh redo: slt: 0x0023 sqn: 0x00000025 f lg:fb i: 00x0412 siz:212uba: 0x 00400091. 0020. 08 p x id: 0x0000. 000.00000000o p = 5. 2 修改回滾段 ( ro llback segm en t) 的頭, 主要是在 ro llback segm en t 頭的事務(wù)表 (x id tab le) 中添加事務(wù)信息. 此 例顯示在 ro llback segm en t

28、 事務(wù)表的 slo t 槽 ( slt) 0x 0023 中添 加事務(wù)信息, 事務(wù)的 undo b lo ck add re ss (uba) 為 0x 00400091.0020. 08, 其中 0x 00400091 為文件塊地址, 0020 為順序號, 08為記錄號. 回滾記錄的大小 ( siz) 為 212 個字節(jié).同 時 dba d = 0x 00400002 表 示 此 數(shù) 據(jù) 塊 地 址, 顯 示 此ro llback segm en t 事務(wù)表在文件的第二塊中. (2)o p = 5. 1 ro llback segm en tcha n ge # 2 t yp: 0 cl s

29、: 12 a fn : 1 dba : 0x 00400091 scn :0x007d. 31223289 seq : 1 o p: 5. 1k tudb redo: siz: 212 sp c: 6652 f lg: 0x 0012 seq: 0x0020 rec:0x08x id: 0x0000. 023. 00000025k tub l redo: slt: 35 rc i: 0 op c: 11. 1 o b jn: 15 o b jd: 15 t sn: 0u ndo typ e: r egu la r undo b eg in t ran s l a st buffe r sp l

30、it: n ot em p o b jec t: n ot ab le sp ace u ndo: n o0x00000000 p rev c t l uba: 0x 00400091. 0020. 07p rev c t l m ax cm t scn: 0x 007d. 311ffcad p rev tx cm t scn:0x007d. 31206e62kdo undo reco rd: ktb r edoop: 0x 04 ve r: 0x 01op: l it l: scn: 0x0000. 015. 00000025 uba: 0x00400091. 0020.07f lg: c

31、222 lk c: 0 scn: 0x 007d. 3122328akdo o p co de: u r p x typ e: xa bdba: 0x 0040003a h dba:0x 00400039(2) redo 記錄 (塊數(shù)據(jù)) 的 ch ange 項的語言描述及分析塊 數(shù) 據(jù) 中 的 ch ange 項 由 ch ange 頭,ch ange 數(shù)據(jù)體組成.ch ange 頭的數(shù)據(jù)結(jié)構(gòu)用 c 語言表示為st ruc t op co dech ange 索 引 表,by te laye r;by te co de;st ruc t ch angeh eado p;cl s; a fn

32、;dba d ;st ruc t op co de un signed sho r t un signed lo ng un signed lo ngab so la te f ile num be r10b it = f ile n o.and 22b it =b lo ckn o.st ruc t scn 1 scn ;by te by teseq ; sequencet yp; 1= da ta 2= index 0= o th e r sun signed sho r t f ille r;其中, o p 為操作碼表示 o rac le 不同的數(shù)據(jù)操作. a fn 為數(shù)據(jù)所在文件號,

33、dba d (d a ta b lo ck add re ss) 為數(shù)據(jù)塊的地 址, 前 10 個 b it 表示文件號, 后 22 個 b it 表示塊號. t yp 表示體的結(jié)構(gòu). 例如:o p = 5. 19 記 錄 事 務(wù) 對 應(yīng) 的 se ssio n 信 息, 包 括 se ssio n num be r = 17 , 用戶名 cu r ren t u se rnam e = sys 等.it li: 1 isp ac: 0 m axf r: 4863tabn: 0 slo t: 3 ( 0x 3) f lag: 0x2c lo ck: 0 ck ix: 0 nco l: 12 n

34、new : 11 size: 0co l 1: 3co l 2: 2co l 3: 2co l 4: 2co l 5: 6co l 6: 3co l 7: 3 co l 8: 3 co l 9: 1 co l 10: 2 co l 11: 252 42 31 c1 02c1 03c1 35c5 09 19 1d 2f 5b c2 02 1ac2 02 16 c2 02 3280c1 03 c1 02o p = 5. 4 記錄事務(wù)提交信息, 包括 comm it scn ,塊號 dba d , 及事務(wù)其他信息 slo t, sequence, u ba 等.事務(wù)表o p = 11. 2 記錄數(shù)據(jù)

35、塊數(shù)據(jù)插入 ( in se r t) 的詳細(xì)信息.o p = 11. 3 記錄數(shù)據(jù)塊數(shù)據(jù)刪除 (de le te) 的詳細(xì)信息.3redo lo g 事務(wù)控制機(jī)制o ra cl e 事務(wù)的第一條 redo 記錄, 總包含 o p = 5. 1 , o p = 5. 2 的 ch ange 項, o p = 5. 2 中的 x id 號是事務(wù)的唯一標(biāo) 識. o p = 5. 1 中的 slt, sqn , dba d 和 x id 唯一對應(yīng), 也可唯 一標(biāo)識這個事務(wù). 在該事務(wù)的生命周期內(nèi), 所有數(shù)據(jù)操作的 redo lo g 記錄都包含 x id, x id 可以用來跟蹤此事務(wù).scn 號相當(dāng)

36、于 o ra cl e 數(shù)據(jù)操作的時戳, 標(biāo)識了各個 操作的先后順序, 我們可以根據(jù) scn 將事務(wù)的操作進(jìn)行排序.所有事務(wù)都以 o p = 5. 4 結(jié)束, o p = 5. 4 包含該事務(wù)的dba d , slt, sqn , 它們對應(yīng)事務(wù)開始時o p = 5. 2 的 dba d , slt, sqn.由此我們可以根據(jù) dba d , slt, sqn , x id 和 scn 的信息,跟蹤一個完整的事務(wù)過程.o p = 5. 1 記錄 ro llback segm en t 的數(shù)據(jù)變化, 用于一致性讀和回滾.第一項中 ro llback 記錄的大小為 siz: 212, 順序號為 se

37、q:0x 0020, 記錄號為 rec: 0x 08, 事務(wù) id 號為 x id: 0x 0000. 023.00000025, x id 唯一標(biāo)識一個事務(wù). 這些數(shù)據(jù)剛好與 o p = 5. 2的數(shù)據(jù)相對應(yīng).第二項數(shù)據(jù)表示對應(yīng)的數(shù)據(jù)庫對象,數(shù)據(jù)塊對象號 o b2jn: 15 數(shù)據(jù)塊數(shù)據(jù)對象號 o b jd: 15 表空間號 t sn: 0 slo t 號slt: 35 記錄索引數(shù) rc i: 0 對數(shù)據(jù)的操作碼 op c:11. 1第三項記錄詳細(xì)的數(shù)據(jù)信息, 包括數(shù)據(jù)操作碼 u r p , dba(da ta b lo ck add re ss) , f lag, lo ck , slo

38、t 及數(shù)據(jù)列的信息. (3) o p = 11. 5 u pda t echa n ge # 3 t yp: 2 cl s: 1 a fn : 1 dba : 0x 0040003a scn :0x 007d. 3122328a seq : 1 o p: 11. 5ktb r edoop: 0x11 ve r: 0x01op: f x id: 0x 0000. 023. 00000025 uba: 0x 00400091. 0020. 08b lo ck c leano u t reco rd, scn: 0x 007d. 3122328b ve r: 0x01, en t r ie s fo llow. . .it li: 1 f lg: 2 scn: 0x 007d. 3122328akdo o p co de