Ep和Epdp數(shù)據(jù)導(dǎo)出性能優(yōu)化

1、使用 Exp 和 Expdp 導(dǎo)出數(shù)據(jù)的性能對(duì)比與優(yōu)化1.前言數(shù)據(jù)備份對(duì)信息系統(tǒng)的安全運(yùn)行至關(guān)重要，我們的用戶中，使用RMan或第 三方專業(yè)備份軟件的越來越多，但是很多用戶仍然保留了傳統(tǒng)的 Exp 作為備份 策略的一部分，主要是由于這種備份方式簡單易用，而且恢復(fù)到其他機(jī)器上也很 方便，所以，雖然有其他的備份方式，但是Exp方式仍然會(huì)同時(shí)使用，甚至還 有不少的用戶只有這種備份方式。隨著用戶的數(shù)據(jù)量增長，Exp導(dǎo)出方式存在的問題也日漸突出，主要就是耗 時(shí)長，有的甚至超過3 個(gè)小時(shí)，加上常見的后臺(tái)自動(dòng)作業(yè)：匯總表的計(jì)算，自動(dòng) 費(fèi)用的計(jì)算，統(tǒng)計(jì)信息的收集等工作，使一個(gè)晚上的時(shí)間安排越來越緊張。有沒有辦

2、法提高Exp執(zhí)行的性能呢？以前我做過一些試驗(yàn)，查閱了很多資料， 總結(jié)過一些經(jīng)驗(yàn)，最近拿到了一個(gè)用戶的近300G數(shù)據(jù)，再次進(jìn)行了一系列大數(shù) 據(jù)量的導(dǎo)出對(duì)比試驗(yàn)，發(fā)現(xiàn)幾個(gè)參數(shù)的設(shè)置對(duì)Exp導(dǎo)出耗時(shí)的影響較大，經(jīng)過 優(yōu)化后，Exp導(dǎo)出的性能得到了較大提升，但是與Expdp相比，仍然是后者要快 得多，下面將試驗(yàn)情況和相關(guān)知識(shí)做一個(gè)介紹，以便我們在幫助用戶制定備份策 略時(shí)參考。試驗(yàn)情況試驗(yàn)環(huán)境硬件：CPU ：至強(qiáng) 5405， 4*2G內(nèi)存：DDR2, 4G硬盤： IDE 1T軟件： Windows+Oracle 10.2.0.3數(shù)據(jù)：XX醫(yī)院全庫導(dǎo)入的ZLHIS10.30數(shù)據(jù)，原始共300G，經(jīng)過收縮回

3、滾表空 間、臨時(shí)表空間，以及一些表空間文件未使用的空間后，總共占用267G,其中 包含了大量電子病歷相關(guān)的 LOB 數(shù)據(jù)。其他說明：由于該院使用時(shí)間較長，DB Control Repository包含了大量歷史 監(jiān)控?cái)?shù)據(jù)，表SYSMAN.MGMT_METRICS_RAW中的1300萬條LOB格式數(shù)據(jù)， 僅該表的導(dǎo)入耗時(shí)超過24小時(shí)，為了便于測試，清空了該表的數(shù)據(jù)。試驗(yàn)方法在相同環(huán)境下，試驗(yàn)5種不同的導(dǎo)出數(shù)據(jù)的方式的耗時(shí)使用Exp常規(guī)路徑導(dǎo)出，不加參數(shù)優(yōu)化使用 Exp 直接路徑導(dǎo)出，不加參數(shù)優(yōu)化使用Exp直接路徑導(dǎo)出，參數(shù)優(yōu)化使用 Expdp 導(dǎo)出，參數(shù)優(yōu)化2.3 試驗(yàn)結(jié)果Exp常規(guī)路徑，未優(yōu)化

4、5小時(shí)15分不加參數(shù)Exp直接路徑，未優(yōu)化2小時(shí)38分direct=yExp直接路徑，優(yōu)化1小時(shí)40分direct=y recordlength=65535buffer=104857600Expdp，優(yōu)化59分parallel=3 dumpfile= expdp_0225_l.dmp,expdp_0225_2.dmp, expdp 0225 3.dmp方式耗時(shí)說明結(jié)果表明：速度最快的是 Expdp 方式，而 Exp 方式經(jīng)過參數(shù)優(yōu)化后，相對(duì)于不加任何參 數(shù)的情況，快了近 3 倍。下面對(duì)相關(guān)的原理及參數(shù)進(jìn)行詳細(xì)說明。原理說明Exp 默認(rèn)是傳統(tǒng)路徑，這種模式下，是用 Select 來查詢數(shù)據(jù)，然后

5、寫入 buffer cache,在將這些數(shù)據(jù)寫入evaluate buffer,最后傳到Export客戶端，再寫入dump 文件。直接路徑模式下，直接從硬盤讀取數(shù)據(jù)，然后寫入PGA，格式就是Export 的格式，不需要轉(zhuǎn)換，數(shù)據(jù)再直接傳到Export客戶端，寫入dump文件。這種模 式?jīng)]有經(jīng)過evaluation buffer，少了一個(gè)過程，導(dǎo)出速度提高也是很明顯。Exp 沒有并行參數(shù),要進(jìn)行并行導(dǎo)出,可以寫多條命令同時(shí)導(dǎo)出,這種方式 可用于特定的數(shù)據(jù)遷移情況,按表或表空間進(jìn)行快速數(shù)據(jù)遷移。Expdp 是 Oracle 10G 上推出的一種先進(jìn)的數(shù)據(jù)導(dǎo)出方式,比 Exp 有較大的性 能提升,

6、Expdp 可以看成是 Exp 的升級(jí)版,相當(dāng)于 exp + direct mode + parallel。 Expdp 缺省是直接路徑方式,它有 4 種方式,另外 3 種分別是：外部表模式（相當(dāng)于 Exp 的常規(guī)路徑導(dǎo)出）； 數(shù)據(jù)文件拷貝模式（表空間傳輸）；網(wǎng)絡(luò)鏈路導(dǎo)入（通過數(shù)據(jù)鏈路導(dǎo)出導(dǎo)入）一般情況可以替代Exp,但是還無法完全替代，主要是它需要在數(shù)據(jù)庫服務(wù) 器上執(zhí)行，而Exp可以在任何一臺(tái)客戶端上執(zhí)行。另外，據(jù)測試，Expdp在導(dǎo)出 大型分區(qū)表（1T以上）的時(shí)候，光是分析的時(shí)間就超過2個(gè)小時(shí)，而且存在一 些BUG。所以，有些用戶仍然會(huì)使用Exp來進(jìn)行數(shù)據(jù)備份。4. 參數(shù)優(yōu)化Exp 相關(guān)參

7、數(shù)通過上面的分析，我們知道采用“直接路徑”可以提高導(dǎo)出速度，這種模式重 點(diǎn)說明2個(gè)參數(shù)：DIRECT和RECORDLENGTH參數(shù)。DIRECT參數(shù)定義了導(dǎo)出是使用直接路徑方式（DIRECT=Y）,還是常規(guī)路徑 方式（DIRECT=N）。常規(guī)路徑導(dǎo)出使用SELECT語句從表中抽取數(shù)據(jù)，評(píng)估后再 寫入，而直接路徑導(dǎo)出則是將數(shù)據(jù)直接從磁盤讀到 PGA 再原樣寫入導(dǎo)出文件， 從而避免了 SQL 命令處理層的數(shù)據(jù)轉(zhuǎn)換過程，大大提高了導(dǎo)出效率。BUFFER 參數(shù)用于設(shè)置了讀取記錄的緩存的大小，以字節(jié)為單位，即在 array 中最大數(shù)量的記錄，該參數(shù)只對(duì)常規(guī)路徑模式導(dǎo)出有效。RECORDLENGTH 參數(shù)

8、是跟 DIRECT=Y 配合使用的參數(shù)，它定義了 Export I/O 緩沖的大小，作用類似于常規(guī)路徑導(dǎo)出使用的 BUFFER 參數(shù)。建議設(shè)置 RECORDLENGTH 參數(shù)為最大 I/O 緩沖，即 65535(64kb)。需要強(qiáng)調(diào)是即使用直接路徑導(dǎo)出模式，其中涉及 LOB 對(duì)象的表只會(huì)通過傳 統(tǒng)模式導(dǎo)出，所以，DIRECT=Y時(shí)，除了設(shè)置RECORDLENGTH參數(shù)之外，也 需要設(shè)置BUFFER參數(shù)，一般情況可設(shè)置為104857600 (100M),這一點(diǎn)是網(wǎng)上 很多優(yōu)化文章所忽略的。另外，還可以修改Oracle初始化參數(shù)Multiple Block Read來提交讀取數(shù)據(jù)的性能， 經(jīng)測試，

9、效果不是很明顯，前面的測試環(huán)境下，可減少10分鐘左右的耗時(shí)。按照上面的參數(shù)優(yōu)化設(shè)置，下面給出一個(gè)導(dǎo)出腳本示例：exp userid=sys/hiszyyy full=y direct=y recordlength=65535 buffer=104857600file=F:zyyyexp20120218.dmp log=F:zyyyexp20120218.log feedback=10000Expdp 相關(guān)參數(shù)這里只說明兩個(gè)參數(shù)：Parallel和DumpfileParallel 參數(shù)指明了導(dǎo)出并行度，根據(jù) CPU 的個(gè)數(shù)進(jìn)行設(shè)置，缺省是 1，如 果不設(shè)置，導(dǎo)出性能與 Exp 的直接路徑導(dǎo)出模式

10、差不了多少，就沒有發(fā)揮出它 的優(yōu)勢。Dumpfile 參數(shù)可配合 Parallel 參數(shù)指定多個(gè)導(dǎo)出文件，用于減少并發(fā)寫入時(shí) 的 IO 爭用。結(jié)合這兩個(gè)參數(shù)，下面給出一個(gè)導(dǎo)出腳本示例：SQLcreate directory dump_dir as F:datazyyy;Cmd:expdp sys/hiszyyy full=y directory=dump_dir parallel=3dumpfile=expdp_0225_1.dmp,expdp_0225_2.dmp,expdp_0225_3.dmplogfile=expdp_0225.log5.小結(jié) 如果你仍然習(xí)慣使用 Exp 方式，如果要減少耗時(shí)，最好采用