甲骨文、超高速數(shù)據(jù)轉(zhuǎn)移實(shí)用工具的基礎(chǔ)課件

1、Oracle 數(shù)據(jù)庫(kù) 10g 中的數(shù)據(jù)泵：超高速數(shù)據(jù)轉(zhuǎn)移實(shí)用工具的基礎(chǔ)甲骨文公司數(shù)據(jù)泵：概述什么是數(shù)據(jù)泵？主要特性體系結(jié)構(gòu)性能要記住的事情對(duì)原來(lái)的 exp / imp 的一些看法數(shù)據(jù)泵：什么是數(shù)據(jù)泵？基于服務(wù)器的工具，用于在加載和卸載數(shù)據(jù)和元數(shù)據(jù)時(shí)獲得高性能可調(diào)用：DBMS_DATAPUMP。在內(nèi)部使用 DBMS_METADATA以直接路徑 (Direct Path) 流的格式寫(xiě)入數(shù)據(jù)。以 XML 的格式寫(xiě)入元數(shù)據(jù)新的客戶端程序 expdp 和 impdp：原來(lái)的 exp / imp 的擴(kuò)展集流、邏輯備用、網(wǎng)格、可移動(dòng)表空間和數(shù)據(jù)挖掘初始實(shí)例化的基礎(chǔ)。特性：高性能！自動(dòng)、雙層并行化用于分區(qū)間

2、并行化的直接路徑用于分區(qū)內(nèi) 并行化的外部表示例：parallel=動(dòng)態(tài)：在企業(yè)版中可以從一個(gè)正在運(yùn)行的作業(yè)中添加或刪除工作線程自動(dòng)構(gòu)建索引，使并行度達(dá)到作業(yè)數(shù)同時(shí)進(jìn)行數(shù)據(jù)和元數(shù)據(jù)卸載單線程數(shù)據(jù)卸載：1.5-2X exp單線程數(shù)據(jù)加載： 15X-40X imp使用索引構(gòu)建：4-10X imp特性：檢查點(diǎn)/重新啟動(dòng)作業(yè)進(jìn)度記錄在一個(gè)“主表”中可以顯式地停止并在以后重新啟動(dòng)：在當(dāng)前項(xiàng)目完成后停止或立即停止異常終止的作業(yè)也可以重新啟動(dòng)如果有問(wèn)題可以在重啟時(shí)跳過(guò)當(dāng)前的對(duì)象特性：網(wǎng)絡(luò)模式網(wǎng)絡(luò)導(dǎo)入：直接從一個(gè)數(shù)據(jù)庫(kù)加載 另一個(gè)數(shù)據(jù)庫(kù)網(wǎng)絡(luò)導(dǎo)出：將一個(gè)遠(yuǎn)程數(shù)據(jù)庫(kù)卸載至一個(gè)本地的轉(zhuǎn)儲(chǔ)文件集中允許導(dǎo)出只讀數(shù)據(jù)庫(kù)數(shù)據(jù)

3、泵在本地運(yùn)行，元數(shù)據(jù) API 遠(yuǎn)程運(yùn)行。使用數(shù)據(jù)庫(kù)鏈接，而不是管道。以 insert into select from 的方式轉(zhuǎn)移數(shù)據(jù)直接路徑引擎在兩端均使用很容易阻塞網(wǎng)絡(luò)帶寬：小心！特性：細(xì)粒度的對(duì)象選擇兩種 操作（導(dǎo)出和 導(dǎo)入）都支持 所有的 對(duì)象類(lèi)型Exclude（排除）：從操作中 排除指定的對(duì)象類(lèi)型Include（包含）：只 包含指定的對(duì)象類(lèi)型。 例如，只包含檢索程序包、函數(shù)和過(guò)程雖然可以指定兩者中的一個(gè)或兩個(gè)，但新的客戶端程序禁止同時(shí)使用兩者兩者都使用一個(gè)可選的名稱(chēng)過(guò)濾器，以獲得甚至更高的細(xì)粒度：INCLUDE PACKAGE: “LIKE PAYROLL% “EXCLUDE TAB

4、LE: “IN (FOO,BAR, ) “特性：監(jiān)控靈活的 GET_STATUS 調(diào)用每個(gè)工作線程的狀態(tài)，顯示當(dāng)前的對(duì)象和完成的百分比初始的作業(yè)空間估計(jì)和總體完成百分比作業(yè)狀態(tài)和描述工作進(jìn)度和錯(cuò)誤特性：轉(zhuǎn)儲(chǔ)文件集管理基于目錄：例如，DMPDIR:export01.dmp 其中 DMPDIR 創(chuàng)建為： SQL create directory dmpdir as /data/dumps支持指定多個(gè)帶通配符的文件： dumpfile=dmp1dir:full1%u.dmp, dmp2dir:full2%u.dmp根據(jù)需要從提供的文件指定中循環(huán)創(chuàng)建文件可以限制文件大小以便管理自動(dòng)維護(hù)轉(zhuǎn)儲(chǔ)文件集的一致

5、性新的客戶端程序 expdp / impdp類(lèi)似（但不完全相同）于 exp / imp 的外觀支持所有的模式：完整、模式、表、表空間、可傳輸。 exp / imp 的擴(kuò)展集支持閃回expdp 和 impdp 都支持查詢(xún)，并且在每一個(gè)表的基礎(chǔ)上進(jìn)行！與正在運(yùn)行的作業(yè)連接或分離允許每個(gè)作業(yè)與多個(gè)客戶端程序連接；但一個(gè)客戶端程序一次只能與一個(gè)作業(yè)連接如果擁有權(quán)限，可以連接并控制其他用戶的作業(yè)新的客戶端程序 expdp / impdp通過(guò) Ctl-C 進(jìn)入交互式模式：ADD_FILE：為作業(yè)添加轉(zhuǎn)儲(chǔ)文件和通配符文件指定PARALLEL：動(dòng)態(tài)添加或刪除工作線程STATUS：獲取每個(gè)工作線程的詳細(xì)狀態(tài)并修

6、改報(bào)表時(shí)間間隔STOP_JOB=IMMEDIATE：停止作業(yè)，使其為可重新啟動(dòng)。IMMEDIATE 不等待工作線程完成當(dāng)前的工作項(xiàng)目它們將在重新啟動(dòng)時(shí)重新執(zhí)行START_JOB：重新啟動(dòng)一個(gè)先前停止的作業(yè)KILL_JOB：停止作業(yè)并刪除其所有的資源 （主表、轉(zhuǎn)儲(chǔ)文件），使其為不可重新啟動(dòng)CONTINUE：退出交互模式，繼續(xù)記錄日志EXIT：退出客戶端程序，使作業(yè)保持運(yùn)行特性：其他的出色特性使用 XML 可以容易地進(jìn)行 DDL 轉(zhuǎn)換：REMAP_SCHEMAREMAP_TABLESPACEREMAP_DATAFILE可以隱藏段和存儲(chǔ)屬性可以只提取和加載數(shù)據(jù)、或元數(shù)據(jù)，或提取和加載兩者SQLFIL

7、E 操作生成可執(zhí)行的 DDL 腳本如果一個(gè)表在加載時(shí)已存在，那么您可以：跳過(guò)它（默認(rèn)）、替換它、截取然后加載或者附加到其末尾根據(jù)分配的塊（默認(rèn)）或統(tǒng)計(jì)信息（如果提供）進(jìn)行空間估計(jì)企業(yè)管理器界面集成了 9i 和 10g可調(diào)用！體系結(jié)構(gòu)：結(jié)構(gòu)圖直接路徑API外部表 APIOracle_Loader元數(shù)據(jù) API：DBMS_METADATAOracle_DataPumpexpdpimpdp企業(yè)管理器 數(shù)據(jù)泵DBMS_DATAPUMP數(shù)據(jù)/元數(shù)據(jù)轉(zhuǎn)移引擎其他客戶端程序：數(shù)據(jù)挖掘等 體系結(jié)構(gòu)：流程圖主控制進(jìn)程用戶 A 的 影子進(jìn)程轉(zhuǎn)儲(chǔ)文件集：數(shù)據(jù)、元數(shù)據(jù)和主表用戶 A：expdp用戶 B 的 影子進(jìn)程動(dòng)

8、態(tài)命令（停止、啟動(dòng)、并行化等）主表命令和控制隊(duì)列狀態(tài)隊(duì)列：工作進(jìn)程和錯(cuò)誤 工作線程 B：直接路徑 工作線程 C：外部表 工作線程 A：元數(shù)據(jù)用戶 B：OEM并行進(jìn)程 1并行進(jìn)程 2日志文件 無(wú)需客戶端！主控制進(jìn)程轉(zhuǎn)儲(chǔ)文件集：數(shù)據(jù)、元數(shù)據(jù)和主表主表工作線程 B：直接路徑工作線程 C：外部表工作線程 A：元數(shù)據(jù)并行進(jìn)程 1并行進(jìn)程 2日志文件數(shù)據(jù)泵：性能調(diào)整默認(rèn)的初始化參數(shù)就非常好！確保 disk_asynch_io 保持為 TRUE擴(kuò)展 I/O！Parallel= 不超過(guò)兩倍的 CPU 數(shù)量： 不要超過(guò)磁盤(pán)最高容量。必然的結(jié)果：擴(kuò)展 I/O！為 AQ 消息發(fā)送和元數(shù)據(jù) API 查詢(xún)提供足夠的 S

9、GA為長(zhǎng)時(shí)間運(yùn)行的查詢(xún)提供足夠的回滾這就是性能調(diào)整！大型的互聯(lián)網(wǎng)公司2 個(gè)事實(shí)表： 16.2M 行，2 Gb程序花費(fèi)時(shí)間原來(lái)的 exp: direct=y0 hr 10 min 40 sec調(diào)整后的 exp: direct=y buffer=2M recordlength=64K0 hr 04 min 08 sec原來(lái)的 expdp: Parallel=10 hr 03 min 12 sec原來(lái)的 imp2 hr 26 min 10 sec調(diào)整后的 imp: buffer=2M recordlength=64K2 hr 18 min 37 sec原來(lái)的 impdp: Parallel=10 h

10、r 03 min 05 sec每個(gè)表有一個(gè)索引調(diào)整后的 imp: buffer=2M recordlength=64K2 hr 40 min 17 secimpdp: Parallel=10 hr 25 min 10 secOracle 應(yīng)用程序種子數(shù)據(jù)庫(kù)：密集的元數(shù)據(jù)：392K 個(gè)對(duì)象，200 個(gè)模式，10K 個(gè)表，總共 2.1 Gb 的數(shù)據(jù)原來(lái)的 exp / imp 總共花費(fèi)：32 小時(shí) 50 分鐘exp：2 小時(shí) 13 分鐘 imp： 30 小時(shí) 37 分鐘數(shù)據(jù)泵 expdp / impdp 總共花費(fèi)：15 小時(shí) 40 分鐘Expdp：1 小時(shí) 55 分鐘 impdp： 13 小時(shí) 45

11、 分鐘對(duì)于 expdp 和 impdp，Parallel=2請(qǐng)記?。涸O(shè)計(jì)用于處理大量數(shù)據(jù)的*大型*作業(yè)元數(shù)據(jù)性能幾乎一樣更復(fù)雜的基礎(chǔ)架構(gòu)，更長(zhǎng)的啟動(dòng)時(shí)間XML 比 DDL 更大，但更靈活轉(zhuǎn)儲(chǔ)文件中的數(shù)據(jù)格式與 exp 相比壓縮了大約 15%通過(guò)修剪主表實(shí)現(xiàn)了子集導(dǎo)入原來(lái)的 exp 和 imp將永遠(yuǎn)支持原來(lái)的 imp，以允許加載 V5 V9i 的轉(zhuǎn)儲(chǔ)文件原來(lái)的 exp 至少在 10g 中提供，但可能不支持所有新的功能。9i exp 可以用于從 10g 降級(jí)不兼容原來(lái)的轉(zhuǎn)儲(chǔ)文件格式和數(shù)據(jù)泵轉(zhuǎn)儲(chǔ)文件格式10g Beta 反饋英國(guó)電信：Ian Crocker，性能與存儲(chǔ)顧問(wèn)“我們已經(jīng)測(cè)試了新的 Oracle10g 導(dǎo)出和導(dǎo)入實(shí)用工具： Oracle 數(shù)據(jù)泵。數(shù)據(jù)泵導(dǎo)出的執(zhí)行速度是原來(lái)的兩倍