ODI工具抽取數(shù)據(jù)操作手冊

1、ODI工具抽取數(shù)據(jù)操作手冊一、準(zhǔn)備工作（以O(shè)RACLE 11G為例）1、ODI是oracle的數(shù)據(jù)抽取工具，需要自行安裝oralce數(shù)據(jù)庫。2、請(qǐng)按照ODI安裝說明書安裝rcu資料庫和ODI工具。ODI11G安裝及使用_百度文庫：3、理解：資料檔案庫資料庫分兩種：（1）Master Repository（主資料庫），保存企業(yè)所有IT資源的Topology，保存項(xiàng)目和數(shù)據(jù)模型的安全信息、版本信息，供ODI圖形模塊等使用。通常創(chuàng)建一個(gè)即可。Master Repository要盡可能獨(dú)立存儲(chǔ)，單獨(dú)的Instance，或單獨(dú)的Schema。(2) Work Repository（工作資料庫），保存項(xiàng)目

2、和數(shù)據(jù)模型，供ODI圖形模塊等使用?？蓜?chuàng)建多個(gè)。一個(gè)Work Repository只能連接一個(gè)Master Repository。一個(gè)Schema只能存儲(chǔ)一個(gè)Work Repository，不過Master Repository倒可與其安裝在同一Schema。4、TopologyTopology Manager（拓?fù)涔芾砥鳎┲饕脕砉芾硐旅?類任務(wù)，并將信息存儲(chǔ)在主資料庫中，供所有模塊共享使用。（1）物理體系結(jié)構(gòu)，定義各種技術(shù)及其數(shù)據(jù)服務(wù)器、物理架構(gòu)、物理代理。（2）邏輯體系結(jié)構(gòu)，定義各種技術(shù)及其關(guān)聯(lián)的邏輯架構(gòu)、邏輯代理。（3）上下文，用來連接物理架構(gòu)和邏輯架構(gòu)。（4）語言，不同技術(shù)所能采用的

3、語言特性。（5）資料庫，包含主資料庫及其附屬的工作資料庫。5、知識(shí)模塊Oracle Data Integrator之所以能適應(yīng)不同的、多種多樣的數(shù)據(jù)源，靈活有效的完成數(shù)據(jù)抽取/轉(zhuǎn)換/載入的過程，均是基于其知識(shí)模型體系。 Knowledge Modules類似于程序中的插件，Oracle Data Integrator將數(shù)據(jù)整合的任務(wù)抽象出六個(gè)組成部分：（1）反向工程RKM，Reverse-engineering knowledge modules，用于從數(shù)據(jù)源讀取表及其他對(duì)象。 （2）日記JKN，Journalizing knowledge modules，用于為單一或一組表/視圖記錄新建的和

4、修改的數(shù)據(jù)。ODI支持部分?jǐn)?shù)據(jù)源的Change Data Capture(CDC)功能，前提為ODI項(xiàng)目中啟用該模塊。（3）加載LKM，Loading knowledge modules，用于從數(shù)據(jù)源抽取數(shù)據(jù)。 （4）檢查CKM，Check knowledge modules，用于檢測抽取出的源數(shù)據(jù)的合法性。（5）集成IKM，Integration knowledge modules，用于將Staging Area中的數(shù)據(jù)轉(zhuǎn)換至目標(biāo)表，基于目標(biāo)數(shù)據(jù)庫產(chǎn)生對(duì)應(yīng)的轉(zhuǎn)換SQL。（6）服務(wù)SKM，Service knowledge modules，提供將數(shù)據(jù)以Web Services的方式展現(xiàn)的功能。

5、6、源系統(tǒng)需要知道源系統(tǒng)的數(shù)據(jù)庫用戶密碼與源系統(tǒng)IP地址或主機(jī)名、數(shù)據(jù)庫端口、數(shù)據(jù)庫實(shí)例。(以223這臺(tái)機(jī)為例)。數(shù)據(jù)庫鏈路：jdbc:oracle:thin: 172.17.7.223:1521:gbk數(shù)據(jù)庫用戶/密碼：rcms/123456數(shù)據(jù)：EMP（表）7、創(chuàng)建目標(biāo)系統(tǒng)的用戶（以 50這臺(tái)機(jī)為例）。數(shù)據(jù)庫鏈路：jdbc:oracle:thin: 172.17.7.50:1521:orcl數(shù)據(jù)庫用戶/密碼：spaq_odi/spaq_odi并且需要在目標(biāo)用戶上創(chuàng)建源用戶的表或視圖，表結(jié)構(gòu)需要與源用戶的表結(jié)構(gòu)一致。create user spaq_odi identified by spa

6、q_odi default tablespace users; grant connect,resource to spaq_odi; grant create database link to spaq_odi;grant create synonym to spaq_odi;create table EMP( EMPNO NUMBER(4) not null, ENAME VARCHAR2(10), JOB VARCHAR2(9), MGR NUMBER(4), HIREDATE DATE, SAL NUMBER(7,2), COMM NUMBER(7,2), DEPTNO NUMBER(

7、2);二、創(chuàng)建主資料庫1、新建主資料庫用戶（以zzl（主資料縮寫）用戶為例）:create user zzl identified by zzl default tablespace users;grant connect, resource to zzl;2、點(diǎn)擊創(chuàng)建新的主資料檔案庫，填寫資料檔案庫連接資料，JDBC URL原本為jdbc:oracle:thin:，需要手動(dòng)修改。填寫完資料后，可通過測試連按鈕接測試配置是否正確。如下圖1-2圖1圖2三、創(chuàng)建資料檔案庫連接1、點(diǎn)擊創(chuàng)建新的ODI資料檔案庫登陸，填寫資料檔案庫連接信息，通過“測試連接”可測試配置是否正確。圖1四、創(chuàng)建工作資料庫1、

8、新建工作資料庫數(shù)據(jù)庫用戶(以gzzl(工作資料縮寫)為例)：create user gzzl identified by gzzl default tablespace users;grant connect, resource to gzzl;2、點(diǎn)擊連接到資料檔案庫 拓?fù)?資料檔案庫 右鍵工作資料檔案庫 新建工作資料檔案庫 如下圖1-3圖1圖2圖33、新建完后會(huì)自動(dòng)提示是否為該工作資料創(chuàng)建登錄名，可選擇幫該工作資料檔案庫創(chuàng)建登陸名。也可連接主資料庫的時(shí)候，點(diǎn)擊編輯按鈕“食品安全綜合監(jiān)管項(xiàng)目”連接在工作資料檔案庫項(xiàng)勾上工作資料檔案庫并且點(diǎn)擊放大鏡 添加WORKREP1。操作如圖4-5圖4圖5

9、五、創(chuàng)建物理體系結(jié)構(gòu)1、創(chuàng)建目標(biāo)系統(tǒng)物理體系結(jié)構(gòu)（以O(shè)DI_MUBIAO為例）拓?fù)?物理體系結(jié)構(gòu) 技術(shù) oracle 右鍵oracle 新建數(shù)據(jù)服務(wù)器 如圖1：圖12、定義名稱、實(shí)例/dblink（數(shù)據(jù)服務(wù)器）、連接用戶及口令：注1：在“Oracle to Oracle”模式時(shí)，“實(shí)例/dblink”將用于ODI自動(dòng)創(chuàng)建兩個(gè)系統(tǒng)間的dblink，為了使dblink創(chuàng)建成功，需要在目標(biāo)數(shù)據(jù)庫端配置TNSNAME（=這里的“實(shí)例/DBLINK”）；另外如果來源和目標(biāo)是同一個(gè)數(shù)據(jù)庫，那么dblink就是LOOPBACK的，這里的“實(shí)例/dblink”名字就不能等于SID。故這里故意加了“.LOOPB

10、ACK”。注2：連接用戶與口令為目標(biāo)的數(shù)據(jù)庫用戶與口令spaq_odi/spaq_odi 。3、JDBC驅(qū)動(dòng)程序、JDBC URL：4、保存后新建目標(biāo)物理方案點(diǎn)擊ODI_MUBIAO 右鍵 新建物理方案5、定義方案（方案）、方案（工作方案）：保存后報(bào)沒有選擇上下文的警告，先忽略之。6、創(chuàng)建源系統(tǒng)物理體系結(jié)構(gòu)與源物理方案（以O(shè)DI_YUAN為例）如圖1-3圖1圖2圖3注：連接用戶與口令為目標(biāo)的數(shù)據(jù)庫用戶與口令rcms/123456。最終結(jié)果如下圖：六、創(chuàng)建邏輯體系結(jié)構(gòu)1、創(chuàng)建目標(biāo)系統(tǒng)邏輯體系結(jié)構(gòu)（以O(shè)DI_MUBIAO為例）拓?fù)?邏輯體系結(jié)構(gòu) 技術(shù) oracle 右鍵oracle 新建邏輯方案

11、如圖1-2：圖1圖22、創(chuàng)建源系統(tǒng)邏輯體系結(jié)構(gòu)（以O(shè)DI_YUAN為例）七、創(chuàng)建項(xiàng)目1、設(shè)計(jì)器 項(xiàng)目 點(diǎn)擊 新建項(xiàng)目 （以shipin項(xiàng)目為例）如下圖1-2：圖1圖22、導(dǎo)入知識(shí)模塊設(shè)計(jì)器 項(xiàng)目 shipin 右鍵知識(shí)模塊 導(dǎo)入知識(shí)模塊如圖1-2圖1圖2溫馨提示：點(diǎn)擊即可全選知識(shí)模塊，也可以逐個(gè)選擇需要的知識(shí)模塊，為簡單起見，全選后確定。不過全部導(dǎo)入比較耗時(shí)和占空間，看下面的滾動(dòng)條和右下腳的空間占用就知道了。八、創(chuàng)建模型1、創(chuàng)建目標(biāo)系統(tǒng)模型（以O(shè)DI_MUBIAO為例）設(shè)計(jì)器 模型 點(diǎn)擊 新模型按下圖內(nèi)容輸入定義名稱、技術(shù)、邏輯方案2、創(chuàng)建源系統(tǒng)模型（以O(shè)DI_YUAN為例）3、逆向工程把目標(biāo)

12、系統(tǒng)（spaq_odi用戶）下的表全部反向工程到我們目標(biāo)模型內(nèi)。逆向工程頁簽 上下文選擇Global 點(diǎn)擊 按鈕4、創(chuàng)建源系統(tǒng)模型（以O(shè)DI_YUAN為例）跟目標(biāo)模塊一致，逆向工程把源系統(tǒng)的（rcms用戶）下的表全部反向工程到我們的源模塊內(nèi)。5、創(chuàng)建目標(biāo)模塊ODI_MUBIAO 主鍵：設(shè)計(jì)器 模型 ODI_MUBIAO EMP 右鍵約束條件 新建關(guān)鍵字名稱：PK_EMPNO_1 、關(guān)鍵字或索引類型：主鍵 、列：EMPNO圖1圖2注：目標(biāo)模型的表必須添加主鍵，否則抽取數(shù)據(jù)的時(shí)候會(huì)出錯(cuò)。九、創(chuàng)建接口1、設(shè)計(jì)器 項(xiàng)目 shipin 第一個(gè)文件夾 右鍵接口 新建接口2、輸入接口名稱3、映射目標(biāo)模塊和源

13、模塊的表。點(diǎn)擊“映射”標(biāo)簽頁 將ODI_MUBIAO內(nèi)的EMP 拖至目標(biāo)數(shù)據(jù)庫存儲(chǔ)區(qū)域 將ODI_YUAN內(nèi)的EMP拖至 源默認(rèn)值區(qū)域 提示是否執(zhí)行自動(dòng)映射，選擇是即可。4、切換到“流”標(biāo)簽頁。選中SrcSet0，LKM已默認(rèn)采用LKM Oracle to Oracle (DBLINK)，我們需要把下面的AUTO_CREATE_DB_LINK改為 真。注：如果我們已經(jīng)在數(shù)據(jù)庫中手工創(chuàng)建了DBLINK，并且名字和定義“數(shù)據(jù)服務(wù)器”時(shí)定義的一樣，這里就保持默認(rèn)值否。選中“目標(biāo)+臨時(shí)區(qū)域”，可以看到下面已經(jīng)默認(rèn)使用了IKM Oracle Incremental Update5、切換到“控制”標(biāo)簽頁。

14、CKM選擇器選上：CKM Oracle ，保存接口。十、執(zhí)行接口1、設(shè)計(jì)器 項(xiàng)目 shipin 接口 右鍵POP.EMP 執(zhí)行我們不使用代理，保持上面的選項(xiàng)點(diǎn)擊“確定”，將會(huì)啟動(dòng)ELT會(huì)話。2、檢查是否執(zhí)行成功操作 會(huì)話列表 所有執(zhí)行3、查看數(shù)據(jù)設(shè)計(jì)器 模型 ODI_MUBIAO 右鍵EMP 查看數(shù)據(jù)到這里如果有數(shù)據(jù)的話，證明已經(jīng)成功將ODI_MUBIAO 內(nèi)的EMP表的數(shù)據(jù)導(dǎo)進(jìn)ODI_YUAN內(nèi)的EMP表里面了。十一、問題診斷如果出現(xiàn)問題，Operator也提供了比較好的調(diào)式方法：如下圖：1、由上圖可以看到該執(zhí)行到第9步出錯(cuò)了，可以雙擊該步奏打開會(huì)話任務(wù)窗口查看錯(cuò)誤信息。2、點(diǎn)擊“代碼”標(biāo)簽

15、頁可以查看執(zhí)行哪些條語句出現(xiàn)該錯(cuò)誤信息。3、對(duì)于出錯(cuò)的會(huì)話，可以重新執(zhí)行，并且，可以先修改“目標(biāo)代碼”標(biāo)簽頁的內(nèi)容，加入調(diào)式信息十二、ODI 工具12C 創(chuàng)建代理參考該網(wǎng)站：12C 版本中，ODI的代理共分為三種：completely standalone agentstandalone collocated agentJEE agent12C版本在安裝Server的時(shí)候，有兩個(gè)選項(xiàng)，獨(dú)立安裝和企業(yè)安裝。本文將描述企業(yè)安裝的情況下代理的安裝（standalone collocated agent）。首先，進(jìn)入目錄 oracle_commoncommonbin，運(yùn)行congfig.cmd,打開配

16、置程序。這里選擇創(chuàng)建新的域，域名稱可自行調(diào)整接下來選擇域的創(chuàng)建模板，勾選 odi collocated standalone agent選項(xiàng)，注意，下方的兩項(xiàng)會(huì)自動(dòng)勾選上，不要做任何調(diào)整！輸入weblogic的管理員賬號(hào)和密碼這里我勾選的是開發(fā)模式，這樣就不用每次啟動(dòng)weblogic的時(shí)候輸入賬號(hào)和密碼了。如果系統(tǒng)的java環(huán)境需要調(diào)整，可以自行輸入jdk的路徑。接下來輸入RCU的方案，方案的前綴名改為你在創(chuàng)建RCU的時(shí)候所使用的前綴。配置完成后，點(diǎn)擊獲取RCU配置這里不需要做調(diào)整，直接選擇下一步這里需要數(shù)據(jù)庫鏈接測試全部通過這里只選擇系統(tǒng)組件。（其他幾個(gè)選項(xiàng)的配置過程，在下一篇文章里面會(huì)詳細(xì)

17、講解）這里出現(xiàn)的代理OracleDIAgent1,就是我們需要的代理程序組件（注意，新增代理組件的時(shí)候，組件類型不要選錯(cuò)）這里填寫代理server的IP地址端口號(hào)等相關(guān)信息。配置服務(wù)器的信息接下去，按照程序提示，一直選擇下一步，直至執(zhí)行完畢即可配置完成后，我們打開ODI Studio的界面，為剛才創(chuàng)建的代理，配置物理代理編輯代理頁面，輸入代理的名稱。注意，這里的物理代理名稱必須與之前創(chuàng)建的代理名稱相同，同時(shí)地址與端口號(hào)也需要保持一致。接下來為物理代理配置邏輯代理，如下圖至此，所有的配置工作已經(jīng)，全部完成，接下來我們來啟動(dòng)這個(gè)代理進(jìn)入先前創(chuàng)建的domain目錄下，打開bin文件夾可以看到agent.cmd文件，我們來運(yùn)行它可以看到，命令行提示代理程序已經(jīng)啟動(dòng)，那么我們進(jìn)入ODI studio測試一下代理看看可以看到測試成功，說明之前的配置都已經(jīng)生效了。至此，ODI 12C的 Collocated Standalone Agent完全配置成功了。十三、創(chuàng)建ODI控制臺(tái)1、進(jìn)入ODI安裝目錄，運(yùn)行config.cmd 文件2、odi_domain 為域的名字可以根據(jù)自己的需求更改。如你已新建ODI域的話， 可以選擇更新現(xiàn)有域，選擇對(duì)應(yīng)的域，即可編輯域，這里我選擇創(chuàng)建新域。3、選上Oracle Enterprise Manager Plugin