體系結(jié)構(gòu),倉(cāng)庫(kù),工具ETL工具在構(gòu)建的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中的運(yùn)用

1、ETL 工具在構(gòu)建完整的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中的運(yùn)用1 數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)ETL 工具、元數(shù)據(jù)、訪問(wèn)工具、數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)管理等。通過(guò)對(duì)多個(gè)異構(gòu)數(shù)(1;(2;(3)依賴型數(shù)據(jù)集市和操作型數(shù)據(jù)存儲(chǔ)：完整的數(shù)據(jù)數(shù)據(jù)系統(tǒng);實(shí)現(xiàn)各種復(fù)雜的數(shù)據(jù)轉(zhuǎn)換處理;提供多層次的數(shù)據(jù)訪問(wèn);滿足多部門(mén)的即獨(dú)立又交 ;(4)邏輯型數(shù)據(jù)集市和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)：沒(méi)有獨(dú)立的數(shù)據(jù)集市，體現(xiàn)數(shù)據(jù)加工的實(shí)時(shí)性。數(shù)據(jù)倉(cāng)庫(kù)的ETLETL 過(guò)程是數(shù)據(jù)加工處理過(guò)程的統(tǒng)稱，包括三個(gè)部分：抽取、轉(zhuǎn)換和加載。它的目的是為決策支持應(yīng)用提供一個(gè)單一的、權(quán)威的數(shù)據(jù)源。數(shù)據(jù)倉(cāng)庫(kù)的 ETL 過(guò)程是整個(gè)系統(tǒng)實(shí)施的關(guān)鍵環(huán)節(jié)，關(guān)系到數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)成效。無(wú)論從理論上還是

2、從實(shí)踐上來(lái)說(shuō)，運(yùn)用ETL 工具是一個(gè)必需的、明智的選擇。文章以O(shè)racle 公司的軟件產(chǎn)品ODI11g 來(lái)講解。ETLODSETL具有抽取、轉(zhuǎn)換、加載的處理，但是它們的側(cè)重點(diǎn)還是有區(qū)別的。(1)源數(shù)據(jù)系統(tǒng)到 ODSODS，重點(diǎn)是(2)ODS(3應(yīng)對(duì)。數(shù)據(jù)抽取(1ODI 工具中，編制一個(gè)接口，指定源表和目標(biāo)表，確定LKM 和 IKM(2ODI 工具內(nèi)置的變化數(shù)據(jù)捕獲機(jī)制(CDC)能有效地解決這個(gè)問(wèn)題。實(shí)現(xiàn)思路如下：為源表指定日記知識(shí)模塊 JKM;將源表添加到CDCIKM。此外，還可以通過(guò)編制ODI 過(guò)程代碼來(lái)利用現(xiàn)有的物化視圖實(shí)現(xiàn)增量更新。數(shù)據(jù)轉(zhuǎn)換;ODI 工具中，編寫(xiě)接口時(shí)，增加連接維度對(duì)照表

3、，增加字段映射。數(shù)據(jù)表的合并：業(yè)務(wù)系統(tǒng)中可能存在同一事件信息存儲(chǔ)于不同的數(shù)據(jù)表中的情況。ETLODI 接口實(shí)現(xiàn)，但是不可避免地存在數(shù)據(jù)完整性風(fēng)險(xiǎn)，且編制繁瑣、執(zhí)行效率低下。建議采用多個(gè)源數(shù)據(jù)集來(lái)實(shí)現(xiàn)， 思路如下：在ODILKMIKM。月報(bào)、季報(bào)和年報(bào)。由于ODI 11G 版本中限定每一個(gè)接口只能有一個(gè)目標(biāo)數(shù)據(jù)存儲(chǔ)，所以必a.編制多個(gè)接口，封裝在一個(gè)程序包b.改造標(biāo)準(zhǔn) IKM，添加插入數(shù)據(jù)步驟。步驟如下：編制普通的ODI 接口，實(shí)現(xiàn)一個(gè)目標(biāo)表的加工;模擬執(zhí)行接口，并分析IKM，并編輯，按照原目標(biāo)表語(yǔ)句增加其余IKMIKM 需要一定的技術(shù)儲(chǔ)備，且增加了項(xiàng)目的整體復(fù)雜度。2 個(gè)接口，利用臨時(shí)表存儲(chǔ)最新操作時(shí)間或最大操作序號(hào)，然后再關(guān)聯(lián)源表數(shù)據(jù)，最后將2 個(gè)接口依次導(dǎo)入程序包。bIKM 接口， 21數(shù)據(jù)加載ODI 處理并不能自動(dòng)生成該主鍵。為此，改造IKM 來(lái)實(shí)現(xiàn)這個(gè)重要功能：選擇適當(dāng)?shù)腎KM，為其增加一個(gè)選IKM項(xiàng)欄次中勾選新增選項(xiàng)。此方法的原理是通過(guò)一個(gè)自定義選項(xiàng)來(lái)控制IKM 的邏輯判斷，由用戶通過(guò)配