BI商務(wù)智能入門資料.doc

2009/2/20資料整理篇 | kakapisoftbi商務(wù)智能入門資料關(guān)鍵字: data-etl-dw-dm/olap-report olap 1. 目錄1.bi概論12.聯(lián)機(jī)事務(wù)處理oltp13.etl工具介紹:2mssql-server的dts etl工具介紹3informatica etl工具介紹5oracle warehouse builder工具介紹8etl開源工具kitchen介紹144.數(shù)據(jù)倉庫（data warehouse dw）的架構(gòu)185.數(shù)據(jù)集市 data mart186.數(shù)據(jù)挖掘data mining（dm）20數(shù)據(jù)挖掘的起源20數(shù)據(jù)挖掘能做什么20數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則22數(shù)據(jù)挖掘技術(shù)實現(xiàn)26數(shù)據(jù)挖掘與數(shù)據(jù)倉庫融合發(fā)展26統(tǒng)計學(xué)與數(shù)據(jù)挖掘27數(shù)據(jù)挖掘相關(guān)的10個問題297.聯(lián)機(jī)分析處理olap35作用35起源36分類36olap的發(fā)展背景37聯(lián)機(jī)分析處理的特點(diǎn)38olap邏輯概念和典型操作39olap系統(tǒng)的體系結(jié)構(gòu)和分類39聯(lián)機(jī)分析處理的實現(xiàn)方式41主要olap廠商產(chǎn)品介紹45olap產(chǎn)品47olap mdx語言488.其他工具1sap1ibm1microstrategy1cognos1sas1microsoft1oracle2sybase iq3161. bi概論bi并不是一項新技術(shù)，它將數(shù)據(jù)倉庫(dw)、聯(lián)機(jī)分析處理(olap)、數(shù)據(jù)挖掘(dm)等技術(shù)與客戶關(guān)系管理（crm）等結(jié)合起來 應(yīng)用于商業(yè)活動實際過程當(dāng)中，實現(xiàn)了技術(shù)服務(wù)于決策的目的；mark hammond從管理的角度看待bi，認(rèn)為bi是從“根本上幫助你把公司的運(yùn)營數(shù)據(jù)轉(zhuǎn)化成為高價值的可以獲取的信息（或者知識），并且在恰當(dāng)?shù)臅r間通過恰 當(dāng)?shù)氖侄伟亚‘?dāng)?shù)男畔鬟f給恰當(dāng)?shù)娜恕薄ata-etl-dw-dm/olap-report olap(essbase,expserver,cognos)基本流程圖：2. 聯(lián)機(jī)事務(wù)處理oltp 聯(lián)機(jī)分析處理 (olap) 的概念最早是由關(guān)系數(shù)據(jù)庫之父e.f.codd于1993年提出的，他同時提出了關(guān)于olap的12條準(zhǔn)則。olap的提出引起了很大的反響，olap作為一類產(chǎn)品同聯(lián)機(jī)事務(wù)處理 (oltp) 明顯區(qū)分開來。 當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機(jī)事務(wù)處理oltp（on-line transaction processing）、聯(lián)機(jī)分析處理olap（on-line analytical processing）。oltp是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。olap是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支 持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。 olap是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進(jìn)行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。olap的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求,它的技術(shù)核心是維這個概念。3. etl工具介紹:etl的定義：將數(shù)據(jù)抽?。╡xtract）、轉(zhuǎn)換（transform）、清洗（cleansing）、裝載（load）的過程。它是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。數(shù)據(jù)倉庫是面向主題 的、集成的、穩(wěn)定的且隨時間不斷變化的數(shù)據(jù)集合，用以支持經(jīng)營管理中的決策制定過程。數(shù)據(jù)倉庫系統(tǒng)中有可能存在著大量的噪聲數(shù)據(jù),引起的主要原因有：濫用 縮寫詞、慣用語、數(shù)據(jù)輸入錯誤、重復(fù)記錄、丟失值、拼寫變化等。即便是一個設(shè)計和規(guī)劃良好的數(shù)據(jù)庫系統(tǒng)，如果其中存在著大量的噪聲數(shù)據(jù)，那么這個系統(tǒng)也是 沒有任何意義的，因為“垃圾進(jìn)，垃圾出”（garbage in, garbage out），系統(tǒng)根本就不可能為決策分析系統(tǒng)提供任何支持。為了清除噪聲數(shù)據(jù)，必須在數(shù)據(jù)庫系統(tǒng)中進(jìn)行數(shù)據(jù)清洗。目前有不少數(shù)據(jù)清洗研究和etl研究，但是 如何在etl過程中進(jìn)行有效的數(shù)據(jù)清洗并使這個過程可視化，此方面研究不多。etl為數(shù)據(jù)倉庫服務(wù)，數(shù)據(jù)倉庫用于數(shù)據(jù)分析，數(shù)據(jù)分析屬于bi系統(tǒng)的要干的事兒。 一般中/小型erp系統(tǒng)都會有不成熟的bi系統(tǒng)，為啥叫做不成熟？ 因為它們或者有報表分析功能，但不具有olap(在線分析)，或者有olap，但卻沒有數(shù)據(jù)挖掘和深度分析?；蛘吒纱?，來個大集成，直接利用第三方工具來達(dá)到相應(yīng)的目的。 為什么會這樣，究其原因，很多情況是因為沒有自主的數(shù)據(jù)倉庫，沒有數(shù)據(jù)倉庫，其它的做起來也就有些四不象了。而要建立數(shù)據(jù)倉庫，首要的是：etl。 于是，需求就應(yīng)運(yùn)而生了。 對了，bi是什么？olap是啥？什么又是數(shù)據(jù)挖掘？鑒于我只能解釋其表面含義，我就不多說了。各位不妨找本數(shù)據(jù)倉庫的書，翻翻前幾頁，一般就明白了?；蛘遟oogle一把。 我們撿當(dāng)下最流行的bi應(yīng)用：olap來說說它與etl的關(guān)系。 了解olap的人都知道，它的分析模型由事實表和維表組成。但往往oltp系統(tǒng)中的數(shù)據(jù)庫是為事務(wù)而建，而并不為分析而建，而為了bi去改動oltp數(shù)據(jù) 庫是不現(xiàn)實，并且，很多情況下也基本上是不可能的(當(dāng)然，有些公司把不可能的任務(wù)變成可能的，但這顯然是一種很僵硬的做法)。 這時候，etl的作用就顯出來了，它可以為olap服務(wù)，按業(yè)務(wù)主題提取分析模型進(jìn)行數(shù)據(jù)抽取。 (olap分析需要什么樣的數(shù)據(jù)支持？可以參看一下olap的星型模型)。 再說說數(shù)據(jù)挖掘： 這個課題實在太大，相關(guān)的書藉有很多很多，我還得花時間慢慢去學(xué)習(xí)。簡單的說，這涉及erp業(yè)務(wù)和統(tǒng)計學(xué)的知識?，F(xiàn)在我暫時還沒開始相關(guān)學(xué)習(xí)，但它與 etl的關(guān)系卻很明顯。因為數(shù)據(jù)挖掘所要求的數(shù)據(jù)大都是高聚合的已處理的數(shù)據(jù)，所以，不管從獲取難度和效率上來說，都不適合直接從oltp中獲取。 同樣，需要etl來幫忙。 因此，按本人粗淺的理解： etl實在是： bi系統(tǒng) 設(shè)計開發(fā)，項目實施 之必備良藥！ 有句名言講得好：成為巨人不如站在巨人的肩膀上。 如果想對etl有詳盡的了解，不妨先了解一下現(xiàn)有流行的etl工具。 mssql-server的dts etl工具介紹 對于mssql-server的dts，在使用ms sql-server2000時，有最基本的接觸，但僅限時簡單的數(shù)據(jù)導(dǎo)入/導(dǎo)出。當(dāng)開始了解etl時，才發(fā)現(xiàn)dts原來就是etl的應(yīng)用之一。 先不談?wù)揹ts的好壞，但它至少ms產(chǎn)品的特點(diǎn)，易學(xué)，易用。所以，要了解etl的應(yīng)用，從dts開始，在我看來，是個不錯的選擇。我只是學(xué)習(xí)，所以我沒 有能耐去評價它，下面，只能講dts的功能一一列舉出來，可能這些與sql-server的聯(lián)機(jī)幫助有些重復(fù)，但對我來說，是一個加深記憶的方法。 一：概念 自完全不同源的數(shù)據(jù)析取、轉(zhuǎn)換并合并到單個或多個目的。主要應(yīng)用于企業(yè)數(shù)據(jù)倉庫的數(shù)據(jù)抽取過程，完成從源數(shù)據(jù)庫/文件到數(shù)據(jù)倉庫的抽取和轉(zhuǎn)換過程。 看看，這不就是etl要做的事兒。 二：特征 2.1：基于ole db，很方便從不同的數(shù)據(jù)源復(fù)制和轉(zhuǎn)換數(shù)據(jù)。 是了，ms總是首要支持自已的其它產(chǎn)品，所以，它選擇了最通用的windows的標(biāo)準(zhǔn)。 2.2：有圖形化設(shè)計器，也可通過編程二次開發(fā)。 這也是ms的長項，并且能把其它的東西一股腦兒的集成進(jìn)來。 2.3：執(zhí)行效率高于普通ado(sql)操作 據(jù)說是這樣地，我做過簡單的比較，確實不是一個數(shù)量級，原理呢？估計可能有較多特殊處理，比如批量插入bcp，傳輸前的數(shù)據(jù)壓縮等技術(shù)，當(dāng)然，這只是我的猜測。 2.4：可調(diào)度。 這對于windows系統(tǒng)，那很容易了，可以利用現(xiàn)成的系統(tǒng)級調(diào)度。 三：詳細(xì) 來說點(diǎn)詳細(xì)的東東，當(dāng)然，這里的詳細(xì)并不指全部，實際上，我也只能挑出比較有代表性的功能點(diǎn)列舉一下，要是全部，那還不如抄襲聯(lián)機(jī)幫助了。 3.1：包最小的可調(diào)度單元 包是基本任務(wù)，由工作流連接而成。包可以嵌套(包中的單個任務(wù)可以是執(zhí)行另一個已存在的包)。 包是調(diào)度的直接管理對象，嵌套包保證包任務(wù)的重用。 3.2：任務(wù)最小的工作流連接單元 分為以下幾種任務(wù)： 導(dǎo)出和導(dǎo)入數(shù)據(jù)任務(wù)、轉(zhuǎn)換任務(wù)、復(fù)制數(shù)據(jù)庫對象、郵件/消息發(fā)送、transact-sql 語句或 microsoft activex® 腳本執(zhí)行包、采用com自定義任務(wù)。 其中，最常用的應(yīng)該是普通轉(zhuǎn)換任務(wù)。這等同于etl中的t。 3.3：數(shù)據(jù)連接定義數(shù)據(jù)源和目的地 分為以下幾種： 標(biāo)準(zhǔn)數(shù)據(jù)庫（如 microsoft sql server 2000、microsoft access 2000、oracle、dbase、paradox）；與 odbc 數(shù)據(jù)源的 ole db 連接；microsoft excel 2000 電子表格數(shù)據(jù)；html 源；以及其它 ole db 提供程序 文件連接數(shù)據(jù)鏈接連接(比較特殊) 注意：sql-server作為windows應(yīng)用產(chǎn)品，dts自然也不支持java。 對于標(biāo)準(zhǔn)數(shù)據(jù)庫是最基本的應(yīng)用，易于實現(xiàn)。文件連接涉及格式定義，還不算復(fù)雜。 3.4：轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換，指列進(jìn)行，有多種方式： 3.4.1：簡單復(fù)制方式。 3.4.2：簡單轉(zhuǎn)換(如，數(shù)據(jù)格式化，取字符串子串等) 3.4.3：activex腳本(實際上是vbscript和javascript) 3.4.4：調(diào)用自定的com對象進(jìn)行轉(zhuǎn)換。 通常會采用一二方式。如果要將dts集成到你的應(yīng)用中，可以第三種方式。 3.5：工作流 工作流包括成功，失敗，完成。工作流支持腳本控制?？删幊炭刂啤?工作流方式對于純數(shù)據(jù)抽取意義不大，但是考慮到任務(wù)包含收發(fā)郵件，信息，上/下傳文件，那就有必要了。當(dāng)然，你也可以將這些任務(wù)單獨(dú)提出到應(yīng)用端執(zhí)行，而不采用dts中的任務(wù)。 3.6：元數(shù)據(jù) 元數(shù)據(jù)方式更多的留備擴(kuò)展，最基礎(chǔ)的應(yīng)用是用來預(yù)定義數(shù)據(jù)表。 3.7：數(shù)據(jù)驅(qū)動的查詢?nèi)蝿?wù)(一種特珠的轉(zhuǎn)換方式) 一種很特殊的轉(zhuǎn)換方式，支持參數(shù)。這里，單獨(dú)把它提出來，因為它不是那么容易理解，我花了一些時間，才將其弄明白。 3.7.1：根據(jù)源數(shù)據(jù)的特征決定之后的查詢方式(指增，刪，改，查詢操作)。 3.7.2：支持參數(shù)，參數(shù)通過定義綁定表來關(guān)聯(lián)，通過定義轉(zhuǎn)換腳本，可以計算出綁定列參數(shù)。 3.7.3：轉(zhuǎn)換時可以定義批量處理。 3.7.4：轉(zhuǎn)換支持多階段抽取，可以定義階段代碼，階段分為：行轉(zhuǎn)換，轉(zhuǎn)換失敗，插入成功，插入失敗，批處理完成，抽取完成。 此種應(yīng)用異常復(fù)雜，應(yīng)屬高級應(yīng)用。簡單的看，當(dāng)轉(zhuǎn)換任務(wù)需要根據(jù)數(shù)據(jù)源來確定動作，這是非常有用的。比如你的應(yīng)用存在多表存儲，就可能根據(jù)表內(nèi)的時間來確定之后的動作，達(dá)到數(shù)據(jù)分多表存儲的目的。 3.8： 查找查詢 作為轉(zhuǎn)換數(shù)據(jù)任務(wù)和數(shù)據(jù)驅(qū)動的查詢?nèi)蝿?wù)的一種功能。 查找查詢使您得以對源和目的之外的其它連接運(yùn)行查詢和存儲過程。例如，通過使用查找查詢，可以在查詢過程中進(jìn)行單獨(dú)的連接，并在目的表中包括來自連接的數(shù)據(jù)。 作為一種擴(kuò)充功能，實現(xiàn)更復(fù)雜的查詢操作。 3.9：多任務(wù)支持事務(wù)處理 除了順序執(zhí)行，可以進(jìn)行并行執(zhí)行步驟，且支持檢查點(diǎn)回滾。 當(dāng)然，任務(wù)的事務(wù)仍然依賴于數(shù)據(jù)源所在所據(jù)庫是否支持事務(wù)。一般情況下，順序執(zhí)行已經(jīng)可以滿足抽取需求。 好了，不管對錯，還是說說我的看法： 首先：dts中抽取流程定義比較清晰，數(shù)據(jù)轉(zhuǎn)換功能豐富，可視的設(shè)計工具強(qiáng)大，有一定的可擴(kuò)展性(com定制，腳本支持)。 但是：但學(xué)習(xí)下來，隱隱約約覺得它有ms產(chǎn)品的通病，就是大而全，如果進(jìn)行小型應(yīng)用的集成，它是很方便和夠用的，但如果要在大型項目中集成dts，它提供的二次開發(fā)方式，就顯得有些散亂，缺少一個總體的框架指導(dǎo)。當(dāng)然，這可能與它的定位有關(guān)。informatica etl工具介紹一、總體概述 etl 包括 extract 、 transform 、 cleaning 和 load ，它是用于從生產(chǎn)庫中提取數(shù)據(jù)到數(shù)據(jù)倉庫中，再由具體的報表、統(tǒng)計、分析工具對數(shù)據(jù)倉庫的內(nèi)容進(jìn)行分析，分析出自己所需要的數(shù)據(jù)。 其中 etl 培訓(xùn)的內(nèi)容是如何利用 informatic powercenter 把源數(shù)據(jù)庫的內(nèi)容提取存放到目標(biāo)數(shù)據(jù)庫中。主要 informatic 主要包括四個部分： client ， reposity server ， reposity database 和 informatic server 每個部分實現(xiàn)自己的功能。 二、系統(tǒng)體系結(jié)構(gòu) 此部分介紹了 informatic etl 工具包括的主要內(nèi)容。 1.client informatic client 主要有五個部分。 client 可以和 reposity 分離，通過 tcp/ip 連接，連接到遠(yuǎn)程的 reposity server 。 2. reposity manager 主要用于進(jìn)行一個 reposity 庫的管理，當(dāng)用戶使用 client 工具登錄一個 reposity 服務(wù)器之后，進(jìn)行文件夾權(quán)限的創(chuàng)建，用戶權(quán)限、密碼的管理等。 3. designer 主要是進(jìn)行數(shù)據(jù)抽取的轉(zhuǎn)換工具的設(shè)計，主要是 mapping 的設(shè)計、設(shè)計源數(shù)據(jù)庫的結(jié)構(gòu)，目標(biāo)數(shù)據(jù)庫的結(jié)構(gòu)，然后設(shè)計把源數(shù)據(jù)導(dǎo)入到目標(biāo)數(shù)據(jù)庫中，所需要進(jìn)行的轉(zhuǎn)換操作（ transformation ）。 同一個 reposity 的 folder 之間可以建立 shortcut 方式，多個 reposity 的 folder 之間只能做拷貝。 4. workflow manager 主要用于流程任務(wù)（ workflow task ）的設(shè)計。 進(jìn)行任務(wù)流程的設(shè)計、每一個 tast 針對一個 session ，一個 session 針對一個 mapping ，其中 workflow 中的 folder 和 designer 中的 folder 相對應(yīng)的關(guān)系。一版來說，用戶都是建立自己的 folder 。 5. workflow monitor 主要進(jìn)行流程運(yùn)行、及任務(wù)運(yùn)行時的流程運(yùn)行情況跟蹤?？梢愿櫲罩?。包括 session 日志和 workflow 日志，可以設(shè)置生成日志的循環(huán)個數(shù)。分析 session 運(yùn)行是對源數(shù)據(jù)庫的數(shù)據(jù)抽出信息和對目標(biāo)數(shù)據(jù)庫的更新信息。 6. reposity server application console 主要進(jìn)行 reposity 的管理，包括 reposity server 的 start ， shutdown 操作。進(jìn)行 reposity 庫的 backup 、 restore 等操作，進(jìn)行 reposity 庫級別的管理，級別較高。 7. reposity server reposity server 是為客戶端服務(wù)的，客戶端可以和各種 client 不在一臺服務(wù)器上。關(guān)于數(shù)據(jù)抽取的設(shè)計成果轉(zhuǎn)換成為 xml 格式的源數(shù)據(jù)，都是通過 reposity server 存放到 reposity database server 上的。8. reposity database server 用于存放的是進(jìn)行 etl 設(shè)計的元數(shù)據(jù)?？梢灾С指黝惖臄?shù)據(jù)庫。方式為數(shù)據(jù)庫中用戶的一個表目錄和用戶關(guān)系即可。 reposity database 可以和 reposity server 不安裝在一臺服務(wù)器。如果在一臺機(jī)器上， server 通過 native 方式連接到 database ，如果不在一臺及其上，需要在 database 上安裝一個 reposity agent ，用戶通過 agent ，以 native 方式連接到 reposity 數(shù)據(jù)庫，然后 reposity agent 再以 tcp/ip 方式連接到 reposity server 。 9.informatic server informatic server 是實際執(zhí)行數(shù)據(jù)抽取任務(wù)的運(yùn)行環(huán)境。即 workflows 、 task 、 sessions 等。它是根據(jù)定義的 workflow 元數(shù)據(jù)庫，然后在自己的實際環(huán)境中，執(zhí)行數(shù)據(jù)抽取操作。三、系統(tǒng)組件功能 informatic 的功能主要體現(xiàn)在 designer 和 workflow manager 上，其中 designer 實現(xiàn)的是對數(shù)據(jù)抽取的數(shù)據(jù)轉(zhuǎn)換方式設(shè)計，以及效率設(shè)計目標(biāo)等。而在 workflow manager 中再把具體的數(shù)據(jù)轉(zhuǎn)換方式應(yīng)用到一個具體的工作任務(wù)中，包括目標(biāo)庫、源庫的選擇，以及一條具體的執(zhí)行任務(wù)的屬性設(shè)置等等。包括任務(wù)的 insert 、 truncate 、 delete 、 increment insert 等。 1.designer 組件 （ 1 ）工作區(qū) 在 designer 中，涉及到的工作區(qū)主要包括有 source analyzer 、 warehouse designer 、 transformation designer 、 mapplet designer 和 mapping designer 。 其中每個工作區(qū)的功能分別介紹： source analyzer ： source analyzer 的功能是實現(xiàn)對源數(shù)據(jù)庫表的設(shè)計，可以手工的進(jìn)行源數(shù)據(jù)庫的設(shè)計，一般都是通過從 flat file 或者 relation dbms 中導(dǎo)入數(shù)據(jù)庫的表結(jié)構(gòu)。 xls 文件結(jié)構(gòu)。 warehouse designer 用于設(shè)計目標(biāo)數(shù)據(jù)庫庫的結(jié)構(gòu)，可以利用手工設(shè)計，也可以利用 import 工具導(dǎo)入導(dǎo)一個 warehouse 的結(jié)構(gòu)。 transformation designer 用戶設(shè)計可重用的 transformation 組件，這里的組件，在一個 folder 里面都是可以重用的，而且以 shortcut 的方式使用。 transformation 組件的修改，會直接反映到使用此 transformation 的 mapping 中。 mpplet 設(shè)計可以重用的多個組件，只要有 output 組件，可以有 input 組件，也可以沒有 input 組件，實現(xiàn)的功能就和一個 expression 的功能類似，實現(xiàn)功能。 mapping designer 實現(xiàn)的功能是設(shè)計具體進(jìn)行抽取數(shù)據(jù)的 mapping ，這些 mapping 應(yīng)用到一個 workflow 中，形成了 workflow 的一個 session （ task ）。 （ 2 ） 組件功能 支持多種語言開發(fā)：c、c+、javaetl 支持的組件主要包括兩類： active 組件和 passive 組件，其中 active 組件是對輸入記錄集在輸出時個數(shù)有變化的組件， passive 組件，輸入的記錄集，輸出時記錄集的個數(shù)不發(fā)生改變。 informatic 提供的組件包括： (1) source qualifier: reads data from flat file & relational sources (2) expression: performs row-level calculations (3) filter: drops rows conditionally (4) sorter: sorts data (5) aggregator: performs aggregate calculations (6) joiner: joins heterogeneous sources (7) lookup: looks up values and passes them to other objects (8) update strategy: tags rows for insert, update, delete, reject (9) router: splits rows conditionally (10) sequence generator: generates unique id values (11) normalizer:izes records from relational or vsam sources (12) rank: filters the top or bottom range of records (13) union : merges data from multiple pipelines into one pipeline (14) transaction control: allows user-defined commits (15) stored procedure: calls a database stored procedure (16) external procedure : calls compiled code for each row (17) custom: calls compiled code for multiple rows (18) midstream xml parser: reads xml from database table or message queue (19) midstream xml generator: writes xml to database table or message queue 每一類組件都有自己獨(dú)特的功能和特點(diǎn)，這里介紹主要的組件包括上述紅色的內(nèi)容。每一種組件的詳細(xì)功能這里不詳細(xì)介紹。 2.workflow 組件 workflow 是對執(zhí)行任務(wù)的執(zhí)行進(jìn)行控制，可以在執(zhí)行時對執(zhí)行的任務(wù)進(jìn)行傳參數(shù)進(jìn)行傳入，這樣就能在執(zhí)行的時候把數(shù)據(jù)庫表進(jìn)行動態(tài)的設(shè)置。 可以在執(zhí)行的時候選擇參數(shù)文件，對 mapping 、 workflow 中的 session 的參數(shù)進(jìn)行傳入。達(dá)到動態(tài)執(zhí)行的目的。 workflow 中定義 workflow 、 session 等任務(wù)，對這些任務(wù)的執(zhí)行進(jìn)行管理控制。 四、補(bǔ)充說明 source qualifier 支持同構(gòu)數(shù)據(jù)源的連接，衣鉤數(shù)據(jù)源的連接通過 n-1 個 jointer 組件實現(xiàn)。 lookup 為 passive 組件，查出的多條記錄集，要么取 first ，或者 last ，或者報錯。 lookup 可以時動態(tài) / 靜態(tài) ，可以 connected/unconnect 。oracle warehouse builder工具介紹oracle warehouse builder，常簡稱為owb，能夠?qū)o格式結(jié)構(gòu)的平面文件(flat file)加載到數(shù)據(jù)庫的過程自動化。許多數(shù)據(jù)庫管理員對sql*loader工具和shell腳本的混合使用非常熟悉，再加上在各個不同的地方進(jìn)行一些cron配置就可以完成數(shù)據(jù)加載的過程。owb也能夠完成這樣的任務(wù)(而且還有更多的功能)，通過提供一個向?qū)?qū)動兼?zhèn)浯罅繑帱c(diǎn)和觀查點(diǎn)提示及點(diǎn)擊功能的圖形用戶界面來完成這一過程。通過其“設(shè)計中心”和“控制中心”界面，用戶可以設(shè)計并部署etl過程(本文重點(diǎn)關(guān)注其中的加載過程，也就是將分隔數(shù)值的平面文件內(nèi)容加載到一個表，而且在加載的過程中數(shù)據(jù)不發(fā)生改變)。此外，etl的部署不局限于你當(dāng)前正在工作的服務(wù)器，owb讓你能夠在一臺服務(wù)器上設(shè)計etl過程，然后將設(shè)計的步驟部署到另一臺服務(wù)器上，如果你想要，還可以部署到更多的服務(wù)器上。這個操作背后的整個程序是怎樣一個概念呢?我們來看看要完成整個操作需要進(jìn)行的步驟，也許能夠幫你理清大概的框架：1. 指定源文件，包括文件所在位置及其性質(zhì)。2. 創(chuàng)建一個外部表，作為數(shù)據(jù)字典的存儲器。3. 確認(rèn)數(shù)據(jù)庫中“真實”表，如有需要創(chuàng)建該表。4. 在有計劃的基礎(chǔ)上進(jìn)行整個過程，或一次性完成整個處理過程。owb對這個過程的處理方法是利用與這些對象相關(guān)的元數(shù)據(jù)(metadata)，通過設(shè)計映射和進(jìn)程流(也稱為過程流)來綁定他們。事實上，可以將進(jìn)程流作為一個可視化假象進(jìn)行創(chuàng)建，也就是說，owb實際所使用的工作流只是owb生成的一個進(jìn)程流模式圖，不過這個模式圖足以當(dāng)作工作流來使用。把這個過程的每一部分都當(dāng)作一個對象來考慮：文件、文件的位置、外部表、真實表、將flat文件映射到外部表的過程、最后運(yùn)行的作業(yè)等等。所有的這些都是對象，而這些對象都可以通過層級和依賴性將這些對象綁定起來。每個對象類型都存在一個模塊當(dāng)中。由于這個工具是基于java語言的，所以面向?qū)ο蟮脑O(shè)計是可行的。一般來說，每個對象都是一個實例或者是通過某種方法實例化的對象。過程一個典型的etl過程模式包括在循環(huán)的基礎(chǔ)上加載一個平面文件(你也可以只執(zhí)行其中的映射部分)。如果你將該過程分解為涉及項目樹不同部分的若干步驟，那么就很容易搞清楚整個任務(wù)了。一個項目的開始，首先需要在oracle下創(chuàng)建一個一個模塊。提示大家，要記住幾乎每一個類別都涉及到相同的兩個步驟：創(chuàng)建模塊和導(dǎo)入元數(shù)據(jù)。而且抽樣并不總是基于同一個表。下圖顯示了一個展開的項目樹：按照我們想要構(gòu)建etl過程的步驟，在項目樹里涉及到的項目領(lǐng)域是：文件(files) 外部表(external tables) 表(tables) 映射(mappings)一旦完成映射的步驟，你就需要下拉到進(jìn)程流(process flows)和調(diào)度(schedules)在計劃瀏覽器面板的“文件(files)”項目下創(chuàng)建一個新模塊，指定數(shù)據(jù)源文件的位置，如下圖所示：完成“創(chuàng)建模塊”步驟并進(jìn)入到“導(dǎo)入元數(shù)據(jù)向?qū)А薄＿@里你如果告訴owb需要加載的內(nèi)容是平面文件時，就會啟動“平面文件抽樣向?qū)А保瓿善矫嫖募Y(jié)構(gòu)的定義。記住要給日期字段添加日期格式。當(dāng)指定平面文件并對其抽樣后，就可以準(zhǔn)備創(chuàng)建關(guān)于外部表的元數(shù)據(jù)了?！捌矫嫖募闃酉?qū)А钡牡谝粋€步驟如下圖所示：驟如下圖所示：圖三當(dāng)要確定字段分隔符時，你除了可以從下拉表中選擇向?qū)峁┑姆指舴?，還可以手動輸入其他的分隔符。一旦完成了外部表定義，你就可以馬上部署外部表，并在目標(biāo)架構(gòu)中創(chuàng)建該表。下一步，我們就要創(chuàng)建表了。如果要從頭開始創(chuàng)建表，就打開“數(shù)據(jù)對象編輯器”進(jìn)行表的設(shè)計。確保列定義和外部表相應(yīng)的列定義相匹配。最好首先部署外部表，然后在sql*plus中通過ctas從外部表(只是表定義，并非數(shù)據(jù))創(chuàng)建表。接下來的步驟就是將外部表的內(nèi)容映射到真實表。創(chuàng)建一個新映射，并如下圖所示映射相關(guān)列。圖四部署該映射，如果部署成功的話，這時候你就可以手動運(yùn)行(開始)從外部表將數(shù)據(jù)加載到真實表。通過進(jìn)入“控制中心”可以核實并查看該過程的運(yùn)行，如下圖所示。圖五如果想要將這個進(jìn)程流自動化進(jìn)行，就需要創(chuàng)建一個新的“進(jìn)程模塊”。創(chuàng)建進(jìn)程流模塊、程序包和進(jìn)程流，然后進(jìn)入到“進(jìn)程編輯器”。添加映射操作，執(zhí)行結(jié)果如下圖所示：圖六一旦完成了進(jìn)程流模式圖，我們就可以創(chuàng)建一個新的調(diào)度，調(diào)度應(yīng)當(dāng)是通用的，也就是說不能與任何東西綁定。你必須要回到映射步驟，將映射與調(diào)度關(guān)聯(lián)起來。一旦部署了調(diào)度，那么就可以將上述的平面文件加載過程自動化了。etl開源工具kettle介紹 現(xiàn)在是一個google的時代，而對于開發(fā)者，開源已成為最重要的參考書。對于某課題，不管你是深入研究還是初窺門徑。估且google一把，勾一勾同行的成就，你必會獲益良多。 說到etl開源項目，kettle當(dāng)屬翹首，項目名稱很有意思，水壺。按項目負(fù)責(zé)人matt的說法：把各種數(shù)據(jù)放到一個壺里，然后呢，以一種你希望的格式流出。呵呵，外國人都很有聯(lián)想力。 看了提供的文檔，然后對發(fā)布程序的簡單試用后，可以很清楚得看到kettle的四大塊：chef工作(job)設(shè)計工具 (gui方式) kitchen工作(job)執(zhí)行器 (命令行方式)spoon轉(zhuǎn)換(transform)設(shè)計工具 (gui方式)span轉(zhuǎn)換(trasform)執(zhí)行器 (命令行方式)文章出處：/course/7_databases/database_other/200855/113439.htmletl開源工具kitchen介紹說到etl開源項目，kettle當(dāng)屬翹首，因此，偶決定花點(diǎn)時間了解一下。 項目名稱很有意思，水壺。按項目負(fù)責(zé)人matt的說法：把各種數(shù)據(jù)放到一個壺里，然后呢，以一種你希望的格式流出。呵呵，外國人都很有聯(lián)想力。 看了提供的文檔，然后對發(fā)布程序的簡單試用后，可以很清楚得看到kettle的四大塊： chef工作(job)設(shè)計工具 (gui方式) kitchen工作(job)執(zhí)行器 (命令行方式) spoon轉(zhuǎn)換(transform)設(shè)計工具 (gui方式) span轉(zhuǎn)換(trasform)執(zhí)行器 (命令行方式) 嗯，廚師已經(jīng)在廚房里，勺子和盤子一應(yīng)俱全，且看能做出如何的大餐？ 一：chef工作(job)設(shè)計器 這是一個gui工具，操作方式主要通過拖拖拉拉，勿庸多言，一看就會。 何謂工作？ 多個作業(yè)項，按特定的工作流串聯(lián)起來，開成一項工作。正如：我的工作是軟件開發(fā)。我的作業(yè)項是：設(shè)計、編碼、測試！先設(shè)計，如果成功，則編碼，否則繼續(xù)設(shè)計，編碼完成則開始設(shè)計，周而復(fù)始，作業(yè)完成。 來，看看chef中的作業(yè)項： 1.1： 轉(zhuǎn)換：指定更細(xì)的轉(zhuǎn)換任務(wù)，通過spoon生成。通過field來輸入?yún)?shù)。 1.2： sql：sql語句執(zhí)行， 1.3： ftp：下載ftp文件。 1.4： 郵件：發(fā)送郵件。 1.5： 檢查表是否存在， 1.6： 檢查文件是否存在， 1.7： 執(zhí)行shell腳本。如：dos命令。 1.8： 批處理。(注意：windows批處理不能有輸出到控制臺)。 1.9： job包。作為嵌套作業(yè)使用。 1.10：javascript執(zhí)行。這個比較有意思，我看了一下源碼，如果你有自已的script引擎，可以很方便的替換成自定義script，來擴(kuò)充其功能。 1.11：sftp：安全的ftp協(xié)議傳輸。 1.12：http方式的上/下傳。 好了，看看工作流： 如上文所述，工作流是作業(yè)項的連接方式。分為三種：無條件，成功，失敗。這個沒啥好說的，從名字就能知道它的意圖。嗯，為了方便工作流使用，提供了幾個輔助結(jié)點(diǎn)單元(你也可將其作為簡單的作業(yè)項)： 1：start單元，任務(wù)必須由此開始。設(shè)計作業(yè)時，以此為起點(diǎn)。 2：ok單元：可以編制做為中間任務(wù)單元，且進(jìn)行腳本編制，用來控制流程。 3：error單元：用途同上。 4：dummy單元：啥都不做，主要是用來支持多分支的情況。文檔中有例子，不再多說。 存儲方式： 支持xml存儲，或存儲到指定數(shù)據(jù)庫中。 一些默認(rèn)的配置(如數(shù)據(jù)庫存儲位置)，在系統(tǒng)的用戶目錄下，單獨(dú)建立了一個.kettle目錄，用來保存用戶的這些設(shè)置。 logview：可查看執(zhí)行日志。 二：kitchen作業(yè)執(zhí)行器 是一個作業(yè)執(zhí)行引擎，用來執(zhí)行作業(yè)。這是一個命令行執(zhí)行工具，沒啥可講的，就把它的參數(shù)說明列一下。 -rep : repository name 任務(wù)包所在存儲名 -user : repository username 執(zhí)行人 -pass : repository password 執(zhí)行人密碼 -job : the name of the job to launch 任務(wù)包名稱 -dir : the directory (dont forget the leading / or ) -file : the filename (job xml) to launch -level : the logging level (basic, detailed, debug, rowlevel, error, nothing) 指定日志級別 -log : the logging file to write to 指定日志文件 -listdir : list the directories in the repository 列出指定存儲中的目錄結(jié)構(gòu)。 -listjobs : list the jobs in the specified directory 列出指定目錄下的所有任務(wù) -listrep : list the defined repositories 列出所有的存儲 -norep : dont log into the repository 不寫日志 嗯，居然不支持調(diào)度。看了一下文檔，建議使用操作系統(tǒng)提供的調(diào)度器來實現(xiàn)調(diào)度，比如：windows可以使用它的任務(wù)計劃工具。 三：spoon轉(zhuǎn)換過程設(shè)計器 gui工作，用來設(shè)計數(shù)據(jù)轉(zhuǎn)換過程，創(chuàng)建的轉(zhuǎn)換可以由pan來執(zhí)行，也可以被chef所包含，作為作業(yè)中的一個作業(yè)項。 下面簡單列舉一下所有的轉(zhuǎn)換過程。(簡單描述，詳細(xì)的可見spoon文檔) 3.1：input-steps：輸入步驟 3.1.1：text file input：文本文件輸入， 可以支持多文件合并，有不少參數(shù)，基本一看參數(shù)名就能明白其意圖。 3.1.2：table input：數(shù)據(jù)表輸入 實際上是視圖方式輸入，因為輸入的是sql語句。當(dāng)然，需要指定數(shù)據(jù)源(數(shù)據(jù)源的定制方式在后面講一下) 3.1.3：get system info：取系統(tǒng)信息 就是取一些固定的系統(tǒng)環(huán)境值，如本月最后一天的時間，本機(jī)的ip地址之類。 3.1.4：generate rows：生成多行。 這個需要匹配使用，主要用于生成多行的數(shù)據(jù)輸入，比如配合add sequence可以生成一個指定序號的數(shù)據(jù)列。 3.1.5：xbase input： 3.1.6：excel input： 3.1.7：xml input： 這三個沒啥可講的，看看參數(shù)就明了。 3.2：output-steps： 輸出步聚 3.2.1：text file output：文本文件輸出。 這個用來作測試蠻好，呵呵。很方便的看到轉(zhuǎn)換的輸出。 3.2.2：table output：輸出到目的表。 3.2.3：insert/update：目的表和輸入數(shù)據(jù)行進(jìn)行比較，然后有選擇的執(zhí)行增加，更新操作。 3.2.4：update：同上，只是不支持增加操作。 3.2.5：xml output： 3.3：look-up：查找操作 database: stream： procedure： database join： 很簡單，看看參數(shù)就明白了。 3.4：transform 轉(zhuǎn)換 (嗯，重點(diǎn)) 3.4.1：select values： 對輸入的行記錄數(shù)據(jù) 的字段進(jìn)行更改 (更改數(shù)據(jù)類型，更改字段名或刪除) 數(shù)據(jù)類型變更時，數(shù)據(jù)的轉(zhuǎn)換有固定規(guī)則，可簡單定制參數(shù)?？捎脕磉M(jìn)行數(shù)據(jù)表的改裝。 3.4.2： filter rows： 對輸入的行記錄進(jìn)行 指定復(fù)雜條件 的過濾。 用途可擴(kuò)充sql語句現(xiàn)有的過濾功能。但現(xiàn)有提供邏輯功能超出標(biāo)準(zhǔn)sql的不多。 3.4.3：sort rows：對指定的列以升序或降序排序，當(dāng)排序的行數(shù)超過5000時需要臨時表。 3.4.4：add sequence：為數(shù)據(jù)流增加一個序列， 這個配合其它step(generate rows, rows join)，可以生成序列表，如日期維度表(年、月、日)。 3.4.5：dummy：不做任何處理，主要用來作為分支節(jié)點(diǎn)。 3.4.6：join rows：對所有輸入流做笛卡兒乘積。 3.4.7：aggregate：聚合，分組處理 3.4.8：group by：分組 用途可擴(kuò)充sql語句現(xiàn)有的分組，聚合函數(shù)。但我想可能會有其它方式的sql語句能實現(xiàn)。 3.4.9：java script value：使用mozilla的rhino作為腳本語言，并提供了很多函數(shù)，用戶可以在腳本中使用這些函數(shù)。 3.4.10. row normaliser：該步驟可以從透視表中還原數(shù)據(jù)到事實表， 通過指定維度字段及其分類值，度量字段，最終還原出事實表數(shù)據(jù)。 3.4.11. unique rows：去掉輸入流中的重復(fù)行 在使用該節(jié)點(diǎn)前要先排序，否則只能刪除連續(xù)的重復(fù)行。 3.4.12. calculator：提供了一組函數(shù)對列值進(jìn)行運(yùn)算， 所介紹，使用該方式比用戶自定義java script腳本速度更快。 3.4.13. merge rows：用于比較兩組輸入數(shù)據(jù)，一般用于更新后的數(shù)據(jù)重新導(dǎo)入到數(shù)據(jù)倉庫中。 3.4.14. add constants：增加常量值。 這個我沒弄明白它的用法？ 3.4.15. row denormaliser：同normaliser過程相反。 3.4.16. row flattener：表扁平化處理 指定需處理的字段和扃平化后的新字段，將其它字段做為組合key進(jìn)行扃平化處理。 3.5：extra：除了上述基本節(jié)點(diǎn)類型外還定義了擴(kuò)展節(jié)點(diǎn)類型 3.5.1：split fields， 按指定分隔符拆分字段 3.5.2：execute sql script，執(zhí)行sql語句 3.5.3：cube input， 3.5.4：cube output等。 這兩個沒明白是啥意思。 3.6：其它 存儲方式： 與chef相同。 數(shù)據(jù)源(connection)；見后。 hops：setp連接起來，形成hops。 plugin step types等節(jié)點(diǎn)：這個沒仔細(xì)看，不知如何制作plugin step。 logview：可查看執(zhí)行日志。 四：pan轉(zhuǎn)換的執(zhí)行工具 命令行執(zhí)行方式，可以執(zhí)行由spoon生成的轉(zhuǎn)換任務(wù)。 同樣，不支持調(diào)度。 參數(shù)與kitchen類似，可參見pan的文檔。 五：其它 connection： 可以配置多個數(shù)據(jù)源，在job或是trans中使用，這意味著可以實現(xiàn)跨數(shù)據(jù)庫的任務(wù)。 支持大多數(shù)市面上流行的數(shù)據(jù)庫。觀點(diǎn)： 1：轉(zhuǎn)換功能全，使用簡潔。作業(yè)項豐富，流程合理。但缺少調(diào)度。 2：java代碼，支持的數(shù)據(jù)源范圍廣，所以，跨平臺性較好。 3：從實際項目的角度看，和其它開源項目類似，主要還是程序員的思維，缺少與實際應(yīng)用項目(專業(yè)領(lǐng)域)的更多接軌，當(dāng)然，項目實施者的專注點(diǎn)可能在于一個平臺框架，而非實際應(yīng)用(實際應(yīng)用需要二次開發(fā))。 4：看過了大多數(shù)源碼，發(fā)現(xiàn)源碼的可重用性不是太好(缺少大粒度封裝)，有些關(guān)鍵部分好象有bug。 比如：個別class過于臃腫，線程實現(xiàn)的同步有問題。 5：提供的工具有些小錯，如參數(shù)的容錯處理。4. 數(shù)據(jù)倉庫（data warehouse dw）的架構(gòu)數(shù)據(jù)倉庫(data warehouse dw)是為了便于多維分析和多角度展現(xiàn)而將數(shù)據(jù)按特定的模式進(jìn)行存儲所建立起來的關(guān)系型數(shù)據(jù)庫，它的數(shù)據(jù)基于oltp源系統(tǒng)。數(shù)據(jù)倉庫中的數(shù)據(jù)是細(xì)節(jié)的、集成的、面向主題的，以olap系統(tǒng)的分析需求為目的。數(shù)據(jù)倉庫的架構(gòu)模型包括了星型架構(gòu)(圖二：pic2.bmp)與雪花型架構(gòu)(圖三：pic3.bmp)兩種模式。如圖所示，星型架構(gòu)的中間為事實表，四周為維度表，類似星星;而相比較而言，雪花型架構(gòu)的中間為事實表，兩邊的維度表可以再有其關(guān)聯(lián)子表，從而表達(dá)了清晰的維度層次關(guān)系。從olap系統(tǒng)的分析需求和etl的處理效率兩方面來考慮：星型結(jié)構(gòu)聚合快，分析效率高;而雪花型結(jié)構(gòu)明確，便于與oltp系統(tǒng)交互。因此，在實際項目中，我們將綜合運(yùn)用星型架構(gòu)與雪花型架構(gòu)來設(shè)計數(shù)據(jù)倉庫。那么，下面我們就來看一看，構(gòu)建企業(yè)級數(shù)據(jù)倉庫的流程。5. 數(shù)據(jù)集市 data mart數(shù)據(jù)集市（data mart）的形式實現(xiàn)數(shù)據(jù)倉庫。標(biāo)準(zhǔn)的數(shù)據(jù)倉庫作為企業(yè)級應(yīng)用，其涉及的范圍和投入的成本常常是巨大的，它的建設(shè)很容易形成高投入、慢進(jìn)度的大項目。數(shù)據(jù)集市是