電信數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的六個(gè)關(guān)鍵環(huán)節(jié)

1、電信數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的六個(gè)關(guān)鍵環(huán)節(jié)編者按 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)經(jīng)過了十幾年的發(fā)展，在理論與工程實(shí)踐上都取得了顯著的成果。國(guó)際上許多重要的學(xué)術(shù)會(huì)議，如超大型數(shù)據(jù)庫(kù)國(guó)際會(huì)議（VLDB）、數(shù)據(jù)工程國(guó)際會(huì)議（Data Engineering）等，都有大量專門研究數(shù)據(jù)倉(cāng)庫(kù)（Data Warehousing）、聯(lián)機(jī)分析處理（On-Line Analytical Processing）、數(shù)據(jù)挖掘（Data Mining）的論文，各大數(shù)據(jù)庫(kù)廠商紛紛推出相應(yīng)產(chǎn)品支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)，比如NCR、SAS、Oracle、IBM、Informix、Sybase等都提出了相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)解決方案。 隨著信息技術(shù)的飛速發(fā)展，企業(yè)內(nèi)部產(chǎn)生了越來

2、越多的數(shù)據(jù)，但這些數(shù)據(jù)并沒有產(chǎn)生應(yīng)有的信息，困此，我們常常可以看到企業(yè)“數(shù)據(jù)爆炸、知識(shí)貧乏”的窘迫局面。如何有效地整合與充分利用信息資源，成為企業(yè)提高核心競(jìng)爭(zhēng)力的關(guān)鍵。此外，數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)，在不同的行業(yè)存在著極大的差別，企業(yè)在設(shè)計(jì)過程中應(yīng)該注意哪些細(xì)節(jié)問題？ 本期“方案評(píng)析”專題中所選的幾篇文章，以電信、銀行、醫(yī)療行業(yè)為實(shí)例，在實(shí)際操作的基礎(chǔ)上，分析了企業(yè)經(jīng)營(yíng)分析與決策支持系統(tǒng)的建設(shè)應(yīng)用，分析了建設(shè)數(shù)據(jù)倉(cāng)庫(kù)及基于數(shù)據(jù)倉(cāng)庫(kù)的商業(yè)智能系統(tǒng)應(yīng)具備的基本條件，從確定主題、數(shù)據(jù)準(zhǔn)備、建立模型、評(píng)估和解釋模型、運(yùn)用和鞏固模型等方面，對(duì)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)方法，以及解決關(guān)鍵環(huán)節(jié)問題的技巧進(jìn)行了深入剖析，具有

3、較高的實(shí)用價(jià)值。 大型企業(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)是一項(xiàng)復(fù)雜的系統(tǒng)工程，在設(shè)計(jì)中會(huì)遇到各種各樣的技術(shù)問題。本文以電信行業(yè)數(shù)據(jù)創(chuàng)庫(kù)設(shè)計(jì)為例，提供數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)過程中的六個(gè)關(guān)鍵環(huán)節(jié)，從技術(shù)上給讀者提供參考。 環(huán)節(jié)一：異種數(shù)據(jù)源集成 企業(yè)在經(jīng)營(yíng)分析與決策支持系統(tǒng)的建設(shè)時(shí)，必須將遺留系統(tǒng)（Legacy System）進(jìn)行高效全面的集成。由于遺留系統(tǒng)是在企業(yè)發(fā)展的不同時(shí)期建設(shè)的，往往缺乏全局規(guī)劃，所以擁有不同的操作系統(tǒng)、不同的數(shù)據(jù)庫(kù)、不同的網(wǎng)絡(luò)通信機(jī)制等，形成了所謂的“信息孤島”。 系統(tǒng)中采用異種數(shù)據(jù)源企業(yè)應(yīng)用集成接口，來實(shí)現(xiàn)對(duì)異種數(shù)據(jù)源的透明訪問，包括數(shù)據(jù)源元數(shù)據(jù)訪問及業(yè)務(wù)操作數(shù)據(jù)訪問。數(shù)據(jù)源分為在線數(shù)據(jù)源和

4、離線數(shù)據(jù)源，在線數(shù)據(jù)源是指允許在線抽取的業(yè)務(wù)數(shù)據(jù)源，如營(yíng)業(yè)數(shù)據(jù); 離線數(shù)據(jù)源是指不允許直接在線抽取的數(shù)據(jù)源，如計(jì)費(fèi)樣單數(shù)據(jù)就是采用以脫機(jī)文件數(shù)據(jù)格式及FTP方式集成進(jìn)系統(tǒng)。 對(duì)數(shù)據(jù)源實(shí)現(xiàn)元數(shù)據(jù)級(jí)的管理，數(shù)據(jù)源的連接類型（ODBC、OLEDB、JDBC、Native）、連接字符串，以及數(shù)據(jù)結(jié)構(gòu)信息都以元數(shù)據(jù)的形式存儲(chǔ)于元數(shù)據(jù)庫(kù)中，通過控制臺(tái)對(duì)其進(jìn)行業(yè)務(wù)語義定義，使用戶對(duì)整個(gè)企業(yè)的信息系統(tǒng)有了全面的掌握。 環(huán)節(jié)二：ODS層的設(shè)計(jì) 操作數(shù)據(jù)存儲(chǔ)ODS（Operation Data Storage）是一個(gè)集成了來自不同數(shù)據(jù)庫(kù)數(shù)據(jù)的環(huán)境。其目的是為終端用戶提供一致的企業(yè)數(shù)據(jù)集成視圖。它可以幫助用戶輕松應(yīng)

5、對(duì)跨多個(gè)商業(yè)功能的操作挑戰(zhàn)，是面向主題的、集成的、近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)。 設(shè)計(jì)ODS層的目的在于改善了對(duì)關(guān)鍵操作數(shù)據(jù)庫(kù)的存取，用戶能獲得收益、客戶等主題的企業(yè)級(jí)完整視圖，有利于更好地通觀全局。近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)提供了查詢與服務(wù)能力，并以更高的性能生成操作報(bào)告。設(shè)計(jì)ODS的核心是實(shí)現(xiàn)焦點(diǎn)主題全局試圖應(yīng)用，如企業(yè)的客戶管理系統(tǒng)，可以建立以客戶為中心的ODS客戶主題視圖，向上層提供高效的服務(wù)。而對(duì)于話費(fèi)結(jié)算則采取了從綜合結(jié)算系統(tǒng)中直接抽取到數(shù)據(jù)倉(cāng)庫(kù)的方式，抽取周期為結(jié)算周期，能完全滿足決策分析的時(shí)間窗要求。 環(huán)節(jié)三：ETL過程的設(shè)計(jì) 數(shù)據(jù)抽取、轉(zhuǎn)換和加載，是數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)過程中，數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向數(shù)據(jù)倉(cāng)庫(kù)加

6、載的主要方法，整個(gè)數(shù)據(jù)處理過程如下： 數(shù)據(jù)抽取 從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)所需的數(shù)據(jù)，數(shù)據(jù)抽取采用統(tǒng)一的接口，可以從數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，也可以從文件抽取。對(duì)于不同數(shù)據(jù)平臺(tái)、源數(shù)據(jù)形式、性能要求的業(yè)務(wù)系統(tǒng)，以及不同數(shù)據(jù)量的源數(shù)據(jù)，可能采用的接口方式不同，為保證抽取效率，減少對(duì)生產(chǎn)運(yùn)營(yíng)的影響，對(duì)于大數(shù)據(jù)量的抽取，采取“數(shù)據(jù)分割、縮短抽取周期”的原則，對(duì)于直接的數(shù)據(jù)庫(kù)抽取，采取協(xié)商接口表的方式，保障生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)的安全。 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換是指對(duì)抽取的源數(shù)據(jù)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)模型的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息模型具有一致性和完整性，并按要求裝入數(shù)據(jù)倉(cāng)庫(kù)

7、。 數(shù)據(jù)加載 數(shù)據(jù)加載是將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中，可以采用數(shù)據(jù)加載工具，也可以采用API編程進(jìn)行數(shù)據(jù)加載。數(shù)據(jù)加載策略包括加載周期和數(shù)據(jù)追加策略，對(duì)于電信企業(yè)級(jí)應(yīng)用，采用對(duì)ETL工具DataStage進(jìn)行功能封裝，向上提供監(jiān)控與調(diào)度接口的方式。數(shù)據(jù)加載周期要綜合考慮經(jīng)營(yíng)分析需求和系統(tǒng)加載的代價(jià)，對(duì)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采用不同的加載周期，但必須保持同一時(shí)間業(yè)務(wù)數(shù)據(jù)的完整性和一致性。 環(huán)節(jié)四：倉(cāng)庫(kù)模型設(shè)計(jì) 由于經(jīng)營(yíng)分析需求的不斷變化，數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存儲(chǔ)必須采用主題分域的方式，及盡可能小的業(yè)務(wù)單元進(jìn)行數(shù)據(jù)的組織和存儲(chǔ)，以滿足數(shù)據(jù)倉(cāng)庫(kù)的靈活性。此外，任何一個(gè)信息系統(tǒng)都具有整體性、結(jié)構(gòu)性、層次性、

8、相對(duì)性、可變性，數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)邏輯結(jié)構(gòu)的設(shè)計(jì)要體現(xiàn)這些特征。 例如，某電信運(yùn)營(yíng)商的業(yè)務(wù)可以按照不同的主題域分為八類：客戶、賬務(wù)、資源、服務(wù)、客服、營(yíng)銷、服務(wù)使用、結(jié)算?？蛻糁黝}包含與客戶相關(guān)的基本信息，如客戶的自然屬性（姓名、年齡、職業(yè)等）、分類信息（現(xiàn)有客戶、潛在客戶、大客戶等）、重要屬性信息（信用度、忠誠(chéng)度、消費(fèi)層次等）。賬務(wù)主題中包含了與客戶相關(guān)的費(fèi)用信息，如明細(xì)賬單、綜合賬單、賬本、賬戶、付費(fèi)記錄、銷賬流水等；資源主題中包含網(wǎng)絡(luò)資源和服務(wù)資源信息及占用情況；服務(wù)主題包含產(chǎn)品、套餐、資費(fèi)與優(yōu)惠規(guī)則等的信息；客服主題包含與客戶服務(wù)相關(guān)的部門信息、流程信息、分類信息等; 營(yíng)銷主題包含銷售機(jī)會(huì)

9、、營(yíng)銷渠道、促銷活動(dòng)等相關(guān)信息；服務(wù)使用主題描述客戶購(gòu)買和使用電信服務(wù)產(chǎn)品的信息，包括用戶、服務(wù)使用記錄、清單等；結(jié)算主題包含結(jié)算清單、結(jié)算明細(xì)賬單、合作服務(wù)方等信息。對(duì)于主題的建模采用星型結(jié)構(gòu)允率當(dāng)砘蚋乓砑酉喙匚砉鉤傘? 環(huán)節(jié)五：元數(shù)據(jù)管理 元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)、操縱數(shù)據(jù)的進(jìn)程，以及應(yīng)用程序的結(jié)構(gòu)、意義的描述信息，其主要目標(biāo)是提供數(shù)據(jù)資源的全面指南。元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途分為兩類：技術(shù)元數(shù)據(jù)（Technical Metadata）、業(yè)務(wù)元數(shù)據(jù)（Business Metadata）和內(nèi)聯(lián)映射元數(shù)據(jù)（Inter-Mapping Metadat

10、a）。 技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，主要包括數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述（各個(gè)主題的定義，星型模式或雪花型模式的描述定義等）、ODS層的企業(yè)數(shù)據(jù)模型描述（以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式）、對(duì)數(shù)據(jù)稽核規(guī)則的定義、數(shù)據(jù)集市定義描述與裝載描述（包括Cube的維度、層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則）。另外，安全認(rèn)證數(shù)據(jù)也作為元數(shù)據(jù)的一個(gè)重要部分進(jìn)行管理。 業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠理解數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)包括以下信息:使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型

11、、對(duì)象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)來源;系統(tǒng)所提供的分析方法及公式、報(bào)表信息。 內(nèi)聯(lián)映射元數(shù)據(jù)（Inter-Mapping Metadata）實(shí)現(xiàn)技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的層間映射，使得信息系統(tǒng)的概念模型與物理模型相互獨(dú)立，使企業(yè)的概念、業(yè)務(wù)模型重組，以及物理模型的變化相互透明。 內(nèi)聯(lián)映射元數(shù)據(jù)從技術(shù)上為業(yè)務(wù)需求驅(qū)動(dòng)、企業(yè)數(shù)據(jù)驅(qū)動(dòng)的雙驅(qū)動(dòng)建設(shè)模型提供了重要保證,使信息系統(tǒng)的建設(shè)具有更高的靈活性與適應(yīng)性（基于元模型數(shù)據(jù)倉(cāng)庫(kù)建模的過程如圖1所示）。 環(huán)節(jié)六：專題數(shù)據(jù)挖掘 電信企業(yè)在長(zhǎng)期信息化建設(shè)過程中積累了大量業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)和業(yè)務(wù)管理數(shù)據(jù)，一般的企業(yè)數(shù)據(jù)量已超過TB級(jí)。市場(chǎng)的激烈競(jìng)爭(zhēng)和管理的復(fù)雜性

12、，決定了企業(yè)需要對(duì)客戶關(guān)系、市場(chǎng)營(yíng)銷、產(chǎn)品工程、投資分析等方面的歷史數(shù)據(jù)進(jìn)行提取與分析，將數(shù)據(jù)轉(zhuǎn)化為有用的信息。數(shù)據(jù)挖掘一般用于在海量數(shù)據(jù)集中發(fā)現(xiàn)間接、隱藏、新穎的規(guī)律，數(shù)據(jù)挖掘技術(shù)的優(yōu)勢(shì)在于，通過對(duì)數(shù)據(jù)集進(jìn)行有限步驟的采集、整理、分析、推理、比較等分析手段，來揭露埋藏?cái)?shù)據(jù)內(nèi)部的有用信息。數(shù)據(jù)挖掘常用的算法包括：關(guān)聯(lián)規(guī)則、聚類檢測(cè)、決策樹、神經(jīng)網(wǎng)絡(luò)、遺傳算法、支持向量機(jī)等，在SAS、IM8等數(shù)據(jù)挖掘工具中支持的算法包括決策樹、聚類分析、神經(jīng)網(wǎng)絡(luò)、回歸分析等。 以電信經(jīng)營(yíng)數(shù)據(jù)分類與預(yù)測(cè)分析數(shù)據(jù)挖掘?qū)ｎ}為例，分類包括客戶分類、網(wǎng)元分類等; 預(yù)測(cè)包括客戶發(fā)展分析與預(yù)測(cè)、業(yè)務(wù)量發(fā)展分析與預(yù)測(cè)、客戶流失分析與預(yù)測(cè)、營(yíng)銷管理與銷售機(jī)會(huì)分析與預(yù)測(cè)、市場(chǎng)競(jìng)爭(zhēng)分析與預(yù)測(cè)、大客戶分析與預(yù)測(cè)等。 采用回歸分析業(yè)務(wù)量進(jìn)行預(yù)測(cè)（如圖2所示），以2003年7月1日到29日的通話次數(shù)歷史數(shù)據(jù)，預(yù)測(cè)2003年7月30日的通話次數(shù) ，結(jié)果為: 20