XX電信綜合營銷系統(tǒng)(IMS)

1、附件一紹興電信綜合營銷系統(tǒng)（IMS ）方案建議目錄1系統(tǒng)綜述 .62系統(tǒng)總體設(shè)計 .72.1建設(shè)策略建議 .72.1.1集中解決目前急需問題 .72.1.2以客戶為中心建立數(shù)據(jù)集市 .72.1.3簡化數(shù)據(jù)來源 .72.1.4功能上應(yīng)有取有舍 .82.1.5以數(shù)據(jù)集市為核心組織基礎(chǔ)數(shù)據(jù) .82.2系統(tǒng)建設(shè)原則 .82.3系統(tǒng)的業(yè)務(wù)架構(gòu) .92.3.1以針對性營銷為核心的分析架構(gòu) .92.3.2以營銷自動化為核心的處理架構(gòu) .92.3.3以多角色支持為核心的界面架構(gòu) .102.4系統(tǒng)的技術(shù)架構(gòu) .102.4.1數(shù)據(jù)獲取層 .112.4.2數(shù)據(jù)存儲層 .112.4.3數(shù)據(jù)展現(xiàn)層 .122.4.4元數(shù)

2、據(jù) .122.5系統(tǒng)功能結(jié)構(gòu) .133數(shù)據(jù)獲取層 .143.1數(shù)據(jù)源分析 .143.1.1系統(tǒng)接口分析 .143.2 ETL 過程 .163.2.1數(shù)據(jù)抽取 .173.2.2數(shù)據(jù)轉(zhuǎn)換 .183.2.3數(shù)據(jù)加載 .193.2.4數(shù)據(jù)審核 .203.2.5ETL 過程管理 .213.2.6ETL 具體實現(xiàn) .224數(shù)據(jù)存儲層 .234.1數(shù)據(jù)倉庫信息模型設(shè)計原則.234.2模型設(shè)計方法 .234.3數(shù)據(jù)倉庫信息模型 .254.4數(shù)據(jù)集市構(gòu)建方法 .264.5 OLAP 分析模型 .274.5.1OLAP 分析模型建模方法 .274.5.2OLAP 分析技術(shù)實現(xiàn)方法 .274.5.3客戶情況分析模型

3、 .294.5.4業(yè)務(wù)發(fā)展分析模型 .294.5.5收益情況分析模型 .304.5.6市場競爭分析模型 .315數(shù)據(jù)展現(xiàn)層 .325.1綜合查詢 .325.1.1自定義查詢功能 .325.1.2主題查詢功能 .325.1.3即席查詢功能 .325.2統(tǒng)計分析報表 .335.2.1統(tǒng)計報表數(shù)據(jù)來源 .345.2.2統(tǒng)計報表要素分類 .345.3預(yù)定義報表 .355.3.1省公司報表 .365.3.2本地網(wǎng)報表 .375.4關(guān)鍵指標(biāo)展示報表 .375.4.1今日視點 .375.4.2每月聚焦 .375.4.3年度回眸 .405.4.4競爭前沿 .425.5營銷渠道支撐 .445.5.1營銷管理平臺

4、 .445.5.2片區(qū)經(jīng)理 /高級客戶經(jīng)理營銷服務(wù)平臺 .445.5.3社區(qū)經(jīng)理 /客戶經(jīng)理營銷服務(wù)平臺 .455.5.4系統(tǒng)管理平臺 .455.6話務(wù)量針對性營銷 .455.6.1客戶信息查詢 .455.6.2話務(wù)量營銷支撐 .465.6.3信息反饋支撐 .475.7數(shù)據(jù)分析支撐（ OLAP 分析） .475.7.1客戶情況分析 .485.7.2業(yè)務(wù)發(fā)展分析 .515.7.3收益情況分析 .525.7.4市場競爭分析 .575.8領(lǐng)導(dǎo)駕駛艙 .585.8.1儀表顯示 .585.8.2圖表顯示 .596元數(shù)據(jù)管理 .606.1 ETL 、數(shù)據(jù)倉庫、數(shù)據(jù)集市、前端展現(xiàn)的元數(shù)據(jù)管理.606.2管理

5、對象 .626.3元數(shù)據(jù)互聯(lián) .627系統(tǒng)管理 .637.1.1用戶管理 .637.1.2用戶劃分 .637.1.3工號維護(hù) .637.1.4工號密碼維護(hù) .637.2預(yù)警管理 .637.2.1預(yù)警管理功能描述及標(biāo)識 .63系統(tǒng)預(yù)警的對象64系統(tǒng)預(yù)警的功能647.3系統(tǒng)日志管理65功能描述65子模塊功能描述657.4權(quán)限管理657.5系統(tǒng)備份668系統(tǒng)平臺建議方案678.1綜合營銷系統(tǒng)平臺簡介678.2本期系統(tǒng)平臺建議688.3設(shè)備配置建議69存儲系統(tǒng)配置69服務(wù)器系統(tǒng)配置71整體配置方案建議72系統(tǒng)綜述為適應(yīng)日趨激烈的市場競爭環(huán)境， 提升紹興電信的企業(yè)核心競爭力， 應(yīng)充分利用業(yè)務(wù)支撐系統(tǒng)產(chǎn)生

6、的大量寶貴的數(shù)據(jù)資源， 盡快建立綜合營銷系統(tǒng)， 以便可以進(jìn)行“保、挖、搶”等針對性營銷，并支持多層面的用戶使用，為市場經(jīng)營工作提供及時、準(zhǔn)確、科學(xué)的決策依據(jù)。綜合營銷系統(tǒng)利用先進(jìn)的計算機和網(wǎng)絡(luò)技術(shù)對營銷渠道進(jìn)行支撐， 同時對客戶、帳務(wù)、計費、結(jié)算等業(yè)務(wù)數(shù)據(jù)進(jìn)行多層次、多角度、多種方式的統(tǒng)計分析，揭示客戶、業(yè)務(wù)的內(nèi)在規(guī)律和發(fā)展趨勢， 形成極具管理決策價值的戰(zhàn)略信息， 使決策者能始終把握大局，從容應(yīng)對紛繁復(fù)雜、快速多變的電信競爭市場。建設(shè)綜合營銷系統(tǒng)IMS 可以達(dá)到下列應(yīng)用目標(biāo)：協(xié)助企業(yè)進(jìn)行“保、挖、搶”等針對性營銷。及時提供真實可靠的企業(yè)經(jīng)營信息， 為經(jīng)營管理人員科學(xué)地進(jìn)行決策提供經(jīng)營信息支持。

7、幫助企業(yè)建立整體信息視圖（ one view ），協(xié)調(diào)紹興電信內(nèi)部各部門之間的合作關(guān)系。系統(tǒng)總體設(shè)計2.1 建設(shè)策略建議本著急用先行，簡單有效的原則，我們建議本期系統(tǒng)建設(shè)采取如下建設(shè)策略：集中解決目前急需問題本期系統(tǒng)應(yīng)該解決目前紹興電信面臨的最需要解決的問題： 即對于全網(wǎng)經(jīng)營情況的把握和針對性營銷的支撐。 鑒于急用先行原則， 我們建議本期綜合營銷系統(tǒng)的目標(biāo)定位為以下幾點：提供對全網(wǎng)市場經(jīng)營情況的全方位視圖；解決目前面對競爭的針對性營銷的支撐需求；提供面向營銷的各類分析數(shù)據(jù)。以客戶為中心建立數(shù)據(jù)集市目前企業(yè)最缺乏的分析功能，是基于各類客戶和客戶行為的統(tǒng)計分析，包括營銷渠道支撐系統(tǒng)的建立， 也體現(xiàn)

8、著以客戶為中心進(jìn)行各種營銷和服務(wù)的思想。 因此，本期系統(tǒng)主要考慮以客戶為中心建立的數(shù)據(jù)集市，其中的主要內(nèi)容如下：客戶基本信息：包括與經(jīng)營分析相關(guān)的各種客戶信息，如客戶類別、所屬區(qū)間、行業(yè)、收入、信用度、忠誠度等信息的分析結(jié)果；客戶擁有的服務(wù)信息： 即客戶擁有服務(wù)的相關(guān)信息， 如號碼， 服務(wù)類別、 服務(wù)特性、 SLA 等信息的分析結(jié)果；客戶消費行為信息：包括其消費詳單、賬單、繳費流水、客戶的業(yè)務(wù)受理情況（包括新增、拆機等）等的分析結(jié)果；客戶其他行為信息：如投訴、建議、資源、障礙申告等信息的分析結(jié)果；客戶網(wǎng)間消費行為：如跨網(wǎng)的消費情況（從網(wǎng)間數(shù)據(jù)得到）等的分析結(jié)果。簡化數(shù)據(jù)來源綜合營銷系統(tǒng)的上線工

9、作中，各類數(shù)據(jù)的收集整理占了很大比重。 因此，本期系統(tǒng)，應(yīng)該大大簡化系統(tǒng)的數(shù)據(jù)來源， 只對最主要的數(shù)據(jù)來源進(jìn)行采集， 對不太重要的數(shù)據(jù)源， 可以先放到二期再進(jìn)行處理。具體地，我們建議把系統(tǒng)的數(shù)據(jù)來源限定在：計費帳務(wù)系統(tǒng)：本期綜合營銷系統(tǒng)的數(shù)據(jù)采集重點應(yīng)該在計費帳務(wù)系統(tǒng)中，計費帳務(wù)系統(tǒng)提供主要的客戶消費行為數(shù)據(jù)，在營銷所需要的數(shù)據(jù)中，計費帳務(wù)系統(tǒng)可以提供 80的數(shù)據(jù)來源；九七系統(tǒng)：要從九七系統(tǒng)中采集客戶基本信息和客戶服務(wù)信息，以及客戶的受理信息收集；網(wǎng)間結(jié)算數(shù)據(jù)：從中抽取各種客戶網(wǎng)間消費行為的數(shù)據(jù)；其他系統(tǒng)：其他系統(tǒng)的信息收集主要考慮以收集客戶行為信息為主。功能上應(yīng)有取有舍完整的綜合營銷系統(tǒng)可以

10、包含很多功能， 尤其有強大的數(shù)據(jù)采集和管理功能， 但是， 目前紹興電信建設(shè)這種大而全的綜合營銷系統(tǒng)并未突出紹興電信急需的功能。 因此，我們建議紹興電信本期系統(tǒng)在功能方面應(yīng)有取有舍：一方面，在功能方面， 應(yīng)該對系統(tǒng)管理、數(shù)據(jù)采集、數(shù)據(jù)管理等功能， 盡可能地進(jìn)行精簡， 只留下最小的功能集合， 以突出營銷分析的主題；另一方面， 應(yīng)該加入領(lǐng)導(dǎo)駕駛艙等功能， 以使系統(tǒng)更能支持多角色使用， 支撐針對性營銷的實際需求。以數(shù)據(jù)集市為核心組織基礎(chǔ)數(shù)據(jù)在本地網(wǎng)級進(jìn)行經(jīng)營活動的各種監(jiān)控和分析， 可以主要是利用統(tǒng)計好的數(shù)據(jù)而不是清單進(jìn)行處理。 因此，建議本期系統(tǒng)將重點放在建設(shè)數(shù)據(jù)集市方面， 系統(tǒng)主要保留統(tǒng)計好的歷史數(shù)

11、據(jù)在集市中， 以便進(jìn)行各種縱向分析和比較。 而對于一些詳單的查詢要求， 可以直接從計費系統(tǒng)中讀取，以節(jié)省存儲空間。2.2 系統(tǒng)建設(shè)原則綜合營銷系統(tǒng)涉及到數(shù)據(jù)庫、聯(lián)機分析處理（OLAP ）等多種學(xué)科與技術(shù)的交叉。在技術(shù)實現(xiàn)上涉及到多種系統(tǒng)平臺與工具的集成。因此，在系統(tǒng)的技術(shù)實現(xiàn)上應(yīng)充分考慮多種技術(shù)和平臺的無縫集成。因此，系統(tǒng)建設(shè)必須遵循以下要求：1、 開放性：為保證系統(tǒng)的開放性，系統(tǒng)構(gòu)建中要使用世界主流的硬件平臺（主機、 網(wǎng)絡(luò)設(shè)備等）和軟件平臺， 基于業(yè)界開放式標(biāo)準(zhǔn)，支持系統(tǒng)建設(shè)中涉及的各種網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等，為未來的系統(tǒng)擴(kuò)展奠定基礎(chǔ)。同時，為了保證系統(tǒng)的開放性，在數(shù)據(jù)模型建立時，數(shù)

12、據(jù)存儲中應(yīng)充分考慮對未來業(yè)務(wù)發(fā)展的最大支持（如：客戶數(shù)據(jù)/用戶數(shù)據(jù)的處理上考慮較為全面的采集，模型建立中使用獨立的客戶數(shù)據(jù)域，為CRM 系統(tǒng)使用客戶 /用戶數(shù)據(jù)奠定基礎(chǔ)） ，使相關(guān)系統(tǒng)能夠順利地訪問和使用該系統(tǒng)數(shù)據(jù)。2、 靈活性與可擴(kuò)展性：全局?jǐn)?shù)據(jù)存儲模型的設(shè)計采用面向企業(yè)整體信息的主題域方式， 保證信息的完整性和信息主題的穩(wěn)定性。將來新業(yè)務(wù)數(shù)據(jù)和分析需求出現(xiàn)，新（業(yè)務(wù)） 數(shù)據(jù)的加入可以按照域歸屬的方式進(jìn)行增加， 在無主題域可依的情況下， 采用建立新域的方式進(jìn)行數(shù)據(jù)擴(kuò)展。 分析模型可以通過數(shù)據(jù)集市對主題域進(jìn)行多次重構(gòu)， 系統(tǒng)能保證重構(gòu)后的分析模型符合數(shù)據(jù)要求， 這樣也保證了對未來相關(guān)系統(tǒng)的數(shù)據(jù)

13、支撐。3、 安全可靠性：綜合營銷系統(tǒng)使用集中的管理模塊和集中的數(shù)據(jù)處理， 有利于對系統(tǒng)的整體管理和安全控制。 這種安全機制不僅能定義數(shù)據(jù)的安全性， 而且能定義應(yīng)用級的安全性。 系統(tǒng)的安全管理能夠通過門戶方式與其它應(yīng)用集成為一體。4、 實用性：結(jié)合不同部門、不同的業(yè)務(wù)需求，合理的構(gòu)建分析模型（按主題、地市、部門建立不同的 OLAP 分析模型），以及合理地組織數(shù)據(jù)（特別是有效又合理的數(shù)據(jù)粒度、分析模型的數(shù)據(jù)總量控制），保證了查詢效率與響應(yīng)時間。對現(xiàn)有業(yè)務(wù)運營系統(tǒng)影響小，是系統(tǒng)的設(shè)計基本要求，采取恰當(dāng)?shù)臄?shù)據(jù)抽取策略和控制機制（晚間自動抽取控制）來達(dá)到這一目標(biāo)。系統(tǒng)對大多數(shù)使用人員提供通過瀏覽器訪問方

14、式，并且提供多種圖表展現(xiàn)方式（如： 柱狀圖、餅圖、多維透視表等），只要會使用瀏覽器，就會使用本系統(tǒng)。通過門戶與OA 融合，向個性化的方向發(fā)展，提供短消息以及語音的訪問方式，使人機接口、 展現(xiàn)方式多樣化，實用化，靈活方便。2.3 系統(tǒng)的業(yè)務(wù)架構(gòu)系統(tǒng)的體系結(jié)構(gòu)應(yīng)分為業(yè)務(wù)架構(gòu)和技術(shù)架構(gòu)，以下說明系統(tǒng)的業(yè)務(wù)架構(gòu)：以針對性營銷為核心的分析架構(gòu)目前，電信市場的競爭已經(jīng)非常劇烈，移動、聯(lián)通等運營商通過準(zhǔn)單向收費、 VPN 、大客戶打包優(yōu)惠等方式進(jìn)行競爭， 不但使中國電信在客戶方面造成流失， 而且也導(dǎo)致了話務(wù)量的大量分流。因此，目前的當(dāng)務(wù)之急是要動員中國電信的營銷力量，立即展開針對性營銷。要開展好針對性營銷，

15、綜合營銷系統(tǒng)的支撐幾乎是必不可少的先決條件。首先，要支撐針對性營銷，本期綜合營銷系統(tǒng)必須要能夠提供目前各類客戶的各種消費情況的分析和波動情況分析，從中發(fā)現(xiàn)現(xiàn)有客戶的各種異動情況，以及這些異動情況的特點和分布， 以便盡早發(fā)現(xiàn)各種客戶流失或者話務(wù)流失的先兆，采取措施盡可能地保住現(xiàn)有客戶及其話務(wù)量。 另外，要完成此目標(biāo)， 系統(tǒng)還必須具備從各本地網(wǎng)的社區(qū)營銷等系統(tǒng)中提取競爭對手信息的數(shù)據(jù)進(jìn)行分析處理，以便針對競爭對手的動態(tài)開展有針對性的營銷活動；其次，本期綜合營銷系統(tǒng)還應(yīng)該能夠通過各種過網(wǎng)數(shù)據(jù)分析和客戶的消費分析，發(fā)現(xiàn)潛在用戶的發(fā)展可能方向，并據(jù)此得出結(jié)論，進(jìn)而指導(dǎo)營銷方案的制訂和推廣，同時達(dá)到挖掘潛

16、在話務(wù)量的目的。最后，本期綜合營銷系統(tǒng)應(yīng)能整合各類與競爭對手的客戶有關(guān)的信息源（包括網(wǎng)間數(shù)據(jù)，各類含競爭對手話務(wù)的清單數(shù)據(jù)等） ，進(jìn)行綜合統(tǒng)計和分析，尤其是發(fā)現(xiàn)競爭對手的有價值客戶的基本特點和分布情況，以便有針對性地采取營銷措施，對競爭對手的客戶進(jìn)行搶奪，力爭化被動為主動，最終改變中國電信的競爭態(tài)勢。以上這些需求， 宏智科技的綜合營銷系統(tǒng)都以專題分析的方式提供了較為完整和體系化的支持，用戶能夠在這些專題的導(dǎo)引下，方便地進(jìn)行各種類別的針對性營銷分析。以營銷自動化為核心的處理架構(gòu)系統(tǒng)的處理架構(gòu)應(yīng)圍繞著營銷自動化的思路展開，完成發(fā)現(xiàn)和確認(rèn)營銷目標(biāo) (比如要對零費用的所有用戶等 ) 分解營銷任務(wù) 分解

17、考核指標(biāo) 實施營銷 反饋營銷實施情況 分析營銷實施效果 完成考核這樣的一個全流程的管理，其目的是：社區(qū)經(jīng)理 /客戶經(jīng)理的工作難度（我原先的想法是強調(diào)社區(qū)經(jīng)理的主觀能動性，主動從數(shù)據(jù)中挖掘營銷目標(biāo)），降低對他們的要求；2.分工明確（社區(qū)經(jīng)理/客戶經(jīng)理、營銷分析人員、營銷管理人員職責(zé)明確）；提高營銷過程效率；實現(xiàn)營銷過程閉環(huán)管理。同時，針對性營銷的最終目的要落實到營銷方案的制訂和推行上， 尤其是紹興電信總部更是要負(fù)責(zé)制訂出營銷方案或營銷策略的指導(dǎo)意見。 因此，系統(tǒng)要能對營銷方案進(jìn)行全流程的監(jiān)控， 包括在營銷方案推出前的預(yù)評估， 營銷方案進(jìn)行中的跟蹤以及營銷方案定期的效果評估等。 比如預(yù)評估指的是系

18、統(tǒng)應(yīng)能預(yù)先鎖定營銷方案針對的客戶群、 話務(wù)集合進(jìn)行數(shù)據(jù)統(tǒng)計和分析， 得出營銷方案涉及的客戶數(shù)量、涉及的話務(wù)量、涉及的金額等， 從而方案的盈虧平衡點或者是營銷方案的成本等，從而供決策層進(jìn)行綜合分析和評估。以多角色支持為核心的界面架構(gòu)綜合營銷系統(tǒng)將有不同層面的用戶進(jìn)行使用，不同層面用戶的要求是不同的，尤其是本系統(tǒng)作為本地網(wǎng)級的綜合營銷系統(tǒng)，這方面的特點尤其突出。宏智科技建議的三層界面架構(gòu)如下：例如對于紹興電信的高層領(lǐng)導(dǎo)來說，他們沒有太多精力了解計算機技術(shù)，在數(shù)據(jù)利用的尺度上也比較宏觀， 因此系統(tǒng)就為他們專門設(shè)計了領(lǐng)導(dǎo)駕駛艙系統(tǒng)，以簡單直觀的圖表方式提供數(shù)據(jù)的展現(xiàn)， 使決策人員能一目了然地發(fā)現(xiàn)問題所

19、在，并通過本系統(tǒng)層層深入地發(fā)現(xiàn)問題發(fā)生的原因，從而做出正確的反應(yīng)和決策。對于紹興市電信的中層干部來說，他們需要向下貫徹公司高層領(lǐng)導(dǎo)的戰(zhàn)略意圖，并指導(dǎo)本部門基層干部將其演變?yōu)榫唧w的營銷動作或者變?yōu)橹笇?dǎo)各營銷渠道的營銷策略，同時他們要對本部門所提出的各種營銷建議進(jìn)行決策或提交高層決策。因此，系統(tǒng)界面以體現(xiàn)結(jié)果的各類預(yù)定義報表為主， 但這些報表本身都可以做為分析的起始點進(jìn)行深度挖掘和分析。使中層干部一開始可以將注意力集中在關(guān)心的業(yè)務(wù)、指標(biāo)和營銷方案實施的基本情況上，但同時也可以對自己關(guān)心的數(shù)據(jù)進(jìn)行各種聯(lián)機分析和處理。同時，系統(tǒng)應(yīng)能夠提供對于營銷方案制訂的全流程支持， 使分析的結(jié)果能迅速落實為營銷方案

20、或營銷策略的建議。另外，系統(tǒng)應(yīng)提供靈活且易用的報表定義功能， 使基層干部能夠?qū)⒎治龅慕Y(jié)果存為報表提供給各層領(lǐng)導(dǎo)做為決策依據(jù)和分析的起始點。對于紹興市電信的基層人員來說，他們需要對自己負(fù)責(zé)的業(yè)務(wù)或者客戶群進(jìn)行細(xì)致的分析，發(fā)現(xiàn)趨勢及問題所在，并提出初步的營銷方案的建議或者采取具體的銷售動作。因此，系統(tǒng)應(yīng)提供完善的清單功能和統(tǒng)計功能。同時，由于考核指標(biāo)將是激勵基層人員的重要手段，因此，應(yīng)提供圍繞考核指標(biāo)提供各種統(tǒng)計和因素分析支持。2.4 系統(tǒng)的技術(shù)架構(gòu)綜合營銷系統(tǒng)采用本地網(wǎng)集中的模式， 在本地網(wǎng)建立數(shù)據(jù)中心， 再通過這些數(shù)據(jù)存儲提取數(shù)據(jù)集市進(jìn)行分析和呈現(xiàn)。綜合營銷系統(tǒng)從各業(yè)務(wù)系統(tǒng)、非業(yè)務(wù)系統(tǒng)中將相關(guān)

21、業(yè)務(wù)數(shù)據(jù)進(jìn)行抽?。ㄤ浫耄?、清洗、加工、整理、加載到數(shù)據(jù)倉庫中，在數(shù)據(jù)倉庫中形成基礎(chǔ)的分析數(shù)據(jù)的存儲，然后根據(jù)業(yè)務(wù)及管理等實際的需要在數(shù)據(jù)倉庫上建立適合各種應(yīng)用的數(shù)據(jù)集市。數(shù)據(jù)倉庫、數(shù)據(jù)集市中蘊含的信息可以通過報表、 OLAP 分析、即席查詢等形式向綜合營銷系統(tǒng)使用人員展現(xiàn)。 系統(tǒng)體系結(jié)構(gòu)分為三層， 即數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)展現(xiàn)層，如下圖所示：下面分別對于軟件體系結(jié)構(gòu)中的數(shù)據(jù)獲取層、 數(shù)據(jù)存儲層和數(shù)據(jù)展現(xiàn)層進(jìn)行說明。數(shù)據(jù)獲取層數(shù)據(jù)獲取層功能是將數(shù)據(jù)從數(shù)據(jù)源經(jīng)過必要的抽取、清洗、轉(zhuǎn)換等處理后加載到綜合營銷系統(tǒng)數(shù)據(jù)庫中，即ETL 過程。為保證數(shù)據(jù)的正確性，在ETL 的每一環(huán)節(jié)都必須對數(shù)據(jù)進(jìn)行審

22、計。ETL 具有統(tǒng)一調(diào)度、監(jiān)控和管理功能。處理過程支持校驗點功能，當(dāng)因某種原因使處理過程中斷時，可以從最近校驗點開始恢復(fù)處理過程。ETL 的日志記錄了數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載的歷史過程。為提高 ETL 工作效率，宏智科技開發(fā)的ETL 工具內(nèi)嵌的專用腳本語言、存儲過程完成綜合營銷系統(tǒng)復(fù)雜的ETL 過程。數(shù)據(jù)存儲層數(shù)據(jù)存儲層包括中央數(shù)據(jù)倉庫和從屬的數(shù)據(jù)集市。 中央數(shù)據(jù)倉庫是信息的邏輯和物理的存儲。在綜合營銷系統(tǒng)的實施過程中， 對于某些主題的業(yè)務(wù)分析問題，可能會按照主題采用數(shù)據(jù)集市的方式對數(shù)據(jù)進(jìn)行進(jìn)一步的組織。 所以在數(shù)據(jù)倉庫的基礎(chǔ)之上根據(jù)分析需求創(chuàng)建相應(yīng)的從屬數(shù)據(jù)集市。中央數(shù)據(jù)倉庫中央數(shù)據(jù)倉庫是

23、按照紹興電信整體的、全本地網(wǎng)一致的信息模型進(jìn)行構(gòu)建的，是綜合營銷系統(tǒng)的核心。由于經(jīng)營信息需求的不斷變化，數(shù)據(jù)倉庫必須采用主題分域的方式和盡可能小的業(yè)務(wù)單元來進(jìn)行數(shù)據(jù)的組織和存儲，這樣才能滿足數(shù)據(jù)使用的靈活性和信息的完整性，即適應(yīng)需求的變化，又可保證最少量的數(shù)據(jù)冗余避免信息的不一致，節(jié)約系統(tǒng)投資，并以“元數(shù)據(jù)驅(qū)動、螺旋上升”的方法來指導(dǎo)系統(tǒng)建設(shè)。數(shù)據(jù)集市中央數(shù)據(jù)倉庫構(gòu)建是對數(shù)據(jù)集市的數(shù)據(jù)支撐，幾乎所有的業(yè)務(wù)分析都需要通過進(jìn)一步組織數(shù)據(jù)集市來實現(xiàn)，以滿足性能、靈活性的要求。數(shù)據(jù)集市的建設(shè)主要面向部門和重要的領(lǐng)導(dǎo)，根據(jù)其關(guān)心的主題、 數(shù)據(jù)層次、數(shù)據(jù)粒度不同，構(gòu)建相應(yīng)的數(shù)據(jù)集市。數(shù)據(jù)集市的數(shù)據(jù)可直接來

24、自于中央數(shù)據(jù)倉庫，也可直接進(jìn)行采集。為一些訪問中央數(shù)據(jù)倉庫十分頻繁的關(guān)鍵業(yè)務(wù)部門建立從屬數(shù)據(jù)集市，可以提高查詢的反應(yīng)速度。數(shù)據(jù)展現(xiàn)層數(shù)據(jù)展現(xiàn)層的主要功能是通過對數(shù)據(jù)存儲層的數(shù)據(jù)進(jìn)行各種加工整理并進(jìn)行分析預(yù)測等操作，然后將獲得的數(shù)據(jù)以文字、報表、曲線和各種圖形的方式，簡便、快捷地展現(xiàn)出來。主要包括綜合查詢、聯(lián)機分析處理（ OLAP ）、報表輸出、話務(wù)量營銷和領(lǐng)導(dǎo)駕駛艙功能。用戶經(jīng)過身份安全、權(quán)限認(rèn)證后訪問數(shù)據(jù)和進(jìn)行各種分析、查詢操作，同時預(yù)留與信息門戶（比如 OA 系統(tǒng)）的接口，實現(xiàn)各種功能的無縫連接，并提供集成化的認(rèn)證、信息發(fā)布和管理環(huán)境， 使綜合營銷系統(tǒng)使用人員無需關(guān)心具體的技術(shù)實現(xiàn)途徑，即

25、可實現(xiàn)對綜合營銷系統(tǒng)數(shù)據(jù)的訪問和分析。 同時門戶站點還可根據(jù)不同分析和決策人員的需求， 對所需的訪問和分析內(nèi)容進(jìn)行方便、 簡捷的定制，以滿足個性化信息服務(wù)的需求。元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，用以了解我們有什么信息，信息在什么地方，以及整個綜合營銷系統(tǒng)中如何利用信息的管理方式。 元數(shù)據(jù)管理在綜合營銷系統(tǒng)開發(fā)建設(shè)中有很重要的作用。在綜合營銷系統(tǒng)建設(shè)過程中， 根據(jù)紹興電信的業(yè)務(wù)需求和業(yè)務(wù)發(fā)展， 構(gòu)造全局?jǐn)?shù)據(jù)模型， 然后以數(shù)據(jù)模型為指導(dǎo)， 分階段實施， 逐步完成綜合營銷系統(tǒng)的建設(shè)，更重要的是，在實施的每個階段、每一階段內(nèi)的每個步驟，都由元數(shù)據(jù)進(jìn)行統(tǒng)一的管理和協(xié)調(diào)。 因此，每個新的實施階段都能和前些階

26、段通過統(tǒng)一的元數(shù)據(jù)實現(xiàn)良好的對接和數(shù)據(jù)共享，保證各建設(shè)階段成果的連續(xù)性和有效性。2.5 系統(tǒng)功能結(jié)構(gòu)紹興綜合營銷系統(tǒng)功能包含數(shù)據(jù)獲取、靜態(tài)報表、話務(wù)量營銷支撐、數(shù)據(jù)分析（ OLAP 分析）支撐、專題分析、領(lǐng)導(dǎo)駕駛艙、系統(tǒng)管理。數(shù)據(jù)獲取是系統(tǒng)的數(shù)據(jù)接口和 ETL 功能；報表、話務(wù)量營銷、OLAP 分析、領(lǐng)導(dǎo)駕駛艙體現(xiàn)系統(tǒng)的業(yè)務(wù)功能；系統(tǒng)管理是系統(tǒng)的安全管理和系統(tǒng)維護(hù)功能。數(shù)據(jù)獲取層3.1 數(shù)據(jù)源分析紹興電信綜合營銷系統(tǒng)需要從以下數(shù)據(jù)源獲取相關(guān)數(shù)據(jù)：1、業(yè)務(wù)支撐系統(tǒng)：初期主要從本地計費帳務(wù)系統(tǒng)、九七系統(tǒng)提取數(shù)據(jù)。2、網(wǎng)間結(jié)算數(shù)據(jù)：獲取網(wǎng)間話單，市場競爭數(shù)據(jù)。3、市場調(diào)研、社會統(tǒng)計、競爭對手?jǐn)?shù)據(jù)：從

27、各種途徑獲取的社會統(tǒng)計數(shù)據(jù)、市場調(diào)研數(shù)據(jù)，提供人工錄入功能。對于以上需通過人工錄入的數(shù)據(jù)，系統(tǒng)提供相應(yīng)的工具或接口，并能支持通過 Excel 、 HTML 、 XML 、RTF 、 TXT 等格式文檔加載的形式進(jìn)行數(shù)據(jù)的批量錄入功能。接口方式：系統(tǒng)統(tǒng)一采用接口形式進(jìn)行數(shù)據(jù)抽取，并建立接口區(qū)。設(shè)立數(shù)據(jù)接口區(qū)的目的在于對接口數(shù)據(jù)統(tǒng)一存儲。接口數(shù)據(jù)源形式為文本文件。系統(tǒng)接口分析1、綜合營銷系統(tǒng)從九七系統(tǒng)中提取客戶基本資料信息，如客戶名稱、 住址、 聯(lián)系方式、證件號碼、客戶類型、客戶細(xì)分等。信息特征：信息量級：2-3E6 （單位：記錄數(shù)）周期增量：一般小于10E4 （單位：記錄數(shù)）周期更新幅度：一般小

28、于10E4 （單位：記錄數(shù)）接口方式：九七系統(tǒng)在每個周期把本周期新增、 變化或刪除的客戶基本資料信息傳遞至接口。 周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期：1 次/天2、綜合營銷系統(tǒng)從九七系統(tǒng)提取客戶訂購資料信息， 即每個客戶所使用的產(chǎn)品 （服務(wù)）信息。信息特征：信息量級： 10E6 （單位：記錄數(shù)）周期增量：一般小于10E4 （單位：記錄數(shù)）周期更新幅度：一般小于10E4 （單位：記錄數(shù)）接口方式：九七系統(tǒng)在每個周期把本周期新增、變化或刪除的客戶產(chǎn)品（服務(wù)）信息傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期： 1 次/天3、綜合營銷系統(tǒng)從本地網(wǎng)計費帳務(wù)系統(tǒng)提取客戶帳戶資料信息，即客

29、戶使用各項產(chǎn)品（服務(wù)所）所發(fā)生費用的付款單位的資料信息。1）帳戶基本信息信息特征：信息量級： 10E6 （單位：記錄數(shù)）周期增量：一般小于10E4 （單位：記錄數(shù)）周期更新幅度：一般小于10E4 （單位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)在每個周期把本周期新增、變化或刪除的帳戶基本資料信息傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期： 1 次/天2）帳戶繳費信息信息特征：信息量級： 10E6 （單位：記錄數(shù)）周期增量： 10E5 （單位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)在每個周期把本周期新增的帳戶繳費信息傳遞至接口。況由兩個系統(tǒng)協(xié)商確定。周期： 1 次/天4、綜合營銷系統(tǒng)從各本地網(wǎng)計費帳務(wù)

30、系統(tǒng)提取帳單資料。周期可根據(jù)實際情信息特征：信息量級： 10E7 （單位：記錄數(shù)）周期增量： 10E7 （約為客戶資料量級的810 倍） (記錄 )建議接口方式：計費帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。周期： 1 次/月5、綜合營銷系統(tǒng)從計費帳務(wù)系統(tǒng)提取銷帳資料。信息特征：信息量級：10E6 （單位：記錄數(shù)）周期增量：10E5 （約為客戶資料量級的810倍）（單位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)按周期把周期內(nèi)數(shù)據(jù)全部傳遞至接口。周期： 1 次/天6、綜合營銷系統(tǒng)從計費帳務(wù)系統(tǒng)提取欠費資料。信息特征：信息量級：10E6 （單位：記錄數(shù)）周期增量：10E5 （約為客戶資料量級的810倍）（單

31、位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。周期： 1 次/天7、綜合營銷系統(tǒng)從各本地網(wǎng)計費帳務(wù)系統(tǒng)提取呆壞帳資料。信息特征：信息量級： 10E5 （單位：記錄數(shù)）周期增量： 10E5 （單位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。周期： 1 次/月8、綜合營銷系統(tǒng)從計費帳務(wù)系統(tǒng)提取長途話單資料。信息特征：信息量級： 10E8 （單位：記錄數(shù)）周期增量： 10E7 （單位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)每個周期都將周期內(nèi)完整信息傳遞至接口。周期： 1 次/天9、綜合營銷系統(tǒng)從計費帳務(wù)系統(tǒng)提取本地網(wǎng)話單資料。信息特征：信息量級： 10E9 （單位

32、：記錄數(shù)）周期增量： 10E8 （單位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)每個周期都將周期內(nèi)完整信息傳遞至接口。周期： 1 次/天、綜合營銷系統(tǒng)從計費帳務(wù)系統(tǒng)提取相關(guān)配置表信息資料，如帳目類型、話單類型信息、各種分類信息等。信息特征（針對每個配置表） ：信息量級： 10E110E3 （單位：記錄數(shù)）周期增量： 10E010E2 （單位：記錄數(shù)）周期更新幅度：10E010E2 （單位：記錄數(shù)）接口方式：計費帳務(wù)系統(tǒng)每個周期都將完整信息傳遞至接口。周期： 1 次/天11、綜合營銷系統(tǒng)提取網(wǎng)間通話數(shù)據(jù)資料。信息特征：信息量級： 10E8 （單位：記錄數(shù)）周期增量： 10E7 （單位：記錄數(shù)）接口方式：各

33、本地網(wǎng)計費帳務(wù)系統(tǒng)每個周期都將周期內(nèi)完整信息傳遞至接口。周期： 1 次/天3.2 ETL 過程數(shù)據(jù)抽取、轉(zhuǎn)換和加載，是綜合營銷系統(tǒng)應(yīng)用過程中，進(jìn)行數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向數(shù)據(jù)倉庫加載的主要方法。數(shù)據(jù)抽取為了滿足綜合營銷系統(tǒng)的分析、挖掘的需要，同時保證不能影響業(yè)務(wù)系統(tǒng)的性能，因此制定合適的抽取策略、抽取方式、抽取時機和抽取周期非常關(guān)鍵。對于大數(shù)據(jù)量 (如話單 )的抽取，采取“數(shù)據(jù)分割、縮短抽取周期”的原則。接口策略在獲取各業(yè)務(wù)生產(chǎn)系統(tǒng)源數(shù)據(jù)時，根據(jù)各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)的方式可以分為主動數(shù)據(jù)獲取和被動數(shù)據(jù)獲取兩種方式。主動數(shù)據(jù)獲取要求綜合營銷系統(tǒng)專門為各業(yè)務(wù)生產(chǎn)系統(tǒng)提供數(shù)據(jù)存放區(qū)，并為各業(yè)務(wù)系統(tǒng)制定所要求

34、的數(shù)據(jù)內(nèi)容和格式，要求各業(yè)務(wù)系統(tǒng)將產(chǎn)生數(shù)據(jù)定期傳送到本系統(tǒng)源數(shù)據(jù)存放區(qū)中。綜合營銷系統(tǒng)定期對源數(shù)據(jù)存放區(qū)（接口區(qū)）中的數(shù)據(jù)進(jìn)行處理。被動數(shù)據(jù)采集要求各業(yè)務(wù)系統(tǒng)為綜合營銷系統(tǒng)開放數(shù)據(jù)庫連接，同時要求業(yè)務(wù)系統(tǒng)為綜合營銷系統(tǒng)提供專業(yè)系統(tǒng)元數(shù)據(jù)。綜合營銷系統(tǒng)通過理解專業(yè)系統(tǒng)元數(shù)據(jù)，直接連接業(yè)務(wù)系統(tǒng)定期從數(shù)據(jù)庫中取數(shù)據(jù)，然后在系統(tǒng)內(nèi)在對專業(yè)系統(tǒng)源數(shù)據(jù)進(jìn)行處理，例如進(jìn)行格式、 編碼轉(zhuǎn)換等。 采集周期可以根據(jù)具體情況，自行設(shè)計。 這種方式要求業(yè)務(wù)系統(tǒng)對所提供的元數(shù)據(jù)進(jìn)行版本和發(fā)布管理?？紤]到被動獲取比主動數(shù)據(jù)獲取對綜合營銷系統(tǒng)性能要求高和對業(yè)務(wù)生產(chǎn)系統(tǒng)安全和性能影響大等問題， 我們采用主動數(shù)據(jù)獲取方式， 要

35、求各業(yè)務(wù)系統(tǒng)定期按要求傳送數(shù)據(jù)到源數(shù)據(jù)存放區(qū)。各業(yè)務(wù)系統(tǒng)以文本數(shù)據(jù)文件的方式傳送數(shù)據(jù)。抽取策略：不同特征的數(shù)據(jù)采用不同的抽取策略，保證減少對生產(chǎn)系統(tǒng)的影響，同時又能提高抽取數(shù)據(jù)的效率和及時率。具體策略如下：（1）小數(shù)據(jù)量的一些管理數(shù)據(jù)、配置表數(shù)據(jù)等，可以采用完全抽取方式進(jìn)行抽取；（2）大數(shù)據(jù)量的如帳單、話單數(shù)據(jù)，按抽取周期采用時間戳來做增量抽??；（3）如果實在沒有時間戳，要進(jìn)行完全抽取。抽取周期：抽取周期根據(jù)源數(shù)據(jù)的不同性質(zhì)和實際的分析需求而有所不同，如話單數(shù)據(jù)可以每天抽取， 出帳數(shù)據(jù)在每一帳務(wù)周期的最后一天抽取， 而欠費、銷帳等信息可以每周抽取。具體的數(shù)據(jù)抽取周期要依據(jù)實際情況和要求協(xié)商而定

36、。抽取時機：本操作盡可能在相關(guān)業(yè)務(wù)系統(tǒng)空閑的時段執(zhí)行。在數(shù)據(jù)抽取成功后，本抽取周期將不再執(zhí)行數(shù)據(jù)抽取操作。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指對抽取的源數(shù)據(jù)根據(jù)全局?jǐn)?shù)據(jù)模型的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等處理，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息模型的一致性和完整性，并按要求裝入數(shù)據(jù)庫。根據(jù)實際情況，數(shù)據(jù)轉(zhuǎn)換可以在以下幾個環(huán)節(jié)中具體實現(xiàn)：使用異步數(shù)據(jù)加載，以文件的方式處理；在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)處理；進(jìn)入數(shù)據(jù)庫以后再進(jìn)行數(shù)據(jù)處理。采用異步數(shù)據(jù)加載需要以文件方式處理時， 必須充分考慮中間磁盤的存儲量以及在整個流程中的協(xié)調(diào)性及文件處理的效率； 采用在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換時，必須考慮加載性能及效

37、率； 采用先將數(shù)據(jù)裝載到數(shù)據(jù)庫后再處理時， 必須考慮數(shù)據(jù)庫引擎的海量數(shù)據(jù)處理能力。執(zhí)行時機：執(zhí)行周期根據(jù)不同接口數(shù)據(jù)而有所不同。執(zhí)行位置：從源數(shù)據(jù)存放區(qū)到加載入數(shù)據(jù)倉庫之間，這里存在大量的數(shù)據(jù)操作，數(shù)據(jù)倉庫到加載入數(shù)據(jù)集市之間， 這里主要存在數(shù)據(jù)轉(zhuǎn)換、 匯總等操作，基本沒有清洗操作。執(zhí)行功能：集成、轉(zhuǎn)換、清洗、拆分、匯總等處理集成：是將業(yè)務(wù)數(shù)據(jù)從一個或幾個來源中取出，并逐字段地將數(shù)據(jù)影射到全局?jǐn)?shù)據(jù)的新數(shù)據(jù)結(jié)構(gòu)上。轉(zhuǎn)換：將源數(shù)據(jù)按照全局?jǐn)?shù)據(jù)模型結(jié)構(gòu)進(jìn)行數(shù)據(jù)處理，本處描述的轉(zhuǎn)換是簡單轉(zhuǎn)換，廣義的轉(zhuǎn)換是包括集成、轉(zhuǎn)換、清洗、拆分、匯總等處理。清洗：目的是為了保證前后一致地格式化和使用某一字段或相關(guān)的

38、字段群。拆分：簡單轉(zhuǎn)換的一種形式，用于分解源數(shù)據(jù)中復(fù)合含義的數(shù)據(jù)。匯總：把業(yè)務(wù)環(huán)境中找到的細(xì)節(jié)數(shù)據(jù)壓縮成全局?jǐn)?shù)據(jù)環(huán)境中的較少數(shù)據(jù)塊，有時進(jìn)行聚集中的細(xì)節(jié)數(shù)據(jù)是為了避免數(shù)據(jù)倉庫存入業(yè)務(wù)環(huán)境中的那樣具體的數(shù)據(jù)，有時則是為了建立包括數(shù)據(jù)倉庫的聚集副本。代碼轉(zhuǎn)換：如果是由數(shù)據(jù)抽取工具來完成數(shù)據(jù)的集成轉(zhuǎn)換，則用戶自定義的代碼轉(zhuǎn)換功能成為系統(tǒng)必須的功能。因為業(yè)務(wù)系統(tǒng)數(shù)據(jù)與全局?jǐn)?shù)據(jù)的信息因各系統(tǒng)的不同會有較大的差異?？蛻粲心芰褪侄巫约憾x數(shù)據(jù)或代碼轉(zhuǎn)換的操作使系統(tǒng)有更大的靈活性。轉(zhuǎn)換技術(shù)：多線程、多進(jìn)程技術(shù)由于數(shù)據(jù)清洗轉(zhuǎn)換操作的數(shù)據(jù)量非常大，要求數(shù)據(jù)清洗轉(zhuǎn)換程序以及所處的操作系統(tǒng)、主機要支持多線程、多進(jìn)程

39、的體系結(jié)構(gòu)，以獲得最大的數(shù)據(jù)處理能力。散列文件參照機制在數(shù)據(jù)清洗的過程中，關(guān)鍵的耗時的工作是將輸入的數(shù)據(jù)與系統(tǒng)中的固定數(shù)據(jù)進(jìn)行對照， 每一條記錄都需對數(shù)據(jù)庫進(jìn)行查詢耗費了大量的時間。在 ETL 過程中，數(shù)據(jù)集成模塊需要提供對固定參照數(shù)據(jù)的散列查找機制以提供數(shù)據(jù)清洗的高效實現(xiàn)。專用數(shù)據(jù)庫驅(qū)動接口或API 接口編程利用操作系統(tǒng)提供特點進(jìn)行開發(fā)，例如數(shù)據(jù)上載內(nèi)存等方式采用專用工具進(jìn)行數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)審核：根據(jù)數(shù)據(jù)轉(zhuǎn)換審核方案，將轉(zhuǎn)換以后數(shù)據(jù)進(jìn)行匯總分類統(tǒng)計，與數(shù)據(jù)接口區(qū)提供的審核資料進(jìn)行比較。轉(zhuǎn)換策略：使用異步數(shù)據(jù)加載，以文件的方式處理；在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)加載數(shù)據(jù)加載就是將轉(zhuǎn)換后的數(shù)據(jù)加

40、載到數(shù)據(jù)倉庫中。數(shù) 據(jù) 加 載 采 用 數(shù) 據(jù) 加 載 工 具 （ 例 如 ： WarehouseManager 、FastLoad/MultiLoad等），也可以采用 API 編程進(jìn)行數(shù)據(jù)加載。數(shù)據(jù)加載策略包括加載周期和數(shù)據(jù)追加策略。數(shù)據(jù)的追加策略根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務(wù)規(guī)則確定， 一般有以下三種類型：直接追加、全部覆蓋、更新追加。直接追加：是指每次加載時直接將數(shù)據(jù)追加到目的表中。全部覆蓋：對于抽取數(shù)據(jù)本身已包括了數(shù)據(jù)的當(dāng)前和所有歷史狀況，采用全部覆蓋方式。更新追加：對于需要連續(xù)記錄業(yè)務(wù)的狀態(tài)變化，用當(dāng)前的最新狀態(tài)同歷史狀態(tài)數(shù)據(jù)進(jìn)行比對的情況采用更新追加的方式。作用區(qū)域：數(shù)據(jù)加載到數(shù)據(jù)倉庫

41、和數(shù)據(jù)加載到數(shù)據(jù)集市的兩個區(qū)域。執(zhí)行時機：數(shù)據(jù)轉(zhuǎn)換成功以后即可以開展， 并且要保證加載后業(yè)務(wù)數(shù)據(jù)的一致性和完整性。加載技術(shù)：數(shù)據(jù)加載采用數(shù)據(jù)加載工具加API 編程進(jìn)行數(shù)據(jù)加載。加載策略：加載周期：在保證加載后業(yè)務(wù)數(shù)據(jù)的一致性和完整性的基礎(chǔ)上，針對不同業(yè)務(wù)數(shù)據(jù)設(shè)置不同加載周期。數(shù)據(jù)追加策略：根據(jù)業(yè)務(wù)規(guī)則和數(shù)據(jù)抽取策略，采用直接追加、全部覆蓋、更新追加。數(shù)據(jù)審核數(shù)據(jù)審核是指在每個數(shù)據(jù)加載周期中， 保證數(shù)據(jù)倉庫中數(shù)據(jù)同數(shù)據(jù)源中數(shù)據(jù)業(yè)務(wù)意義上的一致性及數(shù)據(jù)的準(zhǔn)確性。審核方法如下：在每個環(huán)節(jié)處理完成后進(jìn)行抽樣審核（從數(shù)據(jù)源開始，到抽取出來的文本文件， 到轉(zhuǎn)換后的文本文件， 到裝載到數(shù)據(jù)倉庫的數(shù)據(jù)， 到數(shù)

42、據(jù)集市中的 Cube 數(shù)據(jù)），一方面對總量進(jìn)行審核， 另一方面對數(shù)據(jù)正確性進(jìn)行驗證，分別對每一個維上的數(shù)據(jù)進(jìn)行審核。 對審核結(jié)果進(jìn)行記錄并報告， 發(fā)現(xiàn)審核錯誤的數(shù)據(jù)發(fā) Email 或 SMS 通知系統(tǒng)管理員。數(shù)據(jù)審核程序與ETL 模塊統(tǒng)一處理，審核程序配合ETL 程序自動執(zhí)行。作用區(qū)域：在數(shù)據(jù)抽取、轉(zhuǎn)換、加載各個部分結(jié)束都需要進(jìn)行數(shù)據(jù)審核。在一些關(guān)鍵處理過程結(jié)束以后，進(jìn)行自動的數(shù)據(jù)審核， 這樣能夠及早發(fā)現(xiàn)問題， 節(jié)省數(shù)據(jù)抽取、轉(zhuǎn)換、加載的時間。執(zhí)行周期：由數(shù)據(jù)抽取、轉(zhuǎn)換、加載過程結(jié)束以后觸發(fā)，在一些關(guān)鍵處理過程結(jié)束后觸發(fā)。審核策略：通過日志校驗；通過業(yè)務(wù)規(guī)則校驗，例如：記錄數(shù)，本月收入合計，某

43、區(qū)客戶數(shù)量等進(jìn)行源與目標(biāo)數(shù)據(jù)的校驗；通過操作系統(tǒng)級校驗，例如：文件大小、奇偶校驗（常用于接口文件傳輸）。ETL 過程管理ETL 是一個復(fù)雜的過程，需要進(jìn)行過程管理。 ETL 的過程管理包括 ETL 的調(diào)度、 ETL 程序管理、 ETL 出錯處理以及故障恢復(fù)。ETL 的調(diào)度ETL 是一批定時運行的后臺過程，需要通過一個合理的規(guī)劃進(jìn)行自動運行，只有在 ETL 過程出現(xiàn)異常時，進(jìn)行人工干預(yù)或自動處理。本系統(tǒng)提供系統(tǒng)管理員的控制和管理界面。ETL 程序管理ETL 過程包括許多程序， 這些程序在運行期間對數(shù)據(jù)進(jìn)行處理，將這些 ETL程序管理起來，可以保證ETL 過程的正確及穩(wěn)定。ETL 出錯處理及故障恢

44、復(fù)在 ETL 過程中由于數(shù)據(jù)接口、網(wǎng)絡(luò)、主機或數(shù)據(jù)質(zhì)量等問題，造成ETL 過程出現(xiàn)錯誤，每次數(shù)據(jù)的處理和裝載需要將非法的數(shù)據(jù)或處理失敗的數(shù)據(jù)輸送到專門的出錯數(shù)據(jù)處理區(qū)中， 一些錯誤可以通過自動處理進(jìn)行恢復(fù)，一些錯誤需要人工進(jìn)行處理。還可以自動將錯誤信息通過短信、mail 等方式通知系統(tǒng)管理員或相關(guān)人員。ETL 具體實現(xiàn)ETL 過程需要重視的幾個方面通過長期實踐，宏智科技總結(jié)了以下幾個是ETL 過程中需要重視的方面：ETL 時間是有限的， ETL 的效率是系統(tǒng)的關(guān)鍵由于各本地網(wǎng)業(yè)務(wù)支撐系統(tǒng)在白天都在執(zhí)行關(guān)鍵的聯(lián)機應(yīng)用，所以 ETL 過程通常要在晚上執(zhí)行，另外由于話單、賬單等數(shù)據(jù)量極大，所以 ET

45、L 的效率是最為重要的。除了在硬件上提供保證，要充分考慮開發(fā)的軟件代碼效率，更為重要的是要進(jìn)行 ETL 的規(guī)劃、設(shè)計和管理，盡可能考慮 ETL 各過程的并行操作，以充分利用系統(tǒng)資源。數(shù)據(jù)倉庫對數(shù)據(jù)的正確性要求是很高的，ETL 要保證數(shù)據(jù)的正確性保證數(shù)據(jù)倉庫的正確性， 首先需要從全局?jǐn)?shù)據(jù)模型入手，只有正確的模型才會有正確的數(shù)據(jù)存儲。 ETL 是從數(shù)據(jù)源根據(jù)指定規(guī)則將數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉庫中的數(shù)據(jù)遷移過程，在此過程中，每一個步驟都是決定數(shù)據(jù)質(zhì)量的關(guān)鍵，所以，要建立完善的過程來保證ETL 的正確實施。我們采用以下方法來保證ETL 的正確操作。嚴(yán)格的設(shè)計評審制度建立數(shù)據(jù)審核制度數(shù)據(jù)預(yù)警通過與歷史數(shù)據(jù)比較，

46、檢測 ETL 的輸出數(shù)據(jù)是否存在較大差異，判斷是否數(shù)據(jù)出現(xiàn)錯誤，由于數(shù)據(jù)預(yù)警操作消耗資源較大，而且檢測對象一般是業(yè)務(wù)系統(tǒng)提供的接口數(shù)據(jù)，所以，宏智科技建議數(shù)據(jù)預(yù)警操作放置在審核接口數(shù)據(jù)部分。ETL 過程中出現(xiàn)的錯誤需要在合適的時間內(nèi)正確處理。ETL過程是非常復(fù)雜的過程，其中涉及到業(yè)務(wù)系統(tǒng)、業(yè)務(wù)規(guī)則、系統(tǒng)硬件環(huán)境、系統(tǒng)管理等各方面，ETL 過程出現(xiàn)錯誤是必然的。在設(shè)計、管理中盡可能做周全考慮的前提下，還要考慮 ETL 過程中出現(xiàn)錯誤后該如何處理的機制。ETL出現(xiàn)的錯誤可以分成多種，各種錯誤對數(shù)據(jù)倉庫的數(shù)據(jù)造成的影響是不同的，需要解決的迫切程度也有所不同，根據(jù)宏智公司的經(jīng)驗，將ETL 過程產(chǎn)生的錯

47、誤分成4 個級別：嚴(yán)重錯誤，需要立即解決；較嚴(yán)重錯誤，影響系統(tǒng)部分?jǐn)?shù)據(jù)，需要當(dāng)日解決；一般錯誤，影響系統(tǒng)較小部分?jǐn)?shù)據(jù)，且其中沒有重要數(shù)據(jù)，需要解決；警告，出現(xiàn)異常或錯誤，但不影響系統(tǒng)數(shù)據(jù)，需要管理員注意。數(shù)據(jù)存儲層4.1 數(shù)據(jù)倉庫信息模型設(shè)計原則綜合營銷系統(tǒng)信息模型的設(shè)計應(yīng)該遵循中央數(shù)據(jù)倉庫的穩(wěn)定性和數(shù)據(jù)集市的靈活性；數(shù)據(jù)倉庫面向信息主題、 數(shù)據(jù)集市面向分析業(yè)務(wù)； 數(shù)據(jù)集市的數(shù)據(jù)來自數(shù)據(jù)倉庫的原則。綜合營銷系統(tǒng)的數(shù)據(jù)存儲分成數(shù)據(jù)倉庫和數(shù)據(jù)集市兩個邏輯上獨立的存儲。數(shù)據(jù)從數(shù)據(jù)源經(jīng)過數(shù)據(jù)抽取、 轉(zhuǎn)換后加載到數(shù)據(jù)倉庫， 根據(jù)不同主題的數(shù)據(jù)集市的要求，數(shù)據(jù)從數(shù)據(jù)倉庫中根據(jù)轉(zhuǎn)換規(guī)則將數(shù)據(jù)加載到指定數(shù)據(jù)集

48、市。由于綜合營銷系統(tǒng)的業(yè)務(wù)需求容易變化， 數(shù)據(jù)倉庫中數(shù)據(jù)的存儲必須采用信息主題分域的方式和盡可能小的業(yè)務(wù)單元 （保存細(xì)節(jié)數(shù)據(jù)） 來進(jìn)行數(shù)據(jù)的組織和存儲，這樣才能滿足數(shù)據(jù)的靈活性，適應(yīng)需求的變化，又可保證最小數(shù)據(jù)冗余，避免數(shù)據(jù)的不一致。數(shù)據(jù)倉庫數(shù)據(jù)存儲模型的設(shè)計采用面向企業(yè)整體信息的主題域方式， 保證信息的完整性和信息主題的穩(wěn)定性。將來新業(yè)務(wù)數(shù)據(jù)和分析需求出現(xiàn)，新（業(yè)務(wù)）數(shù)據(jù)的加入可以按照域歸屬的方式進(jìn)行增加， 在無主題域可依的情況下， 采用建立新域的方式進(jìn)行數(shù)據(jù)擴(kuò)展。分析模型可以通過數(shù)據(jù)集市對主題域進(jìn)行多次重構(gòu)，系統(tǒng)能保證重構(gòu)后的分析模型數(shù)據(jù)要求， 這樣也保證了對未來相關(guān)系統(tǒng)的數(shù)據(jù)支撐。4.2

49、 模型設(shè)計方法概念數(shù)據(jù)模型 (CDM)概念模型是主觀與客觀之間的橋梁，它是用于我們?yōu)橐欢ǖ哪繕?biāo)設(shè)計系統(tǒng)、收集信息而服務(wù)的一個概念性的工具。具體到計算機系統(tǒng)來說， 概念模型是客觀世界到機器世界的一個中間層次。人們首先將現(xiàn)實世界抽象為信息世界，然后將信息世界轉(zhuǎn)化為機器世界， 信息世界中的這一信息結(jié)構(gòu)， 即是我們所說的概念模型。由于 E-R 圖具有良好的可操作性，形式簡單，易于理解，便于與用戶交流，對客觀世界的描述能力也較強， 在數(shù)據(jù)庫設(shè)計方面更得到了廣泛的應(yīng)用。 因為目前的綜合營銷系統(tǒng)數(shù)據(jù)一般都建立在關(guān)系數(shù)據(jù)庫的基礎(chǔ)上， 為了和原有數(shù)據(jù)庫的概念模型相一致，采用 E-R 圖作為綜合營銷系統(tǒng)的概念模型

50、仍然是較為適合的。概念數(shù)據(jù)模型的設(shè)計是在較高的抽象層次上的設(shè)計， 因此在建立概念模型時不必考慮具體技術(shù)條件的限制。進(jìn)行概念數(shù)據(jù)模型設(shè)計要完成以下兩個工作：界定系統(tǒng)邊界確定主要主題域及其內(nèi)容邏輯數(shù)據(jù)模型 (FS-LDM)邏輯數(shù)據(jù)模型是系統(tǒng)體系結(jié)構(gòu)大廈的一塊基石，它主要包含實體、屬性、實體與實體之間的關(guān)系、實體與屬性之間的關(guān)系。 在項目實施過程中模型會被定制、修改、加入新的實體，任何對PS-LDM 的更改都將影響到邏輯數(shù)據(jù)模型設(shè)計人員、數(shù)據(jù)庫管理員、應(yīng)用開發(fā)人員、操作人員、業(yè)務(wù)用戶。因此邏輯數(shù)據(jù)模型包含的實體、屬性名稱、屬性格式、實體與實體之間的關(guān)系、實體與屬性之間的關(guān)系應(yīng)當(dāng)加入元數(shù)據(jù)庫中。邏輯數(shù)

51、據(jù)模型設(shè)計要進(jìn)行以下工作：分析主題域，確定當(dāng)前要裝載的主題確定粒度層次劃分確定數(shù)據(jù)分割策略關(guān)系模式定義記錄系統(tǒng)定義物理數(shù)據(jù)模型（ PDM ）物理數(shù)據(jù)由邏輯數(shù)據(jù)模型按照基本的建模步驟轉(zhuǎn)換而來。物理數(shù)據(jù)模型為數(shù)據(jù)庫管理員提供了一個數(shù)據(jù)庫的單一視圖，將其加入元數(shù)據(jù)庫有重要意義。物理數(shù)據(jù)模型加入數(shù)據(jù)庫的內(nèi)容包括：數(shù)據(jù)庫、表、視圖、宏、列（名稱、格式、屬性）、約束（取值、參照關(guān)系等）、關(guān)系（數(shù)據(jù)庫與表、視圖、宏，表與列，表與試圖等）。所謂數(shù)據(jù)庫的物理模型就是邏輯模型在數(shù)據(jù)庫中的實現(xiàn)，如物理存取方式、數(shù)據(jù)存儲結(jié)構(gòu)、 數(shù)據(jù)存放位置以及存儲分配等等。物理模型是在邏輯模型的基礎(chǔ)之上實現(xiàn)的，在進(jìn)行物理模型設(shè)計實現(xiàn)

52、時，所考慮的因素主要有： I/O 存取時間、空間利用率和維護(hù)代價； 在進(jìn)行數(shù)據(jù)庫的物理模型設(shè)計時， 考慮到綜合營銷系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)量大但操作單一的特點， 可采取其他的一些提高數(shù)據(jù)庫性能的技術(shù)，如：合并表、建立數(shù)據(jù)序列、引入冗余、進(jìn)一步細(xì)分?jǐn)?shù)據(jù)、生成導(dǎo)出數(shù)據(jù)、建立廣義索引等。在物理數(shù)據(jù)模型設(shè)計中主要工作是：確定數(shù)據(jù)的存儲結(jié)構(gòu)確定索引策略確定數(shù)據(jù)存放位置存儲分配4.3 數(shù)據(jù)倉庫信息模型數(shù)據(jù)倉庫信息主題，包括客戶、帳務(wù)、服務(wù)、結(jié)算、產(chǎn)品等部分。數(shù)據(jù)倉庫按照電信信息組成進(jìn)行前瞻性的結(jié)構(gòu)設(shè)計，主要包容了九七、計費等數(shù)據(jù)。1.客戶主題 包含了與客戶相關(guān)的基本信息，如客戶的自然屬性（姓名、年齡、職業(yè)等）、客

53、戶的分類信息（大客、商客、公客、流動客戶）、客戶的重要屬性信息（信用度、忠誠度、消費層次等） 。帳務(wù)主題 中包含了與客戶相關(guān)的費用信息，如明細(xì)賬單、綜合帳單、帳本、帳戶、付費記錄、銷帳流水等信息。產(chǎn)品主題 中包含了產(chǎn)品目錄。4.服務(wù)使用主題中描述客戶購買和使用中國電信服務(wù)產(chǎn)品的信息，主要包含了用戶、 服務(wù)使用記錄、清單等。結(jié)算主題 中包含了結(jié)算清單、結(jié)算明細(xì)賬單、合作服務(wù)方等信息。中央數(shù)據(jù)倉庫信息模型示意4.4 數(shù)據(jù)集市構(gòu)建方法數(shù)據(jù)集市是直接面向分析需求的，在數(shù)據(jù)ETL 結(jié)束后通過相關(guān)處理生成。在數(shù)據(jù)集市中保存的數(shù)據(jù)一般有以下特征：數(shù)據(jù)一般不能直接從數(shù)據(jù)倉庫中產(chǎn)生，需要進(jìn)行轉(zhuǎn)換處理，如消費層次

54、等信息；數(shù)據(jù)集市中的數(shù)據(jù)較新，部分集市根據(jù)分析需求，甚至可以只保存最近幾個月的數(shù)據(jù)；可以集成數(shù)據(jù)倉庫中的多個主題信息而生成新的專題。在實際應(yīng)用中，我們是按如下方式生成數(shù)據(jù)集市的：完成數(shù)據(jù)倉庫配置表信息到數(shù)據(jù)集市的轉(zhuǎn)換，特別要提出的，有一些集市專用配置信息如消費層次配置表、通話時長層次配置表等需要相應(yīng)配置程序產(chǎn)生和維護(hù)而并非來自與數(shù)據(jù)倉庫或業(yè)務(wù)系統(tǒng)。還需要提醒的是，在這個步驟中，必須根據(jù)展示工具的特點對配置表進(jìn)行處理。完成數(shù)據(jù)倉庫主題信息到數(shù)據(jù)集市的轉(zhuǎn)換，其中需要把一些量值型信息轉(zhuǎn)化為層次型信息，如通話次數(shù)轉(zhuǎn)換成通話次數(shù)層次，通話時長轉(zhuǎn)換為通話時長層次等；通過這些轉(zhuǎn)換，我們可以根據(jù)集市中的主題信

55、息和配置信息直接建立更好滿足分析需求的星型模型或雪花模型。需要根據(jù)分析需求建立一些專題，這些專題可能需要幾個主題信息進(jìn)行集成。因此我們在主題信息轉(zhuǎn)換到數(shù)據(jù)集市中后處理本步驟。集市的建設(shè)是由需求驅(qū)動的，在系統(tǒng)建設(shè)初期，集成商為紹興電信提供當(dāng)前所需的數(shù)據(jù)集市模型和相應(yīng)的 ETL 過程。在系統(tǒng)移交以后，根據(jù)業(yè)務(wù)需要，紹興可以自主建設(shè)數(shù)據(jù)集市的其他主題。只要在深入理解全局模型的前提下，構(gòu)建所需的數(shù)據(jù)集市將是快速、有效的。4.5 OLAP 分析模型OLAP分析模型建模方法在多維分析模型建設(shè)中存在兩種模型：星型模型和雪花模型。星型模型的構(gòu)架非常簡單，只有兩個基本的表類型：維和事實，維表的主關(guān)鍵字是事實表的

56、外鍵， 而且維只與事實相關(guān)聯(lián)， 構(gòu)成關(guān)系數(shù)據(jù)庫中的多維分析空間。通過星型模型， 使用者可以更好地理解訪問途徑， 易于使用者使用分析工具進(jìn)行多維分析。 雖然星型模式存在一些數(shù)據(jù)冗余， 不符合數(shù)據(jù)庫設(shè)計的范式， 但由于它在進(jìn)行分析操作時數(shù)據(jù)關(guān)聯(lián)少， 因此性能比較高。 另外多維數(shù)據(jù)模型所提供的操作與關(guān)系數(shù)據(jù)庫是不同的， 因此并不存在關(guān)系數(shù)據(jù)庫中不符合某個范式造成的插入異常和刪除異常的問題。雪花模型針對每個維度的每個層次都有一個維度表， 每個維度表都有一個主鍵，并如果有下一層次，則包含下一層次維度表的外鍵。雪花模型沒有冗余，符合數(shù)據(jù)庫邏輯模型設(shè)計理論中的第三范式， 但由于特定主題相關(guān)的物理實體數(shù)量比較

57、多，會對性能有一些影響。 雪花模型主要用于處理多對多關(guān)系的結(jié)構(gòu)、 非分析性數(shù)據(jù)和層次結(jié)構(gòu)。在多維數(shù)據(jù)模型設(shè)計中，我們主要采用星型模型進(jìn)行建模，提高查詢效率以及降低建立 CUBE 所需時間。OLAP分析技術(shù)實現(xiàn)方法在多維數(shù)據(jù)模型中，經(jīng)常會應(yīng)用到隨時間改變會發(fā)生改變的維度，這就是漸變維，維度信息隨著時間推移而變化，需要保存維度的歷史信息?？梢圆捎脙煞N方法進(jìn)行漸變維的處理。采用星型結(jié)構(gòu)表示漸變維，將已經(jīng)變化的維屬性寫入事實表中，在當(dāng)前記錄保持最新維信息。 優(yōu)點是處理簡單， 不需特別維護(hù)維表的變化。 不足之處是無法記錄維表中維成員變化。適用于與其他維的關(guān)聯(lián)較少的簡單維表。采用雪花型結(jié)構(gòu)表示漸變維，在維

58、表基表中增加時間屬性，不需增加事實表具體維的列。 優(yōu)點是可以記錄維表變化歷史， 維護(hù)維表的代價較小。 缺點是設(shè)計比較復(fù)雜， 查詢效率低。 適用于多個葉子級維表與基維表相關(guān)。 可以采用這樣的改進(jìn)方法： 映射當(dāng)前有效維信息到視圖或表中， 提高查詢性能。多維模型設(shè)計中，需要考慮兩方面的效率：一、多維數(shù)據(jù)查詢的效率。二、生成多維數(shù)據(jù)建立 CUBE 的效率。在這兩方面中，當(dāng)以多維數(shù)據(jù)（ OLAP ）查詢的性能作為主要優(yōu)化對象。在多維模型中我們采用了以下方法進(jìn)行OLAP 查詢的優(yōu)化：識別并標(biāo)識出 dense 和 sparse 維。在多維模型中，維的成員存在稠密分布和稀疏分布，如果將稀疏分布的維作為超立方體

59、存儲，多維數(shù)據(jù)存儲將形成稀疏立方體，多維數(shù)據(jù)存儲空間將無法充分利用，造成OLAP查詢時要讀取大量稀疏立方體，嚴(yán)重影響 OLAP 查詢效率。采用定義 dense 和 sparse 維，將 sparse 維對應(yīng)的成員作為多立方體存儲的依據(jù)，將 dense 維對應(yīng)成員作為超立方體存儲的依據(jù)，將大大減少多維數(shù)據(jù)的存儲空間，并有效存儲所需的數(shù)據(jù)，提高 OLAP 查詢的效率。建立屬性維，屬性維是依賴于指定已經(jīng)經(jīng)過計算的維度的屬性變化的維度。由于增加一個維度，將增加大量的聚合運算操作，增加的量呈指數(shù)級增長，在這樣的情況下，采用屬性維的方式可以減少聚合運算，因為屬性維的聚合運算已經(jīng)在基維上計算過，不需再次運算

60、。通過采用屬性維的方式可以大量減少建立 CUBE 所需的運算，并能夠提供更多的維度用于分析。合理定義預(yù)計算和動態(tài)計算的維度級別。預(yù)計算是多維模型的特點， 采用“用空間換取時間”的方式，提高OLAP 查詢效率。由于定義的多維數(shù)據(jù)模型中，有一些維度的級別是較少使用的， 而將這些維度級別定義成預(yù)計算的方式必將造成空間的浪費， 在這種情況下， 可以將這樣維度級別定義為動態(tài)計算，設(shè)定為在查詢請求時才進(jìn)行計算。這樣的OLAP 查詢的效率相對而言是比較低，只有在相應(yīng)的OLAP 查詢發(fā)生不頻繁時可以采用。還可以將維度級別定義為動態(tài)計算存儲，這樣只要進(jìn)行過一次相關(guān)OLAP 查詢，就可以存儲聚合計算結(jié)果，在重復(fù)的