中國電信經(jīng)營分析系統(tǒng)

1、經(jīng)營分析系統(tǒng)經(jīng)營分析系統(tǒng)技術(shù)交流技術(shù)交流中國電信中國電信經(jīng)營分析系統(tǒng)第一部分：公司介紹第二部分：需求說明第三部分：解決方案第四部分：問題交流目錄Part1 公司介紹公司介紹第一部分：公司介紹第二部分：需求說明第三部分：解決方案第四部分：問題交流Part2 需求說明背景 企業(yè)經(jīng)營發(fā)展的結(jié)果 以業(yè)務(wù)為中心 話單量小、業(yè)務(wù)少、用戶少 以客戶為中心 大數(shù)據(jù)量、業(yè)務(wù)多、異構(gòu)數(shù)據(jù)、決策分析 技術(shù)發(fā)展的結(jié)果 數(shù)據(jù)庫與數(shù)據(jù)倉庫 人工智能 數(shù)據(jù)挖掘 聯(lián)機分析企業(yè)信息化的四個進程企業(yè)信息化的四個進程數(shù)據(jù)信息知識施效在線分析數(shù)據(jù)挖掘客戶關(guān)系管理數(shù)據(jù)倉庫=營銷自動化=銷售隊伍自動化=客戶服務(wù)與技術(shù)支持=事實發(fā)生了什么

2、?=為什么會發(fā)生？=對象是誰？=還會發(fā)生什么?經(jīng)營分析系統(tǒng)信息流圖經(jīng)營分析系統(tǒng)信息流圖 建設(shè)目標(biāo)建設(shè)原則系統(tǒng)功能 支持與各種主流數(shù)據(jù)庫平臺、多維分析引擎、數(shù)據(jù)挖掘引擎和前端展示工具的無縫集成 開放的應(yīng)用程序接口和工具 提供統(tǒng)一的數(shù)據(jù)倉庫平臺，支持后續(xù)應(yīng)用和擴展 可定制化的客戶界面 統(tǒng)一的用戶和權(quán)限管理機制主題分析及專題分析主題分析及專題分析前端用戶前端用戶/瀏覽器瀏覽器應(yīng)用服務(wù)器應(yīng)用服務(wù)器 /Web Server業(yè)務(wù)主題分析業(yè)務(wù)主題分析服務(wù)質(zhì)量模塊服務(wù)質(zhì)量模塊用戶分析模塊用戶分析模塊業(yè)務(wù)分析模塊業(yè)務(wù)分析模塊收益分析模塊收益分析模塊市場營銷分析模塊市場營銷分析模塊市場競爭分析模塊市場競爭分析模塊

3、新業(yè)務(wù)分析模塊新業(yè)務(wù)分析模塊合作服務(wù)方分析模塊合作服務(wù)方分析模塊大客戶分析模塊大客戶分析模塊專題分析專題分析業(yè)務(wù)業(yè)務(wù)( (含新業(yè)務(wù)含新業(yè)務(wù)) )專題專題市場、競爭專題市場、競爭專題大客戶發(fā)展、異動專題大客戶發(fā)展、異動專題客戶專題分析客戶專題分析 客戶管理 市場管理 產(chǎn)品管理 智能分析 產(chǎn)品推廣 獲取 更多 客戶 銷售管理 業(yè)務(wù)管理模型業(yè)務(wù)管理模型Part3 解決方案解決方案技術(shù)體系結(jié)構(gòu)技術(shù)體系結(jié)構(gòu)主要廠商產(chǎn)品介紹主要廠商產(chǎn)品介紹體系結(jié)構(gòu)BOSSMIS/OA網(wǎng)管網(wǎng)管其它數(shù)據(jù)源其它數(shù)據(jù)源數(shù)數(shù)據(jù)據(jù)源源qBOSSBOSS系統(tǒng)系統(tǒng)q網(wǎng)管網(wǎng)管q客服客服q其它其它1 數(shù)據(jù)源BOSSMIS/OA網(wǎng)管網(wǎng)管其它數(shù)

4、據(jù)源其它數(shù)據(jù)源數(shù)數(shù)據(jù)據(jù)源源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源q省BOSS系統(tǒng)的數(shù)據(jù)：批價后的詳單帳務(wù)數(shù)據(jù)欠費記錄繳費記錄欺詐記錄客戶信息資源記錄營業(yè)記錄投訴記錄查詢記錄結(jié)算數(shù)據(jù)人工錄入的信息q網(wǎng)管系統(tǒng)的數(shù)據(jù) 熱點小區(qū) 接通率 故障信息q客服數(shù)據(jù) 投訴信息 服務(wù)狀況q其他數(shù)據(jù) 人工輸入數(shù)據(jù)源細分數(shù)據(jù)源細分v計費子系統(tǒng)：計費子系統(tǒng)：n通話詳單（原始、計費后）、詳單格式通話詳單（原始、計費后）、詳單格式n計費使用費率表計費使用費率表n錯誤話單錯誤話單n結(jié)算話單結(jié)算話單v帳務(wù)子系統(tǒng)：帳務(wù)子系統(tǒng)：n帳務(wù)數(shù)據(jù)帳務(wù)數(shù)據(jù)n欠費記錄欠費記錄n繳費記錄、繳費方式繳費記錄、繳費方式n欺詐記錄欺詐記錄v營業(yè)子系統(tǒng)：營業(yè)子系統(tǒng)：

5、n用戶資料及信用度用戶資料及信用度n資源使用記錄資源使用記錄n營業(yè)廳、營業(yè)員資料營業(yè)廳、營業(yè)員資料v客服子系統(tǒng)：客服子系統(tǒng)：n投訴記錄投訴記錄n用戶查詢記錄用戶查詢記錄v網(wǎng)管系統(tǒng)：網(wǎng)管系統(tǒng)：n接通率數(shù)據(jù)接通率數(shù)據(jù)n掉話率數(shù)據(jù)掉話率數(shù)據(jù)v手工錄入數(shù)據(jù)：手工錄入數(shù)據(jù)：n市場調(diào)查結(jié)果記錄市場調(diào)查結(jié)果記錄n市場宣傳費用和形式記錄市場宣傳費用和形式記錄v流水型增長數(shù)據(jù)：流水型增長數(shù)據(jù)：n通話詳單（原始、計費后）通話詳單（原始、計費后）n錯誤話單錯誤話單n帳務(wù)數(shù)據(jù)帳務(wù)數(shù)據(jù)n欠費記錄欠費記錄n繳費記錄繳費記錄n欺詐記錄欺詐記錄n資源使用記錄資源使用記錄n投訴記錄投訴記錄n用戶查詢記錄用戶查詢記錄n財務(wù)數(shù)據(jù)財

6、務(wù)數(shù)據(jù)n物流數(shù)據(jù)物流數(shù)據(jù)n市場調(diào)查結(jié)果記錄市場調(diào)查結(jié)果記錄n市場宣傳費用和形式記錄市場宣傳費用和形式記錄v變化更新數(shù)據(jù)：變化更新數(shù)據(jù)：n計費使用費率表計費使用費率表n繳費方式繳費方式n用戶資料及信用度用戶資料及信用度n營業(yè)廳、營業(yè)員資料營業(yè)廳、營業(yè)員資料BOSSMIS/OA網(wǎng)管網(wǎng)管其它數(shù)據(jù)源其它數(shù)據(jù)源數(shù)數(shù)據(jù)據(jù)源源數(shù)據(jù)獲取層數(shù)據(jù)獲取層2 數(shù)據(jù)獲取層 數(shù)據(jù)來源數(shù)據(jù)來源首先直接快速傳輸?shù)椒侄未鎯^(qū)，再從分段存儲區(qū)首先直接快速傳輸?shù)椒侄未鎯^(qū)，再從分段存儲區(qū)經(jīng)過清洗、轉(zhuǎn)換、映射等復(fù)雜的數(shù)據(jù)移動處理轉(zhuǎn)移經(jīng)過清洗、轉(zhuǎn)換、映射等復(fù)雜的數(shù)據(jù)移動處理轉(zhuǎn)移到目標(biāo)數(shù)據(jù)倉庫中。到目標(biāo)數(shù)據(jù)倉庫中。 以保證數(shù)據(jù)的快速導(dǎo)入

7、而盡量減小對業(yè)務(wù)系統(tǒng)以保證數(shù)據(jù)的快速導(dǎo)入而盡量減小對業(yè)務(wù)系統(tǒng)造成的壓力。造成的壓力。 有數(shù)據(jù)庫和文件二種方式，分別對應(yīng)于不同運有數(shù)據(jù)庫和文件二種方式，分別對應(yīng)于不同運營系統(tǒng)的數(shù)據(jù)源。營系統(tǒng)的數(shù)據(jù)源。 數(shù)據(jù)集成數(shù)據(jù)集成 異構(gòu)數(shù)據(jù)源整合異構(gòu)數(shù)據(jù)源整合臨時存儲區(qū)(Staging Area)BOSS與經(jīng)營分析系統(tǒng)的連接方案與經(jīng)營分析系統(tǒng)的連接方案計費營帳經(jīng)營分析系統(tǒng)經(jīng)營分析系統(tǒng)DW客服采集BOSS系統(tǒng)ODS文件加載，例如采用sql*load數(shù)據(jù)集成，例如采用OWB,Pl/Sql,CA Advantage Data Transformer數(shù)據(jù)清洗、轉(zhuǎn)換，如采用OWB,Pl/SqlSql*Load實現(xiàn)方式

8、實現(xiàn)方式q1、掌握源文件的文件格式q2、定義目的ODS的對應(yīng)表結(jié)構(gòu)q3、編寫執(zhí)行的腳本q4、運行腳本q5、查看運行的日志例子：將pt0431文件的記錄裝載進入表cc_test中實現(xiàn)：1、依據(jù)文件pt0431格式和表cc_test的結(jié)構(gòu)，編寫腳本jl.ldr：LOAD DATAINFILE ./pt0431INTO TABLE cc_test(文件格式與表結(jié)構(gòu)對應(yīng)關(guān)系定義)2、編寫控制腳本jl.sql：sqlload userid=ht/hello control=jl.ldr log=jl.log3、執(zhí)行：#sh jl4、查看日志文件jl.logPl/Sql實現(xiàn)方式實現(xiàn)方式有些數(shù)據(jù)需要經(jīng)過程序

9、處理后才能很好的被使用。例如：基于批價詳單來分析話務(wù)流向時需要利用詳單記錄中的Other_party字段。Other_party可能的存在形式：1795X+固定電話號碼；013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+電話號碼；特殊號碼：110、119、1861等；172X1X2;只有經(jīng)過一定的處理，才能分析去話的方向是聯(lián)通、電信，國際，特殊呼叫等適用于隨機獲取數(shù)據(jù)適用于隨機獲取數(shù)據(jù) ETL 環(huán)境和處理流程數(shù)據(jù)轉(zhuǎn)化引擎數(shù)據(jù)轉(zhuǎn)化引擎來源來源 主機或主機或 C/S 系統(tǒng)系統(tǒng)轉(zhuǎn)化引擎轉(zhuǎn)化引擎數(shù)據(jù)倉庫數(shù)據(jù)倉庫企業(yè)元數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市掃描元數(shù)據(jù)要求資源規(guī)劃交

10、付用戶流程用戶流程數(shù)據(jù)倉庫數(shù)據(jù)倉庫監(jiān)控任務(wù)調(diào)度數(shù)據(jù)抽取數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載索引建立數(shù)據(jù)聚合元數(shù)據(jù)導(dǎo)入元數(shù)據(jù)維護BOSSOANMSELSE抽取策略抽取策略1、對于有時間線的數(shù)據(jù)增量抽取，例如：服務(wù)信息表， 由于有處理時間，可增量抽取2、沒時間線的數(shù)據(jù)則完全抽取，例如客戶信息表3、明細帳單、綜合帳單在出帳后，例如出帳后第二天 抽取4、對于文件，象BOSS系統(tǒng)的結(jié)算清單、計費清單按文 件生成周期實時抽取3 數(shù)數(shù)據(jù)據(jù)存存儲儲層層BOSSMIS/OA網(wǎng)管網(wǎng)管其它數(shù)據(jù)源其它數(shù)據(jù)源數(shù)數(shù)據(jù)據(jù)源源數(shù)據(jù)存儲層數(shù)據(jù)存儲層基礎(chǔ)數(shù)據(jù)倉庫 數(shù)據(jù)來源數(shù)據(jù)來源 數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)3NF3NF星型結(jié)構(gòu)星型結(jié)構(gòu)雪花結(jié)構(gòu)雪花結(jié)構(gòu)

11、 完整性和有效性檢查，對冗余和不一致完整性和有效性檢查，對冗余和不一致的數(shù)據(jù)進行了清洗和轉(zhuǎn)換。的數(shù)據(jù)進行了清洗和轉(zhuǎn)換。 數(shù)據(jù)量將非常龐大。數(shù)據(jù)量將非常龐大。 q3NF減少數(shù)據(jù)冗余減少存儲容量靈活的擴展能力執(zhí)行效率相對較低數(shù)據(jù)集市 數(shù)據(jù)倉庫的子集，主要面向某特定主題。數(shù)據(jù)倉庫的子集，主要面向某特定主題。 數(shù)據(jù)來源數(shù)據(jù)來源對基礎(chǔ)數(shù)據(jù)倉庫中數(shù)據(jù)的復(fù)制、分布或聚對基礎(chǔ)數(shù)據(jù)倉庫中數(shù)據(jù)的復(fù)制、分布或聚合合 數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)星型結(jié)構(gòu)星型結(jié)構(gòu)qStar-Schema存在數(shù)據(jù)冗余相對較大容量維變化時，需重新建立執(zhí)行效率高粒度選擇粒度選擇多重粒度級別中央數(shù)據(jù)倉庫采用低粒度級，例如，客戶月通話詳單 -高細節(jié)數(shù)據(jù)，能

12、回答所有問題，但分析效率較低；數(shù)據(jù)集市采用高粒度級，例如，客戶月通話綜合信息- -低細節(jié)數(shù)據(jù)，能回答部分問題，但分析效率高；如果高粒度數(shù)據(jù)也包含分析所需的足夠的細節(jié)，則高粒度數(shù)據(jù)的使用效率會提高很多中央數(shù)據(jù)倉庫與從屬數(shù)據(jù)集市中央數(shù)據(jù)倉庫與從屬數(shù)據(jù)集市中央數(shù)據(jù)倉庫客戶信息客戶信息Cust_IDMsisdnAge_levelCust_TypeCity_Code通話詳單通話詳單Call_TypeMsisdnStart_DateStart_timeCall_duration.帳戶信息帳戶信息Account_IDCust_IDLfeeCfeeDiscount_fee其它信息其它信息Cust_IDMsis

13、dnAge_levelCust_TypeCity_CodeCust_IDMsisdn客戶通話行為分析客戶消費行為分析其它分析依據(jù)分析的需要Map數(shù)據(jù)數(shù)據(jù)倉庫完整構(gòu)架數(shù)據(jù)倉庫完整構(gòu)架Data Marts Data Mining OLAPAnalysis Mart MartStaging AreaData WarehouseOperational DataExternalDataArchiveDataManualDataBusiness Users4 數(shù)據(jù)訪問層 信息處理信息處理 查詢和報表 分析處理分析處理 基本的OLAP操作 數(shù)據(jù)挖掘數(shù)據(jù)挖掘 知識發(fā)現(xiàn)BOSSMIS/OA網(wǎng)管網(wǎng)管其它數(shù)據(jù)源其它

14、數(shù)據(jù)源數(shù)數(shù)據(jù)據(jù)源源數(shù)據(jù)訪問層數(shù)據(jù)訪問層舉例：話務(wù)流向分析 維：通話日期、通話時間、對端號碼，共3個維；分析指標(biāo)：通話次數(shù)，通話時長實施：建立一個3維的數(shù)據(jù)立方體，對指標(biāo)采用切片、鉆取、旋轉(zhuǎn)等方法進行分析多維數(shù)分析多維數(shù)分析時間時間日期日期對端號碼對端號碼同一時刻話務(wù)流向分析同一時刻話務(wù)流向分析12:00OLAP分析方法一【切片】分析方法一【切片】12:00日期日期對對端端號號碼碼OLAP分析方法一【切片】分析方法一【切片】時間時間日期日期5月月1日日對端號碼對端號碼同一日期話務(wù)流向分析同一日期話務(wù)流向分析5月月1日日對端號碼對端號碼時時間間OLAP分析方法一【切片】分析方法一【切片】流向同一運

15、營商的話務(wù)量分析流向同一運營商的話務(wù)量分析時間時間日期日期聯(lián)通聯(lián)通對端號碼對端號碼聯(lián)通聯(lián)通日日 期期時時間間時間時間日期日期年年季度季度季度季度月月月月月月月月對端號碼對端號碼OLAP分析方法二【鉆取】分析方法二【鉆取】在同一個維上，按不同的層次來分析OLAP分析方法三【旋轉(zhuǎn)】分析方法三【旋轉(zhuǎn)】將年份和季度交換坐標(biāo)基于基于WEB的展現(xiàn)方式的展現(xiàn)方式對數(shù)據(jù)進行可視化的分析，分析結(jié)對數(shù)據(jù)進行可視化的分析，分析結(jié)果的展現(xiàn)方式有以下幾種，并且各果的展現(xiàn)方式有以下幾種，并且各種形式之間可以相互的轉(zhuǎn)換：種形式之間可以相互的轉(zhuǎn)換：1柱狀圖；柱狀圖；2相對柱狀圖；相對柱狀圖；3累計柱狀圖；累計柱狀圖；4餅圖；

16、餅圖；5散點圖；散點圖；6折線圖；折線圖；7趨勢圖；趨勢圖；8網(wǎng)頁表格；網(wǎng)頁表格；9表格中的數(shù)據(jù)倒出到表格中的數(shù)據(jù)倒出到Excel報表報表WEB展現(xiàn)示例【柱圖】展現(xiàn)示例【柱圖】WEB展現(xiàn)示例【展現(xiàn)示例【3D柱圖】柱圖】5 元數(shù)據(jù)關(guān)于數(shù)據(jù)的數(shù)據(jù)技術(shù)元數(shù)據(jù)操作元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)貫穿全過程BOSSMIS/OA網(wǎng)管網(wǎng)管其它數(shù)據(jù)源其它數(shù)據(jù)源數(shù)數(shù)據(jù)據(jù)源源元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理業(yè)務(wù)定義業(yè)務(wù)定義屬性定義屬性定義DA / DBA ToolErwin抽取規(guī)則抽取規(guī)則, 轉(zhuǎn)換規(guī)則轉(zhuǎn)換規(guī)則ETL Tool報表格式報表格式, 過濾過濾,分割等分割等DSS Tool數(shù)據(jù)庫數(shù)據(jù)庫元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)庫元數(shù)據(jù)庫

17、雙向自動無連接業(yè)務(wù)定義業(yè)務(wù)定義OtherExcelHTMLIBM CompatibleBusiness UsersIBM Compatible數(shù)據(jù)倉庫開發(fā)數(shù)據(jù)倉庫開發(fā)IBM Compatible元數(shù)據(jù)管理元數(shù)據(jù)管理Intranet/Extranet-Definitions-Domains-Names6 系統(tǒng)管理系統(tǒng)管理安全安全備份備份安全體系結(jié)構(gòu)安全體系結(jié)構(gòu) 系統(tǒng)安全 安全的層次 每個層次均需要相應(yīng)措施保證 數(shù)據(jù)庫、應(yīng)用、網(wǎng)絡(luò) 網(wǎng)絡(luò)層 防火墻 電子認證 加密安全層次 數(shù)據(jù)庫層 密碼 數(shù)據(jù)庫權(quán)限控制 應(yīng)用層安全 用戶身份認證 按照操作對象和操作類別規(guī)定各操作員的權(quán)限 保證身份的有效性和不可抵賴性

18、 采用口令密碼方式，可以向數(shù)字證書升級 數(shù)據(jù)加密 服務(wù)和數(shù)據(jù)權(quán)限容災(zāi)與備份：概述 什么災(zāi)？ 火災(zāi)、地震、洪水 系統(tǒng)故障：硬件、操作系統(tǒng)、數(shù)據(jù)庫. 應(yīng)用故障：設(shè)計時考慮不周 誤操作 黑客入侵、故意破壞 容災(zāi)方法 以備份系統(tǒng)代替主系統(tǒng)，并及時恢復(fù)主系統(tǒng) 數(shù)據(jù)復(fù)制 其它：地理分布，電源、網(wǎng)絡(luò)等的高可用性容災(zāi)與備份：數(shù)據(jù)備份策略 數(shù)據(jù)備份的層次 物理視圖 邏輯視圖（DB、數(shù)據(jù)庫模式、應(yīng)用） 數(shù)據(jù)備份的方式 聯(lián)機復(fù)制 同步、異步、狀態(tài) 脫機備份 防止“誤操作型”災(zāi)難 數(shù)據(jù)備份的目標(biāo) 一致性、當(dāng)前性、可恢復(fù)性，盡量減少數(shù)據(jù)丟失及盡快恢復(fù)容災(zāi)與備份：數(shù)據(jù)復(fù)制層次Part3 解決方案解決方案技術(shù)體系結(jié)構(gòu)技術(shù)體

19、系結(jié)構(gòu)主要廠商產(chǎn)品介紹主要廠商產(chǎn)品介紹產(chǎn)品供應(yīng)商IBM Corp.Oracle Corp.SAS InstituteMicrosoft Corp.MicroStrategy Inc.CABrio TechnologyBusiness Objects Inc.Cognos產(chǎn)品供應(yīng)商 Data warehouses OLAP Data mining Reporting, Querying and business intelligence ETLOracleSybaseSASDB2NCRBI/SASDB2 Olap ServerOracle ExpressBusiness Objects/OLAP

20、 accessSAS Data miningGeneva(PwC)Intelligent Miner,Visualization(IBM)MineSet (Silicon Graphics)Visual Insights(Lucent)Business ObjectsBrioAdaptive Server IQ multiplex(Sybase)ActuateHummingbird suiteNUMA-Q2000(IBM)Pilot Balanced Score cardOWBInformaticaCA Data TransformerSAS/WABestWorstRelative to al

21、l platforms (including S/390);updated April 2001Copyright 2001Data Mgmt.Data Admin.Scalability & SuitabilityConcurrent Query Mgmt.DW Track RecordQuery PerformanceHPHP9000HP-UXOracle IBM SPRS/6000AIXDB2 EEESunEnterpriseSolarisOracle GenericIntel IA-32Win2000SQL ServerUnisysES7000Win2000SQL ServerIBMS

22、/390OS/390DB2 EEECompaqAlphaTru64OracleNCRWorldMarkMP-RASTeradata主機廠家主機廠家:主機型號主機型號:操作系統(tǒng)操作系統(tǒng):數(shù)據(jù)倉庫平臺數(shù)據(jù)倉庫平臺:數(shù)據(jù)倉庫比較ChallengesStrengthsDWDMDMDMDMDMDMDMDMDWDM Performs well on both SMP and DMPsystems Strong query optimization Leader on NT clusters Implementation of large data marts anddata warehouses Rich

23、 feature set and capabilities Lack of non-IBM server platformcredibility Manageability Unproven with increasing size (verylarge), complexity and concurrentqueries Rapid release of major versions andproduct immaturityDB2 UDB EEE on RS/6000 SPCommon Topology“Hub andSpoke”TopologyPlatformSuitability &S

24、calability (9)ConcurrentQueryManagement(5)QueryPerformance (8)DataManagement (8)ProvenDW TrackRecord (6)DataAdministration(7)Copyright 2001IBM DB2IBMIBM數(shù)據(jù)倉庫解決方案數(shù)據(jù)倉庫解決方案DB2 Warehouse Manager (管理工具管理工具)DB2 Visual warehousing(ETL)MIS/OABOSS網(wǎng)管網(wǎng)管No.7監(jiān)測監(jiān)測DB2 UDBV7.2數(shù)據(jù)倉庫數(shù)據(jù)倉庫DB2 OLAPSERVER(MDB)查詢查詢?nèi)藛T人員分析分析人

25、員人員Hyperion analyzer 決策決策人員人員IBM Intelligent Miner 數(shù)據(jù)挖掘數(shù)據(jù)挖掘DB2 Warehouse ManagerDB2 UDBV7.2數(shù)據(jù)集市數(shù)據(jù)集市外部來源外部來源DB2 UDBV7.2數(shù)據(jù)集市數(shù)據(jù)集市Enterprise Information PortalIBM數(shù)據(jù)倉庫的特點 提供大型數(shù)據(jù)庫DB2作為數(shù)據(jù)倉庫的存儲數(shù)據(jù)庫，DB2性能優(yōu)異，提供從桌面機到工作站、小型機、大型機的良好擴展性 提供Visual Warehousing作為數(shù)據(jù)抽取工具，VW能夠從廣泛的數(shù)據(jù)源抽取數(shù)據(jù)，并且在大數(shù)據(jù)量的抽取中充分顯示了速度優(yōu)勢 提供多維型、關(guān)系型兩種C

26、ube的實現(xiàn)方式 提供功能強大的訪問Cube的查詢語法 Query Script 在所有同類產(chǎn)品中提供最強大的分區(qū)功能 DWDMDMQueryPerformance (10)DataManagement (10)ChallengesStrengths Performance standard for very-large data warehouses and data marts Manageability low number of DBAs required Query optimization support for complex data models Support for co

27、ncurrent query workloads Lack of platform choice (confusion) Delays on NT/MPP Ability to execute well Ability to keep current capability lead Marketing and positioning for broader market Higher initial cost of solution BI tool and application supportProven DW Track Record (10)Concurrent Query Manage

28、ment (10)Platform Suitability & Scalability (10)DataAdministration (9)Common TopologyUser access tothe datawarehouse andfew data martsNCR TeradataDWDMDMDMDMDMOperational SourcesLots of Data MartsChallengesStrengths Market leadership and mind share Performs well on SMP and NUMA Supports tool and BI v

29、endors Implements midsize data marts and datawarehouses with low concurrency Lack of effectiveness on DMPP platforms Concurrent query performance Query optimization for complex datamodels Data partitioning Manageability Unproven with increasing size and complexityCommon TopologyPlatformSuitability &

30、Scalability (8)ConcurrentQueryManagement(3)QueryPerformance (6)DataManagement (6)ProvenDW TrackRecord (5)DataAdministration(6)Oracle for SunCopyright 2001OracleOracleOracle數(shù)據(jù)倉庫解決方案數(shù)據(jù)倉庫解決方案Oracle9i Enterprise Manager(管理工具管理工具)Oracle9i WarehouseBuilder(ETL)MIS/OABOSS網(wǎng)管網(wǎng)管No.7監(jiān)測監(jiān)測Oracle9i數(shù)據(jù)倉庫數(shù)據(jù)倉庫OracleD

31、iscovery即席查詢即席查詢查詢查詢?nèi)藛T人員OracleReports預(yù)定義報表預(yù)定義報表分析分析人員人員OracleExpressOLAP決策決策人員人員OracleData Mining數(shù)據(jù)挖掘數(shù)據(jù)挖掘Oracle9i數(shù)據(jù)集市數(shù)據(jù)集市Oracle9i數(shù)據(jù)集市數(shù)據(jù)集市Oracle9iODS外部來源外部來源OraclEPortalExpressServer(MDB)OracleOracle數(shù)據(jù)倉庫的特點數(shù)據(jù)倉庫的特點 提供RDBMS和MDDB兩種數(shù)據(jù)存儲結(jié)構(gòu)，Oracle功能強大，提供了良好擴展性, 提供了功能強大的系統(tǒng)管理界面 支持超大型數(shù)據(jù)倉庫，并提供多種優(yōu)化手段和針對數(shù)據(jù)倉庫的特征，

32、如分區(qū)，位圖索引 提供功能強大的訪問Cube的查詢語法Express command 提供Oracle Warehouse Builder作為數(shù)據(jù)抽取工具，OWB提供功能包括：模型構(gòu)造和設(shè)計；數(shù)據(jù)提取、移動和裝載；元數(shù)據(jù)管理；分析工具的整合；以及數(shù)據(jù)倉庫管理。具有開放可延伸的框架。 Sybase數(shù)據(jù)倉庫解決方案數(shù)據(jù)倉庫解決方案RelationalPackageLegacyExternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Tr

33、ansformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMS, Star SchemaArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocal MetadataLocal MetadataPowerMartSybase IQSybase IQCognosPowerMartWarehouseArchitectWCCBri

34、o/BOSybase ASESybase數(shù)據(jù)倉庫的特點數(shù)據(jù)倉庫的特點 按列存儲，有很高的壓縮比例 PowerMart能夠在一個統(tǒng)一的界面中將用戶定義的轉(zhuǎn)換規(guī)則、Schedule、權(quán)限設(shè)置、數(shù)據(jù)源和目標(biāo)等等數(shù)據(jù)抽取定義通過有效的方式管理起來，方便整個數(shù)據(jù)抽取工作的管理 Adaptive Server IQ不僅使用了基于值的位映射（bitmap）算法及傳統(tǒng)的b-tree算法，還使用了Sybase有專利權(quán)的位式（bit-wise）索引 IQ with Multiplex可以支持無限的用戶訪問數(shù)據(jù)倉庫 系統(tǒng)硬件拓撲圖數(shù)據(jù)倉庫服務(wù)器數(shù)據(jù)倉庫服務(wù)器數(shù)據(jù)分析服務(wù)器數(shù)據(jù)分析服務(wù)器數(shù)據(jù)抽取服務(wù)器數(shù)據(jù)抽取服務(wù)器數(shù)

35、據(jù)挖掘服務(wù)器數(shù)據(jù)挖掘服務(wù)器 WEB WEB服務(wù)器服務(wù)器省中心局域網(wǎng)省中心局域網(wǎng)廣域網(wǎng)廣域網(wǎng)廣域網(wǎng)廣域網(wǎng)存儲及備份系統(tǒng)存儲及備份系統(tǒng)防火墻防火墻管理終端管理終端相關(guān)部門客戶層相關(guān)部門客戶層相關(guān)部門客戶層相關(guān)部門客戶層Internet主機系統(tǒng)主機系統(tǒng)存儲系統(tǒng)存儲系統(tǒng)光纖交換機光纖交換機磁帶庫系統(tǒng)磁帶庫系統(tǒng)存儲及備份系統(tǒng)拓撲圖存儲及備份系統(tǒng)拓撲圖存儲及備份系統(tǒng)拓撲圖存儲及備份系統(tǒng)拓撲圖主機系統(tǒng)主機系統(tǒng)存儲系統(tǒng)存儲系統(tǒng)光纖交換機光纖交換機磁帶庫系統(tǒng)磁帶庫系統(tǒng)主機系統(tǒng)主機系統(tǒng)存儲系統(tǒng)存儲系統(tǒng)存儲系統(tǒng)存儲系統(tǒng)光纖交換機光纖交換機磁帶庫系統(tǒng)磁帶庫系統(tǒng)磁帶庫系統(tǒng)磁帶庫系統(tǒng)存儲及備份系統(tǒng)拓撲圖存儲及備份系統(tǒng)拓撲

36、圖存儲及備份系統(tǒng)拓撲圖存儲及備份系統(tǒng)拓撲圖SAN典型結(jié)構(gòu)存儲方式比較存儲估算 數(shù)據(jù)倉庫數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)3NF3NFStar-SchemaStar-Schema 數(shù)據(jù)集市數(shù)據(jù)集市Star-SchemaStar-SchemaCubeCube3NF計算公式計算公式總?cè)萘靠側(cè)萘?源數(shù)據(jù)源數(shù)據(jù)i i * * (1+ (1+索引因子索引因子) ) * * RAID RAID 因子因子源數(shù)據(jù)i=單條記錄字節(jié)數(shù)單條記錄字節(jié)數(shù) * * 記錄數(shù)記錄數(shù)/ /人人. .天天 * * 用戶數(shù)用戶數(shù)* *有效用戶系數(shù)有效用戶系數(shù) * * 天數(shù)天數(shù)/ /月月 * * 保存月數(shù)保存月數(shù)說明： 索引因子 = 0.7 RAID因

37、子 = 1.25 記錄數(shù)/人.天 = 8 用戶數(shù)*有效用戶系數(shù) = 200萬/600萬/1200萬 天數(shù)/月 = 31 保存月數(shù) = N注：以上計算基于Oracle數(shù)據(jù)倉庫引擎Star-SchemaStar-Schema的計算的計算 維表維表用來描述屬性數(shù)據(jù)，通常數(shù)據(jù)量很小，可以忽略不計。用來描述屬性數(shù)據(jù)，通常數(shù)據(jù)量很小，可以忽略不計。 事實表事實表記錄的大小取決于分析的內(nèi)容，包括每個維值的代碼和匯記錄的大小取決于分析的內(nèi)容，包括每個維值的代碼和匯總數(shù)值的大小。總數(shù)值的大小。記錄的數(shù)量取決于分析維度的多少和每個維度可能出現(xiàn)的記錄的數(shù)量取決于分析維度的多少和每個維度可能出現(xiàn)的值的個數(shù)。值的個數(shù)。

38、事實表大小事實表大小= 事實表記錄大小事實表記錄大小x 各維值取值數(shù)各維值取值數(shù)x 壓縮比因壓縮比因子子業(yè)務(wù)主題總數(shù)據(jù)量業(yè)務(wù)主題總數(shù)據(jù)量= 各事實表大小的總和各事實表大小的總和 星型數(shù)據(jù)存儲量星型數(shù)據(jù)存儲量= 業(yè)務(wù)主題總數(shù)據(jù)量業(yè)務(wù)主題總數(shù)據(jù)量x (1+索引因索引因子子) x RAID 因子因子存儲估算（600萬為例） 語音業(yè)務(wù)用戶語音業(yè)務(wù)用戶本地話單每年存儲量為：本地話單每年存儲量為： 230230* *8 8* *600600萬萬* * 31 31 * * 12 = 4.11T 12 = 4.11T漫游話單每年存儲量為：漫游話單每年存儲量為： 230230* *10% 10% * * 8 8

39、* *600600萬萬* * 31 31 * * 12 = 0.411T 12 = 0.411T 語音業(yè)務(wù)用戶話單每年總存儲量為：語音業(yè)務(wù)用戶話單每年總存儲量為： 4.11T+0.411T = 4.521T 4.11T+0.411T = 4.521T 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)本地話單每年存儲量為：本地話單每年存儲量為： 400400* *20%20%* * 8 8* *600600萬萬* * 31 31 * * 12 =1.44T 12 =1.44T漫游用戶話單每年存儲量為：漫游用戶話單每年存儲量為： 400400* *20%20%* * 10% 10% * * 8 8* *6

40、00600萬萬* * 31 31 * * 12 = 190.4G 12 = 190.4G 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)話單每年總存儲數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)話單每年總存儲量為：量為： 1.44T+190.4G = 1.63T1.44T+190.4G = 1.63T存儲估算（600萬為例） 結(jié)算話單結(jié)算話單結(jié)算話單每年存儲量為：結(jié)算話單每年存儲量為： 200200* *600600萬萬* *（8+88+8* *10%10%）* *50%50%* *3131* *12 = 12 = 1.97T1.97T 每年話單存儲總量為：每年話單存儲總量為： 4.521T 4.521T + + 1.63T1.63T + +

41、 1.97T1.97T = 8.121T = 8.121T存儲估算（600萬為例） 營業(yè)部交易記錄營業(yè)部交易記錄基本上是每個客戶有幾條記錄，但相對穩(wěn)基本上是每個客戶有幾條記錄，但相對穩(wěn)定，不會大量產(chǎn)生，也不隨時間爆炸性增長，定，不會大量產(chǎn)生，也不隨時間爆炸性增長，估算為估算為0.6T/0.6T/年年。 客服數(shù)據(jù)客服數(shù)據(jù)也會隨時間增長，但增幅遠小于話單數(shù)據(jù)，也會隨時間增長，但增幅遠小于話單數(shù)據(jù)，估算為估算為0.6T/0.6T/年年。 存儲估算（600萬為例） 客戶資料數(shù)據(jù)客戶資料數(shù)據(jù)相對穩(wěn)定，以后隨客戶數(shù)量的增加而增長，相對穩(wěn)定，以后隨客戶數(shù)量的增加而增長，其增幅也不大，估算為其增幅也不大，估算

42、為0.6T/0.6T/年年。 總?cè)萘靠側(cè)萘拷Y(jié)合上述因素，總的存儲空間為：結(jié)合上述因素，總的存儲空間為： (8.121T+0.6T(8.121T+0.6T* *3 3）* *1.25=12.4T1.25=12.4T存儲估算（600萬為例）主機性能測算 TPC-C TPC-C is an on-line transaction processing benchmark TPC-H TPC-H is an ad-hoc, decision support benchmark It consists of a suite of business oriented ad-hoc queries and

43、concurrent data modifications. The performance metric reported by TPC-H is called the TPC-H Composite Query-per-Hour Performance Metric (QphHSize)影響因素 源主機 源數(shù)據(jù)庫 網(wǎng)絡(luò)帶寬 數(shù)據(jù)量（主要） 目標(biāo)主機（主要） 目標(biāo)數(shù)據(jù)庫（主要）HP Superdome + OracleIBM SP + DB2NCRSUN + Oracle特別提示 Oracle 9i Warehouse Builder Unleashing World Record Performance March 2002 采用HP Superdome + Oracle發(fā)布測試環(huán)境主機、數(shù)據(jù)庫 Database Information: Oracle 9.0.1.1 Enterprise Ed