經(jīng)營分析系統(tǒng)術(shù)交流課件

1、經(jīng)營分析系統(tǒng)技術(shù)交流中國電信經(jīng)營分析系統(tǒng)第一部分：公司介紹第二部分：需求說明第三部分：解決方案第四部分：問題交流目錄Part1 公司介紹第一部分：公司介紹第二部分：需求說明第三部分：解決方案第四部分：問題交流Part2 需求說明背景企業(yè)經(jīng)營發(fā)展的結(jié)果以業(yè)務(wù)為中心話單量小、業(yè)務(wù)少、用戶少以客戶為中心大數(shù)據(jù)量、業(yè)務(wù)多、異構(gòu)數(shù)據(jù)、決策分析技術(shù)發(fā)展的結(jié)果數(shù)據(jù)庫與數(shù)據(jù)倉庫人工智能數(shù)據(jù)挖掘聯(lián)機(jī)分析企業(yè)信息化的四個(gè)進(jìn)程數(shù)據(jù)信息知識(shí)施效在線分析數(shù)據(jù)挖掘客戶關(guān)系管理數(shù)據(jù)倉庫=營銷自動(dòng)化=銷售隊(duì)伍自動(dòng)化=客戶服務(wù)與技術(shù)支持=事實(shí)發(fā)生了什么?=為什么會(huì)發(fā)生？=對(duì)象是誰？=還會(huì)發(fā)生什么?經(jīng)營分析系統(tǒng)信息流圖 建設(shè)目標(biāo)

2、建立一個(gè)統(tǒng)一的數(shù)據(jù)信息平臺(tái)采用先進(jìn)的數(shù)據(jù)倉庫技術(shù)和分析挖掘工具，提取數(shù)據(jù)中的有價(jià)值信息為企業(yè)的客戶服務(wù)、市場(chǎng)營銷等工作提供科學(xué)有效的支撐，提升企業(yè)的運(yùn)營水平和競(jìng)爭(zhēng)能力，體現(xiàn)以客戶為中心的經(jīng)營理念建設(shè)原則兩級(jí)系統(tǒng)，三層結(jié)構(gòu)整合業(yè)務(wù)數(shù)據(jù)、面向經(jīng)營分析 能通過多種手段實(shí)現(xiàn)業(yè)務(wù)智能主題可擴(kuò)充、新增及重構(gòu)成為業(yè)務(wù)決策者專業(yè)的咨詢顧問 經(jīng)營分析系統(tǒng)的開發(fā)與建設(shè)將分階段進(jìn)行系統(tǒng)功能支持與各種主流數(shù)據(jù)庫平臺(tái)、多維分析引擎、數(shù)據(jù)挖掘引擎和前端展示工具的無縫集成開放的應(yīng)用程序接口和工具提供統(tǒng)一的數(shù)據(jù)倉庫平臺(tái)，支持后續(xù)應(yīng)用和擴(kuò)展可定制化的客戶界面統(tǒng)一的用戶和權(quán)限管理機(jī)制主題分析及專題分析前端用戶/瀏覽器應(yīng)用服務(wù)器

3、/Web Server業(yè)務(wù)主題分析服務(wù)質(zhì)量模塊用戶分析模塊業(yè)務(wù)分析模塊收益分析模塊市場(chǎng)營銷分析模塊市場(chǎng)競(jìng)爭(zhēng)分析模塊新業(yè)務(wù)分析模塊合作服務(wù)方分析模塊大客戶分析模塊專題分析業(yè)務(wù)(含新業(yè)務(wù))專題市場(chǎng)、競(jìng)爭(zhēng)專題大客戶發(fā)展、異動(dòng)專題客戶專題分析數(shù)據(jù)倉庫業(yè)務(wù)管理模型Part3 解決方案技術(shù)體系結(jié)構(gòu)主要廠商產(chǎn)品介紹體系結(jié)構(gòu)BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源BOSS系統(tǒng)網(wǎng)管客服其它1 數(shù)據(jù)源BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源省BOSS系統(tǒng)的數(shù)據(jù)：批價(jià)后的詳單帳務(wù)數(shù)據(jù)欠費(fèi)記錄繳費(fèi)記錄欺詐記錄客戶信息資源記錄營業(yè)記錄投訴記錄查詢記錄結(jié)算數(shù)據(jù)人工錄入的信息網(wǎng)管系統(tǒng)的數(shù)據(jù) 熱點(diǎn)小區(qū) 接通率 故

4、障信息客服數(shù)據(jù) 投訴信息 服務(wù)狀況其他數(shù)據(jù) 人工輸入數(shù)據(jù)源細(xì)分計(jì)費(fèi)子系統(tǒng)：通話詳單（原始、計(jì)費(fèi)后）、詳單格式計(jì)費(fèi)使用費(fèi)率表錯(cuò)誤話單結(jié)算話單帳務(wù)子系統(tǒng)：帳務(wù)數(shù)據(jù)欠費(fèi)記錄繳費(fèi)記錄、繳費(fèi)方式欺詐記錄營業(yè)子系統(tǒng)：用戶資料及信用度資源使用記錄營業(yè)廳、營業(yè)員資料客服子系統(tǒng)：投訴記錄用戶查詢記錄網(wǎng)管系統(tǒng)：接通率數(shù)據(jù)掉話率數(shù)據(jù)手工錄入數(shù)據(jù)：市場(chǎng)調(diào)查結(jié)果記錄市場(chǎng)宣傳費(fèi)用和形式記錄流水型增長數(shù)據(jù)：通話詳單（原始、計(jì)費(fèi)后）錯(cuò)誤話單帳務(wù)數(shù)據(jù)欠費(fèi)記錄繳費(fèi)記錄欺詐記錄資源使用記錄投訴記錄用戶查詢記錄財(cái)務(wù)數(shù)據(jù)物流數(shù)據(jù)市場(chǎng)調(diào)查結(jié)果記錄市場(chǎng)宣傳費(fèi)用和形式記錄變化更新數(shù)據(jù)：計(jì)費(fèi)使用費(fèi)率表繳費(fèi)方式用戶資料及信用度營業(yè)廳、營業(yè)員資料

5、BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)獲取層2 數(shù)據(jù)獲取層數(shù)據(jù)來源首先直接快速傳輸?shù)椒侄未鎯?chǔ)區(qū)，再從分段存儲(chǔ)區(qū)經(jīng)過清洗、轉(zhuǎn)換、映射等復(fù)雜的數(shù)據(jù)移動(dòng)處理轉(zhuǎn)移到目標(biāo)數(shù)據(jù)倉庫中。以保證數(shù)據(jù)的快速導(dǎo)入而盡量減小對(duì)業(yè)務(wù)系統(tǒng)造成的壓力。有數(shù)據(jù)庫和文件二種方式，分別對(duì)應(yīng)于不同運(yùn)營系統(tǒng)的數(shù)據(jù)源。數(shù)據(jù)集成 異構(gòu)數(shù)據(jù)源整合臨時(shí)存儲(chǔ)區(qū)(Staging Area)BOSS與經(jīng)營分析系統(tǒng)的連接方案計(jì)費(fèi)營帳經(jīng)營分析系統(tǒng)DW客服采集BOSS系統(tǒng)ODS文件加載，例如采用sql*load數(shù)據(jù)集成，例如采用OWB,Pl/Sql,CA Advantage Data Transformer數(shù)據(jù)清洗、轉(zhuǎn)換，如采用OWB,Pl/S

6、qlSql*Load實(shí)現(xiàn)方式1、掌握源文件的文件格式2、定義目的ODS的對(duì)應(yīng)表結(jié)構(gòu)3、編寫執(zhí)行的腳本4、運(yùn)行腳本5、查看運(yùn)行的日志例子：將pt0431文件的記錄裝載進(jìn)入表cc_test中實(shí)現(xiàn)：1、依據(jù)文件pt0431格式和表cc_test的結(jié)構(gòu)，編寫腳本jl.ldr：LOAD DATAINFILE ./pt0431INTO TABLE cc_test(文件格式與表結(jié)構(gòu)對(duì)應(yīng)關(guān)系定義)2、編寫控制腳本jl.sql：sqlload userid=ht/hello control=jl.ldr log=jl.log3、執(zhí)行：#sh jl4、查看日志文件jl.logPl/Sql實(shí)現(xiàn)方式有些數(shù)據(jù)需要經(jīng)過程

7、序處理后才能很好的被使用。例如：基于批價(jià)詳單來分析話務(wù)流向時(shí)需要利用詳單記錄中的Other_party字段。Other_party可能的存在形式：1795X+固定電話號(hào)碼；013XH1H2H3H4N1-N4;13XH1H2H3H4N1-N4;00+電話號(hào)碼；特殊號(hào)碼：110、119、1861等；172X1X2;只有經(jīng)過一定的處理，才能分析去話的方向是聯(lián)通、電信，國際，特殊呼叫等適用于隨機(jī)獲取數(shù)據(jù) ETL 環(huán)境和處理流程來源 OLTP系統(tǒng)數(shù)據(jù)轉(zhuǎn)化引擎緩存來源 主機(jī)或 C/S 系統(tǒng)轉(zhuǎn)化引擎數(shù)據(jù)倉庫企業(yè)元數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市掃描元數(shù)據(jù)要求資源規(guī)劃交付用戶流程數(shù)據(jù)倉庫監(jiān)控任務(wù)調(diào)度數(shù)據(jù)抽

8、取數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載索引建立數(shù)據(jù)聚合元數(shù)據(jù)導(dǎo)入元數(shù)據(jù)維護(hù)BOSSOANMSELSE抽取策略1、對(duì)于有時(shí)間線的數(shù)據(jù)增量抽取，例如：服務(wù)信息表， 由于有處理時(shí)間，可增量抽取2、沒時(shí)間線的數(shù)據(jù)則完全抽取，例如客戶信息表3、明細(xì)帳單、綜合帳單在出帳后，例如出帳后第二天 抽取4、對(duì)于文件，象BOSS系統(tǒng)的結(jié)算清單、計(jì)費(fèi)清單按文 件生成周期實(shí)時(shí)抽取3 數(shù)據(jù)存儲(chǔ)層BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)存儲(chǔ)層基礎(chǔ)數(shù)據(jù)倉庫數(shù)據(jù)來源數(shù)據(jù)結(jié)構(gòu)3NF星型結(jié)構(gòu)雪花結(jié)構(gòu)完整性和有效性檢查，對(duì)冗余和不一致的數(shù)據(jù)進(jìn)行了清洗和轉(zhuǎn)換。數(shù)據(jù)量將非常龐大。 3NF減少數(shù)據(jù)冗余減少存儲(chǔ)容量靈活的擴(kuò)展能力執(zhí)行效率相對(duì)較低數(shù)據(jù)

9、集市數(shù)據(jù)倉庫的子集，主要面向某特定主題。數(shù)據(jù)來源對(duì)基礎(chǔ)數(shù)據(jù)倉庫中數(shù)據(jù)的復(fù)制、分布或聚合數(shù)據(jù)結(jié)構(gòu)星型結(jié)構(gòu)Star-Schema存在數(shù)據(jù)冗余相對(duì)較大容量維變化時(shí)，需重新建立執(zhí)行效率高粒度選擇多重粒度級(jí)別中央數(shù)據(jù)倉庫采用低粒度級(jí)，例如，客戶月通話詳單 -高細(xì)節(jié)數(shù)據(jù)，能回答所有問題，但分析效率較低；數(shù)據(jù)集市采用高粒度級(jí)，例如，客戶月通話綜合信息- -低細(xì)節(jié)數(shù)據(jù)，能回答部分問題，但分析效率高；如果高粒度數(shù)據(jù)也包含分析所需的足夠的細(xì)節(jié)，則高粒度數(shù)據(jù)的使用效率會(huì)提高很多中央數(shù)據(jù)倉庫與從屬數(shù)據(jù)集市中央數(shù)據(jù)倉庫客戶信息Cust_IDMsisdnAge_levelCust_TypeCity_Code通話詳單Cal

10、l_TypeMsisdnStart_DateStart_timeCall_duration.帳戶信息Account_IDCust_IDLfeeCfeeDiscount_fee其它信息Cust_IDMsisdnAge_levelCust_TypeCity_CodeCust_IDMsisdn客戶通話行為分析客戶消費(fèi)行為分析其它分析依據(jù)分析的需要Map數(shù)據(jù)數(shù)據(jù)倉庫完整構(gòu)架Data Marts Data Mining OLAPAnalysis Mart MartStaging AreaData WarehouseOperational DataExternalDataArchiveDataManual

11、DataBusiness Users4 數(shù)據(jù)訪問層信息處理查詢和報(bào)表分析處理基本的OLAP操作數(shù)據(jù)挖掘知識(shí)發(fā)現(xiàn)BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)訪問層舉例：話務(wù)流向分析 維：通話日期、通話時(shí)間、對(duì)端號(hào)碼，共3個(gè)維；分析指標(biāo)：通話次數(shù)，通話時(shí)長實(shí)施：建立一個(gè)3維的數(shù)據(jù)立方體，對(duì)指標(biāo)采用切片、鉆取、旋轉(zhuǎn)等方法進(jìn)行分析多維數(shù)分析時(shí)間日期對(duì)端號(hào)碼同一時(shí)刻話務(wù)流向分析12:00OLAP分析方法一【切片】12:00日期對(duì)端號(hào)碼OLAP分析方法一【切片】時(shí)間日期5月1日對(duì)端號(hào)碼同一日期話務(wù)流向分析5月1日對(duì)端號(hào)碼時(shí)間OLAP分析方法一【切片】流向同一運(yùn)營商的話務(wù)量分析時(shí)間日期聯(lián)通對(duì)端號(hào)碼聯(lián)通日 期

12、時(shí)間時(shí)間日期年季度季度月月月月對(duì)端號(hào)碼OLAP分析方法二【鉆取】在同一個(gè)維上，按不同的層次來分析OLAP分析方法三【旋轉(zhuǎn)】將年份和季度交換坐標(biāo)基于WEB的展現(xiàn)方式對(duì)數(shù)據(jù)進(jìn)行可視化的分析，分析結(jié)果的展現(xiàn)方式有以下幾種，并且各種形式之間可以相互的轉(zhuǎn)換：1柱狀圖；2相對(duì)柱狀圖；3累計(jì)柱狀圖；4餅圖；5散點(diǎn)圖；6折線圖；7趨勢(shì)圖；8網(wǎng)頁表格；9表格中的數(shù)據(jù)倒出到Excel報(bào)表WEB展現(xiàn)示例【柱圖】WEB展現(xiàn)示例【3D柱圖】5 元數(shù)據(jù)關(guān)于數(shù)據(jù)的數(shù)據(jù)技術(shù)元數(shù)據(jù)操作元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)貫穿全過程BOSSMIS/OA網(wǎng)管其它數(shù)據(jù)源數(shù)據(jù)源元數(shù)據(jù)管理元數(shù)據(jù)管理業(yè)務(wù)定義屬性定義DA / DBA ToolErwin抽取規(guī)

13、則, 轉(zhuǎn)換規(guī)則ETL Tool報(bào)表格式, 過濾,分割等DSS Tool數(shù)據(jù)庫元數(shù)據(jù)元數(shù)據(jù)庫雙向自動(dòng)無連接業(yè)務(wù)定義OtherExcelHTMLBusiness Users數(shù)據(jù)倉庫開發(fā)元數(shù)據(jù)管理Intranet/Extranet-Definitions-Domains-Names6 系統(tǒng)管理安全備份安全體系結(jié)構(gòu) 系統(tǒng)安全安全的層次每個(gè)層次均需要相應(yīng)措施保證數(shù)據(jù)庫、應(yīng)用、網(wǎng)絡(luò)網(wǎng)絡(luò)層防火墻電子認(rèn)證加密安全層次數(shù)據(jù)庫層密碼數(shù)據(jù)庫權(quán)限控制應(yīng)用層安全用戶身份認(rèn)證按照操作對(duì)象和操作類別規(guī)定各操作員的權(quán)限保證身份的有效性和不可抵賴性采用口令密碼方式，可以向數(shù)字證書升級(jí)數(shù)據(jù)加密服務(wù)和數(shù)據(jù)權(quán)限容災(zāi)與備份：概述什么災(zāi)

14、？火災(zāi)、地震、洪水系統(tǒng)故障：硬件、操作系統(tǒng)、數(shù)據(jù)庫.應(yīng)用故障：設(shè)計(jì)時(shí)考慮不周誤操作黑客入侵、故意破壞容災(zāi)方法以備份系統(tǒng)代替主系統(tǒng)，并及時(shí)恢復(fù)主系統(tǒng)數(shù)據(jù)復(fù)制其它：地理分布，電源、網(wǎng)絡(luò)等的高可用性容災(zāi)與備份：數(shù)據(jù)備份策略數(shù)據(jù)備份的層次物理視圖邏輯視圖（DB、數(shù)據(jù)庫模式、應(yīng)用）數(shù)據(jù)備份的方式聯(lián)機(jī)復(fù)制同步、異步、狀態(tài)脫機(jī)備份防止“誤操作型”災(zāi)難數(shù)據(jù)備份的目標(biāo)一致性、當(dāng)前性、可恢復(fù)性，盡量減少數(shù)據(jù)丟失及盡快恢復(fù)容災(zāi)與備份：數(shù)據(jù)復(fù)制層次主機(jī)硬盤DB文件表應(yīng)用 內(nèi)存?zhèn)浞輽C(jī)硬盤DB文件表應(yīng)用 內(nèi)存輸入輸入 物理視圖 DB視圖 數(shù)據(jù)庫模式視圖 應(yīng)用視圖復(fù)制或轉(zhuǎn)移Part3 解決方案技術(shù)體系結(jié)構(gòu)主要廠商產(chǎn)品介紹產(chǎn)

15、品供應(yīng)商IBM Corp.Oracle Corp.SAS InstituteMicrosoft Corp.MicroStrategy Inc.CABrio TechnologyBusiness Objects Inc.Cognos產(chǎn)品供應(yīng)商Data warehousesOLAPData miningReporting, Querying and business intelligenceETLOracleSybaseSASDB2NCRBI/SASDB2 Olap ServerOracle ExpressBusiness Objects/OLAP accessSAS Data miningGen

16、eva(PwC)Intelligent Miner,Visualization(IBM)MineSet (Silicon Graphics)Visual Insights(Lucent)Business ObjectsBrioAdaptive Server IQ multiplex(Sybase)ActuateHummingbird suiteNUMA-Q2000(IBM)Pilot Balanced Score cardOWBInformaticaCA Data TransformerSAS/WABestWorstRelative to all platforms (including S/

17、390);updated April 2001Copyright 2001Data Mgmt.Data Admin.Scalability & SuitabilityConcurrent Query Mgmt.DW Track RecordQuery PerformanceHPHP9000HP-UXOracle IBM SPRS/6000AIXDB2 EEESunEnterpriseSolarisOracle GenericIntel IA-32Win2000SQL ServerUnisysES7000Win2000SQL ServerIBMS/390OS/390DB2 EEECompaqAl

18、phaTru64OracleNCRWorldMarkMP-RASTeradata主機(jī)廠家:主機(jī)型號(hào):操作系統(tǒng):數(shù)據(jù)倉庫平臺(tái):數(shù)據(jù)倉庫比較Copyright 2001IBM DB2IBM數(shù)據(jù)倉庫解決方案DB2 Warehouse Manager (管理工具)DB2 Visual warehousing(ETL)MIS/OABOSS網(wǎng)管No.7監(jiān)測(cè)DB2 UDBV7.2數(shù)據(jù)倉庫DB2 OLAPSERVER(MDB)查詢?nèi)藛T分析人員Hyperion analyzer 決策人員IBM Intelligent Miner 數(shù)據(jù)挖掘DB2 Warehouse ManagerDB2 UDBV7.2數(shù)據(jù)集市外

19、部來源DB2 UDBV7.2數(shù)據(jù)集市Enterprise Information PortalIBM數(shù)據(jù)倉庫的特點(diǎn)提供大型數(shù)據(jù)庫DB2作為數(shù)據(jù)倉庫的存儲(chǔ)數(shù)據(jù)庫，DB2性能優(yōu)異，提供從桌面機(jī)到工作站、小型機(jī)、大型機(jī)的良好擴(kuò)展性 提供Visual Warehousing作為數(shù)據(jù)抽取工具，VW能夠從廣泛的數(shù)據(jù)源抽取數(shù)據(jù)，并且在大數(shù)據(jù)量的抽取中充分顯示了速度優(yōu)勢(shì) 提供多維型、關(guān)系型兩種Cube的實(shí)現(xiàn)方式 提供功能強(qiáng)大的訪問Cube的查詢語法 Query Script 在所有同類產(chǎn)品中提供最強(qiáng)大的分區(qū)功能 DWDMDMQueryPerformance (10)DataManagement (10)Cha

20、llengesStrengths Performance standard for very-large data warehouses and data marts Manageability low number of DBAs required Query optimization support for complex data models Support for concurrent query workloads Lack of platform choice (confusion) Delays on NT/MPP Ability to execute well Ability

21、 to keep current capability lead Marketing and positioning for broader market Higher initial cost of solution BI tool and application supportProven DW Track Record (10)Concurrent Query Management (10)Platform Suitability & Scalability (10)DataAdministration (9)Common TopologyUser access tothe datawa

22、rehouse andfew data martsNCR TeradataCopyright 2001OracleOracle數(shù)據(jù)倉庫解決方案Oracle9i Enterprise Manager(管理工具)Oracle9i WarehouseBuilder(ETL)MIS/OABOSS網(wǎng)管No.7監(jiān)測(cè)Oracle9i數(shù)據(jù)倉庫OracleDiscovery即席查詢查詢?nèi)藛TOracleReports預(yù)定義報(bào)表分析人員OracleExpressOLAP決策人員OracleData Mining數(shù)據(jù)挖掘Oracle9i數(shù)據(jù)集市Oracle9i數(shù)據(jù)集市Oracle9iODS外部來源OraclEPort

23、alExpressServer(MDB)Oracle數(shù)據(jù)倉庫的特點(diǎn)提供RDBMS和MDDB兩種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，Oracle功能強(qiáng)大，提供了良好擴(kuò)展性, 提供了功能強(qiáng)大的系統(tǒng)管理界面支持超大型數(shù)據(jù)倉庫，并提供多種優(yōu)化手段和針對(duì)數(shù)據(jù)倉庫的特征，如分區(qū)，位圖索引 提供功能強(qiáng)大的訪問Cube的查詢語法Express command 提供Oracle Warehouse Builder作為數(shù)據(jù)抽取工具，OWB提供功能包括：模型構(gòu)造和設(shè)計(jì)；數(shù)據(jù)提取、移動(dòng)和裝載；元數(shù)據(jù)管理；分析工具的整合；以及數(shù)據(jù)倉庫管理。具有開放可延伸的框架。 Sybase數(shù)據(jù)倉庫解決方案RelationalPackageLegacyEx

24、ternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMS, Star SchemaArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-Use

25、rToolEnd-UserToolLocal MetadataLocal MetadataPowerMartSybase IQSybase IQCognosPowerMartWarehouseArchitectWCCBrio/BOSybase ASESybase數(shù)據(jù)倉庫的特點(diǎn)按列存儲(chǔ)，有很高的壓縮比例PowerMart能夠在一個(gè)統(tǒng)一的界面中將用戶定義的轉(zhuǎn)換規(guī)則、Schedule、權(quán)限設(shè)置、數(shù)據(jù)源和目標(biāo)等等數(shù)據(jù)抽取定義通過有效的方式管理起來，方便整個(gè)數(shù)據(jù)抽取工作的管理 Adaptive Server IQ不僅使用了基于值的位映射（bitmap）算法及傳統(tǒng)的b-tree算法，還使用了Sybase有

26、專利權(quán)的位式（bit-wise）索引 IQ with Multiplex可以支持無限的用戶訪問數(shù)據(jù)倉庫 系統(tǒng)硬件拓?fù)鋱D數(shù)據(jù)倉庫服務(wù)器數(shù)據(jù)分析服務(wù)器數(shù)據(jù)抽取服務(wù)器數(shù)據(jù)挖掘服務(wù)器 WEB服務(wù)器省中心局域網(wǎng)廣域網(wǎng)廣域網(wǎng)存儲(chǔ)及備份系統(tǒng)防火墻管理終端相關(guān)部門客戶層相關(guān)部門客戶層InternetSAN典型結(jié)構(gòu)存儲(chǔ)方式比較存儲(chǔ)估算數(shù)據(jù)倉庫數(shù)據(jù)3NFStar-Schema數(shù)據(jù)集市Star-SchemaCube3NF計(jì)算公式總?cè)萘?源數(shù)據(jù)i * (1+索引因子) * RAID 因子源數(shù)據(jù)i=單條記錄字節(jié)數(shù) * 記錄數(shù)/人.天 * 用戶數(shù)*有效用戶系數(shù) * 天數(shù)/月 * 保存月數(shù)說明： 索引因子 = 0.7 RA

27、ID因子 = 1.25 記錄數(shù)/人.天 = 8 用戶數(shù)*有效用戶系數(shù) = 200萬/600萬/1200萬 天數(shù)/月 = 31 保存月數(shù) = N注：以上計(jì)算基于Oracle數(shù)據(jù)倉庫引擎Star-Schema的計(jì)算維表用來描述屬性數(shù)據(jù)，通常數(shù)據(jù)量很小，可以忽略不計(jì)。事實(shí)表記錄的大小取決于分析的內(nèi)容，包括每個(gè)維值的代碼和匯總數(shù)值的大小。記錄的數(shù)量取決于分析維度的多少和每個(gè)維度可能出現(xiàn)的值的個(gè)數(shù)。事實(shí)表大小= 事實(shí)表記錄大小x 各維值取值數(shù)x 壓縮比因子業(yè)務(wù)主題總數(shù)據(jù)量= 各事實(shí)表大小的總和星型數(shù)據(jù)存儲(chǔ)量= 業(yè)務(wù)主題總數(shù)據(jù)量x (1+索引因子) x RAID 因子存儲(chǔ)估算（600萬為例）語音業(yè)務(wù)用戶本

28、地話單每年存儲(chǔ)量為：230*8*600萬* 31 * 12 = 4.11T漫游話單每年存儲(chǔ)量為：230*10% * 8*600萬* 31 * 12 = 0.411T語音業(yè)務(wù)用戶話單每年總存儲(chǔ)量為：4.11T+0.411T = 4.521T 數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)本地話單每年存儲(chǔ)量為：400*20%* 8*600萬* 31 * 12 =1.44T漫游用戶話單每年存儲(chǔ)量為：400*20%* 10% * 8*600萬* 31 * 12 = 190.4G數(shù)據(jù)業(yè)務(wù)及其他新業(yè)務(wù)話單每年總存儲(chǔ)量為：1.44T+190.4G = 1.63T存儲(chǔ)估算（600萬為例）結(jié)算話單結(jié)算話單每年存儲(chǔ)量為：200*600萬*

29、（8+8*10%）*50%*31*12 = 1.97T每年話單存儲(chǔ)總量為： 4.521T + 1.63T + 1.97T = 8.121T存儲(chǔ)估算（600萬為例）營業(yè)部交易記錄基本上是每個(gè)客戶有幾條記錄，但相對(duì)穩(wěn)定，不會(huì)大量產(chǎn)生，也不隨時(shí)間爆炸性增長，估算為0.6T/年?？头?shù)據(jù)也會(huì)隨時(shí)間增長，但增幅遠(yuǎn)小于話單數(shù)據(jù)，估算為0.6T/年。 存儲(chǔ)估算（600萬為例）客戶資料數(shù)據(jù)相對(duì)穩(wěn)定，以后隨客戶數(shù)量的增加而增長，其增幅也不大，估算為0.6T/年?？?cè)萘拷Y(jié)合上述因素，總的存儲(chǔ)空間為：(8.121T+0.6T*3）*1.25=12.4T存儲(chǔ)估算（600萬為例）主機(jī)性能測(cè)算TPC-CTPC-C is

30、an on-line transaction processing benchmarkTPC-HTPC-H is an ad-hoc, decision support benchmarkIt consists of a suite of business oriented ad-hoc queries and concurrent data modifications.The performance metric reported by TPC-H is called the TPC-H Composite Query-per-Hour Performance Metric (QphHSiz

31、e)影響因素源主機(jī)源數(shù)據(jù)庫網(wǎng)絡(luò)帶寬數(shù)據(jù)量（主要）目標(biāo)主機(jī)（主要）目標(biāo)數(shù)據(jù)庫（主要）HP Superdome + OracleIBM SP + DB2NCRSUN + Oracle特別提示 Oracle 9i Warehouse Builder Unleashing World Record Performance March 2002 采用HP Superdome + Oracle發(fā)布測(cè)試環(huán)境主機(jī)、數(shù)據(jù)庫Database Information: Oracle 9.0.1.1 Enterprise Edition HP Superdome Enterprise Server: 64 552MH

32、z PA-RISC 8600 CPUs each with 512KB I-cache, 1MB D-cache. 128 GB Memory 64 PCI Fibre Channel 2X Card 1 HP 1000 BaseSX PCI Lan Adapter 4 SureStore E Disk Array XP512 (with a total of 744 18.2GB Disks) 1 High Availability Storage System (with a total of 3 9.1 GB 10K RPM LVD Disks) OS used is HP-UX 11.i 64-bit 測(cè)試環(huán)境數(shù)據(jù)量測(cè)試結(jié)果第一部分：公司介紹第二部分：需求說明第三部分：解決方案第四部分：實(shí)施和服務(wù)第五部分：系統(tǒng)演示第六部分：問題交流議程元數(shù)據(jù)驅(qū)動(dòng)、螺旋上升的數(shù)據(jù)倉庫構(gòu)建的過程就是“建立元數(shù)據(jù)構(gòu)造數(shù)據(jù)倉庫/集市”的不斷循環(huán)、不斷上升的過程 經(jīng)營分析系統(tǒng)實(shí)施方法論元數(shù)據(jù)驅(qū)動(dòng)信息模型分階段實(shí)施由元數(shù)據(jù)進(jìn)行統(tǒng)一的管理和協(xié)