湖南聯(lián)通經營分析系統(tǒng)講稿

湖南聯(lián)通經營分析系統(tǒng)講稿交流內容介紹東方國信簡介系統(tǒng)建設背景系統(tǒng)的建設方案數據倉庫的建設信息服務平臺組成數據挖掘交流與探討2022/10/182一、公司介紹-基本情況北京中關村科技園區(qū)高新技術企業(yè)信息產業(yè)部軟件企業(yè)認定證書主要客戶群：電信運營商人員結構： 博士研究生：4%碩士研究生：16%

本科生：70%其他人員：10%技術狀況 CRM/WorkFlow CallCenter/IVR/ACD/CTIOS:UNIX/WindowsDB:ORACLE/SYBASE/INFORMIX/SQLServerC++/DELPHI/JAVA/J2EE客戶市場客戶關系管理經營分析與決策支持計費帳務系統(tǒng)呼叫中心綜合語音平臺合作伙伴SAS/COGNOSSAP/SPSSIBM/MICROSOFT售前支持市場開拓產品營銷產品開發(fā)產品測試質量管理服務體系工程實施客戶保障輔助部門2022/10/183東方國信-市場情況客戶關系管理經營分析與決策支持呼叫中心系統(tǒng)綜合帳務系統(tǒng)綜合語音平臺長春辦事處西安辦事處內蒙辦事處上海辦事處辦事處廣州辦事處辦事處反應迅速，溝通及時2022/10/184東方國信-質量保證軟件設計及質量保證：嚴格、詳細的需求調研采用標準化軟件設計方案詳細的文檔要求版本控制軟件測試（綜合性/模塊性）階段性評定2022/10/185東方國信-服務體系公司的生存：產品-客戶-服務工程實施前期現場勘測，取得客戶的現場情況工程界面的細分多工程組的并行實施，核心技術人員綜合支持工程文件的交換與認定現場培訓售后服務培訓計劃支持/現場服務承諾產品升級與更新雙贏硬件-主機產品硬件-外設產品硬件-網絡產品軟件-數據庫軟件-中間件軟件-統(tǒng)計分析東方國信客戶服務中心客戶關系管理系統(tǒng)綜合計費帳務系統(tǒng)客戶服務中心系統(tǒng)綜合語音平臺系統(tǒng)客戶經營分析與決策支持2022/10/186聯(lián)通公司面臨的挑戰(zhàn)

聯(lián)通對統(tǒng)一經營信息的基本需求

統(tǒng)一經營信息服務平臺建設的必要性

二、系統(tǒng)建設背景

2022/10/187WTO國外電信巨頭行業(yè)背景—挑戰(zhàn)市場2022/10/188三、系統(tǒng)建設方案硬件組網方案圖主要服務器列表系統(tǒng)實際的物理主機系統(tǒng)外購軟件物理承載服務器處理性能指標主機性能分析的一些知識ODS/ETL服務器性能分析DW/OLAP/WEB服務器性能分析系統(tǒng)存貯容量要求ODS存儲容量要求

數據倉庫存儲容量估算整個數據倉庫的容量2022/10/189硬件組網方案圖2022/10/1810主要服務器列表按照完整的經營分析系統(tǒng)的建設，從邏輯上講應用服務應包括：ETL服務ODS服務DW服務報表服務OLAP服務WEB服務元數據信息服務數據挖掘服務元數據信息和數據挖掘服務功能可以考慮在二期建設完成，其它服務功能在一期開始建設。2022/10/1811系統(tǒng)實際的物理主機2022/10/1812系統(tǒng)外購軟件物理承載系統(tǒng)外購軟件物理承載分布DW/ODS/ETL服務器承載軟件數據庫軟件：如Oracle9i、SybaseASE+SybaseIQETL軟件：如CAAdvantageDataTransformer、InformaticaPowerMart元數據管理軟件：如CAAdvantageRepositoryOLAP/WEB/報表服務器承載軟件OLAP軟件：如CognosPowerPlayEnterpriseServerWEB/報表軟件：CognosImpromptuWebReport2022/10/1813服務器處理性能指標服務器處理性能指標服務器處理能力應以未來3-5年考慮，到2003年底，全部業(yè)務的用戶數估計達到250萬，以此計算ETL/ODS/DW服務器的TPMC值接近4萬，采用類似IBMM85或HPrp7410檔次的小型機，比較符合未來發(fā)展的需要；從功能上分析，報表/OLAP/WEB服務的處理能力應大于或等于ETL/ODS/DW服務器的TPMC值，所以系統(tǒng)采用兩臺小型機來完成全部服務功能。2022/10/1814主機性能分析的一些知識TPMC衡量服務器處理處理能力（每秒鐘處理事務的能力）配置的操作系統(tǒng)處理的數據估算應用的事務要求，來反推主機的要求主機TPMC值是通過實驗手段取得的；特定配置的主機硬件特定配置的操作系統(tǒng)特定配置的數據庫系統(tǒng)其配置中任何一項的變化都可能會對TPMC值有很大的影響TPC-H針對決策支持系統(tǒng)中的即席查詢，應當采用TPC－H（每小時處理的性能）作為衡量主機處理能力的指標。這種指標處理是面向大量的即席查詢和并發(fā)的數據修改操作。這種處理用戶往往不知道要查詢什么數據，不能對預見的數據進行優(yōu)化工作。TPC-R它也是以每小時處理能力為計量單位的。這種指標是在用戶知道要查詢什么數據，并可以對可相應的數據表進行優(yōu)化。

2022/10/1815ODS/DW/ETL服務器性能分析以詳細話單匯總和分析為例來分析主機的性能。估算條件：(可以根據實際情況進行修改)總用戶數按250萬計算每天每用戶按5個話單分析過程：每分鐘處理： （用戶數）250萬*5/24/60≈8681峰值處理： 8681*2=17362需執(zhí)行約8個SQL語句，則估算一個話單匯總處理業(yè)務相當的TPC-C值為：8*0.45/4=0.9TPC-C話單匯總和分析，的TPC-C值要求滿足：17362*0.9≈15626假設其他經營分析的TPC-C總和與話單分析的TPC-C相等。15626*2=31252考慮25%的冗余（系統(tǒng)其它開銷）：主機性能=31252*1.25=39065支持到2003年底的主機性能的TPC-C值約為39065ODS/ETL服務器完成的功能：

1.從源數據到ODS地抽取、清潔、轉換和裝載2.從ODS到DW地抽取、清潔、轉換和裝載3.在ODS中保存接近當前業(yè)務的數據

根據TPC-C的標準：tpmC值是根據標準模型中New-Order事務的處理數目來計算的一個New-Order事務由平均4-5個SQL語句處理完成整個測試的執(zhí)行過程中，New-Order處理占45%。2022/10/1816報表/OLAP/WEB服務器性能分析DW/OLAP/WEB服務器主要完成的功能：1．數據倉庫的數據存儲2．對數據進行OLAP分析3．提供用戶的連接4．提供WEB展現功能從功能上分析，該服務器既有OLAP處理，又有OLTP的處理。是兩種應用的結合，因此，在性能的分析上，我們要進行了綜合考慮。OLAP分析的時長是與數據量有一定的關系的，也就是數據量的增加，相應的分析時長也會增加。OLAP數據模型的生成要對數據庫進行OLTP處理，所以該服務器的性能應大于或等于ODS/ETL服務器的TPC-C值。2022/10/1817系統(tǒng)存儲容量要求系統(tǒng)存儲容量系統(tǒng)目前建設的存儲容量應先考慮到2003年底，到2003年底，聯(lián)通全部業(yè)務的用戶數估計達到250萬，以此計算ODS/DW數據庫的存儲容量為2.837TB系統(tǒng)使用兩臺小型機采用雙機群集方式運行，充分利用公司現有營帳的EMC8430，相應擴展其存儲容量。2022/10/1818ODS存儲容量的估算估算條件： 用戶數(萬)：250萬 存儲時間（月）：6月 調整因子：0.25

注：該用戶數為聯(lián)通全部業(yè)務（GSM,CDMA,193,165,固定網等）以GSM為準折合的用戶數。序號項目存儲單位（字節(jié)）存儲期限（月）平均使用次數（天）平均包含子項計算公式結果(G)A話單存儲20065存儲單位*平均使用次數*30*存儲期限419.10

B增值業(yè)務話單存儲6064存儲單位*平均使用次數*30*存儲期限100.58

C月帳單存儲426每月一次6存儲單位*平均包含子項*存儲期限3.52D用戶資料存儲105存儲單位*用戶數0.24

E用戶資料變更存儲6用戶資料存儲*10%*60.15

F用戶服務使用存儲419存儲單位*平均包含子項*用戶數0.86

G用戶服務變更存儲6用戶服務使用存儲*10%*60.52總計(A+B+C+D+E+F+G)*(1+調整因子)656.212022/10/1819數據倉庫存儲容量估算二、數據倉庫存儲容量估算：計算公式：(XY)Z*(Z*ZB+XYB)*T*WZ*S*SE公式因子解釋平均取值X是平均維數：4Y是平均層次數：3Z是平均分類：4T是存儲期限（年）：2XYB是維度量字節(jié)數30ZB是層次及分類度量字節(jié)數5W是維的有效壓縮比0.4S是主題個數15SE是業(yè)務個數6數據倉庫容量(G)=13142022/10/1820整個數據倉庫的容量三、整個數據倉庫的容量：ODS容量+數據倉庫容量(G)=

656.21+1314=1970.21G系統(tǒng)因子系數：操作系統(tǒng)和數據庫本身工作空間（需要考慮系統(tǒng)緩沖區(qū)、工作空間、索引、臨時表等因素）0.2RAID5因子系數1.2系統(tǒng)的存儲容量(G)=整個數據倉庫容量*（1+系統(tǒng)因子系數）*RAID5因子數=2.837T系統(tǒng)的物理磁盤存儲容量：2022/10/1821系統(tǒng)總體處理流程

數據格式檢查數據系統(tǒng)管理數據裝載至收集層收集層數據抽取、轉換數據抽取、清潔、轉換數據倉庫數據裝載標準報表數據文件/報表生成數據倉庫接口

OLTP查詢

OLAP統(tǒng)計報表綜合型EIS報表總部標準數據文件/報表傳輸總部統(tǒng)一經營信息服務子系統(tǒng)生產系統(tǒng)數據ERP系統(tǒng)OA系統(tǒng)數據采集數據加載數據分析信息展現2022/10/1822外購軟件分布CAAdvantageRepositoryExchangeforDB(Oracle,DB2,Informix….)CAAdvantageRepositoryExchangeforApplication(SQL,PowerBuilder,C++….)CAAdvantageRepositoryDataShopperOptionCAAdvantageRepositoryEngineforDistributedSystem元數據管理CAAdvantageDataTransformerETL工具Oracle9iDatabaseEnterpriseEdition數據倉庫存儲工具SybaseASE+SybaseIQInformatica2022/10/1823外購軟件分布ImpromptuWebReportPowerPlayEnterpriseServerForUnix6.6ImpromptuAdministrator6.0

ImpromptuUser6.0

TransformationServerforUnix6.6

PowerPlayUser6.6前端分析展現工具2022/10/1824ETL工具的比較產品名稱MicrosoftDTSDatastageSagentCAADTInformaticaOracleWarehouseBuilder東方國信ETL速度與吞吐能力低中中高高中中支持的數據格式：流行數據庫、ODBC支持支持支持支持支持支持支持元數據支持//支持好支持支持/增量抽取能力不好中中好中中不好腳本支持能力支持支持支持支持支持支持支持計劃任務支持支持支持支持支持支持支持支持告警提醒支持實時監(jiān)控窗口支持支持支持支持支持運行平臺WindowsWindowsUnixWindowsSolarisWindowsUnixWindowsunixWindowsWindows適用場合簡單應用中等應用中等應用復雜應用復雜應用中等應用中等應用2022/10/1825前端工具軟件介紹數據倉庫前端展現工具的比較：主要是3個廠家的產品：BusinessObject,Brio,CognosPowerPlay。BusinessObject(BO)BrioCognos數據庫支持全面全面全面操作系統(tǒng)支持全面中全面查詢和報表支持支持支持OLAP分析優(yōu)秀優(yōu)秀非常優(yōu)秀模型設計方便方便方便跨主題數據訪問不支持支持支持時間序列分析不支持不支持支持對數學、統(tǒng)計、財務的支持（階乘、方差、折舊等）良好良好優(yōu)秀支持的瀏覽器好好好操作界面化良好優(yōu)秀良好學習難度一般容易容易自編公式能力好好好支持脫機訪問差好好廠商支持一般一般好2022/10/1826應用軟件功能介紹1報表系統(tǒng)總部一類報表總部二類報表總部三類報表省分專業(yè)報表地市專業(yè)報表分支機構專業(yè)報表2022/10/1827應用軟件功能介紹2業(yè)務信息分析營業(yè)信息分析計費信息分析繳費信息分析帳務信息分析結算信息分析客服信息分析代理商信息分析其它業(yè)務分析客戶信息分析客戶發(fā)展分析客戶價值分析客戶保持分析客戶滿意分析客戶行為分析2022/10/1828應用軟件功能介紹3元數據管理應用邏輯元數據管理商業(yè)元數據管理系統(tǒng)管理用戶權限管理日常維護管理2022/10/1829備份策略元數據

全部數據文件備份緩沖區(qū)層數據

不備份ODS層數據

不備份倉庫層的數據

維表：表空間整體備份（文件） 事實表：按月備份（磁帶/文件）Cube數據 將Cube文件備份日志數據 將日志文件備份（一般只用于查看）2022/10/1830培訓內容介紹-應用培訓應用軟件培訓系統(tǒng)體系結構操作系統(tǒng)原理數據庫及數據倉庫知識系統(tǒng)硬件及組網技術系統(tǒng)配置管理工具軟件的操作原理功能使用培訓業(yè)務分析方法系統(tǒng)常見故障及解決方法基準軟件培訓體系結構與系統(tǒng)配置數據倉庫模型ETL數據采集接口集成應用接口元數據管理軟件開發(fā)人員的培訓(高級培訓)2022/10/1831原廠商培訓原廠商培訓Oracle產品培訓Sybase產品培訓CA產品培訓Cognos產品培訓Impromptu應用及管理PowerPlay數據探查報表PowerplayTransformer模型設計2022/10/1832工程實施計劃進度表時間第一周第二周第三周第四周第五周第六周系統(tǒng)定貨需求分析系統(tǒng)設計工程實施調試運行人員培訓2022/10/1833工程實施計劃細分第一階段：系統(tǒng)定貨階段（包括與相關公司的配合）合同簽定起，立即啟動定貨程序第二階段：需求分析階段（包括應用需求、流程調查）組建工程小組（東方國信10人，局方不少于2人）由工程小組（2人）、項目開發(fā)小組（5人）、行業(yè)專家（3人）、用戶代表（不少于3人）等進行需求的細化形成需求分析書，做為工程初驗時要實現的目標第三階段：系統(tǒng)設計階段工程小組開始實施（5人），項目開發(fā)小組（8人），行業(yè)專家（3人），用戶代表（不少于2人），共同實施工程。第四階段：工程實施階段工程小組開始實施（12人），項目開發(fā)小組（4人），行業(yè)專家（2人），用戶代表（不少于2人），共同實施工程。由測試小組（東方國信4人，局方不少于2人）進行系統(tǒng)測試第五階段：調試試運行階段（包括試運行和系統(tǒng)調整）工程小組開始實施（12人），項目開發(fā)小組（4人），行業(yè)專家（1人），用戶代表（不少于3人），對工程的試運行進行觀察與維護。第六階段：系統(tǒng)維護人員培訓階段（包括正式運行、維護）東方國信培訓講師（4人）對局方操作人員、維護人員進行統(tǒng)一培訓。2022/10/1834四、企業(yè)數據倉庫的建立數據倉庫的建立過程數據采集數據倉庫裝載生成產品的信息模型數據倉庫信息模型操作數據存儲（ODS）信息模型系統(tǒng)管理信息模型2022/10/1835數據倉庫特點管理大量數據管理多介質索引/監(jiān)視數據多種技術的接口設計者對數據存放位置的控制數據的并行存儲/管理元數據管理語言接口數據的高效裝入高效索引的利用數據壓縮復合鍵碼變長數據加鎖管理單獨索引處理快速恢復其他的技術特征2022/10/1836數據格式檢查源數據清潔、抽取、轉換ODS數據抽取、轉換裝載數據到DW數據封裝成總部要求格式文件報表展現業(yè)務系統(tǒng)數據/外部數據DW數據抽取、轉換DW數據生成報表裝載數據到ODS數據文件傳輸產品數據流圖2022/10/1837數據倉庫的數據采集流程2022/10/1838數據倉庫的數據加載流程2022/10/1839操作數據存儲（ODS）信息模型客戶基本資料客戶定購資料營業(yè)模型套餐和優(yōu)惠定購模型

帳務模型

資源管理模型

結算信息模型

客服信息模型

話單清單模型

……2022/10/1840數據倉庫信息模型主題維表事實表2022/10/1841經營信息分析的主題帳務信息分析

計費信息分析繳費信息分析

結算信息分析營業(yè)信息分析客服信息分析代理商信息分析其它信息分析客戶發(fā)展分析

客戶構成分析客戶價值分析

客戶保持分析

客戶行為分析

客戶欠費分析

客戶流失分析

客戶服務分析

2022/10/1842系統(tǒng)管理信息模型日志管理信息模型安全管理信息模型系統(tǒng)監(jiān)控信息模型數據采集/數據上報信息模型調度管理信息模型……2022/10/1843經營信息服務平臺架構數據倉庫OLAP模塊報表/領導信息模塊智能預測/規(guī)則分析企業(yè)用戶WebInternet/Intranet信息門戶2022/10/1844五、信息服務平臺組成

報表模塊綜合查詢應用企業(yè)級OLAP分析領導信息系統(tǒng)用戶定制模塊企

業(yè)

信

息

門

戶智能分析模塊2022/10/1845報表系統(tǒng)實現原理

2022/10/1846統(tǒng)計型報表數據ODS數據DW數據立方體統(tǒng)計型報表報表格式告警錯誤信息日志統(tǒng)計型報表數據生成/更新生成/更新統(tǒng)計型報表生成報表發(fā)布抽取數據報表元數據統(tǒng)計型報表的生成過程2022/10/1847分析型報表生成過程抽取數據立方體分析型報表報表格式告警錯誤信息日志立方體生成/更新分析型報表生成

立方體布署報表發(fā)布DW數據立方體元數據ODS數據表現方式鉆取2022/10/1848報表發(fā)布傳遞動作：推和拉推郵件發(fā)送一個報表郵件文件服務器工作組級文件共享定時刷新定時運行報表刷新分布列表發(fā)送到選定的成員處最終用戶標準報表拉Web流覽器2022/10/1849報表的更新和維護數據倉庫2022/10/1850領導決策信息系統(tǒng)綜觀全局的能力細致分析的能力快速方便的獲取所需的信息針對高層管理人員的需求2022/10/1851綜合查詢服務

ODS相關數據請求接收用戶權限信息結果顯示告警錯誤信息日志權限控制

數據訪問數據返回生產系統(tǒng)2022/10/1852元數據管理邏輯設計工具

數據倉庫Oracle,SybaseSQL/Server,DB2/MVS元數據數據數據s集市Oracle,SybaseSQL/Server,DB2/MVS可操作的歷史數據物理計劃導入轉化引入邏輯工具導入產品目錄Oracle,SybaseSQL/ServerWCCModule元數據管理模塊生產目錄Oracle,SybaseSQL/Server圖例元數據確認、同步升級2022/10/1853系統(tǒng)管理

元數據管理管理請求用戶權限信息元數據告警錯誤信息日志用戶權限管理系統(tǒng)監(jiān)控系統(tǒng)接口管理系統(tǒng)日志管理接口資源信息報表管理歸檔/備份/恢復管理報表歸檔/備份/恢復條件配置2022/10/1854在數據中發(fā)現有價值的規(guī)則或者模式女性對市場活動做出回應，男性對市場活動不做出回應，和年齡無關六、什么是數據挖掘（一）？2022/10/1855數據變的復雜會如何？女性對市場活動做出回應，老年男性也可能對市場活動做出回應什么是數據挖掘？（二）2022/10/1856數據挖掘可以從異常復雜的數據中發(fā)現規(guī)律通過數據挖掘發(fā)現回應的5條規(guī)則：1、如果收入大于29622，有孩子，并且孩子的數量小于等于2，那么對市場活動會回應……通過數據挖掘發(fā)現不回應的5條規(guī)則：1、如果收入小于12640.3，并且有一個孩子，那么對市場活動不會回應……什么是數據挖掘？（三）2022/10/1857向60%的客戶發(fā)信，得到了90%的收益數據挖掘的意義數據挖掘收益分析（一）2022/10/1858

數據挖掘以前數據挖掘以后差別