中國(guó)移動(dòng)-數(shù)據(jù)倉(cāng)庫(kù)在綜合性能分析系統(tǒng)中的應(yīng)用

網(wǎng)絡(luò)質(zhì)量是通信企業(yè)生命線(xiàn) 2009年 7月 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 網(wǎng)管支撐室 數(shù)據(jù)倉(cāng)庫(kù)在綜合性能分析系統(tǒng)中的應(yīng)用 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 2 - 目錄 四川移動(dòng)網(wǎng)管系統(tǒng)數(shù)據(jù)特點(diǎn) 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)簡(jiǎn)介 綜合性能分析系統(tǒng)簡(jiǎn)介 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 3 - 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)簡(jiǎn)介 數(shù)據(jù)倉(cāng)庫(kù) （ Data Warehouse）是支持管理決策過(guò)程的、面向主題的、集成的、隨時(shí)間變化的、持久的數(shù)據(jù)集合。它是一種達(dá)成“數(shù)據(jù)整合、知識(shí)管理”的有效手段。其特征有： 2 3 4 面向主題 集成性 相對(duì)穩(wěn)定 反應(yīng)歷史變化 面向主題進(jìn)行組織（主題即客觀(guān)分析領(lǐng)域，是指在較高層次上企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類(lèi)并進(jìn)行利用的抽象）。 對(duì)不同來(lái)源的外部信息進(jìn)行必要的變換和集成，包括格式轉(zhuǎn)換、消除沖突、運(yùn)算、總結(jié)、綜合、設(shè)置時(shí)間屬性、設(shè)置缺省值，等等。 反映歷史信息內(nèi)容。每個(gè)數(shù)據(jù)項(xiàng)對(duì)應(yīng)一個(gè)特定的時(shí)間，需要大量的查詢(xún)操作，很少進(jìn)行修改和刪除，通常需要定期加載、刷新。 數(shù)據(jù)是從過(guò)去某個(gè)時(shí)間點(diǎn)到目前各個(gè)階段的信息，使用者可利用信息對(duì)過(guò)去的發(fā)展歷程和未來(lái)趨勢(shì)做出分析和預(yù)測(cè)。 1 定義及技術(shù)特征 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)簡(jiǎn)介 - 4 - 抽取、清理 轉(zhuǎn)載、刷新 數(shù)據(jù)源 數(shù)據(jù)集市 服務(wù) OLAP服務(wù)器 OLAP服務(wù)器 數(shù)據(jù)挖掘工具 分析工具 報(bào)表工具 查詢(xún)工具 前端工具 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù) 體系結(jié)構(gòu)（一） 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)簡(jiǎn)介 - 5 - 體系結(jié)構(gòu)（二） 數(shù)據(jù)源 是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包含企業(yè)的各類(lèi)內(nèi)部 信息和外部信息。 數(shù)據(jù)存儲(chǔ)與管理 OLAP服務(wù)器 前端工具 是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心和關(guān)鍵。針對(duì)現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉(cāng)庫(kù)按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和部門(mén)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。 對(duì)分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢(shì)。其具體實(shí)現(xiàn)可以分為： ROLAP、 MOLAP和 HOLAP。 主要包括各種報(bào)表工具、查詢(xún)工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市的應(yīng)用開(kāi)發(fā)工具。 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)簡(jiǎn)介 - 6 - 數(shù)據(jù)倉(cāng)庫(kù)擅長(zhǎng)處理海量數(shù)據(jù)，特別是 MOLAP存儲(chǔ)方式，能夠向數(shù)據(jù)使用者提供出色的壓縮效率和查詢(xún)速度。 數(shù)據(jù)存儲(chǔ) ETL 數(shù)據(jù)倉(cāng)庫(kù)提供的 ETL過(guò)程以及與其相關(guān)的諸多技術(shù)和工具，易于 集成來(lái)源和結(jié)構(gòu)復(fù)雜的數(shù)據(jù)，使之成為干凈、完備、經(jīng)過(guò)整合的數(shù)據(jù)。 OLAP OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，向數(shù)據(jù)使用者提供直觀(guān)易懂的查詢(xún)結(jié)果。 前臺(tái)展現(xiàn)技術(shù) 將沒(méi)有感情的、枯燥的結(jié)構(gòu)化數(shù)據(jù)，用友好的方式、靈活的方式、可定義的方式展現(xiàn)出來(lái)，形式包含報(bào)表、圖表，甚至影像多媒體。便于數(shù)據(jù)使用者理解其中數(shù)據(jù)的含義和業(yè)務(wù)表現(xiàn)。 數(shù)據(jù)挖掘 運(yùn)用一種或多種算法，對(duì)海量數(shù)據(jù)進(jìn)行探索，促使數(shù)據(jù)使用者發(fā)現(xiàn)未知 的模式或關(guān)系，最終做出預(yù)測(cè)或總結(jié)規(guī)律。 主流支撐技術(shù) 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動(dòng)網(wǎng)管系統(tǒng)數(shù)據(jù)特點(diǎn) 數(shù)據(jù)類(lèi)型均為日志型 數(shù)據(jù)結(jié)構(gòu)復(fù)雜 數(shù)據(jù)量龐大 使用者觀(guān)察數(shù)據(jù)視角豐富 四川移動(dòng)網(wǎng)管系統(tǒng) 數(shù)據(jù)來(lái)源復(fù)雜 設(shè)備廠(chǎng)商、設(shè)備類(lèi)型眾多，各廠(chǎng)家、各設(shè)備類(lèi)型數(shù)據(jù)存儲(chǔ)方式不同造成數(shù)據(jù)來(lái)源復(fù)雜 眾多的設(shè)備廠(chǎng)商，以及各廠(chǎng)商采用的不同數(shù)據(jù)存儲(chǔ)、編碼、計(jì)算、表現(xiàn)方式造成了數(shù)據(jù)結(jié)構(gòu)復(fù)雜 各廠(chǎng)商設(shè)備記錄數(shù)據(jù)均為日志型，這類(lèi)數(shù)據(jù)一旦產(chǎn)生就不再變化，具有穩(wěn)定性特征 各廠(chǎng)商設(shè)備日產(chǎn)生數(shù)據(jù)約 160G（數(shù)據(jù)庫(kù)存儲(chǔ)方式），以此估算，年匯總數(shù)據(jù)達(dá)到驚人的 58400G 不同分工人員觀(guān)察數(shù)據(jù)的視角各不相同， 概述 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動(dòng)網(wǎng)管系統(tǒng)數(shù)據(jù)特點(diǎn) - 8 - 四川網(wǎng)管系統(tǒng)管理的設(shè)備廠(chǎng)商包括 西門(mén)子 、 摩托羅拉 、 愛(ài)立信 、 諾西 、 華為 、 康為 、 東信北郵 、 中興 等等；專(zhuān)業(yè)涵蓋 無(wú)線(xiàn) 、 交換 、 GPRS、 短信 、 智能網(wǎng) 、 數(shù)據(jù)網(wǎng) 等等。 各廠(chǎng)家、各類(lèi)型設(shè)備的數(shù)據(jù)存儲(chǔ)方式并不相同，比如：西門(mén)子以 ASCII文件存儲(chǔ)數(shù)據(jù)；愛(ài)立信以 SNMP協(xié)議和 ASCII編碼網(wǎng)管數(shù)據(jù)文件。其他廠(chǎng)商通常把數(shù)據(jù)存儲(chǔ)在自己的數(shù)據(jù)庫(kù)中，這些數(shù)據(jù)庫(kù)包括 INFORMIX、 SYSBASE、 ORACLE、 SQL SERVER，且數(shù)據(jù)庫(kù)版本各異。 西門(mén)子 摩托羅拉 愛(ài)立信 諾西 華為 康維 東信北郵 中興 設(shè)備廠(chǎng)家眾多 無(wú)線(xiàn) GPRS 交換 短信 智能網(wǎng) 數(shù)據(jù)網(wǎng) 涉及專(zhuān)業(yè)眾多 數(shù)據(jù)來(lái)源、結(jié)構(gòu)復(fù)雜 數(shù)據(jù)來(lái)源及結(jié)構(gòu)復(fù)雜 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動(dòng)網(wǎng)管系統(tǒng)數(shù)據(jù)特點(diǎn) - 9 - 數(shù)據(jù)量龐大 眾多設(shè)備廠(chǎng)商的各類(lèi)設(shè)備上產(chǎn)生的數(shù)據(jù)量非常龐大。如采用數(shù)據(jù)庫(kù)存儲(chǔ)，日數(shù)據(jù)將占用 160G左右的磁盤(pán)存儲(chǔ)空間，年匯總數(shù)據(jù)量將達(dá) 58400G左右。 海量數(shù)據(jù) 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 四川移動(dòng)網(wǎng)管系統(tǒng)數(shù)據(jù)特點(diǎn) - 10 - 使用者觀(guān)察數(shù)據(jù)視角豐富 領(lǐng)導(dǎo)層 關(guān)心系統(tǒng) KPI指標(biāo)的實(shí)時(shí)情況 及 中、長(zhǎng)期走勢(shì) 網(wǎng)絡(luò)規(guī)劃 及 分析人員 需要綜合分析相當(dāng) 長(zhǎng)時(shí)期 甚至一年、幾年的數(shù)據(jù)，以便進(jìn)行 預(yù)測(cè) 、 規(guī)劃 網(wǎng)絡(luò)維護(hù) 及 優(yōu)化人員需要確保數(shù)據(jù)的 及時(shí)性 、 準(zhǔn)確性 ，以便有效獲知 網(wǎng)絡(luò)現(xiàn)狀 、明確 問(wèn)題隱患 網(wǎng)絡(luò)監(jiān)控人員 除了對(duì)數(shù)據(jù)的 及時(shí)性 和 準(zhǔn)確性 要求很高外，還需要從大量的數(shù)據(jù)中剔出哪些特異的數(shù)據(jù)，以便對(duì)網(wǎng)絡(luò)進(jìn)行 整體評(píng)價(jià) 、對(duì)網(wǎng)絡(luò)問(wèn)題進(jìn)行 故障預(yù)警 網(wǎng)管系統(tǒng) 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 11 - 綜合性能分析系統(tǒng)簡(jiǎn)介 系統(tǒng)概況 綜合性能分析系統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在網(wǎng)管系統(tǒng)中的應(yīng)用項(xiàng)目之一。 系統(tǒng)通過(guò)廠(chǎng)家提供的數(shù)據(jù)接口實(shí)時(shí)、完整、穩(wěn)定地自動(dòng)采集各廠(chǎng)家能夠提供的所有網(wǎng)管性能數(shù)據(jù)和配置數(shù)據(jù)。對(duì)采集到的數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫(kù)模型進(jìn)行抽?。?Extract）、轉(zhuǎn)換（ Transform）、清洗（ Cleansing）、裝載（ Load），并參照集團(tuán)公司的規(guī)范對(duì)采集到的數(shù)據(jù)按業(yè)務(wù)分類(lèi)綜合入庫(kù)。 在數(shù)據(jù)倉(cāng)庫(kù)的展現(xiàn)層，使用者可以根據(jù)業(yè)務(wù)和需求的不同，靈活的選擇維度和指標(biāo)，快速生成想要的報(bào)表。 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡(jiǎn)介 - 12 - 系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)過(guò)程 數(shù)據(jù)源 實(shí)時(shí)數(shù)據(jù)采集、補(bǔ)充采集 抽取 轉(zhuǎn)換 清洗 轉(zhuǎn)載 按業(yè)務(wù)綜合、自定義指標(biāo) 多維分析、多維呈現(xiàn)（ OLAP） 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 13 - 綜合性能分析系統(tǒng)簡(jiǎn)介 系統(tǒng)結(jié)構(gòu) EDIS系統(tǒng) 智能網(wǎng)系統(tǒng) 短信系統(tǒng) 數(shù)據(jù)網(wǎng)系統(tǒng) 交換系統(tǒng) GPRS系統(tǒng) 無(wú)線(xiàn)系統(tǒng) 中繼信令目的碼 數(shù)據(jù)鉆取 數(shù)據(jù)預(yù)估 差異分析 對(duì)比分析 GIS模塊 廠(chǎng)家全 COUNTER分析 經(jīng)營(yíng)分析 聯(lián)機(jī)分析(OLTP) 在線(xiàn)分析(OLAP) 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡(jiǎn)介 - 14 - 技術(shù)優(yōu)勢(shì)（一） 數(shù)據(jù)集成 運(yùn)用成熟、穩(wěn)定的 ETL工具及技術(shù)，對(duì)不同來(lái)源、不同結(jié)構(gòu)數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換。有效應(yīng)對(duì)了網(wǎng)管系統(tǒng)中數(shù)據(jù)來(lái)源及數(shù)據(jù)結(jié)構(gòu)復(fù)雜的現(xiàn)狀，為多維形式組織數(shù)據(jù)提供基礎(chǔ) 。 數(shù)據(jù)存儲(chǔ)與管理 靈活的 KPI定義 多維分析 采用 MOLAP的多維存儲(chǔ)方式，在縮小存儲(chǔ)空間的同時(shí)保證查詢(xún)響應(yīng)速度 。有效解決了網(wǎng)管系統(tǒng)各廠(chǎng)家設(shè)備海量數(shù)據(jù)的長(zhǎng)期保留問(wèn)題 。 提供 KPI指標(biāo)自定義功能，系統(tǒng) KPI指標(biāo)既可來(lái)自度量值，也可通過(guò)現(xiàn)有度量值根據(jù)業(yè)務(wù)邏輯生成計(jì)算成員實(shí)現(xiàn)，便于 KPI指標(biāo)的調(diào)整和更新。 支持按照主題進(jìn)行數(shù)據(jù)的多維形式組織，以及對(duì)多維形式組織的數(shù)據(jù)采取切片、切塊、旋轉(zhuǎn)等各種分析動(dòng)作。為前端進(jìn)行數(shù)據(jù)多維呈現(xiàn)提供基礎(chǔ)。使用戶(hù)能夠從多角度、多層次觀(guān)察數(shù)據(jù)，深入了解包含在數(shù)據(jù)中的信息和內(nèi)涵，為決策提供有效支持。 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 - 15 - 綜合性能分析系統(tǒng)簡(jiǎn)介 技術(shù)優(yōu)勢(shì)（二） 數(shù)據(jù)挖掘 支持從有效組織的數(shù)據(jù)中運(yùn)用數(shù)據(jù)挖掘工具、算法， 獲取有效的、新穎的、潛在有用的、最終可理解的模式。目前，系統(tǒng)已實(shí)現(xiàn)網(wǎng)絡(luò)重要指標(biāo)走勢(shì)的較準(zhǔn)確預(yù)測(cè)。 數(shù)據(jù)表現(xiàn) 設(shè)計(jì)模式 標(biāo)準(zhǔn)開(kāi)放 實(shí)現(xiàn)豐富的前端統(tǒng)計(jì)分析功能，使用戶(hù)可通過(guò)自定義查詢(xún)、指標(biāo)等方式自主創(chuàng)建視角觀(guān)察數(shù)據(jù)；支持圖表、地圖等多種形式表現(xiàn)多維數(shù)據(jù)，確保用戶(hù)更有效獲取數(shù)據(jù)信息；提供豐富的報(bào)表管理功能，全面滿(mǎn)足網(wǎng)管部門(mén)日常報(bào)表需求。 基于 .NET的多層結(jié)構(gòu)設(shè)計(jì)模式，便于日后靈活快速的升級(jí)。 使用 XML，與其它業(yè)務(wù)系統(tǒng)方便地集成。 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡(jiǎn)介 - 16 - 查詢(xún) 報(bào)表 自定義指標(biāo) 系統(tǒng)管理 系統(tǒng) 前端功能包含： 查詢(xún)； 報(bào)表； 自定義指標(biāo)； 系統(tǒng)管理。 前端首頁(yè) 系統(tǒng)前端功能 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡(jiǎn)介 - 17 - 系統(tǒng)前端功能 查詢(xún)管理 新建查詢(xún) 已創(chuàng)建的查詢(xún)，可以修改時(shí)間參數(shù)后反復(fù)使用 通過(guò)設(shè)置時(shí)間范圍以及鎖定指標(biāo)，可以構(gòu)造復(fù)雜的性能數(shù)據(jù)查詢(xún) 中國(guó)移動(dòng)通信集團(tuán)四川公司網(wǎng)絡(luò)管理中心 綜合性能分析系統(tǒng)簡(jiǎn)介 - 18 - 系統(tǒng)前端功能 自定義指標(biāo) 報(bào)表管理 公式和函數(shù)列表 性能數(shù)據(jù)和配置數(shù)據(jù)列表 已根據(jù)用戶(hù)需要定義的各類(lèi)報(bào)表，可方便進(jìn)行查看和數(shù)據(jù)下載 中