數(shù)據(jù)共享平臺(tái)-結(jié)構(gòu)框架培訓(xùn)課件

1、數(shù)據(jù)共享平臺(tái)架構(gòu)小結(jié) - 1目錄 主要原理 前言 原理圖 周邊系統(tǒng)描述數(shù)據(jù)共享平臺(tái)結(jié)構(gòu) 小結(jié)前言：數(shù)據(jù)共享的趨勢隨著信息社會(huì)的到來，計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境和分布處理技術(shù)的深入發(fā)展。信息系統(tǒng)中的數(shù)據(jù)源所呈現(xiàn)的形式也日益繁多，在這些數(shù)據(jù)中有模式固定的結(jié)構(gòu)化數(shù)據(jù)，也有無模式的無序數(shù)據(jù)。這種無論是已知確定來自數(shù)據(jù)庫的數(shù)據(jù)或是來自網(wǎng)絡(luò)上的各式各樣結(jié)構(gòu)不固定、不完全或不規(guī)則的數(shù)據(jù)，都給信息系統(tǒng)在向國民經(jīng)濟(jì)信息化發(fā)展的過程中產(chǎn)生了很大的障礙。因此，完成不同數(shù)據(jù)的共享與交換成為各個(gè)企業(yè)與部門進(jìn)行信息交換時(shí)所必須要解決的重要問題。 - 2 - 3原理圖 - 4目錄 主要原理 周邊系統(tǒng)描述 周邊系統(tǒng)結(jié)構(gòu) 數(shù)據(jù)共享平臺(tái)與各

2、系統(tǒng)間關(guān)系 GPRS網(wǎng)絡(luò)數(shù)據(jù)采集點(diǎn)（課外） CDMA2000數(shù)據(jù)采集點(diǎn)（課外） 數(shù)據(jù)共享平臺(tái)結(jié)構(gòu)小結(jié)周邊系統(tǒng)描述Gb：核心網(wǎng)PS域SGSN的對(duì)外接口Mc：MSC Server與MGW間的接口為Mc接口，MSC Server通過Mc接口對(duì)MGW的承載連接行為進(jìn)行控制和監(jiān)視。 - 5數(shù)據(jù)共享平臺(tái)與各系統(tǒng)間關(guān)系（一）根據(jù)集團(tuán)規(guī)劃，中國移動(dòng)提供4+1系統(tǒng)，分別是性能管理系統(tǒng)、資源管理系統(tǒng)、網(wǎng)優(yōu)平臺(tái)、告警與故障管理系統(tǒng)4個(gè)系統(tǒng)和運(yùn)維管理系統(tǒng)。江蘇移動(dòng)根據(jù)實(shí)際情況，性能管理系統(tǒng)分為數(shù)據(jù)共享平臺(tái)和上層應(yīng)用系統(tǒng)進(jìn)行建設(shè)。數(shù)據(jù)共享平臺(tái)從告警與故障系統(tǒng)中獲取歷史告警數(shù)據(jù)。并根據(jù)業(yè)務(wù)與功能所要求有性能預(yù)警數(shù)據(jù)提供給

3、告警與故障系統(tǒng)，以便于產(chǎn)生相關(guān)的工單，解決數(shù)據(jù)共享平臺(tái)發(fā)現(xiàn)的潛在的網(wǎng)絡(luò)與業(yè)務(wù)質(zhì)量等方面的問題數(shù)據(jù)共享平臺(tái)從資源管理系統(tǒng)中獲取資源配置數(shù)據(jù)、集客業(yè)務(wù)開通工單、勘察工單等數(shù)據(jù)，以便于數(shù)據(jù)共享平臺(tái)進(jìn)行數(shù)據(jù)關(guān)聯(lián)與整合處理。 - 6數(shù)據(jù)共享平臺(tái)與各系統(tǒng)間關(guān)系（二）數(shù)據(jù)共享平臺(tái)從運(yùn)維管理系統(tǒng)中獲取工單，對(duì)工單數(shù)據(jù)與其他數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析與整合處理，提高運(yùn)維管理系統(tǒng)中工單的處理效率。同時(shí)將數(shù)據(jù)共享平臺(tái)發(fā)現(xiàn)的問題分發(fā)到運(yùn)維管理系統(tǒng)進(jìn)行任務(wù)派單。數(shù)據(jù)共享平臺(tái)為網(wǎng)優(yōu)平臺(tái)提供MR和性能數(shù)據(jù)，支持網(wǎng)絡(luò)優(yōu)化。數(shù)據(jù)共享平臺(tái)從Mc信令監(jiān)測、Gn/Gb數(shù)據(jù)業(yè)務(wù)監(jiān)測獲取信令合成的XDR；從自動(dòng)路測、自動(dòng)撥測系統(tǒng)獲取測試記錄數(shù)據(jù)；

4、從話務(wù)網(wǎng)管、數(shù)據(jù)網(wǎng)管、傳輸網(wǎng)管獲取告警、性能統(tǒng)計(jì)數(shù)據(jù)；從BSS系統(tǒng)獲取用戶屬性、異常話單和投訴記錄數(shù)據(jù)；從終端庫獲取終端信息。 - 7 - 8GPRS網(wǎng)絡(luò)數(shù)據(jù)采集點(diǎn)（課外）GbAHCS域PS域GMSCMSC/VLRPSTN/其他運(yùn)營商HLRGGSNSGSNCMSC/VLRC/DEGcGrGnGiGsBTSBSCBTSAbisBSSUmA： 通話信息；移動(dòng)性管理信息； 短信收發(fā)信息Gb：用戶短信信息移動(dòng)性管理信息；分組數(shù)據(jù)業(yè)務(wù)信息；Gn：移動(dòng)性管理信息；分組數(shù)據(jù)業(yè)務(wù)信息； - 9CDMA2000數(shù)據(jù)采集點(diǎn)（課外）A1： BSC與MSC之間的信令接口。A1接口主要用于傳送BSC與MSC之間的呼叫控

5、制和移動(dòng)性管理功能的信令消息；A2： A2接口承載BSC和MSC之間的用戶業(yè)務(wù)。A1p/A2p是軟交換引入的接口規(guī)范。A1p：用于傳送BSC與MSCe之間的呼叫控制和移動(dòng)性管理功能的信令消息。A2p：承載BSC和MGW之間的用戶業(yè)務(wù)。 A10：承載PCF和PDSN之間用戶業(yè)務(wù)，用于控制分組數(shù)據(jù)業(yè)務(wù)的鑒權(quán)、信道維護(hù)，移動(dòng)性管理等功能。A11：承載PCF和PDSN之間信令，傳輸分組數(shù)據(jù)業(yè)務(wù)消息。 - 10目錄 主要原理 周邊系統(tǒng)描述 數(shù)據(jù)共享平臺(tái)結(jié)構(gòu) 數(shù)據(jù)共享平臺(tái)結(jié)構(gòu)圖 數(shù)據(jù)流程小結(jié) - 11數(shù)據(jù)共享平臺(tái)結(jié)構(gòu)圖數(shù)據(jù)流程（構(gòu)成）數(shù)據(jù)共享平臺(tái)整體架構(gòu)如圖所示主要由：數(shù)據(jù)裝載、數(shù)據(jù)處理、應(yīng)用功能、數(shù)據(jù)質(zhì)

6、量管理、元數(shù)據(jù)管理、系統(tǒng)管理，共六大模塊 - 12數(shù)據(jù)流程（數(shù)據(jù)裝載1）數(shù)據(jù)共享平臺(tái)所要采集的數(shù)據(jù)源一般會(huì)有16類數(shù)據(jù)源，通過文件接口適配;數(shù)據(jù)庫接口適配（JDBC/ODBC）；消息接口適配（Web Service交換數(shù)據(jù)或集成技術(shù)、）以上三種適配進(jìn)行裝載；數(shù)據(jù)適配的功能是由插件化的方式來實(shí)現(xiàn)序號(hào)采集數(shù)據(jù)內(nèi)容數(shù)據(jù)來源接口適配方式1LTE XDR詳單信息LTE信令平臺(tái)WebService+FTP(非實(shí)時(shí))2Mc XDR詳單信息Mc信令監(jiān)測系統(tǒng)WebService+FTP(非實(shí)時(shí))3Gn/Gb XDR詳單信息Gn/Gb數(shù)據(jù)業(yè)務(wù)監(jiān)測WebService+FTP(非實(shí)時(shí))4CMNet上網(wǎng)信息CMNet

7、采集設(shè)備WebService+FTP或JDBC/ODBC52G/TD話務(wù)統(tǒng)計(jì)數(shù)據(jù)話務(wù)網(wǎng)管WebService+FTP或JDBC/ODBC6數(shù)據(jù)統(tǒng)計(jì)數(shù)據(jù)數(shù)據(jù)網(wǎng)管WebService+FTP或JDBC/ODBC7傳輸統(tǒng)計(jì)數(shù)據(jù)傳輸網(wǎng)管WebService+FTP或JDBC/ODBC8LTE話務(wù)統(tǒng)計(jì)數(shù)據(jù)話務(wù)網(wǎng)管WebService+FTP或JDBC/ODBC9告警及告警統(tǒng)計(jì)數(shù)據(jù)告警及故障管理系統(tǒng)WebService+FTP或JDBC/ODBC10基礎(chǔ)資源數(shù)據(jù)資源管理系統(tǒng)WebService+FTP或JDBC/ODBC11工單EOMS/網(wǎng)絡(luò)支撐客服WebService+FTP或JDBC/ODBC12MR

8、及相關(guān)統(tǒng)計(jì)數(shù)據(jù)無線網(wǎng)優(yōu)WebService+FTP或JDBC/ODBC13用戶屬性信息及話單相關(guān)信息經(jīng)分系統(tǒng)WebService+FTP或JDBC/ODBC14路測測試記錄路測WebService+FTP或JDBC/ODBC15撥測測試記錄撥測WebService+FTP或JDBC/ODBC16各類終端信息終端庫WebService+FTP或JDBC/ODBC - 13數(shù)據(jù)流程（數(shù)據(jù)裝載2）通過接口適配把異構(gòu)數(shù)據(jù)源提取的大數(shù)據(jù)先經(jīng)過ETL的提取清洗的過程，把不符合規(guī)則的數(shù)據(jù)清洗掉，并把該數(shù)據(jù)被清洗的原因及被清洗后所存放的物理地址等信息存入相應(yīng)的日志當(dāng)中；被清洗過的大數(shù)據(jù)在經(jīng)過數(shù)據(jù)分發(fā)過程判斷是

9、否是實(shí)時(shí)的XDR數(shù)據(jù)或者非實(shí)時(shí)數(shù)據(jù)（其中的信令類型數(shù)據(jù)要求有緩存），在結(jié)束時(shí)最后以文件的形式暫時(shí)存儲(chǔ)STG的大數(shù)據(jù)原始存儲(chǔ)中而經(jīng)過數(shù)據(jù)處理適配從異構(gòu)的數(shù)據(jù)源中采集上來的傳統(tǒng)數(shù)據(jù)中的基礎(chǔ)資源數(shù)據(jù)、終端及用戶基礎(chǔ)信息和緩存信令數(shù)據(jù)進(jìn)行數(shù)據(jù)關(guān)聯(lián)和整合，最后進(jìn)行數(shù)據(jù)分發(fā)的過程，最終傳統(tǒng)數(shù)據(jù)匯入STG的傳統(tǒng)原始存儲(chǔ)中。 - 14數(shù)據(jù)流程（STG數(shù)據(jù)緩存）對(duì)原始信令碼流、XDR數(shù)據(jù)、傳統(tǒng)的數(shù)據(jù)進(jìn)行緩存，保留時(shí)長2天作用：提高接口健壯性、方面跟蹤原始信令、出現(xiàn)數(shù)據(jù)問題時(shí)方便問題核查與補(bǔ)救存儲(chǔ)方式無限制要求大數(shù)據(jù)緩存由文件的形式存放，而傳統(tǒng)數(shù)據(jù)以數(shù)據(jù)庫方式存放。 - 15數(shù)據(jù)流程（ODM基礎(chǔ)數(shù)據(jù)1）STG傳統(tǒng)

10、數(shù)據(jù)緩存中的傳統(tǒng)數(shù)據(jù)先經(jīng)過ETL的清洗流程把那些不符合規(guī)則的數(shù)據(jù)暫時(shí)清洗掉，放到特定的本地物理存儲(chǔ)中，并把該行為記錄在本地后臺(tái)的日志當(dāng)中，以便日后對(duì)這些不規(guī)則的數(shù)據(jù)進(jìn)行修改；而那些符合規(guī)則的數(shù)據(jù)再次進(jìn)行ETL的轉(zhuǎn)換流程，數(shù)據(jù)的轉(zhuǎn)換主要有三種類型：1.將不同數(shù)據(jù)源中的同一網(wǎng)元數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)范編碼、2.數(shù)據(jù)類型的轉(zhuǎn)換、3.數(shù)據(jù)格式的轉(zhuǎn)換;并把具體轉(zhuǎn)換的數(shù)據(jù)條目等信息寫入日志當(dāng)中； - 16數(shù)據(jù)流程（ODM基礎(chǔ)數(shù)據(jù)2）將經(jīng)過清洗轉(zhuǎn)換的數(shù)據(jù)最后經(jīng)過ETL加載流程，一部分資源、終端、用戶基礎(chǔ)信息分離出來用作和大數(shù)據(jù)相關(guān)聯(lián)，剩余的數(shù)據(jù)直接加載到ODM的傳統(tǒng)數(shù)據(jù)存儲(chǔ)，加載結(jié)束時(shí)刪除剛剛加載過程所需占用原有數(shù)

11、據(jù)庫的緩沖區(qū)內(nèi)的相應(yīng)數(shù)據(jù)，并把這種行為寫進(jìn)日志當(dāng)中；數(shù)據(jù)加載一般有兩種形式：全量入庫（把數(shù)據(jù)庫中的數(shù)據(jù)先刪除在入庫）、增量入庫（只把采集到的新數(shù)據(jù)入庫）；STG傳統(tǒng)數(shù)據(jù)緩存中的經(jīng)過清洗的大數(shù)據(jù)（XDR，信令），其中的XDR會(huì)和傳統(tǒng)數(shù)據(jù)經(jīng)過ETL過程分離出來的資源、終端、用戶基本信息進(jìn)行關(guān)聯(lián)和轉(zhuǎn)換處理，而原始信令碼流會(huì)經(jīng)過原始的信令分發(fā)模塊的裝載；最后進(jìn)行ETL的加載過程，把剛剛關(guān)聯(lián)整合的大數(shù)據(jù)結(jié)果加載到ODM的大數(shù)據(jù)明細(xì)存儲(chǔ)。 - 17數(shù)據(jù)流程（大數(shù)據(jù)整合關(guān)系圖）當(dāng)XDR等資源文件進(jìn)行ETL轉(zhuǎn)換時(shí)，會(huì)向傳統(tǒng)數(shù)據(jù)存儲(chǔ)的日志中提交輪詢的動(dòng)作，這時(shí)傳統(tǒng)數(shù)據(jù)存儲(chǔ)會(huì)進(jìn)行數(shù)據(jù)關(guān)聯(lián)同步：將資源、終端、用戶基

12、本信息和XDR關(guān)聯(lián)整合，然后向日志提交狀態(tài)反饋，在進(jìn)行關(guān)聯(lián)整合判斷，最后和信令數(shù)據(jù)一同加載到ODM的大數(shù)據(jù)明細(xì)存儲(chǔ)中。 - 18數(shù)據(jù)流程（ODM）基礎(chǔ)數(shù)據(jù)層分，大數(shù)據(jù)存儲(chǔ)和傳統(tǒng)數(shù)據(jù)存儲(chǔ)大數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)類型有：和傳統(tǒng)關(guān)聯(lián)過的XDR數(shù)據(jù)、從原始信令碼流分發(fā)過來的信令數(shù)據(jù)、DPI設(shè)備識(shí)別數(shù)據(jù)、傳統(tǒng)的資源，終端，用戶信息；并為明細(xì)數(shù)據(jù)查詢提供條件。傳統(tǒng)數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)類型：傳統(tǒng)網(wǎng)管的統(tǒng)計(jì)數(shù)據(jù)、路測、撥測、工單、以及和網(wǎng)管性能統(tǒng)計(jì)相關(guān)聯(lián)的明細(xì)大數(shù)據(jù)；為后續(xù)的數(shù)據(jù)匯總提供服務(wù)。ODM層存儲(chǔ)的數(shù)據(jù)都是按照最細(xì)粒度的規(guī)范來存儲(chǔ)的，數(shù)據(jù)保留30天參考SID公用共享數(shù)據(jù)庫的分域的建模的方法，采用NGOSS的自頂

13、向下逐級(jí)分解抽取出個(gè)域管理的實(shí)體，在數(shù)據(jù)建模上采用CMOSS2.0（中國移動(dòng)網(wǎng)管支撐系統(tǒng)規(guī)劃）的數(shù)據(jù)規(guī)劃 - 19數(shù)據(jù)流程（數(shù)據(jù)處理1）ODM中的大數(shù)據(jù)經(jīng)過數(shù)據(jù)處理層的并行計(jì)算過程，計(jì)算出數(shù)據(jù)倉庫DW所需維度的數(shù)據(jù)，為其提供維度匯總數(shù)據(jù)（有關(guān)網(wǎng)管性能的大數(shù)據(jù)經(jīng)過數(shù)據(jù)處理后，因其傳統(tǒng)數(shù)據(jù)存儲(chǔ)的性能數(shù)據(jù)會(huì)進(jìn)行ETL的抽取過程，會(huì)被動(dòng)的被匯入傳統(tǒng)數(shù)據(jù)存儲(chǔ)中，其他的類型的大數(shù)據(jù)會(huì)直接匯入DW中）；并行大數(shù)據(jù)在進(jìn)行并行計(jì)算時(shí)會(huì)將要進(jìn)行計(jì)算的大數(shù)據(jù)的計(jì)算任務(wù)分發(fā)到不同的處理模塊中，利用多種計(jì)算機(jī)資源解決問題，根據(jù)數(shù)據(jù)基礎(chǔ)層的counter文件去調(diào)用不同類型數(shù)據(jù)的不同算法根據(jù)數(shù)據(jù)倉庫DW中要求的數(shù)據(jù)維度進(jìn)行

14、計(jì)算并入庫。并行計(jì)算作用：解決了大數(shù)據(jù)處理數(shù)據(jù)的效率，為數(shù)據(jù)倉庫DW提供維度匯總數(shù)據(jù)，支持上層應(yīng)用。 - 20數(shù)據(jù)流程（數(shù)據(jù)處理2）ODM中的傳統(tǒng)數(shù)據(jù)會(huì)經(jīng)過數(shù)據(jù)處理層的數(shù)據(jù)庫計(jì)算把傳統(tǒng)數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)轉(zhuǎn)換成DW中所需的維度數(shù)據(jù)。數(shù)據(jù)庫計(jì)算:再次進(jìn)行數(shù)據(jù)ETL計(jì)算的過程，先進(jìn)行ETL的抽取過程，其中把含有網(wǎng)管數(shù)據(jù)性能類型的大數(shù)據(jù)在其進(jìn)行數(shù)據(jù)處理并行計(jì)算的時(shí)候提取出來，匯入傳統(tǒng)數(shù)據(jù)存儲(chǔ)中，在進(jìn)行數(shù)據(jù)庫直連的方式進(jìn)行數(shù)據(jù)的抽?。蝗缓筮M(jìn)行ETL的清洗轉(zhuǎn)換的過程，利用一些本身的存儲(chǔ)過程進(jìn)行數(shù)據(jù)計(jì)算和腳本來實(shí)現(xiàn)數(shù)據(jù)的封裝；最后進(jìn)行ETL的加載過程，利用sql的形式進(jìn)行加載到DW中。 - 21數(shù)據(jù)流程（DW

15、）DW是數(shù)據(jù)庫結(jié)構(gòu)，主要是存儲(chǔ)維度匯總數(shù)據(jù)，包括大數(shù)據(jù)并行計(jì)算和傳統(tǒng)網(wǎng)管數(shù)據(jù)庫計(jì)算出的數(shù)據(jù)結(jié)果，為數(shù)據(jù)共享層提供數(shù)據(jù)DW數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)通常情況下會(huì)保留360天 - 22數(shù)據(jù)流程（數(shù)據(jù)共享層）主要存儲(chǔ)應(yīng)用層基于大數(shù)據(jù)的計(jì)算需求產(chǎn)生的數(shù)據(jù)，時(shí)長7天（通俗的講就是上層應(yīng)用需要哪些維度的數(shù)據(jù)，先把這些數(shù)據(jù)從DW中取出來暫時(shí)的先存入共享層） - 23 - 24目錄 主要原理 周邊系統(tǒng)描述 數(shù)據(jù)共享平臺(tái)結(jié)構(gòu) 小結(jié)小結(jié)數(shù)據(jù)共享平臺(tái)采用層次化、面向開放的數(shù)據(jù)共享框架；以數(shù)據(jù)裝載和數(shù)據(jù)處理為核心，提供標(biāo)準(zhǔn)、一致、完整、統(tǒng)一的數(shù)據(jù)，減少數(shù)據(jù)冗余，從最基礎(chǔ)層面保障向不同應(yīng)用供給同，類數(shù)據(jù)的一致性；數(shù)據(jù)共享平臺(tái)中的數(shù)