沃網(wǎng)絡(luò)系統(tǒng)技術(shù)架構(gòu)培訓(xùn)材料

內(nèi)部資料注意保密浪潮軟件集團(tuán)通信事業(yè)本部五月23中國(guó)聯(lián)通OSS2.0沃網(wǎng)絡(luò)系統(tǒng)培訓(xùn)對(duì)技術(shù)需求的理解1O域、B域、互聯(lián)網(wǎng)等多數(shù)據(jù)源關(guān)聯(lián)需求源海量數(shù)據(jù)采集、處理、存儲(chǔ)管理需求量用戶級(jí)、業(yè)務(wù)級(jí)端到端細(xì)粒度分析度各類GIS、圖表需求，智能終端訪問(wèn)需求用與周邊系統(tǒng)的關(guān)系2統(tǒng)一采集與指令適配平臺(tái)（采集、適配、能力共享）資源管理電子運(yùn)維（門(mén)戶）沃網(wǎng)絡(luò)智能監(jiān)控客戶服務(wù)支撐無(wú)線PM、CM、MR、Trace核心網(wǎng)PM、CM、XDR資源數(shù)據(jù)問(wèn)題派單作業(yè)計(jì)劃組織樹(shù)KPI性能預(yù)警告警歷史數(shù)據(jù)問(wèn)題小區(qū)影響范圍系統(tǒng)建設(shè)原則-13架構(gòu)云化系統(tǒng)建設(shè)原則-24服務(wù)能力開(kāi)放化系統(tǒng)建設(shè)原則-35分析用戶化分析用戶化用戶使用有效性易學(xué)易用用戶群差異化用戶體驗(yàn)激發(fā)創(chuàng)造性用戶參與度系統(tǒng)建設(shè)原則-46數(shù)據(jù)可視化7數(shù)據(jù)采集數(shù)據(jù)應(yīng)用數(shù)據(jù)處理展現(xiàn)接口數(shù)據(jù)設(shè)備數(shù)據(jù)基礎(chǔ)數(shù)據(jù)采集管理解析存儲(chǔ)處理數(shù)據(jù)質(zhì)量監(jiān)控及維護(hù)數(shù)據(jù)中心專題大屏GIS網(wǎng)絡(luò)質(zhì)量監(jiān)控基礎(chǔ)數(shù)據(jù)管理管理網(wǎng)絡(luò)質(zhì)量評(píng)估網(wǎng)絡(luò)質(zhì)量分析業(yè)務(wù)質(zhì)量分析專項(xiàng)分析報(bào)表中心維護(hù)統(tǒng)計(jì)分析...系統(tǒng)功能結(jié)構(gòu)系統(tǒng)整體技術(shù)架構(gòu)8數(shù)據(jù)匯聚中心基礎(chǔ)管理中心展現(xiàn)層數(shù)據(jù)源系統(tǒng)（B域、O域、M域、外部域）海量數(shù)據(jù)運(yùn)算緩存集群海量數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析集群Vertica實(shí)時(shí)運(yùn)算集群RedisStorm關(guān)系型數(shù)據(jù)庫(kù)OracleHDFSHBaseHiveMRSPARKYARN數(shù)據(jù)融合中心ETLManagerZabbixAnsible基礎(chǔ)數(shù)據(jù)存儲(chǔ)運(yùn)算集群應(yīng)用層SolrSPSSWebServicesStruts2移動(dòng)端IOSAndroidHtml5PC端JSPeasyUIBaiduMap在線流式數(shù)據(jù)采集FlumeKafkaStorm離線批量數(shù)據(jù)采集FTPSFTPJDBC互聯(lián)網(wǎng)數(shù)據(jù)采集WebCrawlerJQueryArcGis數(shù)據(jù)采集-流式采集技術(shù)9流處理方案采用業(yè)界主流的Flume+Kafka+Storm混搭架構(gòu)，采用分布式集群部署方式。數(shù)據(jù)處理-分布式任務(wù)調(diào)度10DTD作為一個(gè)集群化的采集平臺(tái)，支持任務(wù)流調(diào)度（即預(yù)先定義多個(gè)任務(wù)的先后執(zhí)行關(guān)系），是一個(gè)接口開(kāi)放的執(zhí)行平臺(tái)，其中可以嵌入任何基于Java的執(zhí)行模塊，可用于各類采集、統(tǒng)計(jì)功能的部署實(shí)施。數(shù)據(jù)存儲(chǔ)-HADOOP技術(shù)11Hadoop框架在沃網(wǎng)絡(luò)系統(tǒng)中用于數(shù)據(jù)海量原始數(shù)據(jù)存儲(chǔ)、海量離線分析計(jì)算，其具備電信級(jí)可靠性、數(shù)據(jù)驅(qū)動(dòng)的彈性擴(kuò)展能力。浪潮Hadoop技術(shù)涉及HDFS/MapRedure/Yarn、HBase、Hive、Zookeeper、Spark、SparkStreaming等業(yè)界主要技術(shù)方案，滿足沃網(wǎng)絡(luò)系統(tǒng)對(duì)Hadoop技術(shù)應(yīng)用要求。數(shù)據(jù)存儲(chǔ)-MPP技術(shù)12MPP產(chǎn)品選用Vertica，具有小并發(fā)、高容量的特點(diǎn)，適用于長(zhǎng)期海量分析數(shù)據(jù)（MR匯總數(shù)據(jù)、話單數(shù)據(jù)、話統(tǒng)數(shù)據(jù)等）存儲(chǔ)。數(shù)據(jù)存儲(chǔ)-RDB技術(shù)13RDB技術(shù)架構(gòu)具有高并發(fā)、小容量等技術(shù)特點(diǎn)，適用于小量結(jié)果類數(shù)據(jù)、周期/實(shí)時(shí)更新類數(shù)據(jù)（基站工參數(shù)據(jù)、考核結(jié)果數(shù)據(jù)、工單數(shù)據(jù)、管理數(shù)據(jù)等）存儲(chǔ)。浪潮RDB技術(shù)方案適用于ORACLE、MYSQL、SQLSERVER等主流數(shù)據(jù)庫(kù)產(chǎn)品，可實(shí)現(xiàn)與各類關(guān)系型數(shù)據(jù)庫(kù)的無(wú)縫對(duì)接。目前選用ORACLE做為沃網(wǎng)絡(luò)RDB技術(shù)方案。數(shù)據(jù)存儲(chǔ)-內(nèi)存數(shù)據(jù)庫(kù)14分布式內(nèi)存緩存技術(shù)，是對(duì)Hadoop、MPP、RDB方案的補(bǔ)充，主要用于對(duì)數(shù)據(jù)處理實(shí)時(shí)性極高（如信令跟蹤，與流式采集技術(shù)相結(jié)合，可以實(shí)現(xiàn)實(shí)時(shí)的用戶信令跟蹤），以及涉及到快速關(guān)聯(lián)分析的數(shù)據(jù)提取場(chǎng)景（如工參數(shù)據(jù)會(huì)在MR數(shù)據(jù)計(jì)算位置時(shí)需要持續(xù)快速的引用，此時(shí)工參數(shù)據(jù)緩存在內(nèi)存中進(jìn)行緩存，可以達(dá)到最快的響應(yīng)速度）。廠家支撐人員快速構(gòu)建專題能力-自定義報(bào)表15業(yè)務(wù)人員通過(guò)自定義報(bào)表定制工具，4步驟輕松完成報(bào)表定義，一次定制永久使用?？梢暬芰?GIS方案16沃網(wǎng)絡(luò)GIS方案采用商用(ARCIGS)+開(kāi)源（如BaiduMap）的技術(shù)方案，前者適用于分析類需求，特點(diǎn)是功能全面，后者適用于展現(xiàn)類需求，特點(diǎn)是界面效果美觀。可視化能力-GIS效率優(yōu)化17使用動(dòng)態(tài)地圖服務(wù)可實(shí)現(xiàn)大數(shù)據(jù)量的GIS呈現(xiàn)預(yù)處理使用局部刷新模式提高即時(shí)分析呈現(xiàn)效率使用大數(shù)據(jù)聚類方式提高即時(shí)分析呈現(xiàn)效率集中發(fā)布，多處使用統(tǒng)一管理，方便數(shù)據(jù)更新提供多種服務(wù)類型，供多種客戶端消費(fèi)地圖服務(wù)任務(wù)調(diào)度方式自動(dòng)生成地圖服務(wù)，因此不存在效率問(wèn)題使用已發(fā)布的服務(wù)，無(wú)需用戶再次生成渲染圖層加載速度快、GIS操作流暢，用戶體驗(yàn)好S1S2S3SnGIS服務(wù)器服務(wù)接口服務(wù)發(fā)布程序可視化能力-移動(dòng)終端應(yīng)用18－18－移動(dòng)終端采用原生APP+HTML5方案，前者適用于工具類需求，特點(diǎn)是支持靈活復(fù)雜的交互場(chǎng)景，后者適用于展現(xiàn)類需求，特點(diǎn)是界面效果美觀。其他關(guān)鍵技術(shù)-指標(biāo)公式匯總19指標(biāo)分類廠家原始指標(biāo)公共指標(biāo)表達(dá)式動(dòng)態(tài)編譯常量四則運(yùn)算自定義函數(shù)表達(dá)式嵌套計(jì)算優(yōu)先級(jí)其他關(guān)鍵技術(shù)-全文搜索20目標(biāo)：提升用戶查詢體驗(yàn)，仿百度地圖的操作模式方案：采用solr/lucene做為查詢服務(wù)關(guān)鍵點(diǎn)：中文分詞、數(shù)