東軟大數(shù)據(jù)技術(shù)-典型應(yīng)用案例課件

大數(shù)據(jù)技術(shù)

典型應(yīng)用案例

東軟集團(tuán)技術(shù)戰(zhàn)略與發(fā)展部2015年7月Copyright?2015NeusoftCorporation大數(shù)據(jù)技術(shù)

典型應(yīng)用案例

東軟集團(tuán)Copyright?典型應(yīng)用一：實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)統(tǒng)一采集管理平臺(tái)典型應(yīng)用一：數(shù)據(jù)應(yīng)用需求1、隨著傳感器、通信技術(shù)的發(fā)展以及智能電子設(shè)備的廣泛使用，企業(yè)生產(chǎn)現(xiàn)場(chǎng)產(chǎn)生的實(shí)時(shí)信息量大幅度增長(zhǎng)；2、對(duì)現(xiàn)存的自動(dòng)化孤島進(jìn)行整合需要統(tǒng)一的實(shí)時(shí)數(shù)據(jù)采集管理平臺(tái)；3、需要接入的智能設(shè)備、控制器、自動(dòng)化系統(tǒng)種類龐雜，過去針對(duì)某幾種特定設(shè)備、僅限于滿足具體項(xiàng)目需求的前置系統(tǒng)難以復(fù)用，迫切需要能夠廣泛適應(yīng)多種系統(tǒng)接入的實(shí)時(shí)數(shù)據(jù)采集平臺(tái)；4、不管是電網(wǎng)運(yùn)行管理還是電廠生產(chǎn)運(yùn)營，要求有全方位的實(shí)時(shí)數(shù)據(jù)去支撐企業(yè)實(shí)時(shí)決策、敏捷制造；5、企業(yè)只有將自動(dòng)化系統(tǒng)和管理信息系統(tǒng)進(jìn)行融合，才能充分發(fā)揮信息化的作用；數(shù)據(jù)應(yīng)用需求1、隨著傳感器、通信技術(shù)的發(fā)展以及智能電子設(shè)備的數(shù)據(jù)特點(diǎn)分析采集測(cè)點(diǎn)900萬低壓用戶，未來會(huì)達(dá)到2300萬（每用戶一個(gè)測(cè)點(diǎn)）20萬高壓用戶，未來會(huì)達(dá)到100萬（每用戶40個(gè)測(cè)點(diǎn)）30萬終端設(shè)備，未來會(huì)達(dá)到100萬終端設(shè)備采集頻率6小時(shí)內(nèi)采集成功率要求達(dá)到98%，每?jī)尚r(shí)采集一輪（每天每個(gè)測(cè)點(diǎn)保證成功入庫一次）未來可能針對(duì)部分高壓用戶的重要測(cè)點(diǎn)需要每15分鐘集一輪數(shù)據(jù)量每天1700萬數(shù)據(jù)入庫，未來會(huì)達(dá)到6300~8000萬每年16.2T，未來會(huì)達(dá)到每年60T~80T數(shù)據(jù)數(shù)據(jù)特點(diǎn)分析采集測(cè)點(diǎn)900萬低壓用戶，未來會(huì)達(dá)到2300萬（關(guān)鍵架構(gòu)決策點(diǎn)復(fù)雜事件引擎StormS4分布式消息隊(duì)列kafkaMetaQ海量數(shù)據(jù)存儲(chǔ)HBaseMongoDB分布式緩存RedisMemcached關(guān)鍵架構(gòu)決策點(diǎn)復(fù)雜事件StormS4分布式kafkaMeta技術(shù)架構(gòu)數(shù)據(jù)采集用電信息采集物聯(lián)網(wǎng)類銀行聯(lián)網(wǎng)類第三方系統(tǒng)采集Agent采集Agent采集Agent采集Agent電能表通訊規(guī)約電力負(fù)荷管理數(shù)據(jù)通訊規(guī)約網(wǎng)省集抄規(guī)約、東軟集抄規(guī)約ModBusPlusModNetDNP3.0IEC101/104規(guī)約非標(biāo)協(xié)議自編程Socket集成應(yīng)用安全生產(chǎn)監(jiān)控系統(tǒng)輸變電狀態(tài)監(jiān)測(cè)系統(tǒng)用電信息采集系統(tǒng)實(shí)時(shí)信息監(jiān)控系統(tǒng)管網(wǎng)監(jiān)控運(yùn)維系統(tǒng)召測(cè)召測(cè)召測(cè)結(jié)果采集持續(xù)計(jì)算消息隊(duì)列（流數(shù)據(jù)）BoltBoltBoltBoltBoltBoltBolt格式轉(zhuǎn)換數(shù)據(jù)處理數(shù)據(jù)庫NoSQL關(guān)系型數(shù)據(jù)庫量測(cè)模型業(yè)務(wù)模型采集數(shù)據(jù)海量日志業(yè)務(wù)處理加密數(shù)據(jù)解密服務(wù)監(jiān)控?cái)?shù)據(jù)入庫數(shù)據(jù)分析數(shù)據(jù)過濾Bolt數(shù)據(jù)預(yù)警Bolt數(shù)據(jù)加密技術(shù)架構(gòu)數(shù)據(jù)采集用電信息采集物聯(lián)網(wǎng)類銀行聯(lián)網(wǎng)類第三方系統(tǒng)采集案例總結(jié)Storm-0.9.0.1ZeroMQornetty?：Storm新版節(jié)點(diǎn)間通信采用netty實(shí)現(xiàn)，不穩(wěn)定，經(jīng)常出現(xiàn)連接中斷，更換成ZeroMQ后正常消息去重：從業(yè)務(wù)上去重【如：消息上增加業(yè)務(wù)標(biāo)識(shí)】Kafka-2.8.0消息確認(rèn)機(jī)制選擇（不確認(rèn)、Leader確認(rèn)、Leader和Follower確認(rèn)），不確認(rèn)性能最高同步寫文件策略選擇（批量寫：消息數(shù)量和時(shí)間間隔）Redis-2.8.6通過批量key獲取數(shù)據(jù)性能最好ZooKeeper-3.4.5單獨(dú)獨(dú)立部署：Zookeeper和Storm均涉及大量IO，存在資源爭(zhēng)搶問題Hadoop-2.3.0-CDH5.0搭建專門的dns服務(wù)器時(shí)鐘同步密鑰文件在共享存儲(chǔ)中集中管理IO（磁盤、網(wǎng)絡(luò)）：千兆網(wǎng)絡(luò)以上Hbase-0.96.1禁止自動(dòng)文件拆分案例總結(jié)Storm-0.9.0.1ZooKeeper-3.4典型應(yīng)用二：中國移動(dòng)X省大數(shù)據(jù)平臺(tái)建設(shè)方案典型應(yīng)用二：數(shù)據(jù)應(yīng)用需求業(yè)務(wù)人員可根據(jù)日常工作需求快速創(chuàng)建分析報(bào)表，提供靈活的過濾、篩選、分組及鉆取能力，適用于個(gè)性化主題分析的快速創(chuàng)建。用戶通過指標(biāo)篩選后進(jìn)行分析，針對(duì)指標(biāo)按不同維度下鉆，包括：時(shí)間維度、空間維度、區(qū)域維度等普通用戶可以通過（類）SQL接口自行數(shù)據(jù)報(bào)表開發(fā)高級(jí)用戶也可以直接使用MR、scala等語言，進(jìn)行復(fù)雜的專題分析設(shè)計(jì)與應(yīng)用以網(wǎng)絡(luò)業(yè)務(wù)體系為基礎(chǔ)的指標(biāo)導(dǎo)航數(shù)據(jù)應(yīng)用需求業(yè)務(wù)人員可根據(jù)日常工作需求快速創(chuàng)建分析報(bào)表，提供數(shù)據(jù)特點(diǎn)分析目前每日數(shù)據(jù)量接近4T，2015年將達(dá)到7T。當(dāng)前已建立完成覆蓋近30萬頻道和27億網(wǎng)頁（含WAP）的URL地址庫，形成2463個(gè)互聯(lián)網(wǎng)分類標(biāo)簽和27萬關(guān)鍵詞庫。通過與主流市場(chǎng)和APP廠商合作，能夠解析覆蓋用戶產(chǎn)生流量95%以上的手機(jī)應(yīng)用。分類數(shù)據(jù)源數(shù)據(jù)描述網(wǎng)絡(luò)話務(wù)網(wǎng)管

GSM、TD網(wǎng)絡(luò)性能和動(dòng)態(tài)資源數(shù)據(jù)。數(shù)據(jù)網(wǎng)管

WLAN網(wǎng)絡(luò)性能和動(dòng)態(tài)資源數(shù)據(jù)。網(wǎng)優(yōu)平臺(tái)鄰區(qū)數(shù)據(jù)綜合資源靜態(tài)資源數(shù)據(jù)業(yè)務(wù)CRM\BOSS\VGOP\ESOP\經(jīng)分語音、GPRS、WLAN話單數(shù)據(jù)；小區(qū)級(jí)月收入?yún)R總；用戶基礎(chǔ)信息月匯總用戶Gn監(jiān)測(cè)用戶上網(wǎng)Gn話單數(shù)據(jù)A+Abis信令用戶A接口話單數(shù)據(jù)上網(wǎng)日志用戶上網(wǎng)日志位置位置系統(tǒng)軌跡管理管理信息系統(tǒng)

財(cái)務(wù)、ERP等互聯(lián)網(wǎng)互聯(lián)網(wǎng)網(wǎng)頁網(wǎng)頁內(nèi)容爬取數(shù)據(jù)特點(diǎn)分析目前每日數(shù)據(jù)量接近4T，2015年將達(dá)到7T。當(dāng)關(guān)鍵架構(gòu)決策點(diǎn)數(shù)據(jù)處理將構(gòu)建基于Hadoop+Spark+MPP混搭架構(gòu)，并嘗試探索利用Spark的高速交互迭代計(jì)算技術(shù)取代MPP商用數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)分析與挖掘去IOE的可行性。研究驗(yàn)證在事務(wù)處理和高并發(fā)機(jī)制場(chǎng)景下嗎，利用MySQL取代Oracle的可行性，驗(yàn)證HDFS+Spark+Mysql全開源，完全去IOE架構(gòu)的應(yīng)用情況。關(guān)鍵架構(gòu)決策點(diǎn)數(shù)據(jù)處理將構(gòu)建基于Hadoop+Spark+M技術(shù)架構(gòu)大規(guī)模明細(xì)數(shù)據(jù)話單信令HDFS分布式文件存儲(chǔ)詳單和基于詳單的細(xì)粒度匯聚結(jié)果以及數(shù)據(jù)挖掘的結(jié)果自助分析（Impala

)

&批量處理（Spark、Hive）&數(shù)據(jù)挖掘（Spark、Mahout）大數(shù)據(jù)的清洗、輕度匯聚、計(jì)算與挖掘?qū)崟r(shí)流處理與計(jì)算引擎綜合采集平臺(tái)匯總數(shù)據(jù)應(yīng)用數(shù)據(jù)庫（MySQL）專題分析的結(jié)果數(shù)據(jù)，按照專題分庫存儲(chǔ)數(shù)據(jù)同步上層專題應(yīng)用、即席查詢與分析MySQL數(shù)據(jù)查詢代理大數(shù)據(jù)采集大數(shù)據(jù)即席查詢與分析（Impala）數(shù)據(jù)共享告警數(shù)據(jù)倉庫（MPP）結(jié)構(gòu)化、維度化、詳單與網(wǎng)管數(shù)據(jù)關(guān)聯(lián)后的，面向分析主題的明細(xì)分析數(shù)據(jù)。多維度即席查詢與分析（SQL）性能資源終端網(wǎng)優(yōu)MR營帳經(jīng)分技術(shù)架構(gòu)大規(guī)模明細(xì)數(shù)據(jù)話單信令HDFS分布式文件存儲(chǔ)詳單和基案例總結(jié)Hadoop與MPP如何分工協(xié)作，充分發(fā)揮各自的優(yōu)勢(shì)Hadoop擅長(zhǎng)處理那些海量的，處理邏輯相對(duì)固定的數(shù)據(jù)，如對(duì)信令CDR進(jìn)行預(yù)處理和簡(jiǎn)單的關(guān)聯(lián)匯聚處理，可以有針對(duì)性的對(duì)處理程序進(jìn)行優(yōu)化MPP適合對(duì)大量的數(shù)據(jù)進(jìn)行復(fù)雜的統(tǒng)計(jì)與分析，提供很好的人機(jī)SQL界面，適合快速變化的分析需求和對(duì)大量數(shù)據(jù)進(jìn)行即席查詢的場(chǎng)景通過統(tǒng)一的作業(yè)調(diào)度將Hadoop和MPP的作業(yè)穿插結(jié)合起來，將兩個(gè)平臺(tái)的數(shù)據(jù)處理作業(yè)結(jié)合在一起形成一個(gè)整體的數(shù)據(jù)處理流程Hadoop與MPP數(shù)據(jù)同步的效率問題Sqoop適用于中小數(shù)據(jù)量，對(duì)于大數(shù)據(jù)量就會(huì)存在性能問題M/R程序在各個(gè)數(shù)據(jù)節(jié)點(diǎn)本地生成文件，在各個(gè)數(shù)據(jù)節(jié)點(diǎn)本地將文件裝載到MPP數(shù)據(jù)庫中案例總結(jié)Hadoop與MPP如何分工協(xié)作，充分發(fā)揮各自的優(yōu)勢(shì)案例總結(jié)多條件詳單查詢的效率問題詳單數(shù)據(jù)存放在Hadoop中，簡(jiǎn)單按照號(hào)碼和日期查詢一個(gè)用戶的詳單很快，但是如果通過多個(gè)查詢條件查詢符合這些條件的用戶的詳單就會(huì)很慢對(duì)海量詳單數(shù)據(jù)建立有效的二級(jí)索引，來實(shí)現(xiàn)多條件多用戶的快速詳單查詢Hadoop集群數(shù)據(jù)分布不均的問題集群在運(yùn)行一段時(shí)間后，各個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)會(huì)出現(xiàn)不均衡的現(xiàn)象，影響整體集群的運(yùn)行效率定期在閑時(shí)進(jìn)行數(shù)據(jù)的重分布操作海量信令數(shù)據(jù)如何進(jìn)行快速處理引入Spark，用Spark對(duì)信令話單數(shù)據(jù)進(jìn)行預(yù)處理和簡(jiǎn)單的關(guān)聯(lián)匯聚處理后續(xù)根據(jù)Spark的成熟情況逐漸將Spark的應(yīng)用場(chǎng)景擴(kuò)大到復(fù)雜的數(shù)據(jù)統(tǒng)計(jì)和分析中，逐漸替換MPP的一些工作案例總結(jié)多條件詳單查詢的效率問題詳單數(shù)據(jù)存放在Hadoop中典型應(yīng)用三：企業(yè)信用公示大數(shù)據(jù)應(yīng)用實(shí)踐典型應(yīng)用三：數(shù)據(jù)應(yīng)用需求2013年國務(wù)院在推進(jìn)公司注冊(cè)資本登記制度改革時(shí)強(qiáng)調(diào)：推行注冊(cè)資本登記制度改革，就是要按照便捷高效、規(guī)范統(tǒng)一、寬進(jìn)嚴(yán)管的原則，創(chuàng)新公司登記制度，降低準(zhǔn)入門檻，強(qiáng)化市場(chǎng)主體責(zé)任，促進(jìn)形成誠信、公平、有序的市場(chǎng)秩序。會(huì)議明確，將企業(yè)年檢制度改為年度報(bào)告制度，任何單位和個(gè)人均可查詢，使企業(yè)相關(guān)信息透明化。企業(yè)信用數(shù)據(jù)公示需求省數(shù)據(jù)中心信用公示庫數(shù)據(jù)同步索引文檔庫檢索引擎公示服務(wù)數(shù)據(jù)獲取建索引企業(yè)明細(xì)檢索企業(yè)公眾查詢數(shù)據(jù)應(yīng)用需求2013年國務(wù)院在推進(jìn)公司注冊(cè)資本登記制度改革時(shí)數(shù)據(jù)特點(diǎn)分析數(shù)據(jù)量大強(qiáng)關(guān)系查詢?yōu)橹鳟悩?gòu)和多樣性業(yè)務(wù)交易數(shù)據(jù)全省工商數(shù)據(jù)登記、年檢、股東、分支機(jī)構(gòu)等對(duì)外提供檢索服務(wù)圖片、PDF、Word等外部采集數(shù)據(jù)網(wǎng)上申報(bào)數(shù)據(jù)外部交換數(shù)據(jù)內(nèi)外接口多共享、交換、同步數(shù)據(jù)特點(diǎn)分析數(shù)據(jù)量大強(qiáng)關(guān)系查詢?yōu)橹鳟悩?gòu)和多樣性業(yè)務(wù)交易數(shù)據(jù)全關(guān)鍵架構(gòu)決策點(diǎn)1243大數(shù)據(jù)平臺(tái)Hadoop發(fā)行版HbasevsMongoDBHbase數(shù)據(jù)模型安全數(shù)據(jù)集成Oracle到HBaseHbase到SolrDataExchangevsSqoopUniEAP集成UniEAPv4版本Hbase訪問接口封裝SolrRESTful服務(wù)接口封裝檢索引擎開源與商業(yè)產(chǎn)品SolrvsElasticSearch索引實(shí)時(shí)性并發(fā)訪問性能關(guān)鍵架構(gòu)決策點(diǎn)1243大數(shù)據(jù)平臺(tái)Hadoop發(fā)行版數(shù)據(jù)集成O技術(shù)架構(gòu)數(shù)據(jù)源省工商數(shù)據(jù)中心省綜合業(yè)務(wù)交易數(shù)據(jù)其它部門共享數(shù)據(jù)公示平臺(tái)HDFS公示庫（HBase）檢索庫（Solr）DataExchange年報(bào)庫（Oracle）initCDC實(shí)時(shí)（lily）批量(DataExchange)批量文件系統(tǒng)/共享存儲(chǔ)管理監(jiān)控業(yè)務(wù)應(yīng)用資源監(jiān)控（Aclome）集群管理（ClouderaManager）安全(Kerberos)公示系統(tǒng)年報(bào)系統(tǒng)關(guān)系數(shù)據(jù)非關(guān)系數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)源省工商數(shù)據(jù)中心省綜合業(yè)務(wù)交易數(shù)據(jù)其它部門共享數(shù)案例總結(jié)1、DataExchange往HBase大批量加載數(shù)據(jù)時(shí)，RegionServer出現(xiàn)不響應(yīng)問題。解決辦法：預(yù)先創(chuàng)建Region，并停止WAL日志，改善批量加載性能。2、Solr在初始化批量索引時(shí)，使用lily構(gòu)建索引，容易引起HBaseGC時(shí)間過長(zhǎng)，導(dǎo)致zookeeper強(qiáng)制其下線。解決辦法：構(gòu)建索引使用兩種方式，一種是批量索引使用import方式導(dǎo)入，一種是增量索引場(chǎng)景，從HBase使用lily增量近實(shí)時(shí)構(gòu)建索引。3、索引及業(yè)務(wù)數(shù)據(jù)一致性驗(yàn)證缺乏有效手段，解決辦法：定期做一遍索引的全量更新。4、分詞詞庫選擇，IK有效性、準(zhǔn)確性還有待提高。5、在該平臺(tái)基礎(chǔ)上可以進(jìn)一步引入Streaming處理，機(jī)器學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)更高效的企業(yè)黑名單識(shí)別、企業(yè)族譜的建立等應(yīng)用決策場(chǎng)景。6、安全方面目前實(shí)現(xiàn)基于Kerberos的安全認(rèn)證，下一步可以結(jié)合Sentry實(shí)現(xiàn)細(xì)粒度授權(quán)。案例總結(jié)1、DataExchange往HBase大批量加載數(shù)典型應(yīng)用四：基于社會(huì)化媒體分析的精準(zhǔn)營銷典型應(yīng)用四：數(shù)據(jù)應(yīng)用需求精準(zhǔn)營銷人口統(tǒng)計(jì)興趣喜好客戶價(jià)值客戶需求社會(huì)化隱性顯性消費(fèi)基因關(guān)聯(lián)分析規(guī)則匹配SEO向上營銷交叉營銷流失預(yù)警流失挽留趨勢(shì)預(yù)測(cè)意見領(lǐng)袖情感分析情感統(tǒng)計(jì)熱門主題主題跟蹤社交圖譜知識(shí)圖譜興趣圖譜數(shù)據(jù)應(yīng)用需求精準(zhǔn)人口統(tǒng)計(jì)興趣喜好客戶價(jià)值客戶需求社會(huì)化隱性顯數(shù)據(jù)特點(diǎn)分析數(shù)據(jù)價(jià)值查詢頻率數(shù)據(jù)規(guī)模關(guān)系復(fù)雜數(shù)據(jù)格式社會(huì)化媒體數(shù)據(jù)7X24小時(shí)不間斷采集或爬取海量數(shù)據(jù)，數(shù)億用戶用戶行為數(shù)據(jù)。。。領(lǐng)域數(shù)據(jù)非結(jié)構(gòu)化、數(shù)據(jù)多樣多維度、噪音大、重復(fù)數(shù)據(jù)多價(jià)值密度低，浪里淘沙卻又彌足珍貴具有準(zhǔn)確性數(shù)據(jù)按日更新最大限度保證數(shù)據(jù)的時(shí)效性知識(shí)圖譜、興趣圖譜、社交圖譜響應(yīng)時(shí)間處理速度快，秒級(jí)響應(yīng)數(shù)據(jù)特點(diǎn)分析數(shù)據(jù)價(jià)值查詢頻率數(shù)據(jù)規(guī)模關(guān)系復(fù)雜數(shù)據(jù)格式社會(huì)化7關(guān)鍵架構(gòu)決策點(diǎn)興趣圖譜分布式存儲(chǔ)

業(yè)務(wù)需求：海量數(shù)據(jù)，查詢條件復(fù)雜，包含groupby、sort等條件

多條件查詢無響應(yīng)內(nèi)存資源占用大分布式版與單機(jī)版查詢性能相差不大兩個(gè)條件到五個(gè)條件查詢30～50s１～５個(gè)興趣詞響應(yīng)時(shí)間大約在5~10s之間橫向擴(kuò)展能力可以應(yīng)對(duì)興趣-人關(guān)系數(shù)據(jù)的增長(zhǎng)Neo4jembedd不穩(wěn)定導(dǎo)入數(shù)據(jù)時(shí)間長(zhǎng)，有timeout異常Neo4jrestserver關(guān)鍵架構(gòu)決策點(diǎn)興趣圖譜分布式存儲(chǔ)多條件查詢無響應(yīng)分布式版與單技術(shù)架構(gòu)數(shù)據(jù)資源層內(nèi)容數(shù)據(jù)社交媒體數(shù)據(jù)客服中心數(shù)據(jù)行為數(shù)據(jù)網(wǎng)站、App、設(shè)備業(yè)務(wù)交易業(yè)務(wù)主數(shù)據(jù)CRM數(shù)據(jù)資源數(shù)據(jù)領(lǐng)域數(shù)據(jù)維基百科、百度百科、Freebase企業(yè)知識(shí)庫數(shù)據(jù)數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)抓取Weblech（網(wǎng)頁爬?。￤eiboSDK（開放API）數(shù)據(jù)預(yù)處理數(shù)據(jù)存儲(chǔ)層HBase（列存儲(chǔ)數(shù)據(jù)庫）HDFS（分布式文件系統(tǒng)）數(shù)據(jù)整合數(shù)據(jù)去重?cái)?shù)據(jù)轉(zhuǎn)換數(shù)據(jù)過濾大數(shù)據(jù)管理Ozzie（工作流調(diào)度）Zookeeper（系統(tǒng)協(xié)調(diào)）ClouderaManager日志管理分布式并行計(jì)算框架YARN數(shù)據(jù)分析挖掘自然語言處理中文分詞特征提取潛在語義文本挖掘文本濾重情感分析標(biāo)簽傳播訓(xùn)練模型模型構(gòu)建模型訓(xùn)練模型優(yōu)化分類算法聚類算法關(guān)聯(lián)分析特征選擇主題提取標(biāo)簽傳播社交圖譜興趣圖譜知識(shí)圖譜安全管理數(shù)據(jù)訪問層Solr（分布式搜索）Redis（分布式緩存）離線算法評(píng)估技術(shù)架構(gòu)數(shù)據(jù)資源層內(nèi)容數(shù)據(jù)社交媒體數(shù)據(jù)客服中心數(shù)據(jù)行為數(shù)據(jù)網(wǎng)案例總結(jié)

選取數(shù)據(jù)構(gòu)建模型時(shí)，需要考慮業(yè)務(wù)產(chǎn)品是否具有季節(jié)性，比如銀行的考核有季度性帶來業(yè)務(wù)上的一些優(yōu)惠等措施，對(duì)流失率影響比較大，所以在選取數(shù)據(jù)構(gòu)建模型時(shí)都應(yīng)該有所考慮。選取的訓(xùn)練樣本應(yīng)考慮各影響因子。不同業(yè)務(wù)場(chǎng)景數(shù)據(jù)分析周期不同，合理考慮框架模型，根據(jù)業(yè)務(wù)選取線上和線下分析，選取流計(jì)算框架或分布式計(jì)算框架。對(duì)于社交化媒體數(shù)據(jù)這種非結(jié)構(gòu)化的、大規(guī)模的數(shù)據(jù)集，在技術(shù)選型上應(yīng)做好充分技術(shù)調(diào)研，比如Neo4j比較適合存儲(chǔ)單點(diǎn)出發(fā)查詢的圖譜，而我們的興趣圖譜業(yè)務(wù)查詢是動(dòng)態(tài)并且多條件的，不適合使用Neo4j。案例總結(jié)選取數(shù)據(jù)構(gòu)建模型時(shí)，需要考慮業(yè)務(wù)產(chǎn)品是否具有季節(jié)性典型應(yīng)用五：電網(wǎng)企業(yè)客戶服務(wù)大數(shù)據(jù)分析典型應(yīng)用五：業(yè)務(wù)場(chǎng)景-1業(yè)務(wù)場(chǎng)景-1業(yè)務(wù)場(chǎng)景-2業(yè)務(wù)場(chǎng)景-2邏輯架構(gòu)邏輯架構(gòu)技術(shù)架構(gòu)技術(shù)架構(gòu)案例總結(jié)

通過大數(shù)據(jù)分析技術(shù)，評(píng)估預(yù)測(cè)用電客戶發(fā)起投訴的可能性，并推薦合適的應(yīng)對(duì)措施。通過大數(shù)據(jù)分析技術(shù)，識(shí)別用電客戶對(duì)停電事件的敏感度，預(yù)判用電客戶行為，指導(dǎo)客服人員主動(dòng)提供有針對(duì)性的客戶服務(wù)。通過大數(shù)據(jù)分析技術(shù)，發(fā)現(xiàn)客戶關(guān)注熱點(diǎn)，跟蹤變化趨勢(shì)，為客服中心主動(dòng)服務(wù)提供條件。案例總結(jié)通過大數(shù)據(jù)分析技術(shù)，評(píng)估預(yù)測(cè)用電客戶發(fā)起投訴的可能大數(shù)據(jù)技術(shù)

典型應(yīng)用案例

東軟集團(tuán)技術(shù)戰(zhàn)略與發(fā)展部2015年7月Copyright?2015NeusoftCorporation大數(shù)據(jù)技術(shù)

典型應(yīng)用案例

東軟集團(tuán)Copyright?典型應(yīng)用一：實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)統(tǒng)一采集管理平臺(tái)典型應(yīng)用一：數(shù)據(jù)應(yīng)用需求1、隨著傳感器、通信技術(shù)的發(fā)展以及智能電子設(shè)備的廣泛使用，企業(yè)生產(chǎn)現(xiàn)場(chǎng)產(chǎn)生的實(shí)時(shí)信息量大幅度增長(zhǎng)；2、對(duì)現(xiàn)存的自動(dòng)化孤島進(jìn)行整合需要統(tǒng)一的實(shí)時(shí)數(shù)據(jù)采集管理平臺(tái)；3、需要接入的智能設(shè)備、控制器、自動(dòng)化系統(tǒng)種類龐雜，過去針對(duì)某幾種特定設(shè)備、僅限于滿足具體項(xiàng)目需求的前置系統(tǒng)難以復(fù)用，迫切需要能夠廣泛適應(yīng)多種系統(tǒng)接入的實(shí)時(shí)數(shù)據(jù)采集平臺(tái)；4、不管是電網(wǎng)運(yùn)行管理還是電廠生產(chǎn)運(yùn)營，要求有全方位的實(shí)時(shí)數(shù)據(jù)去支撐企業(yè)實(shí)時(shí)決策、敏捷制造；5、企業(yè)只有將自動(dòng)化系統(tǒng)和管理信息系統(tǒng)進(jìn)行融合，才能充分發(fā)揮信息化的作用；數(shù)據(jù)應(yīng)用需求1、隨著傳感器、通信技術(shù)的發(fā)展以及智能電子設(shè)備的數(shù)據(jù)特點(diǎn)分析采集測(cè)點(diǎn)900萬低壓用戶，未來會(huì)達(dá)到2300萬（每用戶一個(gè)測(cè)點(diǎn)）20萬高壓用戶，未來會(huì)達(dá)到100萬（每用戶40個(gè)測(cè)點(diǎn)）30萬終端設(shè)備，未來會(huì)達(dá)到100萬終端設(shè)備采集頻率6小時(shí)內(nèi)采集成功率要求達(dá)到98%，每?jī)尚r(shí)采集一輪（每天每個(gè)測(cè)點(diǎn)保證成功入庫一次）未來可能針對(duì)部分高壓用戶的重要測(cè)點(diǎn)需要每15分鐘集一輪數(shù)據(jù)量每天1700萬數(shù)據(jù)入庫，未來會(huì)達(dá)到6300~8000萬每年16.2T，未來會(huì)達(dá)到每年60T~80T數(shù)據(jù)數(shù)據(jù)特點(diǎn)分析采集測(cè)點(diǎn)900萬低壓用戶，未來會(huì)達(dá)到2300萬（關(guān)鍵架構(gòu)決策點(diǎn)復(fù)雜事件引擎StormS4分布式消息隊(duì)列kafkaMetaQ海量數(shù)據(jù)存儲(chǔ)HBaseMongoDB分布式緩存RedisMemcached關(guān)鍵架構(gòu)決策點(diǎn)復(fù)雜事件StormS4分布式kafkaMeta技術(shù)架構(gòu)數(shù)據(jù)采集用電信息采集物聯(lián)網(wǎng)類銀行聯(lián)網(wǎng)類第三方系統(tǒng)采集Agent采集Agent采集Agent采集Agent電能表通訊規(guī)約電力負(fù)荷管理數(shù)據(jù)通訊規(guī)約網(wǎng)省集抄規(guī)約、東軟集抄規(guī)約ModBusPlusModNetDNP3.0IEC101/104規(guī)約非標(biāo)協(xié)議自編程Socket集成應(yīng)用安全生產(chǎn)監(jiān)控系統(tǒng)輸變電狀態(tài)監(jiān)測(cè)系統(tǒng)用電信息采集系統(tǒng)實(shí)時(shí)信息監(jiān)控系統(tǒng)管網(wǎng)監(jiān)控運(yùn)維系統(tǒng)召測(cè)召測(cè)召測(cè)結(jié)果采集持續(xù)計(jì)算消息隊(duì)列（流數(shù)據(jù)）BoltBoltBoltBoltBoltBoltBolt格式轉(zhuǎn)換數(shù)據(jù)處理數(shù)據(jù)庫NoSQL關(guān)系型數(shù)據(jù)庫量測(cè)模型業(yè)務(wù)模型采集數(shù)據(jù)海量日志業(yè)務(wù)處理加密數(shù)據(jù)解密服務(wù)監(jiān)控?cái)?shù)據(jù)入庫數(shù)據(jù)分析數(shù)據(jù)過濾Bolt數(shù)據(jù)預(yù)警Bolt數(shù)據(jù)加密技術(shù)架構(gòu)數(shù)據(jù)采集用電信息采集物聯(lián)網(wǎng)類銀行聯(lián)網(wǎng)類第三方系統(tǒng)采集案例總結(jié)Storm-0.9.0.1ZeroMQornetty?：Storm新版節(jié)點(diǎn)間通信采用netty實(shí)現(xiàn)，不穩(wěn)定，經(jīng)常出現(xiàn)連接中斷，更換成ZeroMQ后正常消息去重：從業(yè)務(wù)上去重【如：消息上增加業(yè)務(wù)標(biāo)識(shí)】Kafka-2.8.0消息確認(rèn)機(jī)制選擇（不確認(rèn)、Leader確認(rèn)、Leader和Follower確認(rèn)），不確認(rèn)性能最高同步寫文件策略選擇（批量寫：消息數(shù)量和時(shí)間間隔）Redis-2.8.6通過批量key獲取數(shù)據(jù)性能最好ZooKeeper-3.4.5單獨(dú)獨(dú)立部署：Zookeeper和Storm均涉及大量IO，存在資源爭(zhēng)搶問題Hadoop-2.3.0-CDH5.0搭建專門的dns服務(wù)器時(shí)鐘同步密鑰文件在共享存儲(chǔ)中集中管理IO（磁盤、網(wǎng)絡(luò)）：千兆網(wǎng)絡(luò)以上Hbase-0.96.1禁止自動(dòng)文件拆分案例總結(jié)Storm-0.9.0.1ZooKeeper-3.4典型應(yīng)用二：中國移動(dòng)X省大數(shù)據(jù)平臺(tái)建設(shè)方案典型應(yīng)用二：數(shù)據(jù)應(yīng)用需求業(yè)務(wù)人員可根據(jù)日常工作需求快速創(chuàng)建分析報(bào)表，提供靈活的過濾、篩選、分組及鉆取能力，適用于個(gè)性化主題分析的快速創(chuàng)建。用戶通過指標(biāo)篩選后進(jìn)行分析，針對(duì)指標(biāo)按不同維度下鉆，包括：時(shí)間維度、空間維度、區(qū)域維度等普通用戶可以通過（類）SQL接口自行數(shù)據(jù)報(bào)表開發(fā)高級(jí)用戶也可以直接使用MR、scala等語言，進(jìn)行復(fù)雜的專題分析設(shè)計(jì)與應(yīng)用以網(wǎng)絡(luò)業(yè)務(wù)體系為基礎(chǔ)的指標(biāo)導(dǎo)航數(shù)據(jù)應(yīng)用需求業(yè)務(wù)人員可根據(jù)日常工作需求快速創(chuàng)建分析報(bào)表，提供數(shù)據(jù)特點(diǎn)分析目前每日數(shù)據(jù)量接近4T，2015年將達(dá)到7T。當(dāng)前已建立完成覆蓋近30萬頻道和27億網(wǎng)頁（含WAP）的URL地址庫，形成2463個(gè)互聯(lián)網(wǎng)分類標(biāo)簽和27萬關(guān)鍵詞庫。通過與主流市場(chǎng)和APP廠商合作，能夠解析覆蓋用戶產(chǎn)生流量95%以上的手機(jī)應(yīng)用。分類數(shù)據(jù)源數(shù)據(jù)描述網(wǎng)絡(luò)話務(wù)網(wǎng)管

GSM、TD網(wǎng)絡(luò)性能和動(dòng)態(tài)資源數(shù)據(jù)。數(shù)據(jù)網(wǎng)管

WLAN網(wǎng)絡(luò)性能和動(dòng)態(tài)資源數(shù)據(jù)。網(wǎng)優(yōu)平臺(tái)鄰區(qū)數(shù)據(jù)綜合資源靜態(tài)資源數(shù)據(jù)業(yè)務(wù)CRM\BOSS\VGOP\ESOP\經(jīng)分語音、GPRS、WLAN話單數(shù)據(jù)；小區(qū)級(jí)月收入?yún)R總；用戶基礎(chǔ)信息月匯總用戶Gn監(jiān)測(cè)用戶上網(wǎng)Gn話單數(shù)據(jù)A+Abis信令用戶A接口話單數(shù)據(jù)上網(wǎng)日志用戶上網(wǎng)日志位置位置系統(tǒng)軌跡管理管理信息系統(tǒng)

財(cái)務(wù)、ERP等互聯(lián)網(wǎng)互聯(lián)網(wǎng)網(wǎng)頁網(wǎng)頁內(nèi)容爬取數(shù)據(jù)特點(diǎn)分析目前每日數(shù)據(jù)量接近4T，2015年將達(dá)到7T。當(dāng)關(guān)鍵架構(gòu)決策點(diǎn)數(shù)據(jù)處理將構(gòu)建基于Hadoop+Spark+MPP混搭架構(gòu)，并嘗試探索利用Spark的高速交互迭代計(jì)算技術(shù)取代MPP商用數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)分析與挖掘去IOE的可行性。研究驗(yàn)證在事務(wù)處理和高并發(fā)機(jī)制場(chǎng)景下嗎，利用MySQL取代Oracle的可行性，驗(yàn)證HDFS+Spark+Mysql全開源，完全去IOE架構(gòu)的應(yīng)用情況。關(guān)鍵架構(gòu)決策點(diǎn)數(shù)據(jù)處理將構(gòu)建基于Hadoop+Spark+M技術(shù)架構(gòu)大規(guī)模明細(xì)數(shù)據(jù)話單信令HDFS分布式文件存儲(chǔ)詳單和基于詳單的細(xì)粒度匯聚結(jié)果以及數(shù)據(jù)挖掘的結(jié)果自助分析（Impala

)

&批量處理（Spark、Hive）&數(shù)據(jù)挖掘（Spark、Mahout）大數(shù)據(jù)的清洗、輕度匯聚、計(jì)算與挖掘?qū)崟r(shí)流處理與計(jì)算引擎綜合采集平臺(tái)匯總數(shù)據(jù)應(yīng)用數(shù)據(jù)庫（MySQL）專題分析的結(jié)果數(shù)據(jù)，按照專題分庫存儲(chǔ)數(shù)據(jù)同步上層專題應(yīng)用、即席查詢與分析MySQL數(shù)據(jù)查詢代理大數(shù)據(jù)采集大數(shù)據(jù)即席查詢與分析（Impala）數(shù)據(jù)共享告警數(shù)據(jù)倉庫（MPP）結(jié)構(gòu)化、維度化、詳單與網(wǎng)管數(shù)據(jù)關(guān)聯(lián)后的，面向分析主題的明細(xì)分析數(shù)據(jù)。多維度即席查詢與分析（SQL）性能資源終端網(wǎng)優(yōu)MR營帳經(jīng)分技術(shù)架構(gòu)大規(guī)模明細(xì)數(shù)據(jù)話單信令HDFS分布式文件存儲(chǔ)詳單和基案例總結(jié)Hadoop與MPP如何分工協(xié)作，充分發(fā)揮各自的優(yōu)勢(shì)Hadoop擅長(zhǎng)處理那些海量的，處理邏輯相對(duì)固定的數(shù)據(jù)，如對(duì)信令CDR進(jìn)行預(yù)處理和簡(jiǎn)單的關(guān)聯(lián)匯聚處理，可以有針對(duì)性的對(duì)處理程序進(jìn)行優(yōu)化MPP適合對(duì)大量的數(shù)據(jù)進(jìn)行復(fù)雜的統(tǒng)計(jì)與分析，提供很好的人機(jī)SQL界面，適合快速變化的分析需求和對(duì)大量數(shù)據(jù)進(jìn)行即席查詢的場(chǎng)景通過統(tǒng)一的作業(yè)調(diào)度將Hadoop和MPP的作業(yè)穿插結(jié)合起來，將兩個(gè)平臺(tái)的數(shù)據(jù)處理作業(yè)結(jié)合在一起形成一個(gè)整體的數(shù)據(jù)處理流程Hadoop與MPP數(shù)據(jù)同步的效率問題Sqoop適用于中小數(shù)據(jù)量，對(duì)于大數(shù)據(jù)量就會(huì)存在性能問題M/R程序在各個(gè)數(shù)據(jù)節(jié)點(diǎn)本地生成文件，在各個(gè)數(shù)據(jù)節(jié)點(diǎn)本地將文件裝載到MPP數(shù)據(jù)庫中案例總結(jié)Hadoop與MPP如何分工協(xié)作，充分發(fā)揮各自的優(yōu)勢(shì)案例總結(jié)多條件詳單查詢的效率問題詳單數(shù)據(jù)存放在Hadoop中，簡(jiǎn)單按照號(hào)碼和日期查詢一個(gè)用戶的詳單很快，但是如果通過多個(gè)查詢條件查詢符合這些條件的用戶的詳單就會(huì)很慢對(duì)海量詳單數(shù)據(jù)建立有效的二級(jí)索引，來實(shí)現(xiàn)多條件多用戶的快速詳單查詢Hadoop集群數(shù)據(jù)分布不均的問題集群在運(yùn)行一段時(shí)間后，各個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)會(huì)出現(xiàn)不均衡的現(xiàn)象，影響整體集群的運(yùn)行效率定期在閑時(shí)進(jìn)行數(shù)據(jù)的重分布操作海量信令數(shù)據(jù)如何進(jìn)行快速處理引入Spark，用Spark對(duì)信令話單數(shù)據(jù)進(jìn)行預(yù)處理和簡(jiǎn)單的關(guān)聯(lián)匯聚處理后續(xù)根據(jù)Spark的成熟情況逐漸將Spark的應(yīng)用場(chǎng)景擴(kuò)大到復(fù)雜的數(shù)據(jù)統(tǒng)計(jì)和分析中，逐漸替換MPP的一些工作案例總結(jié)多條件詳單查詢的效率問題詳單數(shù)據(jù)存放在Hadoop中典型應(yīng)用三：企業(yè)信用公示大數(shù)據(jù)應(yīng)用實(shí)踐典型應(yīng)用三：數(shù)據(jù)應(yīng)用需求2013年國務(wù)院在推進(jìn)公司注冊(cè)資本登記制度改革時(shí)強(qiáng)調(diào)：推行注冊(cè)資本登記制度改革，就是要按照便捷高效、規(guī)范統(tǒng)一、寬進(jìn)嚴(yán)管的原則，創(chuàng)新公司登記制度，降低準(zhǔn)入門檻，強(qiáng)化市場(chǎng)主體責(zé)任，促進(jìn)形成誠信、公平、有序的市場(chǎng)秩序。會(huì)議明確，將企業(yè)年檢制度改為年度報(bào)告制度，任何單位和個(gè)人均可查詢，使企業(yè)相關(guān)信息透明化。企業(yè)信用數(shù)據(jù)公示需求省數(shù)據(jù)中心信用公示庫數(shù)據(jù)同步索引文檔庫檢索引擎公示服務(wù)數(shù)據(jù)獲取建索引企業(yè)明細(xì)檢索企業(yè)公眾查詢數(shù)據(jù)應(yīng)用需求2013年國務(wù)院在推進(jìn)公司注冊(cè)資本登記制度改革時(shí)數(shù)據(jù)特點(diǎn)分析數(shù)據(jù)量大強(qiáng)關(guān)系查詢?yōu)橹鳟悩?gòu)和多樣性業(yè)務(wù)交易數(shù)據(jù)全省工商數(shù)據(jù)登記、年檢、股東、分支機(jī)構(gòu)等對(duì)外提供檢索服務(wù)圖片、PDF、Word等外部采集數(shù)據(jù)網(wǎng)上申報(bào)數(shù)據(jù)外部交換數(shù)據(jù)內(nèi)外接口多共享、交換、同步數(shù)據(jù)特點(diǎn)分析數(shù)據(jù)量大強(qiáng)關(guān)系查詢?yōu)橹鳟悩?gòu)和多樣性業(yè)務(wù)交易數(shù)據(jù)全關(guān)鍵架構(gòu)決策點(diǎn)1243大數(shù)據(jù)平臺(tái)Hadoop發(fā)行版HbasevsMongoDBHbase數(shù)據(jù)模型安全數(shù)據(jù)集成Oracle到HBaseHbase到SolrDataExchangevsSqoopUniEAP集成UniEAPv4版本Hbase訪問接口封裝SolrRESTful服務(wù)接口封裝檢索引擎開源與商業(yè)產(chǎn)品SolrvsElasticSearch索引實(shí)時(shí)性并發(fā)訪問性能關(guān)鍵架構(gòu)決策點(diǎn)1243大數(shù)據(jù)平臺(tái)Hadoop發(fā)行版數(shù)據(jù)集成O技術(shù)架構(gòu)數(shù)據(jù)源省工商數(shù)據(jù)中心省綜合業(yè)務(wù)交易數(shù)據(jù)其它部門共享數(shù)據(jù)公示平臺(tái)HDFS公示庫（HBase）檢索庫（Solr）DataExchange年報(bào)庫（Oracle）initCDC實(shí)時(shí)（lily）批量(DataExchange)批量文件系統(tǒng)/共享存儲(chǔ)管理監(jiān)控業(yè)務(wù)應(yīng)用資源監(jiān)控（Aclome）集群管理（ClouderaManager）安全(Kerberos)公示系統(tǒng)年報(bào)系統(tǒng)關(guān)系數(shù)據(jù)非關(guān)系數(shù)據(jù)技術(shù)架構(gòu)數(shù)據(jù)源省工商數(shù)據(jù)中心省綜合業(yè)務(wù)交易數(shù)據(jù)其它部門共享數(shù)案例總結(jié)1、DataExchange往HBase大批量加載數(shù)據(jù)時(shí)，RegionServer出現(xiàn)不響應(yīng)問題。解決辦法：預(yù)先創(chuàng)建Region，并停止WAL日志，改善批量加載性能。2、Solr在初始化批量索引時(shí)，使用lily構(gòu)建索引，容易引起HBaseGC時(shí)間過長(zhǎng)，導(dǎo)致zookeeper強(qiáng)制其下線。解決辦法：構(gòu)建索引使用兩種方式，一種是批量索引使用import方式導(dǎo)入，一種是增量索引場(chǎng)景，從HBase使用lily增量近實(shí)時(shí)構(gòu)建索引。3、索引及業(yè)務(wù)數(shù)據(jù)一致性驗(yàn)證缺乏有效手段，解決辦法：定期做一遍索引的全量更新。4、分詞詞庫選擇，IK有效性、準(zhǔn)確性還有待提高。5、在該平臺(tái)基礎(chǔ)上可以進(jìn)一步引入Streaming處理，機(jī)器學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)更高效的企業(yè)黑名單識(shí)別、企業(yè)族譜的建立等應(yīng)用決策場(chǎng)景。6、安全方面目前實(shí)現(xiàn)基于Kerberos的安全認(rèn)證，下一步可以結(jié)合Sentry實(shí)現(xiàn)細(xì)粒度授權(quán)。案例總結(jié)1、DataExchange往HBase大批量加載數(shù)典型應(yīng)用四：基于社會(huì)化媒體分析的精準(zhǔn)營銷典型應(yīng)用四：數(shù)據(jù)應(yīng)用需求精準(zhǔn)營銷人口統(tǒng)計(jì)興趣喜好客戶價(jià)值客戶需求社會(huì)化隱性顯性消費(fèi)基因關(guān)聯(lián)分析規(guī)則匹配SEO向上營銷交叉營銷流失預(yù)警流失挽留趨勢(shì)預(yù)測(cè)意見領(lǐng)袖情感分析情感統(tǒng)計(jì)熱門主題主題跟蹤社交圖譜知識(shí)圖譜興趣圖譜數(shù)據(jù)應(yīng)用需求精準(zhǔn)人口統(tǒng)計(jì)興趣喜好客戶價(jià)值客戶需求社會(huì)化隱性顯數(shù)據(jù)特點(diǎn)分析數(shù)據(jù)價(jià)值查詢頻率數(shù)據(jù)規(guī)模關(guān)系復(fù)雜數(shù)據(jù)格式社會(huì)化媒體數(shù)據(jù)7X24小時(shí)不間斷采集或爬取海量數(shù)據(jù)，數(shù)億用戶用戶行為數(shù)據(jù)。。。領(lǐng)域數(shù)據(jù)非結(jié)構(gòu)化、數(shù)據(jù)多樣多維度、噪音大、重復(fù)數(shù)據(jù)多價(jià)值密度低，浪里淘沙卻又彌足珍貴具有準(zhǔn)確性數(shù)據(jù)按日更新最大限度