垂直業(yè)務大數據--數據預測服務課件

1、主要問題改進思路實施路線案例與核心問題分析業(yè)務背景 垂直領域業(yè)務大數據 預測服務場景的思考垂直領域業(yè)務大數據？指的是符合如下條件的場景：采集頻率高：重復實時采集業(yè)務運行數據數據量大：有規(guī)模，至少幾萬個樣例多維度：可以采集到多個方面的相關數據，便于分析和特征提取舉例：數據中心的運維，公安的監(jiān)控設備，能源企業(yè)的管線維護3背景與趨勢標配市場趨勢云計算SaaS數據與分析爆發(fā)型需求High Demand基本預測式服務實時處理業(yè)務網絡化采集AI /深度學習PLCMachine IntegrationSensors(ERP)各種業(yè)務監(jiān)控的背景（以中石油管道業(yè)務為例）大型管輸 SCADA 系統(tǒng)拓撲圖（來自網絡

2、）通過智能儀表，光纜及衛(wèi)星通信鏈路，實現大型管網數據采集與監(jiān)控在此基礎上，實現運輸跟蹤，管道診斷，設備狀態(tài)查詢，設備能耗查詢等監(jiān)控應用已搭建海量數據的統(tǒng)一數據平臺，實現基礎層面的數據存儲，查詢支持積累了大量歷史數據，并具備大量實時動態(tài)數據獲取的能力主要問題SCADA所在計算機網絡系統(tǒng)的運維管理應用集成程度和智能化程度不足更多的依賴于實時數據進行故障發(fā)現及處理，缺乏對歷史數據集的分析，缺乏在此基礎上實現的事件預警和預測沒有將管道運行數據與相關的空間地理，氣候信息等結合起來進行集成分析，導致許多歷史數據記錄缺乏可參考性IT 架構方面數據應用方面改進思路：實現事件預警123321根據歷史數據進行模型

3、匹配實時數據不匹配已有模型則提出預警定位預警因素由專家進行分析確認故障后進行維修并記錄滿足報警條件觸發(fā)故障報警采集實時數據設置報警條件數據分析（主動）傳統(tǒng)做法（被動）運行數據超出閾值，產生故障報警運行數據未超出閾值，不產生故障報警改進思路：實現事件預警報警閾值傳統(tǒng)做法：可能較晚發(fā)現故障但運行數據偏離預測模型，產生事件預警故障報警事件預警事件預警數據分析：可能較早預測故障風險預測模型擬合趨勢改進思路：實現數據集成天氣數據地理數據地圖數據地形數據社會數據溫度數據降雨數據來源：公共數據，中國氣象數據網，彩云天氣等來源：各種社會開放式數據，已有集成數據等業(yè)務數據各種業(yè)務采集設備數據中繼應用接入數據集成

4、包裝加工過濾分解應用接入應用接入重組應用接入數據訓練數據預警提供支持改進思路：數據迭代訓練歷史數據實時數據聚類聚類聚類分段分段分段分段抽樣訓練改進模型初始預測模型抽樣訓練抽樣訓練抽樣訓練模擬預測改進模型改進模型改進模型模擬預測模擬預測模擬預測對比對比對比對比事件預警事件預警事件預警發(fā)現差異參考案例（森林火災預防）傳統(tǒng)做法：實時火情監(jiān)控，無差別撲滅火源缺點：被動處理導致火情無序發(fā)生，救火資源難以優(yōu)化調度數據分析：預測火源產生位置及蔓延范圍優(yōu)點：針對高風險林區(qū)提前砍伐處理，消除隱患有規(guī)律地調度防火資源火情一旦蔓延救援成本和災害損失都難以估量需要提前扼殺隱患森林火災的數據集成與數據分布森林火情天氣因

5、素工業(yè)分布居住分布地質因素生物活動森林火情的發(fā)生與多種外部因素相關，包括自然因素以及人類生產活動因素數據分析的難點在于如何發(fā)掘外部數據和森林火情之間的內在聯系森林火災的預測數據訓練外部數據采集入庫測控數據數據訓練數據預警森林初始分布林木生長速率自燃概率林木死亡速率預測參數無火情火情失控執(zhí)行砍伐作業(yè)以消除風險點高風險點預測（可視化模擬）建議單個周期縮短至 3 - 6 個月，滾動迭代式進行實施路線規(guī)劃確立總體思路確立實施框架確定場景收集存量數據確定數據源評估數據質量IT 合規(guī)要求技術選型部署業(yè)務優(yōu)化部署新的業(yè)務反饋與改進溝通，培訓與變更控制溝通，培訓與變更控制14小結：預測式服務的思路：形成一個更

6、大的循環(huán) CollectSenseAnalyze行動干預各種傳感器, RFID, PLC集成各種方式的數據采集預測式分析, 深度學習技術采集感知分析告警, 移動化, 提示主動阻斷式服務預測式服務復雜場景處理（快速識別關鍵要素）自動化的報表與趨勢匯報場景這里是否有我們的機會呢智能服務的場景目標如何真正做到場景驅動從“model to data”模式（即先設定思路，再灌數據，單向過程）到“data to model”模式（即先探索數據，提煉思路后，形成循環(huán)）場景的關鍵問題與瓶頸可迭代性（可持續(xù)性）問題：其實很難以理論、提前的構思來設定其思路；我們研究者當下的見解，其實由于各方面的數據量過大、過于瑣碎，個體其實有非常大的局限性與不明確（實際上混沌）的限制；可迭代性（可持續(xù)性）問題，對于機器來說，具有天然的優(yōu)勢，但對于人來說，則太過于困難了，原因可能在于人們可能難以在復雜的模式中保持較低的“耗散”，往往很快就耗散完了動力，難以為繼了。而機器（如AlphaGo）則有一個天然的優(yōu)勢，可以對枯燥的事情持續(xù)億萬遍。機器的缺點在于原來的攝入角度太少，信息不完整，受到極大的限制，降低了可用性大數據關于場景的思