Topsuit運(yùn)營商OSS云化案例之實(shí)時流處理落地方案—億陽V張文

1、揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！TOP100 案例標(biāo)題架構(gòu)師/億陽信通揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！摘要包含固定格式的內(nèi)容（就是下面的各頁標(biāo)題，如“要分享什么”）本案例以國內(nèi)某電信運(yùn)營商一個大型故障告警項(xiàng)目為例，介紹了一個實(shí)時流分布式計算的解決方案。該方案的本質(zhì)是一個基于CEP(Complex Event Processing，CEP)的事件驅(qū)動架構(gòu)（EventDrivenArchitecture，EDA）解決方案，但是由于國內(nèi)電信運(yùn)營商的個性化需求，使得該方案有了更高的挑戰(zhàn)。

2、通常CEP系統(tǒng)的特點(diǎn)是：1、輸入事件量大，系統(tǒng)吞吐量大且要求彈性擴(kuò)展；2、處理判斷規(guī)則復(fù)雜；3、輸出實(shí)時性要求高；本案例新增挑戰(zhàn)：1、規(guī)則變化后，實(shí)時生效；2、規(guī)則變化頻繁且規(guī)則相關(guān)性（時間維度，處理節(jié)點(diǎn)間）復(fù)雜；3、多路（多租戶）并行輸出揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！案例標(biāo)題a)案例簡介b)當(dāng)初啟動此案例時（或?qū)嵤┖螅┻_(dá)到的目標(biāo)CEP系統(tǒng)架構(gòu)的挑戰(zhàn)： 全國集中、大省大容量告警查詢和初始化過濾器 活動告警量將達(dá)到1700w5.1億 復(fù)雜過濾/排序查詢 響應(yīng)時間要求在秒級 支持幾百的并發(fā)，幾千的在線 目前背景告警入庫200EPS目前30

3、萬告警建立簡單過濾器，如果有10萬返回需要幾分鐘，復(fù)雜過濾器10分鐘以上揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！客戶端：1、幾個2、實(shí)時監(jiān)控、流水窗3、過濾器（按條件查看）服務(wù)層：1、實(shí)時分發(fā)2、數(shù)據(jù)庫持久化告警源：1、單一數(shù)據(jù)源2、10條/s-100條/sDB方案：無法做到大并發(fā)讀寫，速度不達(dá)標(biāo)，類似最早的告警監(jiān)控C/S加載，十幾分鐘以上進(jìn)程內(nèi)緩存方案：查詢速度慢，不具備索引查詢能力，不可擴(kuò)展Hadoop Hive/HBase: 復(fù)雜查詢啟動時間多，基本都在幾分鐘以上內(nèi)存數(shù)據(jù)庫：單寫多讀，負(fù)荷有集中點(diǎn)MPP DB/一體機(jī)：高昂的價格，且多適用

4、于分析應(yīng)用揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！客戶端：1、幾個2、實(shí)時監(jiān)控、流水窗3、過濾器（按條件查看）服務(wù)層：1、實(shí)時分發(fā)2、數(shù)據(jù)庫持久化告警源：1、單一數(shù)據(jù)源2、10條/s-100條/s進(jìn)程內(nèi)緩存方案：查詢速度慢，不具備索引查詢能力，不可擴(kuò)展揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！客戶端：1、幾個2、實(shí)時監(jiān)控、流水窗3、過濾器（按條件查看）服務(wù)層：1、實(shí)時分發(fā)2、數(shù)據(jù)庫持久化告警源：1、單一數(shù)據(jù)源2、10條/s-100條/s內(nèi)存數(shù)據(jù)庫：單寫多讀，負(fù)荷有集中點(diǎn)揭示研發(fā)管理白金定律，分享那

5、些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 單進(jìn)程設(shè)計方案單進(jìn)程設(shè)計方案 方案描述：將所有告警存儲在一個Server中，客戶端與均與該服務(wù)通信。 優(yōu)點(diǎn)：設(shè)計簡單，開發(fā)快 缺點(diǎn)：擴(kuò)展性差。揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 分布式分布式master-worker設(shè)計方案設(shè)計方案方案描述：使用自己開發(fā)的

6、分布式框架，客戶端只與master側(cè)通信，根據(jù)實(shí)際的告警量可分多個worker處理，master側(cè)進(jìn)行匯總，master與worker之間使用socket通信，使用share memory傳送告警數(shù)據(jù)。優(yōu)點(diǎn)：本機(jī)多進(jìn)程部署，因?yàn)槭褂胹hare memory，所以性能較高缺點(diǎn)：工作量大，多機(jī)部署需要考慮告警揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 分布式分布式akka設(shè)計方案 方案描述：利用akka分布式框架， 優(yōu)點(diǎn)：框架比較成熟，開源

7、，很多功能在實(shí)踐中進(jìn)行了驗(yàn)證。 缺點(diǎn)：了解不多，資料較少，遇到問題需要揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！客戶端：1、1000個2、實(shí)時監(jiān)控、流水窗3、過濾器很多很復(fù)雜（按條件查看）服務(wù)層：1、實(shí)時分發(fā)2、背景數(shù)據(jù)億級3、數(shù)據(jù)庫持久化告警源：1、多數(shù)據(jù)源2、3萬條/s內(nèi)存數(shù)據(jù)庫：單寫多讀，負(fù)荷有集中點(diǎn)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 基于actor模型 Actor模式是一個解決分布式計算的數(shù)學(xué)模型

8、，其中Actor是基礎(chǔ) 用來編寫并行計算或分布式系統(tǒng)的高層次抽象，讓程序員不必為多線程模式下共享鎖而煩惱揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 Actor介紹 在Actor Model世界里，一切皆Actor 每一個Actor擁有自己的狀態(tài)及行為 所有Actor之間的交互都是通過消息來傳遞來實(shí)現(xiàn)的揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了

9、才促使項(xiàng)目成功。 Actors為你提供: 對并發(fā)/并行程序的簡單的、高級別的抽象。 異步、非阻塞、高性能的事件驅(qū)動編程模型。 非常輕量的事件驅(qū)動處理（1G內(nèi)存可容納約270萬個actors）揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 垂直擴(kuò)展和水平擴(kuò)展 在任務(wù)負(fù)荷增加時可以動態(tài)擴(kuò)展actor（本地），從而到達(dá)垂直擴(kuò)展 每個任務(wù)節(jié)點(diǎn)是透明的，可以增加遠(yuǎn)程處理單元，可以達(dá)到水平擴(kuò)展揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推

10、動力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 自動恢復(fù) 通過監(jiān)管樹形結(jié)構(gòu)滿足多JVM下高容錯性，達(dá)到高可靠性 actor狀態(tài)監(jiān)控的功能配合actor自恢復(fù)實(shí)現(xiàn) Let it down, 讓程序更穩(wěn)定健壯揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！怎么做到的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 分布存儲master-slave框架數(shù)據(jù)分布Master測進(jìn)行二次排序揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！怎么做到

11、的主體內(nèi)容，即成功要素，成功經(jīng)驗(yàn)總結(jié)，即哪些技術(shù)或其他地方做好了才促使項(xiàng)目成功。 Keepalived 簡單 雙機(jī)熱備，消除目錄服務(wù)單點(diǎn)故障揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 遇到的問題 告警量大 實(shí)時要求高 現(xiàn)有復(fù)雜過濾器 執(zhí)行接近1分鐘 執(zhí)行超過1分鐘 執(zhí)行超時A 執(zhí)行超時B 超長過濾器實(shí)踐 1.1 告警訂閱服務(wù)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！Confidential

12、 and Proprietary BOCO Inter-Telecom Co.,Ltd. 2013-05-29 姓名：李杰部門：技術(shù)規(guī)劃部郵箱：電話：88157631揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！應(yīng)用效果應(yīng)用效果分布式環(huán)境2臺 CPU：32core 2.00GHz內(nèi)存：128G交換機(jī)：千兆數(shù)據(jù)量500萬實(shí)時接收數(shù)據(jù)1800/s簡單過濾器3s復(fù)雜過濾器20s實(shí)踐 1.1 告警訂閱服務(wù)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！實(shí)踐 1.1 告警訂閱服務(wù)添加內(nèi)容揭示研發(fā)管理白金定律，分享那些激

13、動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！Confidential and Proprietary BOCO Inter-Telecom Co.,Ltd. 遇到的問題告警量大實(shí)時要求高告警統(tǒng)計的性能需要處理每秒一萬告警支持各種不同匯總維度實(shí)踐 1.2 告警統(tǒng)計服務(wù)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！告警統(tǒng)計框圖實(shí)踐 1.2 告警統(tǒng)計服務(wù)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！Confidential and Proprietary BOCO Inter-Telecom Co.

14、,Ltd. 應(yīng)用效果應(yīng)用效果分布式環(huán)境1臺 CPU：32core 2.00GHz內(nèi)存：128G交換機(jī)：千兆數(shù)據(jù)量500萬實(shí)時接收數(shù)據(jù)1w/s分組匯總44組延遲3s實(shí)踐 1.2 告警統(tǒng)計服務(wù)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！And曾經(jīng)還嘗試過什么但失敗了/放棄了，以及未來想嘗試什么? 曾經(jīng)嘗試- 基于share memory分布式框架 未來想嘗試- 目前存儲告警相關(guān)的數(shù)據(jù)，后續(xù)把資源類數(shù)據(jù)加入做集中存儲揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！案例ROI分析進(jìn)行投入產(chǎn)出分析 實(shí)時告警處理從幾百

15、提升至幾千，并可擴(kuò)展至萬級 告警量從100萬擴(kuò)展至500萬或更多 基于過濾器查詢、排序從幾十秒、幾百秒縮減至3秒內(nèi) 為運(yùn)營商省級集中、全國集中在技術(shù)上進(jìn)行了保證揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！案例啟示提煉出該案例（或項(xiàng)目）的哲理、方法論。 不要重新制造輪子 選型前驗(yàn)證的重要性 架構(gòu)均衡的藝術(shù) 合適才是最好的揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！0-OSS云化分析Paas層如何架構(gòu)實(shí)時/非實(shí)時非實(shí)時：大數(shù)據(jù)簡單查詢/大數(shù)據(jù)高時延復(fù)雜查詢/大數(shù)據(jù)處理/大數(shù)據(jù)挖掘?qū)崟r：大數(shù)據(jù)低時延復(fù)雜查詢/

16、流數(shù)據(jù)處理分產(chǎn)品介紹改造方案技術(shù)平臺類：統(tǒng)一采集/數(shù)據(jù)中心應(yīng)用系統(tǒng)類：3大綜合/網(wǎng)優(yōu)管理/門戶類：EOMS/門戶已完成：統(tǒng)一采集2013年：網(wǎng)優(yōu)/數(shù)據(jù)中心/綜監(jiān)工程驗(yàn)證2014年：綜資/綜分/EOMS/門戶Iaas+Paas+Saas5. 5. 時間維度時間維度演進(jìn)演進(jìn)1.1.軟硬件維度軟硬件維度與與X86X86虛擬化結(jié)合虛擬化結(jié)合2. 2. 架構(gòu)維度架構(gòu)維度系統(tǒng)分類系統(tǒng)分類3 3. .技術(shù)維度技術(shù)維度 OSS OSS場景抽象場景抽象4. 4. 產(chǎn)品維度產(chǎn)品維度演進(jìn)演進(jìn)揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！1-Iaas/Paas/SaasIa

17、as是Paas的基礎(chǔ)提供快速部署、快速測試的環(huán)境故障節(jié)點(diǎn)的快速退出 、恢復(fù)要求；多節(jié)點(diǎn)自管理，低維護(hù)量的要求；云計算顛覆了傳統(tǒng)開發(fā)、測試、運(yùn)維模式模式；DevOpsDevOps是一組過程、方法與系統(tǒng)的統(tǒng)稱，用于促進(jìn)開發(fā)（應(yīng)用程序/軟件工程）、技術(shù)運(yùn)營和質(zhì)量保障（QA）部門之間的溝通、協(xié)作與整合。 軟件行業(yè)日益清晰地認(rèn)識到：為了按時交付軟件產(chǎn)品和服務(wù)，開發(fā)和運(yùn)營工作必須緊密合作揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！OSS云化PAAS架構(gòu)xDPPDistributed Parallel computing platformxDSPDistributed Storage platform揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動力與更大的推動力！OSS云化演進(jìn)-架構(gòu)分層維度13423334采集服務(wù)云：X86，流式計算，分布式，高可靠，高擴(kuò)展性444數(shù)據(jù)服務(wù)云：X86低成本；MPP分布式數(shù)據(jù)及hdoop存儲公共服務(wù)云：GIS、拓?fù)?、派單等服?wù)的虛擬化應(yīng)用服務(wù)云：告警相關(guān)性、告警派單、性能計算、門戶服務(wù)41234網(wǎng)絡(luò)服務(wù)器存儲 / 備份操作系統(tǒng) 數(shù)據(jù)庫中間件務(wù)續(xù)性硬 件 基 礎(chǔ) 設(shè) 施軟 件 基 礎(chǔ) 設(shè) 施ITSMOSS應(yīng)