海量數(shù)據(jù)推送服務技術講解

小米海量數(shù)據(jù)推送效勞技術講解2014-11-1710:00佚名字號：T|T11.11大促，隨著移動端業(yè)務量的急劇提升，像小米推送這樣的根底效勞也經(jīng)受了巨大的考驗。11129.6567戶?！盇D2014WOT111121-22WOT1112小米的工程總監(jiān)汪軒然在微博9.6567更值得一提的是，后臺監(jiān)控顯示，推送效勞后臺系統(tǒng)在全天運作格外平穩(wěn)，沒有任何卡頓擁堵現(xiàn)象，讓各種促銷、返利、訂單更消息第一時間觸達用戶?！蓖糗幦?，2007WP72010年7月參加小米，曾擔當米聊安卓團隊的團隊主管，現(xiàn)在在小米任工程總監(jiān)，負責小米的開發(fā)者效勞，掌App整理而成。根底技術架構協(xié)議是推送效勞的核心。小米推送效勞所承受的協(xié)議是由之前的米聊演化過來的，而米聊從一開頭就選擇XMPPXMPP樣的。消息推送效勞是其中一個channel，這個channelThrift格式。XMPPEJabberdXMPPXMQXMPP些命令懇求〔topic〕。AppSSHBaseMySQL過濾條件的數(shù)據(jù)〔topic〕，并且為了降低對HBaseRedisSDK：SDKPushServiceApp接入的接口、回調(diào)方法以及對Thrift的數(shù)據(jù)進展反序列化的處理規(guī)律；后者用于維護XMPP長連接和收發(fā)消IntentMIUIPushServiceMIUIPushServicePushService。功能實現(xiàn)regIDregID米推送效勞后臺依據(jù)設備標識+appID+時間戳生成，為了削減設備碰撞概率，設備標識我們承受的依據(jù)是imei+AndroidID+build序列號。別名是App在客戶端設置上報的，便于應用將自己的設備/用戶標識符同的方式來區(qū)分，客戶端和效勞端都可以給指定設備設置標簽，發(fā)消息的時候，只需選取指定標簽發(fā)送即可，小米推送后臺會將標簽所對應的設備開放。一個標簽支持的設備數(shù)無上限。明年會擴展第三個機房。安全性也是小米推送效勞重點考慮的一個因素。數(shù)據(jù)傳輸過程中，得益于推送效勞承受的雙層協(xié)議方案，消息會實行雙重加密，第一重是XMPPThriftServicebroadcastApp獲和偽造。其次重加密往往會被其它第三方推送效勞無視，但其風險同樣很大。性能指標100040600200%的狀況，并在線下做好壓力測試和優(yōu)化；假設流量特別大，還有以下應對措施：異步排隊處理，此時消息送達時間可能會比尋常稍慢，但不會對整個系統(tǒng)有太大沖擊；消息有優(yōu)先級，播送消息會以低優(yōu)先級處理；限流，掌握開發(fā)者發(fā)送消息的頻率；理力量。小米推送效勞所經(jīng)受的重構軟件系統(tǒng)在開發(fā)和演進過程中，常常會經(jīng)受較大規(guī)模的重構。小米推送效勞有兩次比較大的重構。ErlangJava。小米原來的消息系統(tǒng)是使用ErlangErlang；但是ErlangJavaJava多，大大提高了開發(fā)效率。Cache，盡可能在本地進程內(nèi)處理；例如，對于客戶端調(diào)用APItopicCache的業(yè)務壓力大大削減。在開發(fā)小米推送過程中的一些感悟證即使系統(tǒng)臨時有性能瓶頸也能通過加機器解決。監(jiān)控先行，能夠很便利地采集、分析效勞器的負載和業(yè)務的懇求量、percentile、slowlog，能夠清楚了解到系統(tǒng)的瓶頸，有針對性地改進。