騰訊信鴿實時推送平臺介紹

1、騰訊信鴿實時推送平臺介紹目錄 01背景與挑戰(zhàn) 02解決方案 03案例 04運營系統(tǒng)建設(shè)信鴿推送的挑戰(zhàn)終端長連接推送量1KW/s海量實時精準畫像/機器學(xué)習(xí)人群分類信鴿推送系統(tǒng)解決方案終端SDKAndroid 自建共享通道iOSAccess：統(tǒng)一接入層TDBank：消息中間件通用存儲層HDFSCKVHBaseCDB實時處理離線處理GAIA STACK統(tǒng)一資源調(diào)度平臺（虛擬化）業(yè)務(wù)指標監(jiān)控告警日報系統(tǒng)多維查詢數(shù)據(jù)開放運營平臺Hadoop運營工具云控系統(tǒng)CPUGPU內(nèi)存網(wǎng)絡(luò)ESPESAESCAndroid 廠商通道FPGATeslaSparkStormHermes單機性能優(yōu)化-關(guān)鍵環(huán)節(jié)單機性能優(yōu)化-操

2、作系統(tǒng)-配置部分配置類型配置項值系統(tǒng)打開文件資源限制/proc/sys/fs/file-max2500000進程打開文件句柄限制/proc/sys/fs/nr_open2500000Epoll監(jiān)聽fd個數(shù)限制/proc/sys/fs/epoll/max_user_watches2500000內(nèi)核分配給TCP內(nèi)存/proc/sys/net/ipv4/tcp_mem754752 1006336 1509504Listen fd backlog/proc/sys/net/core/somaxconn1024fast recycling of TWsocketsv/proc/sys/net/ipv4/

3、tcp_tw_recycle1Reuse TW socket/proc/sys/net/ipv4/tcp_tw_reuse1擁塞控制算法/proc/sys/net/ipv4/tcp_westwood0Eth scatter-gatherEth sgOffEth generic-segmentation-offloadEth gsoOff單機性能優(yōu)化-性能評測Intel VTune Amplifier單機性能優(yōu)化-性能評測單機性能優(yōu)化-硬件性能挖掘Intel SSE4.2 CRC32與常規(guī)CRC32性能對比 執(zhí)行 35W 次計算結(jié)果（SSE 快接近 6 倍）unsigned int _mm_cr

4、c32_u8() unsigned int _mm_crc32_u16() unsigned int _mm_crc32_u32() unsinged int64 _mm_crc32_u64()SSE4.2檢測SSE4.2 CRC32支持實時精準推送系統(tǒng)離線數(shù)據(jù)采集用戶屬性特征 興趣離線算法訓(xùn)練實時數(shù)據(jù)采集用戶實時行為推送實時效果實時算法訓(xùn)練效果實時反饋實時推送推送助手ABTest應(yīng)用自定義用戶畫像內(nèi)部合作產(chǎn)品MTAXG數(shù)據(jù)MTA頁面瀏覽自定義事件用戶基礎(chǔ)屬性行為屬性興趣屬性自定義標簽用戶狀態(tài)400余種興趣 類目女裝 女飾品 女鞋 男裝IT產(chǎn)品.60萬獨立標簽 人均12個獨立標簽育兒狀態(tài) 新婚

5、狀態(tài) 畢業(yè)狀態(tài).人口屬性年齡 性別地域 學(xué)歷上網(wǎng)場景.蘋果 索尼安踏 寶馬.XG展示抵達注冊點擊清除卸載HDFSTDW數(shù)據(jù)加工特征提取初級：特征數(shù)據(jù)首次注冊時間每日啟動次數(shù)每日活躍狀態(tài)最近登錄時間樣本集合 TDW1個月前當日設(shè) 備流失判定算法模型訓(xùn)練訓(xùn)練樣本預(yù)測結(jié)果 當日活躍設(shè) 備特征模型人群挖掘算法模型C4.5，自學(xué)習(xí)得到判定規(guī)則預(yù)測是否會流失Linear Regression，根據(jù)特征預(yù)測未來一個月活躍天數(shù)Naive Bayes：特征類別條件概率分布預(yù)測是否會流失實時推送&多維分析實時數(shù)據(jù)離線數(shù)據(jù)Map Reduce頁面瀏覽自定義事件點擊注冊用戶畫像應(yīng)用版本設(shè)備畫像HBase 增量倒排 索

6、引全量倒排 索引TDWTeslaTAG-010100TAG-010100DOC ID|DOC|010100SpoutboltboltRule CentralPull nodePull nodePull nodeAggrate nodeAggrate nodeDOC ID|DOC|010100Spark streamingStormHDFSHDFS實時推送目標人群檢索通道檢索地域檢索信鴿Android通道小米通道華為通道任務(wù)調(diào)度APNs廠商通道SZSHTJHK信鴿Access集群iOSCKVVIP 1.NClustersNORMALClusterBolt L5Bolt L5Access dock

7、er node managerBoltBoltL5L5Access docker node managerGAIA STACKAccess docker node manager效果評估目標頁面集合自定義參數(shù)事件自定義事件點擊注冊Storm用戶畫像 設(shè)備畫像瀏覽數(shù)據(jù)源ExtractFilterTransformLoadUpdate tagComputeParserRedisProxy軟硬虛擬化0501002001501/14/11/644/641/2564/256TCP_CRR(短連接)container-fixedip container-host container-sriov3000250020001500100050001/