QQ億級業(yè)務演變——文件、音視頻

1、億級業(yè)務演變 文件、音視頻即通 王帥 A 需求背景 B 主架構(gòu)設計 C 海量服務機群管理D 服務器設計理念改革目錄 Contents通過QQ文件、音視頻的后臺架構(gòu)設計，與大家分享大數(shù)據(jù)傳輸后臺架構(gòu)及海量服務器管理的方法。背景需求- QQ傳文件數(shù)據(jù)中轉(zhuǎn)服務器數(shù)據(jù)直連通道Traceroute from xxx.xxx.xxx.xxx 深圳市 電信 To xxx.xxx.xxx.xxx 上海市 聯(lián)通 XXXXXXXXXX 廣東省深圳市 騰訊計算機公司 0.286 ms 121.xx.72.xx 廣東省深圳市 電信IDC機房 3.329 ms3 202.97.46.xx 廣東省 電信省際互聯(lián)骨干網(wǎng) 1

2、0.304 ms4 * * * 5 219.158.22.xx 中國 聯(lián)通骨干網(wǎng) 136.584 ms6 219.158.9.xx 北京市 聯(lián)通骨干網(wǎng) 137.206 ms7 219.158.97.xx 北京市 聯(lián)通ADSL 147.207 ms8 112.64.243.xx 上海市 聯(lián)通IDC機房 150.270 ms9 211.95.77.xx 上海市 聯(lián)通 161.787 ms10 XXXXXXXXXXX 上海市 聯(lián)通IDC機房 166.039 ms背景需求-運營商間互換數(shù)據(jù)背景需求-運營商間互換數(shù)據(jù)北京北京深圳深圳上海上海n運營商間沒有省級交換點n交換點最容易網(wǎng)絡擁塞n跨ISP的用戶進

3、行直接連接效果一般會比較差n用戶連接和自己ISP不相同的服務器，效果也會比較差n好的服務要解決不同運營商接入問題背景需求-中國特色的運營商背景需求-傳文件關鍵點n提高NAT穿透成功率n壓縮傳輸n中轉(zhuǎn)直連雙通道保證n最佳服務器接入n海量服務器運營主架構(gòu)設計-邏輯架構(gòu)主架構(gòu)設計-配置中心功能nConfigCenter是整個機群的運營核心n負責中轉(zhuǎn)SET服務機群的配置n負責中轉(zhuǎn)SET服務機群的狀態(tài)總結(jié)“機器故障直接重啟，不用給機器負責人打電話機器故障直接重啟，不用給機器負責人打電話”主架構(gòu)設計-配置中心功能主架構(gòu)設計-配置中心設計原理n靜態(tài)信息：靜態(tài)信息：存儲在數(shù)據(jù)庫，可視化配置。程序啟動后把數(shù)據(jù)從

4、數(shù)據(jù)庫刷入共享內(nèi)存n動態(tài)信息：動態(tài)信息：存儲在共享內(nèi)存，由各個set服務器定時上報而來主架構(gòu)設計-策略中心流程主架構(gòu)設計-策略中心流程n根據(jù)雙方ip，得到IDC服務場景服務場景 服務器地域服務器地域機器列表信息。n然后去掉最后上報時間超時上報時間超時的機器。n得到可以提供滿足當前場景的服務器列表，接下來就是如何從這批機器中選一臺？ 負載均衡負載均衡主架構(gòu)設計-負載均衡n平均分配n最小分配n隨機分配nLVSn一致性哈希n帶權(quán)值的隨機負載均衡?主架構(gòu)設計-負載均衡帶權(quán)值的隨機負載均衡帶權(quán)值的隨機負載均衡n 計算出每臺服務器的空余率（0.011.0）。n 將所有的空余率加在一起，得到集群的空余率 I

5、n 將 I 乘以一個0.0,1.0)0到1的隨機數(shù)，得到Dn 將D逐個減去逐個減去每臺服務器的空余率，當D小于0時，取對應的服務器即可。主架構(gòu)設計-負載均衡對比 新產(chǎn)品，新人用最小值實現(xiàn)的負載均衡，實際運行一段時間，發(fā)現(xiàn)抖動，重新改為帶權(quán)值的隨機數(shù)新挑戰(zhàn)-音視頻的崛起n 音視頻溝通效率高，對延遲、抖動的處理更高n 手機天然具備攝像頭、話筒、耳麥，更方便n 精細化控制，cpu、攝像頭、網(wǎng)絡環(huán)境n 手機的爆發(fā)點還沒到， 手機需要服務器更大的支持 即：TAF = 400600ms分析： 服務器抓包：TCD = 34ms 客戶端自環(huán)：TAB+TEF = 200300ms新挑戰(zhàn)-數(shù)據(jù)包的延遲n服務器處理

6、音視頻數(shù)據(jù)包時限短，且是平滑n可能一個簡單操作，會引起每隔一段時間的小波動新挑戰(zhàn)-數(shù)據(jù)包的延遲新挑戰(zhàn)-設計理念的變革從從“瘦服務端瘦服務端”到到“把服務端養(yǎng)成個胖子把服務端養(yǎng)成個胖子”n 以前，協(xié)議組合、邏輯判斷由客戶端做。服務器主 要要保證面對海量請求的穩(wěn)定。n 手持設備崛起，客戶端要做到更輕。協(xié)議組合、邏 輯組合、核心控制更適合放在服務器，客戶端做簡 單的執(zhí)行角色。n 簡單、再簡單。能力越高、架構(gòu)設計越簡單。n 一切盡在掌握，對單模塊性能了如指掌。n 策略具備“過載保護”、“灰度”、“柔性”。n“全面的監(jiān)控”是架構(gòu)的眼睛。n 可運營：開發(fā)的時間x20 = 運營時間。海量服務架構(gòu)設計的核心：n全新音視頻引擎“劍魚”出動，語音視頻更流暢更清晰，最高支持720P高清視頻n視