億在線背后的故事騰訊最新PPT.ppt

1、騰訊大講堂走進(jìn)北航,2011.10.31 D,1.4億在線背后的故事,騰訊科技（深圳）有限公司 即通平臺(tái)部高級(jí)技術(shù)總監(jiān) icezhuang,QQ IM后臺(tái)架構(gòu)的演化與啟示,自我介紹,2001-中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)系本科畢業(yè),2004-中國(guó)科學(xué)院計(jì)算技術(shù)研究所碩士畢業(yè),2004-進(jìn)入騰訊，參與IM后臺(tái)研發(fā)運(yùn)營(yíng),T4專(zhuān)家 即通平臺(tái)部 高級(jí)技術(shù)總監(jiān) 公司軟件開(kāi)發(fā)通道分會(huì) 會(huì)長(zhǎng) 經(jīng)歷了QQ在線從千萬(wàn)級(jí)到億級(jí)的過(guò)程,7億活躍賬戶,1.4億同時(shí)在線,過(guò)萬(wàn)臺(tái)IM服務(wù)器,百億級(jí)的關(guān)系鏈對(duì)數(shù),每天千億級(jí)的服務(wù)請(qǐng)求,99.99%的可用性,團(tuán)隊(duì)經(jīng)歷了QQ在線從10萬(wàn)到1.4億的整個(gè)過(guò)程，吸取了很多教訓(xùn),對(duì)海量服務(wù)

2、的理解是長(zhǎng)期積累的結(jié)果,目錄,從十萬(wàn)級(jí)到百萬(wàn)級(jí)在線 千萬(wàn)級(jí)在線 億級(jí)在線 總結(jié),IM后臺(tái)1.0,適用情況,同時(shí)在線數(shù)較低（十萬(wàn)級(jí)） 業(yè)務(wù)功能非常簡(jiǎn)單,1.0接入服務(wù)器的核心數(shù)據(jù)結(jié)構(gòu),OnlineIndex,OnlineRecord,IM后臺(tái)1.0的典型業(yè)務(wù)流程,登錄,實(shí)時(shí)通知 定期拉取,在線狀態(tài)的獲取,IM后臺(tái)1.5,需要更好地支持業(yè)務(wù) 支持視頻、語(yǔ)音、傳文件等實(shí)時(shí)寬帶業(yè)務(wù) 支持更多類(lèi)型的用戶資料 增加長(zhǎng)連接服務(wù)器 為無(wú)法直連的客戶端進(jìn)行實(shí)時(shí)寬帶數(shù)據(jù)中轉(zhuǎn) 對(duì)存儲(chǔ)服務(wù)器進(jìn)行輕重分離 核心服務(wù)器保證穩(wěn)定 擴(kuò)展服務(wù)器快速支持業(yè)務(wù),第一代架構(gòu)難以支持百萬(wàn)級(jí)在線,達(dá)到一百萬(wàn)在線時(shí)，老架構(gòu)會(huì)有各方面的瓶頸

3、出現(xiàn) 以接入服務(wù)器的內(nèi)存為例，單個(gè)在線用戶的存儲(chǔ)量約為2KB 索引和在線狀態(tài) 50字節(jié) 好友表 400個(gè)好友 * 5字節(jié)/好友 = 2000字節(jié) 大致來(lái)說(shuō)，2G內(nèi)存只能支持一百萬(wàn)在線用戶 進(jìn)一步地，還有CPU/網(wǎng)卡包量和流量/交換機(jī)流量等瓶頸 其他服務(wù)器也有類(lèi)似情況 單臺(tái)服務(wù)器支撐不下所有在線用戶/注冊(cè)用戶,第一代架構(gòu)無(wú)以為繼，必須升級(jí)！,IM后臺(tái)2.0,單臺(tái)服務(wù)器擴(kuò)展成集群 增加狀態(tài)同步服務(wù)器 在接入服務(wù)器之間同步在線狀態(tài),2.0接入服務(wù)器的核心數(shù)據(jù)結(jié)構(gòu),0,1,10001,10002,10003,10004,OnlineIndex,LocalOnlineRecord,RemoteOnlin

4、eRecord,UIN 在線狀態(tài)，IP/Port 接入服務(wù)器ID,IM后臺(tái)2.0的典型業(yè)務(wù)流程,2001年，QQ同時(shí)在線突破一百萬(wàn),登錄,定期拉取 實(shí)時(shí)通知,在線狀態(tài)的獲取,（三種方式）,IM后臺(tái)2.5,支持QQ群等新業(yè)務(wù),啟示：十萬(wàn)級(jí)到百萬(wàn)級(jí)在線的關(guān)鍵技術(shù),高性能；7乘24小時(shí)連續(xù)服務(wù),Kenny“違抗”P(pán)onyMa的故事 ARPU對(duì)比：中國(guó)移動(dòng)73，騰訊2.5 PCU/Box：某著名IM數(shù)萬(wàn)；QQ 數(shù)十萬(wàn) CTO：IT成本的高低決定互聯(lián)網(wǎng)企業(yè)的存亡 只用傳統(tǒng)IT行業(yè)1/10到1/100的IT成本 高性能 OICQ的故事 用戶忍耐度對(duì)比：信用卡系統(tǒng)維護(hù)VS用腳投票 7乘24小時(shí)連續(xù)服務(wù),QQ

5、后臺(tái)如何實(shí)現(xiàn)高性能,絕不使用企業(yè)級(jí)解決方案 邏輯層多進(jìn)程 萬(wàn)有一失的無(wú)鎖設(shè)計(jì) 用戶態(tài)IPC MySQL分庫(kù)分表 好友表自寫(xiě)文件存儲(chǔ) ,用戶10003，好友表：10001,0 x0；10020,0 x0,用戶10003，好友表：10001,0 x0；10020,0 x1,用戶10003，好友表：10001,0 x0；10005,0 x1；10020,0 x0,QQ后臺(tái)如何實(shí)現(xiàn)高性能,絕不使用企業(yè)級(jí)解決方案 邏輯層多進(jìn)程 萬(wàn)有一失的無(wú)鎖設(shè)計(jì) 用戶態(tài)IPC MySQL分庫(kù)分表 好友表自寫(xiě)文件存儲(chǔ) ,UIN 10001,UIN 10001,FList, L2,FList, L3,UIN 10001 L

6、EVEL 1, POS 1,UIN 10004 LEVEL 1, POS 3,OnlineRecord,UIN 10004,UIN 1000？,QQ后臺(tái)如何實(shí)現(xiàn)7乘24小時(shí)連續(xù)服務(wù),大系統(tǒng)小做 平滑重構(gòu) 在高速行駛的列車(chē)上更換發(fā)動(dòng)機(jī) 核心數(shù)據(jù)放入共享內(nèi)存 接入層與邏輯層分離 命令分發(fā)動(dòng)態(tài)配置化,目錄,從十萬(wàn)級(jí)到百萬(wàn)級(jí)在線 千萬(wàn)級(jí)在線 億級(jí)在線 總結(jié),第二代架構(gòu)難以支持千萬(wàn)級(jí)在線,同步流量太大，狀態(tài)同步服務(wù)器遇到單機(jī)瓶頸 所有在線用戶的在線狀態(tài)信息量太大，單臺(tái)接入服務(wù)器存不下 如果在線數(shù)進(jìn)一步增加，則甚至單臺(tái)狀態(tài)同步服務(wù)器也存不下 單臺(tái)狀態(tài)同步服務(wù)器支撐不下所有在線用戶 單臺(tái)接入服務(wù)器支撐不下所

7、有在線用戶的在線狀態(tài)信息,第二代架構(gòu)無(wú)以為繼，必須再次升級(jí)！,IM后臺(tái)3.0,狀態(tài)同步服務(wù)器改造成同步集群 其他集群也做相應(yīng)的改造,2005年，QQ同時(shí)在線突破一千萬(wàn),根本來(lái)不及高興：我們?cè)僖彩懿涣肆耍?手機(jī)從不敢離身 發(fā)布新代碼提心吊膽 時(shí)不時(shí)要擴(kuò)容，又煩又怕 時(shí)不時(shí)要緊急恢復(fù)服務(wù) 時(shí)不時(shí)被用戶罵、被老板K 到底怎么了？,深入分析，我們發(fā)現(xiàn)了什么,后臺(tái)機(jī)器越來(lái)越多，單機(jī)死機(jī)/故障經(jīng)常出現(xiàn)，IDC故障也不少，影響服務(wù)，也影響人員生活 每周有新代碼發(fā)布，BUG不斷出現(xiàn)，嚴(yán)重影響服務(wù) 監(jiān)控機(jī)制原始、報(bào)警設(shè)置不全，出事了都不知道 運(yùn)維操作通過(guò)vim或者mysql進(jìn)行，非常容易失誤,問(wèn)題分析和解決（1

8、）,后臺(tái)機(jī)器越來(lái)越多，單機(jī)死機(jī)/故障經(jīng)常出現(xiàn)，IDC故障也不少，影響服務(wù)，也影響人員生活 傳統(tǒng)行業(yè)設(shè)備少單價(jià)高，故障很少出現(xiàn) 互聯(lián)網(wǎng)行業(yè)設(shè)備多單價(jià)低，故障是常態(tài),IM后臺(tái)3.0的容錯(cuò)/容災(zāi)分析,每個(gè)集群只有一份 機(jī)器選擇全人工配置 集中在一個(gè)IDC,IDC的實(shí)際可用性只有2個(gè)9,老架構(gòu)沒(méi)前途，必須進(jìn)行容災(zāi)改造！,租來(lái)的IDC的級(jí)別： B或C,容災(zāi)改造的思路,存儲(chǔ)集群：半自動(dòng)切換模式 主/從服務(wù)器 從服務(wù)器死機(jī)，業(yè)務(wù)不受影響 主服務(wù)器死機(jī)，多數(shù)命令不受影響，修改資料命令受影響 業(yè)務(wù)集群、接入集群、同步集群：自動(dòng)切換模式 迅速應(yīng)對(duì)死機(jī)等情況，基本不影響業(yè)務(wù) 分布在兩套IDC 可以應(yīng)對(duì)IDC整體故障

9、,業(yè)務(wù)集群的容災(zāi)改造,業(yè)務(wù)命令流,設(shè)備狀態(tài)流,接入集群,業(yè)務(wù)集群 IDC1,業(yè)務(wù)集群 IDC2,指揮中心 IDC1,指揮中心 IDC2,問(wèn)題分析和解決（2）,每周有新代碼發(fā)布，BUG不斷出現(xiàn)，嚴(yán)重影響服務(wù) 大部分子系統(tǒng)每周發(fā)布一個(gè)版本的新代碼 解決方法 代碼review 灰度發(fā)布,第一周 周末,灰度發(fā)布演示,號(hào)段7-8,號(hào)段7-8,號(hào)段5-6,號(hào)段5-6,號(hào)段3-4,號(hào)段3-4,號(hào)段1-2,號(hào)段1-2,第一周 周一,第一周 周二,第一周 周三,第一周 周四,第一周 原來(lái),周一,周二,周三,周四,問(wèn)題分析和解決（3）,監(jiān)控機(jī)制原始、報(bào)警設(shè)置不全，出事了都不知道 CPU 100%的故事 解決方法 完善監(jiān)控和報(bào)警,完善監(jiān)控和報(bào)警,完善監(jiān)控和報(bào)警,完善監(jiān)控和報(bào)警,完善監(jiān)控和報(bào)警,完善監(jiān)控和報(bào)警,問(wèn)題分析和解決（4）,運(yùn)維操作通過(guò)vim或者mysql進(jìn)行，非常容易失誤 Grandy的故事 解決方法 運(yùn)維操作Web化（