騰訊?數(shù)據(jù)能?輸出之路

1、騰訊數(shù)據(jù)能輸出之路Agenda概覽基礎(chǔ)平臺任務(wù)調(diào)度云化Part01概覽發(fā)展歷程20092011201320152010201220142016TDW v0.1發(fā)布搭建第個hadoop集群 智勝廣告上線發(fā)布騰訊大數(shù)據(jù)套件TBDS V1.0TDBank上線全面代替原有外購商業(yè)產(chǎn)品 發(fā)布機器學(xué)習(xí)平臺TeslaTRC正式開放TDW開源Gaia單集群實現(xiàn)8800臺Docker on Gaia發(fā)布TPR全實時流程上線 上線2500臺Spark集群 大數(shù)據(jù)私有云平臺數(shù)智3.0發(fā)布云市場細(xì)分私有云公有云單租戶公有云多租戶大數(shù)據(jù)平臺能力數(shù)據(jù)敏感性客戶免運維、彈性需求客戶成本極敏感、數(shù)據(jù)融合訴求數(shù)智略產(chǎn)品家族圖譜

2、數(shù)據(jù)分析引擎機器學(xué)習(xí)引擎離線計算多維分析引擎資源調(diào)度管理(CPU、GPU)搜索MPP分布式存儲(HDFS、Ceph)AngelMarianaMLGraph數(shù)據(jù)接入引擎大規(guī)模任務(wù)調(diào)度Tesla實時計算TDP/Spark StreamingGE數(shù)據(jù)可視化文智NLP開放推薦洞察分析熱力圖語音識別AAI優(yōu)圖識別FR小云客服ICS輿情iData游戲大數(shù)據(jù)平臺MTA移動分析平臺燈塔移動運營平臺信鴿Push地圖位置大數(shù)據(jù)更多數(shù)智方略行業(yè)產(chǎn)品站式、全流程大數(shù)據(jù)服務(wù)平臺數(shù)智產(chǎn)品特點高度集成化，接入、存儲、離線/實時計算、機器學(xué)習(xí)、可視化展現(xiàn)服務(wù)提供可拖拽式的支持分鐘級調(diào)度的任務(wù)調(diào)度系統(tǒng)提供高性能多維分析引擎提供

3、全局設(shè)備、組件、任務(wù)緯度的運維系統(tǒng)數(shù)智產(chǎn)品優(yōu)勢站式 門戶30+深度優(yōu)化組件統(tǒng)數(shù)據(jù) 安全管控源于社區(qū)，完美兼容，平滑過渡全開放API數(shù)智家族圖譜用戶開發(fā)及應(yīng)用系統(tǒng)洛子任務(wù)調(diào)度IDEIDEA黃金眼數(shù)據(jù)采集TDBank算法應(yīng)用平臺Tesla圖計算機器學(xué)習(xí)AngelMariana流處理Stream SQL多維分析Hermes分布式數(shù)據(jù)庫PGXZ批處理MapReduceSparkPig流式計算TStorm資源調(diào)度管理DockerOnGaia(GPU、CPU)分布式存儲HDFSCephKV系統(tǒng)HBaseTDE數(shù)智數(shù)據(jù)平臺架構(gòu)管理控制臺服務(wù)器大數(shù)據(jù)套件 組件層騰訊自研社區(qū)改造版社區(qū)版本公有云私有云非云化環(huán)境

4、大數(shù)據(jù)套件 服務(wù)層統(tǒng)日志中心統(tǒng)權(quán)限管控組件協(xié)調(diào)器Rest API運行時/工作流管理部署.!I控數(shù)Lhotse任務(wù)調(diào)度PGXZ HIVEPIGEasyCountSparkMapReduceTStormHDFSKafka/TubeDockerOnGaiaTDEHermesHBaseTPG黃金眼 報表展示據(jù)接入TDBANKTRE廣告推薦處理能Gaia業(yè)務(wù) 在線 系統(tǒng)存儲MR數(shù)據(jù)產(chǎn)品精準(zhǔn)推薦/秒級.!I控/多 維分析/用戶畫像/數(shù)據(jù)接入7萬億條2資0源0調(diào)0度0臺HDFS2/P5G0/HPBase/離2線0計P算5實萬時億計算TRC 條任務(wù)5調(diào)0度0萬次&工 作流Lhotse3數(shù)0據(jù)0分億發(fā)次Part

5、02基礎(chǔ)平臺盾點1.資源管理YARN vs I層(Infrastructure)數(shù)據(jù)存儲HDFS vs I層(Infrastructure)云基礎(chǔ)設(shè)施14Cluster Operating System(GAIA)Docker DaemonDocker DaemonHost OSHost OSServer(PM/VM)Server(PM/VM)Docker DaemonHost OSServer(PM/VM)Docker DaemonHost OSServer(PM/VM)Batch jobHPC MPIONLINESTREAMINGSERVICEmonitordeployDocker on

6、Gaia騰訊Gaia運營現(xiàn)狀p 8800:單集群節(jié)點數(shù)p 20w+:調(diào)度能力覆蓋20w個核p 8k:作業(yè)并發(fā)度數(shù)p 2500:資源池個數(shù)p 0.2ms:container平均調(diào)度匹配時間p 1.3億:日運行container數(shù)p 120w: 日運行作業(yè)數(shù)p 95%:峰值vcore、memory使用率DockerOnGaia解決什么問題？資源共享異構(gòu)環(huán)境共存動態(tài)擴縮容容災(zāi)容錯自動化運維鍵式部署：申請資源后提交app，剩余事情交給dockerongaia用戶聚焦業(yè)務(wù)灰度運營以container為單位進行升級、回滾等操作Gaia Scalable FairScheduler多業(yè)務(wù)共享公平的使用集群資

7、源 保證各自業(yè)務(wù)的quota保證高優(yōu)先級作業(yè)搶占 Service batch集群整體資源利用率cpu和memory-intensive的作業(yè)混布 大作業(yè)和小作業(yè)混布Service和batch混布可擴展性調(diào)度吞吐Gaia 服務(wù)注冊與發(fā)現(xiàn)Gaia 資源控制接MemoryNetwork IODisk spaceCPUGaia 資源管理緯度增加資源維度更多的資源管理緯度 彈性的CPU控制彈性的內(nèi)存控制彈性的磁盤容星控制 彈性的網(wǎng)絡(luò)出帶寬控制 彈性的網(wǎng)絡(luò)入帶寬控制 彈性的Disk IO控制 Buffer IO控制Gaia - EMCSoftlimitEMC Elastic Memory Control(

8、彈性內(nèi)存控制)1)不會觸發(fā)系統(tǒng)oom kill：使用了 container機制，且task_cgroup是hardlimit。2)可以容納更多container： 可按照平均值分配container。3) 作業(yè)失敗率大大降低：container 之間是softlimit機制。4) 對用戶資源評估能力要求降低/cgroupstask_cgroupscgroup 1container 1container ncontainer 2cgroup 1cgroup 1attachattachattachcallBackFuncnm_cgroupdn_cgroupsys_cgroupGaia kill p

9、olicyhardlimitGaia - EMCGaia - EMCGaia 絡(luò)帶寬管控1)TC+cgroups相結(jié)合的方式控 制。2) container之間的網(wǎng)絡(luò)帶寬可以 相互borrow，可以充分利用網(wǎng)絡(luò)資 源。3)內(nèi)核實現(xiàn)專門控制網(wǎng)絡(luò)入帶寬 的cgroup controller，獸力netrx subsystemRoot class(1:)container 2attachcontainer 1child class ncontainer nattachborrowchild class 1child class 2attachattachGaia 絡(luò)帶寬設(shè)計目標(biāo)在某個cgroup網(wǎng)絡(luò)

10、繁忙時，能保 證其設(shè)定配額不會被其他cgroup擠 占在某個cgroup沒有用滿其配額時， 其他cgroup可以自動使用其空閑的部 分帶寬在多個cgroup分享其他cgroup的空 閑帶寬時，優(yōu)先級高的優(yōu)先； 優(yōu)先級 相同時， 配額大的占用多，配額小的 占用少盡星減少為了流控而主動丟包Gaia 絡(luò)帶寬隊列： 不獸力隊列， 對每個報文直接在正常代碼路徑上進行決策Cgroup區(qū)分(標(biāo)記)： 在正常處理流程中，報文查找到目標(biāo)socket結(jié)構(gòu)之后，根據(jù)socket的owner process來確定cgroup報文決策： 令牌桶 + 共享令牌池 + 顯式借令牌專利2013107167896 - 種保證速

11、率和充分利用空余帶寬的流星調(diào)度方法限速方式： ECN標(biāo)記 + TCP滑窗 + 丟包專利201310743471.7 - 通過接收端主機標(biāo)記ECN進行網(wǎng)絡(luò)入流星限速的方法專利2013107175144 - 根據(jù)令牌桶的水位調(diào)整TCP通告窗口的網(wǎng)絡(luò)入流星主動限速方法Gaia Disk IO對buffer io失控。cgroup通過識別pid，控制磁盤io。但在buffer io中，失去了 原有的pid信息，導(dǎo)致不可控。Gaia Disk IO三個cgroup,分別配置“保證帶寬”為40, 60, 80 kB/s, 模擬磁盤的帶寬為180kB/sGaia 其他CPU管控Cpu share+cpuse

12、t結(jié)合管控NM和DN進程納入container管理容器中資源顯示問題通過FUSE實現(xiàn)用戶態(tài)的文件系統(tǒng)使用cgroup的數(shù)據(jù)統(tǒng)計container實際資源使用生成仿真的meminfo、stats、diskstats、cpuinfo等文 件，并綁定mount到container中Container數(shù)據(jù)存儲使用hostvolume存儲不需要保留的數(shù)據(jù)；使用Ceph RBD存儲需要保留的數(shù)據(jù)：使用Ceph volume plugin 為每個container分配個RBD存儲 目錄Docker Registry改造基于hdfs的存儲，實現(xiàn)無限容星基于tpg修改registry為無狀態(tài)的多registry server的負(fù)載均衡Docker熱升級功能Part03任務(wù)調(diào)度云化云化收益環(huán)境致運行環(huán)境鏡像化環(huán)境隔離容器間運行環(huán)境隔離版本管理通過構(gòu)建新鏡像