大數(shù)據(jù)離線計(jì)算平臺(tái)流式Shuffle服務(wù)

1、百度大數(shù)據(jù)離線計(jì)算平臺(tái)流式Shuffle服務(wù)目錄背景架構(gòu)關(guān)鍵技術(shù)收益與總結(jié)下一步計(jì)劃背景-百度私有云FPGAGPU整機(jī)柜Machine Management環(huán)境 初始化機(jī)器故障 自動(dòng)化機(jī)器 自動(dòng)流轉(zhuǎn)Container仲裁器StateManagement調(diào)度算法隊(duì)列/優(yōu)先級(jí)資源位移MetaServerNameSpaceStateCenterIterativeRealTimeBatchNFSTableOjbect搜索金融糯米AI開(kāi)放云ADU服 務(wù) 托 管研 發(fā) 效 率 相 關(guān) 工 具預(yù) 算交 付 管 理結(jié) 算高精硬件集群/機(jī)器管理集群操作系統(tǒng)-Matrix統(tǒng)一資源調(diào)度-Normandy分布式文件系

2、統(tǒng)-AFS分布式計(jì)算分布式存儲(chǔ)產(chǎn)品生態(tài)背景-百度大數(shù)據(jù)計(jì)算平臺(tái)C+PythonJavaSimplified Unified APITMDStreamDCE(MR/DAG)MPI/ELFSparkNormandyMatrixIDC計(jì)算引擎資源調(diào)度資源管理機(jī)器資源API層20142007百度DAG引擎上線20062004MapReduce論文發(fā)表Hadoop開(kāi)源百度MR上線基于Hadoop 0.15.12011百度MR單集群規(guī)模 超過(guò)5000臺(tái)2013百度MR單集群規(guī)模13000臺(tái)2015內(nèi)存流式Shuffle上線2014百度統(tǒng)一計(jì)算表 示層發(fā)布背景-百度大數(shù)據(jù)離線計(jì)算平臺(tái)發(fā)展歷程背景-DAG引擎

3、背景-一般的Shuffle模式MapperMapperReducerMapperReducer目錄背景架構(gòu)關(guān)鍵技術(shù)收益與總結(jié)下一步計(jì)劃架構(gòu)架構(gòu) JobMasterMap WorkerMap WorkerMap Worker ShuffleMasterShufflerShufflerShuffler Reduce WorkerReduce WorkerReduce Worker HDFS7. map push to shufflerHDFSHDFS1. create shuffle sessionControl messageData Flow架構(gòu)-基本概念ShuffleMasterShuffl

4、er(Shuffle Worker)WriterReaderSessionShard目錄背景架構(gòu)關(guān)鍵技術(shù)收益與總結(jié)下一步計(jì)劃關(guān)鍵技術(shù)-ShuffleMaster智能調(diào)度全局視圖異常檢測(cè)負(fù)載均衡負(fù)載均衡ShufflerShardSessionManagerJobMasterRpcServerCreateSession DeleteSessionShufflerWriterShufflerShufflerWriterWriterHeartBeatSessionUpdatespushShuffleWorkerInfopushSessionUpdateDataPusherRpcClientAssgnI

5、nfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoAssgnInfoSession AShard0Shard1Shard2Shard3Shard4Shard5writer決定 primary 和 backup 的切換HeartBeatpushMapperInfoDataCollectorRpcServerWriter上報(bào)ShufflerExceptionShuffler上報(bào)負(fù)載情況增量更新MapperInfoMapperIDAddressSessonIDUpdateInfoShuffle Worker InfoSWIDAddres

6、sStatusLoadAssignment InfoAssginIdShardIDSWIDPrimarySession InfoShuffle Master關(guān)鍵技術(shù)-Writer數(shù)據(jù)緩存與異步發(fā)送異常處理MapProcessWriterSession ASession BWriterBufferDataSenderShuffler分配信息Shuffler分配信息WriterBufferDataSenderSession更新ShuffleMasterShufflersK VrpcK Vrpcrpc狀態(tài)匯報(bào)Shuffler狀態(tài)關(guān)鍵技術(shù)-Writer異常處理wriRPC回調(diào)返回Successter發(fā)

7、送buffer發(fā)送RPC給某個(gè) ShufflerShuffler掛了超時(shí)也沒(méi)有回調(diào)重試其他Shuffler所有RPC不再?lài)L試此Shuffler 此Buffer重試其他Shuffler返回給Writer數(shù)據(jù)發(fā)送成功Cancle此Buffer對(duì)其他Shuffler的RPCShuffer太忙此Buffer的發(fā)送暫時(shí)回避這個(gè)ShufflerBusy關(guān)鍵技術(shù)-Shuffler內(nèi)存聚合流控Sort&FlushShuffler相同Partition的數(shù)據(jù)交給一個(gè)active Sorter每個(gè)Sorter限制一定的內(nèi)存大小，滿內(nèi)存后交給排序線程Sorter等待過(guò)長(zhǎng)時(shí)間后，也交給排序線程所有Sorter使用內(nèi)存

8、不超過(guò)閾值Rpc with dataRpc with dataRpc with dataRpc with ackSortflushandackSessionHandlerShardHandlerSH.SHSorter.SorterSorterSessionHandlerShardHandlerSH.SHSorterSorterRpc with ackSortflushandackSortflushandackN個(gè)排序線程，排序之后寫(xiě)入DFS，并Ack相應(yīng)數(shù)據(jù)塊待排序的Sorter個(gè)數(shù)多于排序線程數(shù)時(shí)，部分Sorter等待RPC ServerCreateSession DeleteSession

9、WritersShuffleMaster關(guān)鍵技術(shù)-Reader所有Map完成后，調(diào)度Reduce直接讀取DFS排好序的數(shù)據(jù)去重&數(shù)據(jù)驗(yàn)證多路歸并排序關(guān)鍵技術(shù)-Map PipelineMap端Writer，要等Shuffler將數(shù)據(jù)持久化到DFS后，才能將發(fā) 送的rpc buffer釋放所有發(fā)送的數(shù)據(jù)被Shuffler持久化后，Map才能安全退出MapperMapperMapperWaitingFor FlushMapper關(guān)鍵技術(shù)-MIMO無(wú)MIMO時(shí)：Vetex3和vertex4 收到vertex2的全 部?jī)陕窋?shù)據(jù)再做filter。此業(yè)務(wù)作業(yè)多shuffle近10T 數(shù)據(jù)關(guān)鍵技術(shù)-MIMO方

10、案不同邊可對(duì)應(yīng)不同 session不同session對(duì)應(yīng)不同的dfs結(jié)果目錄vertex0vertex1vertex3vertex2broadcastmimonormal shufflebroadcast關(guān)鍵技術(shù)-Runtime PartitionSplit1Split2Split3Task1Task2Task3ShuffleAppMa sterSplit1Split2Split3Task1ShuffleAppMa ster目錄背景架構(gòu)關(guān)鍵技術(shù)收益與總結(jié)下一步計(jì)劃收益與總結(jié)收益流式shuffle：減少舊shuffle mapmerge、reduce pull時(shí)間消耗內(nèi)存Push：map端不落盤(pán)

11、Shuffler內(nèi)存聚合：聚合度高，減少 map端seek，減少reduce端merge路 數(shù)，減少I(mǎi)OPipeline：大大提高中小作業(yè)map端 運(yùn)行速度中間數(shù)據(jù)持久化：避免重算（對(duì)dag 作業(yè)尤為重要）收益與總結(jié)流式Shuffle服務(wù)push instead of pullShuffle過(guò)程交給能拿到更多全局信息、更專(zhuān)業(yè)的shuffler來(lái)做Map、Shuffler、Reduce，每個(gè)都做自己最適合做且擅長(zhǎng)做的事情Shuffle與Reduce解耦，簡(jiǎn)化Reduce，也為解決分桶不均問(wèn)題提供可能Pipeline。無(wú)縫的流線，減少無(wú)謂的等待問(wèn)題更多的網(wǎng)絡(luò)io（萬(wàn)兆網(wǎng)卡，網(wǎng)絡(luò)不是瓶頸）Shuffler資源共享，作業(yè)間可能互相影響（讓Shuffler資源非瓶頸）