百度大數(shù)據(jù)即席查詢技術(shù)探討

百度大數(shù)據(jù)即席查詢服務(wù)BaiduBigSQL/孫垚光自我介紹基礎(chǔ)架構(gòu)部分布式計(jì)算團(tuán)隊(duì)孫垚光09年-11年：Linux內(nèi)核/網(wǎng)絡(luò)協(xié)議棧優(yōu)化11年-今：分布式計(jì)算/百度開放云Hadoop/Spark百度開放云即席查詢服務(wù)（BigSQL）?BigSQL定位/特點(diǎn)?BigSQL架構(gòu)?BigSQL關(guān)鍵技術(shù)?BigSQL在Baidu內(nèi)部的應(yīng)用?下一步計(jì)劃即席查詢服務(wù)（BigSQL）?BigSQL定位/特點(diǎn)?BigSQL架構(gòu)?BigSQL關(guān)鍵技術(shù)?BigSQL在Baidu內(nèi)部的應(yīng)用?下一步計(jì)劃BigSQL定位?大數(shù)據(jù)即席查詢（Ad-HocQuery）平臺(tái)?：開箱即用，用戶無需關(guān)心機(jī)器/集群的運(yùn)維/細(xì)節(jié)?高性能/規(guī)模：裸機(jī)/優(yōu)化/最大PB量級(jí)以上?低成本：多租戶共享集群/按使用付費(fèi)BigSQL特點(diǎn)?數(shù)據(jù)格式：半結(jié)構(gòu)化（等）?使用接口：易用/多樣化（）?語法集：兼容開源SparkSQL/HQL?按使用付費(fèi)：按（Query復(fù)雜度+掃描數(shù)據(jù)量）計(jì)費(fèi)?多用戶協(xié)同：靈活的權(quán)限管理Ad-HocQuery?面向“人”的查詢ü交互式（）：?查詢具有較高時(shí)效性ü即席（Ad-Hoc）：?查詢模式相對(duì)不固定?數(shù)據(jù)沒有（時(shí)間/成本）做過多預(yù)處理即席查詢多維分析Ad-HocQueryOLAP數(shù)據(jù)密度加工過程查詢模式弱（半）結(jié)構(gòu)化粗（淺）加工相對(duì)隨機(jī)高度結(jié)構(gòu)化深度加工相對(duì)固定SQLonHadoop/SparkSQL擴(kuò)展性1000臺(tái)以內(nèi)/PB以下千臺(tái)以上/PB以上查詢延遲架構(gòu)復(fù)雜性容錯(cuò)毫秒~秒中等秒~分鐘復(fù)雜無有調(diào)度策略啟停開銷小/常駐進(jìn)程分批大/現(xiàn)啟動(dòng)松散與存儲(chǔ)結(jié)合程度緊密BigSQL示意圖UserueryUserQueryBigSQLServiceStreamingBatchBOSr即席查詢服務(wù)（BigSQL）?BigSQL定位/特點(diǎn)?BigSQL架構(gòu)?BigSQL關(guān)鍵技術(shù)?BigSQL在Baidu內(nèi)部的應(yīng)用?下一步計(jì)劃BigSQL整體架構(gòu)SDKCLIRESTAPIConsole接入層（HttpServer）StateStoreSessionManagerIAMSessionWorkerSessionWorkerQuerySessionWorkerQueryQueryQueryQueryMetaStoreQuerySparkContextSparkContextSparkContext賬單監(jiān)控SchedulerCompute&StorageClusterBigSQL整體架構(gòu)：接入層?易用性：各種形式的API?可用性：關(guān)鍵節(jié)點(diǎn)容錯(cuò)?安全：租戶認(rèn)證和鑒權(quán)、限制?賬單?監(jiān)控BigSQL整體架構(gòu)：引擎層接入層SessionWorkerSessionWorkerSessionWorkerSessionWorker計(jì)算引擎（Spark）APPAPPAPPAPPExecutorExecutorExecutorExecutorExecutorExecutorExecutorExecutor分布式緩存（CacheManager）存儲(chǔ)引擎（DFS/ColumnStorage）即席查詢服務(wù)（BigSQL）?BigSQL定位/特點(diǎn)?BigSQL架構(gòu)?BigSQL關(guān)鍵技術(shù)?BigSQL在Baidu內(nèi)部的應(yīng)用?下一步計(jì)劃BigSQL關(guān)鍵技術(shù)（一）高性能BigSQL關(guān)鍵技術(shù)（一）高性能BigSQL關(guān)鍵技術(shù)（一）BigSQL關(guān)鍵技術(shù)（二）數(shù)據(jù)緩存層UserUser接入層計(jì)算引擎（Spark）CacheManager存儲(chǔ)引擎（HDFS+Parquet）BigSQL關(guān)鍵技術(shù)（二）數(shù)據(jù)緩存策略l按需緩存?Query運(yùn)行時(shí)觸發(fā)Cachemiss，異步load到緩存l數(shù)據(jù)預(yù)取?周期性Load相關(guān)到緩存?根據(jù)過去Query信息統(tǒng)計(jì)熱點(diǎn)數(shù)據(jù)，提前Load到緩存典型案例：跨地域查詢加速（提升至少一個(gè)數(shù)量級(jí)）BigSQL關(guān)鍵技術(shù)（三）優(yōu)化執(zhí)行l(wèi)智能參數(shù)優(yōu)化?利用Combine類，減少數(shù)?根據(jù)上游輸出，自動(dòng)優(yōu)化數(shù)目l調(diào)度優(yōu)化?評(píng)估數(shù)據(jù)量，自動(dòng)復(fù)用或者啟用新的l近似查詢?長(zhǎng)尾任務(wù)自動(dòng)忽略，保證時(shí)效性BigSQL關(guān)鍵技術(shù)（四）資源隔離/安全l基于的隔離?CPU/Memory/FS?本身的加固?網(wǎng)絡(luò)的互通與隔離lJVM沙箱層的多種安全策略l計(jì)算/存儲(chǔ)框架層的安全認(rèn)證和加密傳輸即席查詢服務(wù)（BigSQL）?BigSQL定位/特點(diǎn)?BigSQL架構(gòu)?BigSQL關(guān)鍵技術(shù)?BigSQL在Baidu內(nèi)部的應(yīng)用?下一步計(jì)劃在Baidu內(nèi)部的應(yīng)用鳳巢廣告數(shù)據(jù)分析l漏斗分析?分析廣告被過濾的原因，各個(gè)維度特征等l系統(tǒng)優(yōu)化和問題定位?分析系統(tǒng)業(yè)務(wù)日志，發(fā)現(xiàn)可優(yōu)化的指標(biāo)和潛在問題日均掃描數(shù)據(jù)量：xxPB即席查詢服務(wù)（BigSQL）?BigSQL定位/特點(diǎn)?BigSQL架構(gòu)?BigSQL關(guān)鍵技術(shù)?BigSQL在Baidu內(nèi)部的應(yīng)用?下一步計(jì)劃BigSQL后續(xù)規(guī)劃l持續(xù)投入技術(shù)研發(fā)?更智能的數(shù)據(jù)緩存層：細(xì)粒度/物化視圖選取?實(shí)時(shí)更新?向量執(zhí)行：提高CPU命中率?CBO：BigSQL后