天穹數(shù)倉(cāng)自治能力新實(shí)踐

天穹數(shù)倉(cāng)自治能力新實(shí)踐張功貫-騰訊科技-數(shù)據(jù)技術(shù)架構(gòu)師DataFunCon#2024個(gè)人簡(jiǎn)介Spark StarrocksSpark10多年大數(shù)據(jù)技術(shù)工作積累，2021年加入職騰訊，KafkaFlume負(fù)責(zé)平臺(tái)智能的數(shù)據(jù)架構(gòu)工作，推動(dòng)天穹AI4DataHBaseKafkaFlumeOoziePresto的能力體系建設(shè)OoziePrestoSqoopPulsarHiveAzkabanImpalaLogstashPulsarHiveAzkabanImpalaLogstash大模型數(shù)據(jù)智能HDFS大模型數(shù)據(jù)智能HDFS1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進(jìn)展4.未來(lái)規(guī)劃和展望大數(shù)據(jù)自治涵蓋的范疇數(shù)據(jù)治理數(shù)據(jù)治理幫助解決問(wèn)題數(shù)據(jù)接入數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)接入數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)應(yīng)用業(yè)務(wù)發(fā)生問(wèn)題數(shù)據(jù)研發(fā)數(shù)據(jù)研發(fā)數(shù)據(jù)使用管理數(shù)據(jù)整個(gè)生命周期數(shù)據(jù)使用傳統(tǒng)數(shù)倉(cāng)OracleRAC、DB2、Teradata、GreenPlum大數(shù)據(jù)數(shù)倉(cāng)數(shù)智數(shù)倉(cāng)大模型(LLM) ETL（1990-2015）ELT（2005-2020）EtLT（2020至今）數(shù)倉(cāng)模式演進(jìn)：EtLT崛起EExtractEExtractTransformSoftwareAPISaaSAPITypeTransformLLoadDataDataJDBCLogSyncReverseETLTTransformCheckingBusinessETL提前建模湖倉(cāng)一體SchemaOnWrite靈活性、擴(kuò)展性較差無(wú)需提前建模Schema無(wú)需提前建模SchemaOnRead高靈活性存儲(chǔ)、計(jì)算復(fù)雜度全面升級(jí)1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進(jìn)展4.未來(lái)規(guī)劃和展望騰訊天穹自治平臺(tái)雙引擎策略資源資源資源組健康分相似計(jì)算數(shù)據(jù)采集傳統(tǒng)機(jī)器學(xué)習(xí)傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治計(jì)算數(shù)據(jù)基線運(yùn)行時(shí)長(zhǎng)智能優(yōu)化雙引擎決策診斷力研效定位問(wèn)題預(yù)判問(wèn)題平臺(tái)自治計(jì)算數(shù)據(jù)基線運(yùn)行時(shí)長(zhǎng)智能優(yōu)化雙引擎決策診斷力研效定位問(wèn)題預(yù)判問(wèn)題攔截問(wèn)題數(shù)據(jù)應(yīng)用在自治能力建設(shè)中“感知能力”放首位做到對(duì)數(shù)據(jù)相關(guān)“進(jìn)程”粒度的感知傳統(tǒng)機(jī)器學(xué)習(xí)傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治感知力平臺(tái)自治1雙引擎決策診斷力可觀測(cè)能力的建設(shè)傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治觀測(cè)力雙引擎?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治觀測(cè)力雙引擎讓大數(shù)據(jù)生態(tài)的“黑盒”更加透明化11決策診斷力22全鏈路診斷能力的構(gòu)建傳統(tǒng)機(jī)器學(xué)習(xí)傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治平臺(tái)自治1雙引擎決策診斷力決策22組件間的毛刺，穩(wěn)定性，異常信息不規(guī)范，數(shù)據(jù)計(jì)算過(guò)程中細(xì)粒度的根因分析定位算子粒度的異常識(shí)別傳統(tǒng)機(jī)器學(xué)習(xí)針對(duì)SQL任務(wù)，做到算子粒度的診斷傳統(tǒng)機(jī)器學(xué)習(xí)平臺(tái)自治專家經(jīng)驗(yàn)Querystage平臺(tái)自治專家經(jīng)驗(yàn)QuerystageJoinMerge雙引擎Join-2決策診斷力1JoinMerge雙引擎Join-2決策診斷力Mapjoin優(yōu)化數(shù)據(jù)膨脹/笛卡爾積…智能體2Join-1…QuerystageJoinMergeTableScan-3智能體2Join-1…QuerystageJoinMergeTableScan-3QuerystageQuerystageQuerystageQuerystageTableScan-1TableScan-2平臺(tái)自治平臺(tái)自治大數(shù)據(jù)自治的難點(diǎn)與痛點(diǎn)雙引擎?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)雙引擎?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)1決策診斷力優(yōu)化力2優(yōu)化力2“數(shù)據(jù)計(jì)算”是日常業(yè)務(wù)中的高頻問(wèn)題資源資源性能性能SparkSpark/Flink資源優(yōu)化，任務(wù)智能基線等SQLSQL引擎選擇，智能SQLHint，智能RSS等SQLSQL優(yōu)化改寫(xiě)，SQL語(yǔ)法糾錯(cuò)，SQL診數(shù)據(jù)驅(qū)動(dòng)的資源優(yōu)化傳統(tǒng)機(jī)器學(xué)習(xí)傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治平臺(tái)自治1雙引擎決策診斷力讓SQL計(jì)算更加高效傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治雙引擎優(yōu)化力傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治雙引擎優(yōu)化力SQL計(jì)算引擎的自動(dòng)選擇11決策診斷力22反哺計(jì)算引擎?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治SQL粒度的數(shù)據(jù)體系雙引擎決策診斷力優(yōu)化力Tencent傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治SQL粒度的數(shù)據(jù)體系雙引擎決策診斷力優(yōu)化力TencentSuperSQL實(shí)現(xiàn)SQL編譯過(guò)程中的智能優(yōu)化1122智能SQLHint，智能RSS等第二引擎-SQL智能體70%以上的任務(wù)都是SQL任務(wù)平臺(tái)自治傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)HiveSpark…SQL、Java等StormFlinkSparkStreaming…秒級(jí)/毫秒級(jí)Scala等MysqlOracleDB2…SQL分批分時(shí)/實(shí)時(shí)入庫(kù)PrestoKylinClickHouseStarrocks…秒級(jí)/毫秒級(jí)SQL雙引擎決策122第二引擎-SQL智能體傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治SQL智能體雙引擎SQLAnswer傳統(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)平臺(tái)自治SQL智能體雙引擎SQLAnswer混元LLM讓SQL從研發(fā)到計(jì)算更加簡(jiǎn)單高效11決策診斷力22多輪對(duì)話，問(wèn)診模式構(gòu)建平臺(tái)自治平臺(tái)自治第二引擎-SQL智能體雙引擎?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)雙引擎?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)專家經(jīng)驗(yàn)1決策診斷力22讓大模型擁有更強(qiáng)大的SQL領(lǐng)域知識(shí)現(xiàn)網(wǎng)指令微調(diào)基座模型基座模型1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進(jìn)展4.未來(lái)規(guī)劃和展望算子粒度的回放和診斷細(xì)粒度診斷定位，SQL計(jì)算過(guò)程清晰的數(shù)據(jù)流透視支持約40個(gè)算子粒度的問(wèn)題點(diǎn)診斷SQL算子粒度的優(yōu)化通過(guò)數(shù)據(jù)持續(xù)打造深度優(yōu)化的能力SQL粒度的數(shù)據(jù)體系TencentSuperSQLPresto上測(cè)試Case：內(nèi)存節(jié)省90.2GB降至295MTPC-DS測(cè)試：99條SQL測(cè)試集,支持自動(dòng)mapjoin的sql數(shù)量為57，占比57.75%。SQL引擎選擇規(guī)避率=(HBO+ML規(guī)避SQL數(shù))/(規(guī)避數(shù)+Failover數(shù))作業(yè)任務(wù)資源優(yōu)化黑盒和白盒相結(jié)合機(jī)制，提升穩(wěn)定性，并且在資源節(jié)省上取得很大的收獲?超過(guò)50%的內(nèi)存成本?30%的CPU成本節(jié)省在運(yùn)行時(shí)間和資源中尋求一種平衡，β是平衡因子。最優(yōu)解的尋找方向，從運(yùn)行的Tmax和Rmax向下尋求最優(yōu)解。SQL邏輯正確性解析并轉(zhuǎn)換In算子查詢自動(dòng)優(yōu)化改寫(xiě)成InnerJoin正確性驗(yàn)證性能對(duì)比17.19%一定長(zhǎng)度的SQL也有優(yōu)化能力對(duì)一定長(zhǎng)度的SQL，刪除不必要的排序，來(lái)進(jìn)行SQL優(yōu)化SQL復(fù)雜度：中等具備一定的代表性SQL邏輯簡(jiǎn)化通過(guò)臨時(shí)表的優(yōu)化方式來(lái)對(duì)Sql進(jìn)行優(yōu)化SQL更加簡(jiǎn)化邏輯性更強(qiáng)1.大數(shù)據(jù)自治的背景2.天穹大數(shù)據(jù)自治能力建設(shè)3.天穹大數(shù)據(jù)自治的落地與進(jìn)展4.未來(lái)規(guī)劃和展望未來(lái)規(guī)劃和愿景第三階段第一階段第二階段第三階段第一階段數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)湖倉(cāng)智能自治數(shù)據(jù)研發(fā)采集/接入/集成數(shù)據(jù)湖倉(cāng)智能自治數(shù)據(jù)研發(fā)采集/接入/集成數(shù)據(jù)計(jì)算數(shù)據(jù)應(yīng)用智能化的解決方案：?進(jìn)一步優(yōu)化計(jì)算場(chǎng)景的能力智能化的解決方案：?進(jìn)一步優(yōu)化計(jì)算場(chǎng)景的能力。?