抖音數(shù)據(jù)治理思路解析：全鏈路治理與多團(tuán)隊(duì)治理

抖音數(shù)據(jù)治理思路解析：全鏈路治理與多團(tuán)隊(duì)治理抖音集團(tuán)數(shù)據(jù)BP專家王瑋前世今生01挑戰(zhàn)與機(jī)遇并存02未來展望04全鏈路解決方案03目錄抖音數(shù)據(jù)BP治理演進(jìn)歷程下一階段

數(shù)據(jù)治理突破在哪萌芽期成長期成熟期BP團(tuán)隊(duì)自身治理挑戰(zhàn)業(yè)務(wù)成熟帶來治理挑戰(zhàn)公司數(shù)據(jù)環(huán)境帶來的治理挑戰(zhàn)三駕馬車策略組織工具業(yè)務(wù)趨向成熟，要求挑戰(zhàn)更高應(yīng)對新的挑戰(zhàn)，解決方案是什么前世今生數(shù)據(jù)治理BP內(nèi)重視內(nèi)功修煉、也將能?和影響?向業(yè)務(wù)團(tuán)隊(duì)輸出業(yè)務(wù)飛速發(fā)展時(shí)期，以快速響應(yīng)支持業(yè)務(wù)為主。治理工作更多以突擊、被動(dòng)、運(yùn)動(dòng)式為主萌芽期成長期BP團(tuán)隊(duì)開始將數(shù)據(jù)治理能力和方案向業(yè)務(wù)賦能。向解決方案式數(shù)據(jù)治理邁進(jìn)成熟期excel式治理運(yùn)動(dòng)式治理業(yè)務(wù)開始關(guān)注數(shù)據(jù)中心成本，數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等命題。數(shù)據(jù)治理工作向體系化發(fā)展數(shù)據(jù)中心成本治理數(shù)據(jù)安全治理數(shù)據(jù)質(zhì)量治理業(yè)務(wù)用數(shù)體驗(yàn)向業(yè)務(wù)團(tuán)隊(duì)賦能泛治理概念面臨的挑戰(zhàn)和機(jī)遇a2mT.HmA

sNuKpS.coFmO

R.cnYOU

RSUPPOR

Tz團(tuán)隊(duì)挑戰(zhàn)業(yè)務(wù)挑戰(zhàn)挑戰(zhàn)數(shù)據(jù)團(tuán)隊(duì)自身挑戰(zhàn)EB級數(shù)據(jù)體量數(shù)據(jù)團(tuán)隊(duì)多樣性數(shù)十萬core計(jì)算任務(wù)業(yè)務(wù)規(guī)模/玩法多樣數(shù)據(jù)安全、可靠降本增效分布式治理全鏈路靈活性數(shù)據(jù)鏈路組件眾多業(yè)務(wù)團(tuán)隊(duì)更高的要求公司多樣性帶來挑戰(zhàn)上下游數(shù)十團(tuán)隊(duì)公司挑戰(zhàn)數(shù)據(jù)治理三駕馬車數(shù)據(jù)治理組織工具策略數(shù)據(jù)治理委員會(huì)分布式治理產(chǎn)品工具能力數(shù)據(jù)治理策略治理組織保障多團(tuán)隊(duì)聯(lián)合虛擬小組戰(zhàn)略層愿景降本增效成本經(jīng)營管理/資源管理/存儲(chǔ)治理/計(jì)算治理業(yè)務(wù)用數(shù)體驗(yàn)提升數(shù)據(jù)及時(shí)性/數(shù)據(jù)準(zhǔn)確性/查詢效率高安全放心數(shù)據(jù)資產(chǎn)密級管理/審批合規(guī)/二次分發(fā)策略框架成本治理-由大到小預(yù)算管理 成本分?jǐn)?成本庫管理 隊(duì)列管理 組件管理表治理 任務(wù)優(yōu)化 OLAP治理質(zhì)量治理

-

一切從分級開始事前管控 數(shù)據(jù)分級 研發(fā)規(guī)范 變更檢查事中運(yùn)維 預(yù)警巡檢 影響評估 運(yùn)維止損事后治理 劣化監(jiān)控 高風(fēng)險(xiǎn)治理 歸因分析安全和合規(guī)-一切從分級開始數(shù)據(jù)分類管理數(shù)據(jù)申請、審批管理數(shù)據(jù)流轉(zhuǎn)、分發(fā)治理數(shù)據(jù)接入加密管理網(wǎng)絡(luò)安全法規(guī)數(shù)據(jù)的保密性用戶隱私數(shù)據(jù)保護(hù)全面診斷目標(biāo)管理問題分發(fā)問題處置進(jìn)展運(yùn)營效果復(fù)盤元數(shù)據(jù)能力應(yīng)用和場景血緣研發(fā)和治理規(guī)范數(shù)據(jù)收集和存儲(chǔ)基礎(chǔ)層數(shù)據(jù)治理策略框架全鏈路治理動(dòng)線框架診斷定目標(biāo)事后治理動(dòng)線治理發(fā)動(dòng)機(jī)處置治理任務(wù)處置定期檢查任務(wù)和進(jìn)度按照優(yōu)先級執(zhí)行任務(wù)問題分發(fā)進(jìn)展運(yùn)營效果復(fù)盤治理任務(wù)下發(fā)高效推動(dòng)治理目標(biāo)落地協(xié)作取長補(bǔ)短以數(shù)據(jù)與治理能力賦能數(shù)據(jù)BP團(tuán)隊(duì)研發(fā)團(tuán)隊(duì)分析師團(tuán)隊(duì)專業(yè)數(shù)據(jù)生產(chǎn)、運(yùn)維、管理專業(yè)數(shù)據(jù)治理能力以及配套產(chǎn)品特點(diǎn)降本增效多團(tuán)隊(duì)，追求效率與標(biāo)準(zhǔn)目標(biāo)與挑戰(zhàn)重度依賴離線數(shù)據(jù)分析缺乏治理經(jīng)驗(yàn)、手段特點(diǎn)關(guān)注分析效率資源有限目標(biāo)與挑戰(zhàn)輕度依賴離線數(shù)據(jù)專業(yè)在線數(shù)據(jù)中心成本治理能力，但離線側(cè)數(shù)據(jù)治理能力薄弱特點(diǎn)降本增效多團(tuán)隊(duì)，追求效率與標(biāo)準(zhǔn)目標(biāo)與挑戰(zhàn)全鏈路治理動(dòng)線目標(biāo)管理與動(dòng)機(jī)-多團(tuán)隊(duì)協(xié)作目標(biāo)標(biāo)準(zhǔn)化0 業(yè)務(wù)單位成本102 數(shù)據(jù)中心成本03 優(yōu)化目標(biāo)04

優(yōu)化目標(biāo)診斷全鏈路治理動(dòng)線目標(biāo)管理與動(dòng)機(jī)-數(shù)據(jù)BP篇上圖?真實(shí)數(shù)據(jù)，僅demo演示全鏈路治理動(dòng)線目標(biāo)管理-數(shù)據(jù)BP篇成本治理標(biāo)準(zhǔn)體系業(yè)務(wù)視角兼容多業(yè)務(wù)形態(tài)財(cái)務(wù)視角數(shù)據(jù)團(tuán)隊(duì)視角業(yè)務(wù)單位成本=成本/業(yè)務(wù)核心CD數(shù)據(jù)中心成本占比結(jié)果指標(biāo)過程指標(biāo)策略季度/月/天成本無效/錯(cuò)掛賬單賬單治理：無效、錯(cuò)掛、低效賬單治理存儲(chǔ)成本目標(biāo)存儲(chǔ)策略覆蓋率無效、低效存儲(chǔ)占比存儲(chǔ)格式策略：壓縮格式轉(zhuǎn)zstd用進(jìn)廢退策略：無效、低效存儲(chǔ)治理存儲(chǔ)Quota目標(biāo)模型存儲(chǔ)策略：類拉鏈數(shù)據(jù)計(jì)算成本目標(biāo)隊(duì)列利用率、占用率任務(wù)失敗率任務(wù)資源浪費(fèi)率低優(yōu)資源引擎優(yōu)化：Spark

Native算子優(yōu)化/HDFS并發(fā)讀/基于PBO自動(dòng)調(diào)參計(jì)算Quota目標(biāo)隊(duì)列調(diào)度優(yōu)化：基于數(shù)據(jù)場景標(biāo)簽、分級調(diào)度策略、削峰填谷策略優(yōu)化目標(biāo)=自然增長-quota目標(biāo)優(yōu)化預(yù)估目標(biāo)≈優(yōu)化目標(biāo)數(shù)據(jù)模型優(yōu)化：公共層沉淀、減少重復(fù)計(jì)算數(shù)據(jù)架構(gòu)優(yōu)化：批流一體、數(shù)據(jù)bucket化上圖?真實(shí)數(shù)據(jù)，僅demo演示全鏈路治理動(dòng)線目標(biāo)管理-數(shù)據(jù)BP篇優(yōu)化預(yù)估目標(biāo)診斷近xx天無熱度分區(qū)、表數(shù)據(jù)無更新數(shù)據(jù)TTL設(shè)置不合理低熱數(shù)據(jù)未導(dǎo)入溫存CPU利用率提升內(nèi)存利用率提升廉價(jià)資源占比提升規(guī)則引擎式診斷無效存儲(chǔ)低效存儲(chǔ)標(biāo)桿式診斷資源利用率低優(yōu)資源占比上圖?真實(shí)數(shù)據(jù)，僅demo演示治理和數(shù)據(jù)能力結(jié)合線下購買投轉(zhuǎn)放化-、吸分引享目線標(biāo)上受傳眾播發(fā)酵數(shù)據(jù)能力查詢SQL

Insight技術(shù)優(yōu)化數(shù)據(jù)能力治理能力BP拆解治理目標(biāo)定規(guī)范、防劣化解決方案常態(tài)化治理BP定目標(biāo) BP定規(guī)范賦能業(yè)務(wù)

提升自身數(shù)據(jù)工具、產(chǎn)品能力全鏈路治理動(dòng)線目標(biāo)管理

-

業(yè)務(wù)分析師篇診斷能力自動(dòng)化、批量治理能力業(yè)務(wù)研發(fā)結(jié)合業(yè)務(wù)特性判斷方案適配性BP提供成本診斷、運(yùn)營、處置解決方案對齊成本收益目標(biāo)全鏈路治理動(dòng)線目標(biāo)管理

-

業(yè)務(wù)研發(fā)篇?jiǎng)右騼?yōu)先級1423優(yōu)先級與DDL分級治理：P0:

收益大、風(fēng)險(xiǎn)高、公司級P1：收益中、風(fēng)險(xiǎn)、團(tuán)隊(duì)級P2：收益低、個(gè)人自驅(qū)式23治理動(dòng)線信息判斷一鍵處置個(gè)人收益治理收益團(tuán)隊(duì)貢獻(xiàn)4治理動(dòng)因治理動(dòng)因：業(yè)務(wù)目標(biāo)團(tuán)隊(duì)目標(biāo)自驅(qū)式目標(biāo)1收益 動(dòng)線全鏈路治理動(dòng)線問題分發(fā)篇-個(gè)人治理工作臺(tái)上圖?真實(shí)數(shù)據(jù)，僅demo演示全鏈路治理動(dòng)線問題分發(fā)篇-個(gè)人治理工作臺(tái)01 觸發(fā)時(shí)機(jī)02 觸發(fā)對象03 觸發(fā)內(nèi)容時(shí)間進(jìn)度>目標(biāo)進(jìn)度高風(fēng)險(xiǎn)預(yù)警觸發(fā)一線執(zhí)行一線leader團(tuán)隊(duì)leader風(fēng)險(xiǎn)收益要求目標(biāo)跟蹤運(yùn)營關(guān)鍵全鏈路治理動(dòng)線進(jìn)展運(yùn)營-做好跟蹤和運(yùn)營全鏈路治理動(dòng)線問題處置篇工作流式面向一線執(zhí)行用戶前置式面向管理員無效數(shù)據(jù)治理模型治理任務(wù)批量優(yōu)化冷數(shù)據(jù)自動(dòng)清理測試數(shù)據(jù)定期清理核心數(shù)據(jù)防刪保護(hù)SLA基線監(jiān)控存儲(chǔ)格式批量調(diào)整任務(wù)上線規(guī)范明確規(guī)范、融入研發(fā)環(huán)節(jié)問題掃描收益統(tǒng)計(jì)判斷處置設(shè)置規(guī)范收益復(fù)盤問題掃描自動(dòng)處置設(shè)置規(guī)范收益統(tǒng)計(jì)阻斷整改無需人為判斷、無風(fēng)險(xiǎn)需人為判斷、有一定風(fēng)險(xiǎn)批式&自動(dòng)式面向管理員推送個(gè)人問題掃描低效數(shù)據(jù)治理任務(wù)優(yōu)化治理元信息維護(hù)治理安全審計(jì)治理表上線規(guī)范數(shù)據(jù)變更規(guī)范數(shù)據(jù)運(yùn)維規(guī)范一鍵處置設(shè)置TTL?動(dòng)處置數(shù)據(jù)溫存格式轉(zhuǎn)化小文件合并集成集處成置處置自動(dòng)處置最舊1號2號3號4號...28號29號30號最新31號TTL縮減數(shù)據(jù)冷備暫不做處置無熱度30%無熱度百分70%(40%做冷備，30%加白)低熱分區(qū)

查詢占比20%高熱分區(qū)

查詢占比80%無熱度分區(qū)

PV=0有熱度分區(qū)

PV>0現(xiàn)有數(shù)據(jù)分區(qū)定義分層策略和規(guī)范處置前確認(rèn)按風(fēng)險(xiǎn)分級處置高風(fēng)險(xiǎn):刪審批周知回收站中低風(fēng)險(xiǎn):冷備周知數(shù)據(jù)范圍+治理策略倉庫管理員數(shù)據(jù)BP表分析設(shè)置分層和動(dòng)作例行化處置通過分層方式和動(dòng)作估算治理收益數(shù)據(jù)BP全鏈路治理動(dòng)線問題處置-智能分層全鏈路治理動(dòng)線數(shù)據(jù)分級核心業(yè)務(wù)團(tuán)隊(duì)核心業(yè)務(wù)場景user

demand數(shù)據(jù)消費(fèi)場景數(shù)據(jù)產(chǎn)品看板、圖表在線服務(wù)消費(fèi)場景X用戶驅(qū)動(dòng)影響定級時(shí)效性分級質(zhì)量影響分級模塊場景頻次事中事前研發(fā)規(guī)范模型規(guī)范參數(shù)規(guī)范測試規(guī)范變更規(guī)范分級保障準(zhǔn)入準(zhǔn)出資源設(shè)置調(diào)度設(shè)置事后全鏈路治理動(dòng)線問題處置-事前與事中治理全面巡檢資源監(jiān)控變更風(fēng)險(xiǎn)鏈路巡檢狀態(tài)播報(bào)運(yùn)維能力告警觸達(dá)快速診斷影響分析歸因復(fù)盤放劣化報(bào)警登記事故復(fù)盤歸因分析報(bào)警配置止血能力收益業(yè)務(wù)視角技術(shù)視角計(jì)算收益穩(wěn)定性提升安全提升直接/間接存儲(chǔ)治理收益、成本節(jié)約無效存儲(chǔ)占比高熱存儲(chǔ)占比頭部數(shù)據(jù)治理措施覆蓋率直接/間接治理收益，成本節(jié)約CPU/MEM申請率CPU/MEM利用率異常任務(wù)占比(暴力掃描/傾斜/浪費(fèi))SLA破線/事故天數(shù)報(bào)警及時(shí)響應(yīng)率/問題登記率SLA高風(fēng)險(xiǎn)數(shù)(資源/監(jiān)控/鏈路風(fēng)險(xiǎn)數(shù))安全高危風(fēng)險(xiǎn)數(shù)高危風(fēng)險(xiǎn)行為數(shù)(授權(quán)、審批異常)存儲(chǔ)收益高熱字段密級處置率高密數(shù)據(jù)二次分發(fā)占比高熱數(shù)據(jù)元信息完備率/準(zhǔn)確率數(shù)據(jù)ONCALL自主解決率/解決時(shí)長數(shù)據(jù)先于核心業(yè)務(wù)團(tuán)隊(duì)用戶查詢就緒率核心業(yè)務(wù)團(tuán)隊(duì)數(shù)據(jù)內(nèi)容質(zhì)量平均查詢時(shí)長查詢失敗率業(yè)務(wù)核心人員審批效率業(yè)務(wù)方向核心數(shù)據(jù)占比、風(fēng)險(xiǎn)業(yè)務(wù)數(shù)據(jù)中心成本降低業(yè)務(wù)方向數(shù)據(jù)中心成本降低找數(shù)用數(shù)成本效率安全全鏈路治理動(dòng)線效果回收與復(fù)盤規(guī)劃數(shù)據(jù)事故天數(shù)0天技術(shù)穩(wěn)定性分析師查詢覆蓋率80%數(shù)據(jù)模型完善度用戶滿意度70%用戶滿意度需求吞吐量需求滿足率90%BP服務(wù)評價(jià)體系0數(shù)據(jù)