浙江電信Apache Doris實(shí)戰(zhàn)之路

浙江電信-大數(shù)據(jù)中心喻志強(qiáng)01大數(shù)據(jù)建設(shè)歷程02ApacheDoris實(shí)踐03湖倉(cāng)一體實(shí)踐04后續(xù)規(guī)劃探討01大數(shù)據(jù)建設(shè)歷程浙江電信大數(shù)據(jù)平臺(tái)建設(shè)歷程20042024A202120042024A2021建設(shè)內(nèi)容：基于Teradata建設(shè)B域數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市應(yīng)用規(guī)模：20臺(tái)支持存儲(chǔ)：400TB建設(shè)內(nèi)容：構(gòu)建數(shù)據(jù)中臺(tái)能力建設(shè)內(nèi)容：基于Teradata建設(shè)B域數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市應(yīng)用規(guī)模：20臺(tái)支持存儲(chǔ)：400TB建設(shè)內(nèi)容：構(gòu)建數(shù)據(jù)中臺(tái)能力，基于中臺(tái)開(kāi)展作業(yè)、模型、報(bào)表遷移，數(shù)據(jù)治理及培訓(xùn)推廣工作，并實(shí)現(xiàn)開(kāi)發(fā)運(yùn)營(yíng)模式優(yōu)化。規(guī)模：Doris達(dá)到80節(jié)點(diǎn)MR/TDP+Iceberg+Doris新建湖倉(cāng)一體MR/TDP+Iceberg+Doris新建湖倉(cāng)一體架構(gòu)進(jìn)行BMO域數(shù)據(jù)統(tǒng)一匯聚。逐步轉(zhuǎn)型為以自有人員為主。規(guī)模：640+臺(tái)規(guī)模：700+臺(tái)支持存儲(chǔ)：20PB202320162023基于ApacheDoris湖倉(cāng)一體架構(gòu)演進(jìn)原有平臺(tái)架構(gòu)圖經(jīng)分大數(shù)據(jù)impalaSparkTezHiveYarnHDFSFlinkKUDU經(jīng)分大數(shù)據(jù)impalaSparkTezHiveYarnHDFSFlinkKUDU數(shù)據(jù)集市VerticaVertica數(shù)據(jù)倉(cāng)庫(kù)VerticaVertica基于基于ApacheDoris湖倉(cāng)一體架構(gòu)（翼MapReduce）ZookeeperRangerZookeeperRangerFlinkFlink......Doris計(jì)算kyuubi/Sparkkyuubi/Spark......存儲(chǔ)Amoro......存儲(chǔ)AmoroIceberg/Iceberg/HiveYarnYarnHDFSHDFSESHESHBase02不斷提升逐步演化不斷提升逐步演化實(shí)時(shí)數(shù)倉(cāng)上線2.1.*2.0.42.1.*2.0.42.0.12.0.32.0.12.0.32024年2月—至今2024年1月-2月持續(xù)使用與深度保障2024年1月-2月2023年11月-12月割接后新問(wèn)題修復(fù)2023年11月-12月Doris數(shù)據(jù)寫(xiě)Iceberg（已解決）割接過(guò)程新問(wèn)題出現(xiàn)2023年11月首次生產(chǎn)嘗試割接后遇到j(luò)vm溢出問(wèn)題，導(dǎo)致集群變慢、在經(jīng)歷多次日志割接過(guò)程新問(wèn)題出現(xiàn)2023年11月首次生產(chǎn)嘗試割接后遇到j(luò)vm溢出問(wèn)題，導(dǎo)致集群變慢、在經(jīng)歷多次日志、火焰圖排查、小版本迭代等方式2月2號(hào)更新到2.0.4版本穩(wěn)定運(yùn)行SQL內(nèi)存溢出問(wèn)題（已解決）Catalog訪問(wèn)Iceberg大小寫(xiě)敏感、BE節(jié)點(diǎn)Catalog訪問(wèn)Iceberg大小寫(xiě)敏感、BE節(jié)點(diǎn)rpc超時(shí)、BE節(jié)點(diǎn)頻繁掉落等問(wèn)題迭代到2.0.3版本后解決使用2.0.1版本問(wèn)題：主要體現(xiàn)在與已有BI和數(shù)據(jù)中臺(tái)適配性問(wèn)題，如<=>符號(hào)識(shí)別異常報(bào)表性能較差、中臺(tái)FlinkSQL采集任務(wù)適配問(wèn)題，數(shù)據(jù)丟失多次count(*)一張靜態(tài)表數(shù)據(jù)量變化bug等-字段全為主鍵表（已解決）暴露localshuffle問(wèn)題，導(dǎo)致集群故障，目前關(guān)閉此參數(shù)（待完全解決）2.1.x相比2.0.x，整體性能上提升了30-50%2.1.5相比2.1.2，穩(wěn)定性提升超30%不斷提升逐步演化不斷提升逐步演化查詢集市庫(kù)上線2.1.22.1.2-rc022.1.22.1.2-rc022.1.52024年8月9號(hào)—至今持續(xù)使用與深度保障2024年8月8號(hào)割接過(guò)程新問(wèn)題修復(fù)2024年7月9號(hào)業(yè)務(wù)驗(yàn)證與上線嘗試使用haproxysql替換proxysql做鏈接負(fù)載均衡（已解決）割接過(guò)程新問(wèn)題修復(fù)2024年7月9號(hào)業(yè)務(wù)驗(yàn)證與上線嘗試在查詢條件中多or，出現(xiàn)訪問(wèn)Iceberg用老優(yōu)化器執(zhí)行(待解決)補(bǔ)丁包進(jìn)行兩次更新時(shí)區(qū)問(wèn)題初步解決采用proxysql負(fù)載均衡問(wèn)題出現(xiàn)，（每秒提交上萬(wàn)setautocommit=1到數(shù)據(jù)庫(kù)）補(bǔ)丁包進(jìn)行兩次更新時(shí)區(qū)問(wèn)題初步解決采用proxysql負(fù)載均衡問(wèn)題出現(xiàn)，（每秒提交上萬(wàn)setautocommit=1到數(shù)據(jù)庫(kù)）導(dǎo)致FE節(jié)點(diǎn)事務(wù)堆積異常使用2使用2.1.2版本問(wèn)題：審計(jì)插件引起FE節(jié)點(diǎn)jvm異常，節(jié)點(diǎn)down掉，跨源Catalog訪問(wèn)存在時(shí)區(qū)問(wèn)題（差8小時(shí)）FE節(jié)點(diǎn)元數(shù)據(jù)同步異常，導(dǎo)致事務(wù)偶發(fā)性報(bào)tablet版本不一致的問(wèn)題（已解決）MySQLCatalog的連接釋放機(jī)制問(wèn)題，導(dǎo)致進(jìn)行堆積，達(dá)到上限侯引起訪問(wèn)異常，2.1.5版本改造為Hikari連接池（已解決）改造實(shí)施開(kāi)展OracleOracle改造優(yōu)化效益提升前期產(chǎn)品更傾向在大量新的核心功能前期產(chǎn)品更傾向在大量新的核心功能以及底層的優(yōu)化重構(gòu)，導(dǎo)致了穩(wěn)定性受到了影響。在2.1版本開(kāi)始逐步進(jìn)行穩(wěn)定性打磨的傾斜和平衡。?更完備測(cè)試體系，積累了千萬(wàn)量級(jí)的sql測(cè)試用例，提升測(cè)試覆蓋率和產(chǎn)品質(zhì)量；?通過(guò)混沌測(cè)試模擬各種故障場(chǎng)景，復(fù)刻社區(qū)用戶主動(dòng)提供的場(chǎng)景，有幾十個(gè)長(zhǎng)期運(yùn)行的仿生產(chǎn)測(cè)試場(chǎng)景的長(zhǎng)穩(wěn)測(cè)試場(chǎng)景；?更嚴(yán)格的PR準(zhǔn)入和feature開(kāi)發(fā)流程，Doris2.1的開(kāi)源測(cè)試suite比2.0增加了150%。數(shù)據(jù)數(shù)倉(cāng)改造完成，實(shí)時(shí)類任務(wù)數(shù)據(jù)數(shù)倉(cāng)改造完成，實(shí)時(shí)類任務(wù)效率提升3-5倍2.0.4到2.1.2平均任務(wù)效率提升2.1.2到2.1.5穩(wěn)定性提升超待探討的問(wèn)題異構(gòu)化運(yùn)營(yíng)管理跨源訪問(wèn)03湖倉(cāng)一體實(shí)踐湖倉(cāng)一體實(shí)踐經(jīng)歷的過(guò)程的需求和迭代11不夠完善，實(shí)時(shí)寫(xiě)入小文件3湖倉(cāng)一體架構(gòu)介紹湖倉(cāng)核心組件基于電信自研大數(shù)據(jù)PaaS產(chǎn)品，組成由HA3+iceberg+Amoro+Spark/Flink+Doris為主的湖倉(cāng)一體架構(gòu)應(yīng)用與引擎的選型?基于FlinkCDC自研實(shí)時(shí)入湖平臺(tái)，數(shù)據(jù)統(tǒng)一寫(xiě)入Iceberg，對(duì)存在compaction問(wèn)題由Doris預(yù)處理，對(duì)實(shí)時(shí)數(shù)倉(cāng)需求核心數(shù)據(jù)同步寫(xiě)入Doris?實(shí)時(shí)數(shù)倉(cāng)匯聚、生產(chǎn)加工和應(yīng)用整體采用Doris完成，構(gòu)建實(shí)時(shí)庫(kù)?離線數(shù)倉(cāng)統(tǒng)一匯聚、生產(chǎn)加工采用Flink/Spark?采用Doris，完成對(duì)BI報(bào)表、營(yíng)銷(xiāo)等平臺(tái)對(duì)接，構(gòu)建數(shù)據(jù)集市湖倉(cāng)一體（翼MR）HBASEHBASETelePGRedisESTeleDBTelePGRedisESTeleDBETLSparkJOBETLSparkJOBDoris/CK/Trino湖倉(cāng)一體架構(gòu)深入建設(shè)業(yè)務(wù)系統(tǒng)原有的報(bào)表庫(kù)、運(yùn)維庫(kù)從Oracle、PG、ES逐步改造到Doris，由此我們建了業(yè)務(wù)庫(kù)的專區(qū)計(jì)算資源使用不合理、不充分，對(duì)容器化彈性資源調(diào)度探索和應(yīng)用（目前還只是針對(duì)Spark&Flink，Doris在探討中）Iceberg對(duì)實(shí)時(shí)湖倉(cāng)能力不足的問(wèn)題，探索Paimon是否得到了解決（目前還在驗(yàn)證，還未正式上線）04后續(xù)規(guī)劃探討Dor