大數(shù)據(jù)集群治理與數(shù)據(jù)治理解決方案

大數(shù)據(jù)集群運(yùn)維最高文件數(shù)2億+日處理?xiàng)l數(shù)3.7萬億+日作業(yè)數(shù)30萬+hadoop集群節(jié)點(diǎn)6000+數(shù)據(jù)容量100P+日處理數(shù)據(jù)量370T+HDFSYARNKafkaHBaseHiveFlink整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行XXXX客戶大數(shù)據(jù)運(yùn)維的重要性-大數(shù)據(jù)平臺(tái)能力底座XX能力XX能力XX能力XX能力XX能力XX能力XX應(yīng)用開發(fā)應(yīng)用開發(fā)數(shù)據(jù)建模行業(yè)專知賦能業(yè)務(wù)拓展xx產(chǎn)品xx產(chǎn)品xx產(chǎn)品賦能生態(tài)合作伙伴開放平臺(tái)多方安全計(jì)算聯(lián)合加密建模安全保障平臺(tái)智能運(yùn)維平臺(tái)管理制度管控工具全生命周期安全安全運(yùn)營應(yīng)用開發(fā)平臺(tái)數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫數(shù)據(jù)地圖數(shù)據(jù)血緣算法平臺(tái)模型管理模型搜索可視化建模快速開發(fā)工具組件數(shù)據(jù)可視化工具組件YARNFlinkMPPk8stensorflowHDFSKafkaHBase時(shí)序數(shù)據(jù)庫圖數(shù)據(jù)庫算力/存儲(chǔ)平臺(tái)...……CMDBITSM統(tǒng)一監(jiān)控DevOps流水線管理AIOps智能檢測預(yù)判Spark虛擬化網(wǎng)絡(luò)存儲(chǔ)數(shù)據(jù)報(bào)表大數(shù)據(jù)常用組件在大數(shù)據(jù)項(xiàng)目中的位置數(shù)據(jù)采集交換數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算數(shù)據(jù)API數(shù)據(jù)服務(wù)計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源傳輸接口消息隊(duì)列數(shù)據(jù)庫采集DataX/Canal文件采集FTP/SFTP網(wǎng)頁爬蟲爬蟲流數(shù)據(jù)采集KafkaFlume分布式文件系統(tǒng)HDFSNoSQL數(shù)據(jù)庫CassandraHBase海量離線計(jì)算MR實(shí)時(shí)查詢SQLonHadoopSparkHBaseX86服務(wù)器小型機(jī)數(shù)據(jù)中心實(shí)時(shí)處理&流批融合SparkStreamingFlink調(diào)度元數(shù)據(jù)資產(chǎn)元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)生命周期數(shù)據(jù)安全數(shù)據(jù)管理統(tǒng)一調(diào)度數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)流工作流數(shù)據(jù)應(yīng)用數(shù)據(jù)平臺(tái)基礎(chǔ)資源YARNHive消息隊(duì)列Kafka大數(shù)據(jù)項(xiàng)目經(jīng)歷的幾個(gè)階段無序建設(shè)階段良性發(fā)展階段痛點(diǎn)頻發(fā)階段梳解亂象階段整治提升階段初期為了快速支撐業(yè)務(wù)，快速上線，并沒有統(tǒng)一的規(guī)劃，無序建設(shè)引發(fā)的問題隨著時(shí)間逐漸暴露出來，權(quán)限混亂、計(jì)算能力下降等痛點(diǎn)問題頻發(fā)。需成立專項(xiàng)治理工作，通過發(fā)現(xiàn)、梳解、整治、促提升實(shí)現(xiàn)良性發(fā)展。信息化數(shù)據(jù)化資產(chǎn)化價(jià)值化集群治理面臨背景、挑戰(zhàn)與效果

大數(shù)據(jù)公司業(yè)務(wù)高速發(fā)展過程中數(shù)據(jù)業(yè)務(wù)需求越來越復(fù)雜，所需要的算力也越來越大，進(jìn)一步導(dǎo)致集群的規(guī)模越來越大，承擔(dān)的產(chǎn)品也越來越多，集群面臨資源負(fù)載過高、資源搶占嚴(yán)重、RPC請求負(fù)載過高等問題，存儲(chǔ)系統(tǒng)也面臨空文件過多、垃圾文件過多、小文件過多、平均文件大小過小、文件數(shù)持續(xù)增長等一系列問題，存儲(chǔ)系統(tǒng)穩(wěn)定性面臨很大隱患，作業(yè)又面臨執(zhí)行耗時(shí)過長、耗資源大、數(shù)據(jù)傾斜嚴(yán)重等問題，直接導(dǎo)致數(shù)據(jù)加工異常率過高、數(shù)據(jù)具備時(shí)間有延遲風(fēng)險(xiǎn)、產(chǎn)品交付面臨很多風(fēng)險(xiǎn)。0擴(kuò)容3年0擴(kuò)容1000萬年成本節(jié)約400臺(tái)+年節(jié)約服務(wù)器治理效果20%+算力提升提升30%+加工效率降低60%+文件數(shù)60%+模型降低問題挑戰(zhàn)資源問題集群問題資源負(fù)載過高打滿時(shí)間過長資源搶占嚴(yán)重資源浪費(fèi)嚴(yán)重存儲(chǔ)問題存儲(chǔ)負(fù)載過高未壓縮數(shù)據(jù)多冷數(shù)據(jù)占比高存儲(chǔ)持續(xù)增長計(jì)算問題計(jì)算耗時(shí)間長作業(yè)數(shù)據(jù)傾斜計(jì)算耗資源大冗余計(jì)算嚴(yán)重集群穩(wěn)定性差RPC負(fù)載過高請求響應(yīng)時(shí)間長大小故障頻發(fā)文件問題文件數(shù)太多小文件太多空文件太多文件持續(xù)增長元數(shù)據(jù)問題數(shù)據(jù)庫太多垃圾分區(qū)多垃圾表多缺少數(shù)據(jù)血緣數(shù)據(jù)表太多數(shù)據(jù)價(jià)值不明確重復(fù)加工多數(shù)據(jù)字段太多平均大小太小小文件分布不清晰文件夾太多冷文件太多數(shù)據(jù)量翻倍情況下，資源整體負(fù)載降低20%文件數(shù)大幅下降60%以上，集群穩(wěn)定性大大提高整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行集群治理平臺(tái)技術(shù)實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)解析、數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲(chǔ)資源畫像自動(dòng)化巡檢租戶級(jí)大屏集群級(jí)大屏全域級(jí)大屏數(shù)據(jù)源NameNodeFsimage集群資源趨勢分析SparkJobYARNResourceQueueHDFSAuditLogHiveMetadataHiveMetastoreLogFlinkJobMapReduceJobHiveJob組件JMX隊(duì)列資源趨勢分析CPU使用趨勢分析內(nèi)存使用趨勢分析存儲(chǔ)畫像文件數(shù)分布分析小文件數(shù)分布分析文件數(shù)增長趨勢分析文件數(shù)增長來源分析文件數(shù)多檔分布分析空文件數(shù)分布分析存儲(chǔ)增長趨勢分析存儲(chǔ)增長來源分析冷熱溫?cái)?shù)據(jù)分析未壓縮數(shù)據(jù)定位作業(yè)畫像耗資源作業(yè)分析大吞吐/耗時(shí)作業(yè)分析高RPC作業(yè)分析冗余計(jì)算分析元數(shù)據(jù)畫像垃圾庫/表/分區(qū)定位模型調(diào)用頻次統(tǒng)計(jì)影響范圍評(píng)估模型數(shù)據(jù)血緣分析操作審計(jì)畫像操作來源分析文件增刪查分析異常操作分析高RPC來源分析庫/表/分區(qū)/目錄文件精細(xì)分析接口機(jī)復(fù)用嚴(yán)重接口機(jī)的應(yīng)用主要分為四大類，基礎(chǔ)數(shù)據(jù)的采集和加工、產(chǎn)品的數(shù)據(jù)加工、XX產(chǎn)品的數(shù)據(jù)加工以及XX產(chǎn)品的數(shù)據(jù)加工。現(xiàn)在很多接口機(jī)存在大量的交叉使用，甚至存在基礎(chǔ)數(shù)據(jù)、產(chǎn)品共同使用一臺(tái)接口機(jī)的情況。接口機(jī)復(fù)用存在嚴(yán)重安全隱患，一方面服務(wù)器資源不能統(tǒng)籌規(guī)劃，各應(yīng)用會(huì)爭搶資源，導(dǎo)致服務(wù)器不能健康運(yùn)行；另一方面會(huì)導(dǎo)致用戶權(quán)限泛濫，難以管理和監(jiān)控。產(chǎn)品基礎(chǔ)數(shù)據(jù)XX產(chǎn)品XX產(chǎn)品接口機(jī)應(yīng)用基礎(chǔ)數(shù)據(jù)X產(chǎn)品X產(chǎn)品X產(chǎn)品不同業(yè)務(wù)共用用戶的現(xiàn)象非常嚴(yán)重，權(quán)限泛濫相當(dāng)于沒有權(quán)限管理，安全存在重大隱患，一旦出現(xiàn)問題很難排查。4A權(quán)限管理寬松審批申請回收4A權(quán)限管理使用者申請權(quán)限時(shí)，不清楚具體資源細(xì)節(jié)或?yàn)榱耸∈?，申請時(shí)申報(bào)了過多接口機(jī)的權(quán)限。申請審批時(shí)，由于沒有時(shí)間和精力對權(quán)限逐條核對，導(dǎo)致審批失去意義。審批目前權(quán)限回收機(jī)制依賴權(quán)限一年有效期和員工離職，導(dǎo)致無法及時(shí)回收人員無關(guān)的權(quán)限?；厥諗?shù)據(jù)資源管理混亂建表使用更新清理建表所有人都有建表的權(quán)限，導(dǎo)致現(xiàn)在很多表用途不明，歸屬不明。使用基礎(chǔ)數(shù)據(jù)表直接對外提供使用，沒有采用中間層進(jìn)行隔離。更新由于無法確認(rèn)某張表被誰引用，所以有新需求要更新表結(jié)構(gòu)時(shí)，確認(rèn)的工作量非常大。清理盡管很多表不再被使用，但表用途不明，歸屬不明，不敢輕意進(jìn)行清理。4A權(quán)限管理規(guī)范4A權(quán)限的申請審批流程采用ITSM工單系統(tǒng)申請者發(fā)起工單詳細(xì)填寫申請4A權(quán)限的用途、涉及的業(yè)務(wù)和數(shù)據(jù)。詳細(xì)填寫《4A帳號(hào)權(quán)限管理-主賬號(hào)變更、主機(jī)數(shù)據(jù)庫從賬號(hào)綁定、變更、授權(quán)文檔》，并作為附件上傳工單。數(shù)據(jù)治理組審核數(shù)據(jù)治理組對權(quán)限清單進(jìn)行逐條審核，確認(rèn)每條權(quán)限的必要性，將權(quán)限控制在滿足工作需求的最小權(quán)限范圍內(nèi)。領(lǐng)導(dǎo)線下審批依據(jù)數(shù)據(jù)治理組的審核結(jié)果，申請者打印《應(yīng)用系統(tǒng)、網(wǎng)絡(luò)變更申請單》，線下找相關(guān)領(lǐng)導(dǎo)審批簽字。申請者補(bǔ)充工單材料申請者將領(lǐng)導(dǎo)簽字的《應(yīng)用系統(tǒng)、網(wǎng)絡(luò)變更申請單》拍照上傳。安全合規(guī)部實(shí)施安全合規(guī)部進(jìn)行審核后，依據(jù)《4A帳號(hào)權(quán)限管理-主賬號(hào)變更、主機(jī)數(shù)據(jù)庫從賬號(hào)綁定、變更、授權(quán)文檔》進(jìn)行實(shí)施。定期梳理并回收4A權(quán)限庫表管理規(guī)范回收所有人建庫表權(quán)限統(tǒng)一由數(shù)據(jù)資產(chǎn)管理專員統(tǒng)一進(jìn)行操作并記錄文檔DDL需求采用ITSM工單系統(tǒng)進(jìn)行流程管理使用者發(fā)起申請工單數(shù)據(jù)治理組核審數(shù)據(jù)資產(chǎn)管理專員實(shí)施DDL需求采用ITSM工單系統(tǒng)進(jìn)行流程管理接口機(jī)、用戶管理規(guī)范接口機(jī)唯一使用部門一臺(tái)接口機(jī)只能由一個(gè)部門或小組使用，不得跨部門或小組共用接口機(jī)。由于當(dāng)前接口機(jī)的數(shù)量有限，短期內(nèi)還存在部分共用的情況。01020304接口機(jī)唯一使用業(yè)務(wù)一臺(tái)接口機(jī)只能為一個(gè)業(yè)務(wù)使用，不得跨業(yè)務(wù)共用接口機(jī)。由于當(dāng)前接口機(jī)的數(shù)量有限，短期內(nèi)還存在部分共用的情況。用戶指定負(fù)責(zé)人用戶按組分配，指定負(fù)責(zé)人。密碼安全機(jī)制回收所有人的密碼；定期更新全部接口機(jī)的密碼；禁止以用戶密碼的方式登陸接口機(jī)。接口機(jī)治理工作接口機(jī)治理重新規(guī)劃接口機(jī)用途梳理現(xiàn)有接口機(jī)及用戶的用途，根據(jù)各業(yè)務(wù)的需求重新規(guī)劃接口機(jī)及用戶，避免接口機(jī)和用戶出現(xiàn)共用的情況。對現(xiàn)有接口機(jī)上的業(yè)務(wù)進(jìn)行逐步的遷移。數(shù)據(jù)治理組按業(yè)務(wù)域，逐步對接口機(jī)上的業(yè)務(wù)進(jìn)行遷移。基礎(chǔ)數(shù)據(jù)側(cè)的遷移產(chǎn)品側(cè)的遷移產(chǎn)品側(cè)使用接口機(jī)和用戶采取分階段遷移，由技術(shù)部接手?jǐn)?shù)據(jù)加工層的產(chǎn)品，由數(shù)據(jù)治理組進(jìn)行遷移，其他產(chǎn)品暫時(shí)保持現(xiàn)狀。代碼管理規(guī)范本地修改代碼提交gitCICD部署代碼變更流程回收開發(fā)者生產(chǎn)環(huán)境操作權(quán)限禁止生產(chǎn)環(huán)境直接修改代碼大數(shù)據(jù)平臺(tái)化建設(shè)基礎(chǔ)平臺(tái)HiveFlinkKylin數(shù)據(jù)開發(fā)運(yùn)維治理平臺(tái)實(shí)時(shí)流批融合多租戶安全隔離多源異構(gòu)數(shù)據(jù)采集敏捷數(shù)據(jù)建模可視化數(shù)據(jù)開發(fā)數(shù)據(jù)平臺(tái)開發(fā)IDE元數(shù)據(jù)管理中心數(shù)據(jù)生命周期管理AI輔助數(shù)據(jù)治理數(shù)據(jù)平臺(tái)監(jiān)控智能運(yùn)維預(yù)警故障自愈修復(fù)數(shù)據(jù)集成/采集交換數(shù)據(jù)開發(fā)過程數(shù)據(jù)治理管控?cái)?shù)據(jù)運(yùn)維中心數(shù)據(jù)服務(wù)數(shù)據(jù)標(biāo)準(zhǔn)管理技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)元數(shù)據(jù)存儲(chǔ)數(shù)據(jù)源x域數(shù)據(jù)x域數(shù)據(jù)三方數(shù)據(jù)xx數(shù)據(jù)其他數(shù)據(jù)資產(chǎn)價(jià)值資產(chǎn)盤點(diǎn)資產(chǎn)轉(zhuǎn)化價(jià)值評(píng)估資產(chǎn)屬性資產(chǎn)運(yùn)營數(shù)據(jù)開放數(shù)據(jù)共享數(shù)據(jù)合作運(yùn)營流程評(píng)估模型培訓(xùn)宣導(dǎo)資產(chǎn)治理數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)制度數(shù)據(jù)安全數(shù)據(jù)質(zhì)量成本管理資產(chǎn)交付數(shù)據(jù)集成數(shù)據(jù)傳輸數(shù)據(jù)存儲(chǔ)數(shù)據(jù)接口消息隊(duì)列元數(shù)據(jù)檢索