Apache Doris在區(qū)域醫(yī)療影像平臺中的應用 202501

國家健康醫(yī)療大數(shù)據(jù)(東部)中心王建大數(shù)據(jù)研發(fā)經(jīng)理02架構(gòu)演變03場景應用04未來展望背景介紹背景介紹2016.10獲批試點國家健康醫(yī)療大數(shù)據(jù)中心及產(chǎn)業(yè)園建設國家級試點2019.03專業(yè)團隊運管分離架構(gòu)設計，常州國資與中國電子合資負責規(guī)劃、建設、運營2019.12新型基建江蘇省衛(wèi)生健康云(常州區(qū)域)試運行，數(shù)字化、國產(chǎn)化、數(shù)據(jù)服務同步推進2020.01試點服務常州市“醫(yī)療廢物服務(監(jiān)管)系統(tǒng)建設試點、“基層醫(yī)療機構(gòu)信息化提檔升級省級試點”、“常州市醫(yī)學影像云”等多個項目依托“云大腦”開發(fā)、服務、管理2020基地榮譽長三角一體化聯(lián)盟智慧城市應用示范基地；省、市網(wǎng)信辦聯(lián)合啟動，建設大數(shù)據(jù)和云服務安全保障試點；列入省發(fā)改委重大產(chǎn)業(yè)服務平臺2021.01全省覆蓋影像平臺項目列入“大數(shù)據(jù)+產(chǎn)業(yè)鏈”三大省級大數(shù)據(jù)應用示范重點項目，由省領導掛鉤聯(lián)系華東云計算基地占地82.1畝，總建筑面積9萬平方米，包括4棟華東云計算基地占地82.1畝，總建筑面積9萬平方米，包括4棟云計算數(shù)據(jù)中心樓、1棟綜合樓及1座22萬伏變電站?；卮鎯A扎實，擁有兩個省級重點數(shù)據(jù)機房，可容納1.2萬個機柜，提供16000PB的存儲能力。2021.09百日攻關(guān)影像平臺項目百日攻關(guān)，省屬三級醫(yī)療機構(gòu)、南京市三甲醫(yī)院、宿遷第一人民醫(yī)院以及常州全市公立醫(yī)療機構(gòu)全面接入衛(wèi)生健康云2022全省推進影像平臺項目計劃年內(nèi)覆蓋全省70%公立醫(yī)療機構(gòu)2023全省實現(xiàn)實現(xiàn)全省100%公立醫(yī)院以及部分私立醫(yī)院接入影像平臺2024數(shù)據(jù)服務在常州市率先提供數(shù)據(jù)服務，實現(xiàn)全市‘無膠片化’及時性要求高及時性要求高●影像的結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)上傳后，在臨床需要進行及時的應用。但是因為影像數(shù)據(jù)復雜度高，需要多源數(shù)據(jù)進行關(guān)聯(lián)并對多質(zhì)量指標進行稽核，并進行預警、處理，保證不對臨床的數(shù)據(jù)服務產(chǎn)生影響。DORIS二SUMMIT數(shù)據(jù)特殊性數(shù)據(jù)重復性高數(shù)據(jù)重復性高●影像數(shù)據(jù)存在大量的重傳、補傳的動作，對多場景的數(shù)據(jù)操作進行兼容，保證數(shù)據(jù)唯一性及可靠性。同時需要對上傳記錄進行回數(shù)據(jù)采集點多數(shù)據(jù)采集點多●影像平臺涉及醫(yī)療機構(gòu)2000余個，每個醫(yī)療機構(gòu)的狀態(tài)以及條件千差萬別，需要對各醫(yī)療機構(gòu)的多種數(shù)據(jù)情況進行兼容。關(guān)聯(lián)難度大間差不確定。同時，單一放射檢查的涉及的數(shù)據(jù)類型較多，需要難度大。DORIS二SUMMIT行業(yè)特殊性指標口徑多27個核心指標，共140余個質(zhì)量指標進行監(jiān)控。數(shù)據(jù)服務場景多看板、數(shù)據(jù)質(zhì)量監(jiān)控、質(zhì)量代辦、BI大屏、報表以及數(shù)十個業(yè)務系統(tǒng)進行數(shù)據(jù)支撐?！窠M件多：因為Hadoop架構(gòu)的特殊性，導致實現(xiàn)從采集、治理、存儲到服務的全鏈路數(shù)據(jù)流程所需要的組件龐雜，在平臺中，擁有超過20個開源的組件以及30余個自研的平臺管理服務；●部署成本高：一套完整的Hadoop集群，需要的管理資源較多。在集群規(guī)模不夠大的狀態(tài)下，計算節(jié)點的邊際成本較●較難對新場景進行兼容：隨著業(yè)務的發(fā)展，數(shù)據(jù)實時性的要求愈加的高，Hadoop(Hive)的體系，無法滿足實時性的需●拓展性較差：體系內(nèi)的單一組件只面向單一的能力。面相新的業(yè)務需求，只能拓展新的組件進入集群。帶來極高的維護成本。場景痛點分析業(yè)務痛點數(shù)據(jù)質(zhì)量反饋周期長T+1的反饋周期，無法及時反映整改措施的有效性，極大拉長了工作周期打造高效的大表交叉查詢在對院端數(shù)據(jù)進行實時質(zhì)量計算的同時，提供能將指定時間段的檢查數(shù)據(jù)和存儲日志數(shù)據(jù)進行交叉查詢的能力，解決最關(guān)鍵的影像完整性檢測問題。缺乏實時監(jiān)控能力普通的流式計算難以參照歷史數(shù)據(jù)，無法實現(xiàn)對應用數(shù)據(jù)監(jiān)測的多維度分析。構(gòu)建實時-歷史數(shù)據(jù)比對能力在不僅對應用日志進行實時存儲，也可以將實時日志按照日、周、月等較大時間維度進行統(tǒng)計分析，有效支撐各種評估維度。指標開發(fā)過程長需要針對大量指標進行定制化開發(fā)，牽涉人員多、流程長、工作量大。提升指標實時計算性能基于明細數(shù)據(jù)對指標進行實時計算，無需開發(fā)多層數(shù)據(jù)源，保證數(shù)據(jù)出口固定，支持指標統(tǒng)計維度的自由設計。難以支撐分析業(yè)務數(shù)據(jù)即席分析與數(shù)據(jù)開發(fā)共用平臺，操作難度大、數(shù)據(jù)復雜，且容易對開發(fā)業(yè)務進行干擾。提供數(shù)據(jù)分析查詢專用入口將明細數(shù)據(jù)提供給數(shù)據(jù)分析業(yè)務使用，通過運維手段保證資源占用情況，提升數(shù)據(jù)分析師的工作效率和工作體驗。期望的數(shù)據(jù)底座簡單架構(gòu)輕量化開發(fā)便捷維護簡單全面覆蓋采、存、治、用的數(shù)據(jù)生命周期SUMMIT強大具備強大的計算引擎，實現(xiàn)快速寫入、快速查詢，特別是在當前即席及實時的場景，能給與更多的支撐穩(wěn)定穩(wěn)定運行、故障修復、資源管理新老架構(gòu)圖數(shù)據(jù)采集數(shù)據(jù)源數(shù)據(jù)治理數(shù)據(jù)服務數(shù)據(jù)應用數(shù)據(jù)采集數(shù)據(jù)源數(shù)據(jù)治理舊架構(gòu)Datax結(jié)構(gòu)化數(shù)據(jù)ODSDWD原始數(shù)據(jù)層明細數(shù)據(jù)層結(jié)構(gòu)化數(shù)據(jù)ODSDWD原始數(shù)據(jù)層明細數(shù)據(jù)層DWSADS服務數(shù)據(jù)層應用數(shù)據(jù)層業(yè)務系統(tǒng)數(shù)據(jù)Hive離線數(shù)倉DIM維度數(shù)據(jù)層DIM維度數(shù)據(jù)層JDBCMysql算法結(jié)果緩存庫8rAFKa8rAFKaDWDFlinkSQL實時數(shù)倉FlinkSQL實時數(shù)倉容器日志埋點日志容器日志elasticsearch埋點日志新架構(gòu)新架構(gòu)半結(jié)構(gòu)化數(shù)據(jù)網(wǎng)關(guān)日志半結(jié)構(gòu)化數(shù)據(jù)ODS原始數(shù)據(jù)層DWSODS原始數(shù)據(jù)層DWS服務數(shù)據(jù)層應用數(shù)據(jù)層DIMFlinkFlink實時數(shù)倉云邊采集日志實時數(shù)倉異步物化視圖倒排索引中英文分詞同步物化視圖異步物化視圖倒排索引底座日志主鍵模型聚合模型明細模型主鍵模型聚合模型DORISB案例背景在省級影像平臺中，需要對從數(shù)千家醫(yī)療機構(gòu)采集的數(shù)據(jù)進行質(zhì)量評估及預警，以保證良好的數(shù)據(jù)質(zhì)量，實現(xiàn)影像數(shù)據(jù)服務環(huán)節(jié)的穩(wěn)定性以及提升用戶的體驗。數(shù)據(jù)維度多、數(shù)據(jù)量大、對實時性要求高等問題成為質(zhì)量改善的阻礙。在2023年初，團隊在數(shù)據(jù)質(zhì)量管理的場景探索質(zhì)量改善的技術(shù)方案。數(shù)據(jù)質(zhì)量管理-數(shù)據(jù)流向圖采集采集數(shù)倉服務場景質(zhì)量推送服務數(shù)據(jù)醫(yī)療機構(gòu)信息質(zhì)量推送服務數(shù)據(jù)維度事實數(shù)據(jù)異常代辦JDBC人員信息異常代辦JDBC明細數(shù)據(jù)自動補償云邊采集自動補償原始數(shù)據(jù)質(zhì)量看板代碼示例fromfrom(WITHxxx_schemaAS(……ON...WHERE.…CREATETABLE`dws_x`v_2`int(11)NULL`v_3`int(11)NULL)ENGINE=OLAPUNIQUEKEY(`k_1`,`k_2`,`k_3`,`k_4`)COMMENT'質(zhì)DISTRIBUTEDBYHASH(`k_1`)BUCKETS"function_column.sequence_col"="time_1"TE_SIGN)k_1,k_2,k_3,k_4,time_1,trank()over(partitionby…tHERE…WHEREt.rank>1運行效率：1H+提升至30s依賴組件：6個降低至3個數(shù)據(jù)模型數(shù)：15個降低至2個，另外增加6個視圖質(zhì)量反饋周期：由原來的T+1,提升至準實時(分鐘級)在數(shù)據(jù)去重，多表JOIN,即席查詢等場景，展現(xiàn)了強大的能力應用示例異常明細2024-11-2808:25:06--2024-11-2808:25:06---2024-11-2808:25:06--2024-11-2808:25:032024-11-2810:14:092024-11-2808:25:032024-11-2810:13:552024-11-2808:25:032024-11-2810:13:462024-11-2808:25:032024-11-2810:13:402024-11-2808:25:03--2024-11-2808:25:03--口醫(yī)院2024-11-2808:25:062024-1-2810:1406已完成查看詳情機構(gòu)名稱2024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-272024-11-27未跟進未跟進操作PACS11-質(zhì)量推送質(zhì)量推送):204705):33223.099三.見氟思宅：96.97%機構(gòu)編碼機構(gòu)名稱市區(qū)操作2024-1-28009698.1962.0110.09%100.009245%88.689%9245%查看詳情□2024-1-28100.00%9934%100.00%100.00%99.34%100.00%查看詳情2024-1-28100.00%628.08100.00%97.50%97.50%9750%9750%97.50%202411-28112400查看詳情^2024-1-28100.0%100.00%60536957%100.0%86.96%86.96%7826%86.96%2024-1-28112400查看詳情2024-1-2810.09%98.02%6765791.75%91.75%9043%91.7%202411-28112400查看詳情2024-1-2810000%9726%98639%10000%90419%9041%89.04%90419%2024-1-28112400查看詳情2024-1-2810000%3842100.00%10000%8475%83.90%2024-1-281:2400查看詳情2024-1-28100.00%9931%95.14%99.31%9792%697.92%95.839%97.929%2024-1-281:2400查看詳情2024-1-280.009%10.00%0.03100.00%100.00%556%55%5.56%5.569%2024-1-281:2400查看詳情-T2024-1-2810009%0.00%210000%50.00%0.00%查看詳情二2024-1-2810.096100.0%63989410000%100.00%86.99%8699%8537%86.99%查看詳情完2024-1-2810.009%10.0096100.00%100.00%10000%100.00%100.0%98.57%查看詳情^N?EAnrnen?02024-1-28009698.10%10000%10000%74.29%74.29%65.719%674.29%查看詳情2024-1-28100.00%100.00%910.09%100.00%95.59%95.659%94.57%95.659%2024-1-281:2400查看詳情腳99.059%20.9599.76%100.00%84.63%84.63%84.63%查看詳情H人w山心2024-1-2810000%10.00%64254100.00%10000%10000%100.0%查看詳情2024-1-28100.00%100.00%392744.19%10.009%100.0%查看詳情2024-1-28100.00%100.00%2082100.00%4452%44.529%40.99%4452%62024-1-28112400查看詳情了100.00%50.0410009%100.00%10009%10009%1009%6查看詳情2024-1-2810.009630.0310000%6100.00%86.05%86.05%8