《醫(yī)療圖像智能分析及處理技術(shù)規(guī)范》征求意見稿

1T/CIXXX—2023醫(yī)療圖像智能分析及處理技術(shù)規(guī)范本文件為醫(yī)療圖像智能分析及處理的關(guān)鍵技術(shù)指南，其中包含了相關(guān)術(shù)語和定義、醫(yī)療圖像預處理、可視化、特征融合技術(shù)等重要內(nèi)容。本文件主要適用于智慧醫(yī)療領(lǐng)域，醫(yī)學圖像處理是醫(yī)學領(lǐng)域中的一個重要領(lǐng)域。醫(yī)學圖像處理可以擬合人體模型，幫助醫(yī)生看清楚內(nèi)部結(jié)構(gòu)，提高診療準確率。人工智能方法已在醫(yī)學圖像領(lǐng)域獲得了長足的發(fā)展，主要包括圖像分割、配準、融合、壓縮、重建、分類等，涉及MR、超聲、PET、CT、紅外、中醫(yī)望診圖像等。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1圖像分割I(lǐng)mageSegmentation圖像分割是預測圖像中每一個像素所屬的類別或者物體。3.2可視化技術(shù)VisualizationTechnique醫(yī)學圖像可視化技術(shù)是指利用從實驗中獲得的、掃描器測得的、計算模型合成的醫(yī)學數(shù)據(jù)，重建三維圖像模型，并進行定性定量分析。3.3特征提取FeatureExtraction特征提取技術(shù)是從圖像中提取出具有代表性的特征信息，將這些信息轉(zhuǎn)化為計算機可識別、分類的形式。3.4特征融合FeatureFusion指將來自不同源頭、不同模態(tài)的醫(yī)學圖像（如CT、MRI、X光等）的特征信息有效地結(jié)合在一起。2T/CIXXX—20233.5圖像配準ImageRegistration醫(yī)學圖像配準是將不同模態(tài)、不同時間或不同位置獲取的醫(yī)學圖像進行空間上的對齊。4總體設計4.1基本原則（1）對標國家重大需求。以國家需求為研究命題導向，以研究成果轉(zhuǎn)化落地為研究目標。（2）緊跟學科和技術(shù)前沿。以前沿科學技術(shù)驅(qū)動醫(yī)療圖像智能分析及處理技術(shù)的發(fā)展創(chuàng)新，加速實現(xiàn)智能醫(yī)療領(lǐng)域升級。（3）密切聯(lián)系實際醫(yī)療圖像智能分析及處理技術(shù)。以向真正意義信息化、標準化和智能化方向發(fā)展為目標。4.2醫(yī)療圖像智能分析及處理技術(shù)總體思路介紹針對中醫(yī)望診圖像、病理圖像、心臟超聲圖像和皮膚圖像的智能分析及分類問題，引入計算機視覺技術(shù)和強化學習理論是為了提高醫(yī)療圖像分析的準確性和效率。為此，需要從醫(yī)療圖像的預處理、特征提取、特征融合、疾病分類以及病勢推演等方面確立技術(shù)規(guī)范與標準，以保證整個流程的可靠性和一致性。首先，要考慮數(shù)據(jù)準備的規(guī)范化，包括建立完整的數(shù)據(jù)集，保證數(shù)據(jù)的一致性和準確性，以及確保數(shù)據(jù)采集和存儲過程中的安全性和隱私保護。其次，在醫(yī)療圖像的預處理階段，標準應涵蓋病灶檢測和區(qū)域分割的精準性和可靠性。特征提取階段需要明確有效的特征提取方法，以確保關(guān)鍵特征能夠被準確捕捉。特征融合階段需要確保不同來源的特征能夠被無縫整合，以提高綜合特征的表征能力。此外，針對疾病分類和病勢推演，標準應涵蓋多種算法的建模過程和模型的選擇準則，以確保最終的分類結(jié)果和推演準確可靠。然后，應確立相應的人體功能態(tài)勢測評技術(shù)標準，以保證醫(yī)療圖像分析結(jié)果與患者的實際病情相符合。這包括明確測評指標的選擇依據(jù)、測評結(jié)果的解釋規(guī)范，以及將測評結(jié)果與治療決策相結(jié)合的標準化流程。最后，通過這些嚴格的技術(shù)規(guī)范與標準，可以為構(gòu)建具有自我學習和自主推理能力的醫(yī)療圖像智能診斷及病勢推演系統(tǒng)提供穩(wěn)固的標準化支持，從而為醫(yī)療圖像智能分析領(lǐng)域的發(fā)展奠定堅實基礎。3T/CIXXX—20234.3醫(yī)療圖像預處理醫(yī)學圖像預處理的目的是獲得更好的圖像處理效果，以便對醫(yī)學圖像采取各種處理措施，消除無用信息的同時恢復真實有用的信息，一般包括醫(yī)學圖像分割、去噪和增強等措施。對醫(yī)療圖像進行預處理工作，一方面，可以消除醫(yī)療圖像中噪聲，并增強圖像紋理效果，實現(xiàn)提高圖像質(zhì)量的目的。另一方面，減少了醫(yī)務人員對圖像細節(jié)進行識別和分析處理的難度，有利于他們運用醫(yī)學圖像進行準確分析和診斷，大大提升了醫(yī)學圖像分類的效率以及準確性。為實現(xiàn)醫(yī)療圖像的自動化分析，首要任務是要將感興趣區(qū)域從背景中分割出來。針對病灶區(qū)小、邊緣模糊、存在偽影等導致醫(yī)療圖像難以精確分割的問題，融合病灶形狀結(jié)構(gòu)先驗知識，研究基于卷積神經(jīng)網(wǎng)絡的病灶圖像分割方法，引入半監(jiān)督特征學習探索脾胃反射區(qū)多尺度邊界特征提取方法，利用卷積神經(jīng)網(wǎng)絡建立分割特征與邊界特征的上下文聚合方法，實現(xiàn)對病灶的精確分割。4.3.1醫(yī)療圖像分割隨著醫(yī)學影像的快速發(fā)展，作為圖像處理技術(shù)的重要組成部分，圖像分割在醫(yī)學圖像的研究與應用中發(fā)揮越來越重要的作用。圖像分割就是預測圖像中每一個像素所屬的類別或者物體。目前最常用的傳統(tǒng)醫(yī)療圖像分割方法主要包括基于閾值的分割方法、基于區(qū)域的分割方法、邊緣分割方法、深度圖像分割等。深度學習在圖像處理任務上表現(xiàn)出強大的能力，因此成為解決圖像分割問題上的首要選擇，尤其是醫(yī)學圖像分割領(lǐng)域。醫(yī)學圖像分割在醫(yī)學圖像分析中起著至關(guān)重要的作用，可使病灶、臟器的病理結(jié)構(gòu)變化更加明顯，為臨床診斷提供可靠的依據(jù)，對可視化、三維重建等相關(guān)技術(shù)的發(fā)展有較大的影響。（1）傳統(tǒng)醫(yī)療圖像分割1）基于閾值的圖像分割基于閾值的分割技術(shù)是圖像分割領(lǐng)域常用的算法之一，算法原理即選定一個閾值將目標分為兩個或多個目標區(qū)域，使同一目標區(qū)域內(nèi)像素的灰度值相似性最高不同目標區(qū)域之間的像素點的灰度值差異性最高?；陂撝档膱D像分割算法的核心在于選擇合適的閾值。閾值分割分為全局閾值分割和局部閾值分割，全局閾值分割是指整幅圖像選用統(tǒng)一的閾值分割，在背景信息與前景信息對比非常明顯的圖像中能夠很快的將背景信息從圖像中分割出來。但是在背景信息比較復雜的圖像中使用單一的閾值很難將不同的背景信息目標塊分割出來，這時候就需要局部閾值分割，即在不同的局部區(qū)域選用不同的閾值。2）基于區(qū)域的圖像分割基于區(qū)域的圖像分割就是把具有相似性質(zhì)的像素點進行連通，從而慢慢的組合成最終4T/CIXXX—2023的分割區(qū)域結(jié)果。它主要是利用了圖像的局部空間信息，能夠有效地克服其他方法圖像分割空間小的缺點。在基于區(qū)域的圖像分割中，如果從全圖出發(fā)，按區(qū)域?qū)傩蕴卣飨嗨频脑瓌t決定每個像素的區(qū)域歸屬，形成區(qū)域圖，即區(qū)域生長的分割方法。如果從像素點出發(fā)，按區(qū)域?qū)傩蕴卣飨嗨频臏蕜t，將屬性接近的像素點聚集為區(qū)域，則是區(qū)域增長的分割方法。如果綜合利用上述兩種方法，先將圖像分割成小的區(qū)域，再根據(jù)不同小區(qū)域之間的相似性進行合并形成大區(qū)域，就是分裂合并的方法。3）基于邊緣的圖像分割基于邊緣的圖像分割方法的主要理論依據(jù)是邊緣檢測理論，圖像中背景信息與前景信息之間不連續(xù)像素的集合即為圖像的邊緣。這類算法通過檢測相鄰像素灰度值之間的差異性來捕獲背景信息的邊緣。常用的邊緣檢測方法有空域微分算子法、基于曲面擬合的方法、小波多尺度檢測方法、基于數(shù)學形態(tài)學的邊緣檢測方法。（2）基于深度學習的醫(yī)學圖像分割鑒于基于深度學習的圖像處理方法具有自我學習能力強、適應能力好等優(yōu)點，許多基于卷積神經(jīng)網(wǎng)絡的模型已經(jīng)達到了很好的分割性能，在醫(yī)學圖像分割的研究中取得了較好的成果?；谏疃葘W習的醫(yī)學圖像分割方法可以分為語義分割和實例分割，語義分割是以像素為單位、根據(jù)像素的語義信息進行歸類；而實例分割包含檢測和描述兩個層面，對于圖像的預測是基于實例的，醫(yī)學圖像中目標的類別比較少，因此常采用基于像素分類的語義分割方法。分割目標的先驗信息（如先驗形狀和結(jié)構(gòu)）對分割任務有良好性能影響，如形狀信息有利于增強模型的魯棒性和可解釋性。1）基于深度學習的半監(jiān)督圖像分割方法半監(jiān)督圖像分割方法介于完全監(jiān)督和無監(jiān)督之間，它需要有標注數(shù)據(jù)和無標注數(shù)據(jù)共同訓練模型。目前深度學習方法在醫(yī)療實踐的各個領(lǐng)域蓬勃發(fā)展，半監(jiān)督學習在有標注數(shù)據(jù)匱乏的情況下，在醫(yī)學圖像分割中取得了良好效果。為了利用未標注數(shù)據(jù)進行半監(jiān)督醫(yī)學圖像分割，一種簡單直觀的方法是給未標注數(shù)據(jù)生成偽標簽。偽標簽通常是通過迭代生成的，其中模型通過學習自身對未標注數(shù)據(jù)的預測來迭代提高偽標簽的質(zhì)量。基于深度學習的半監(jiān)督學習方法大致分為基于偽標簽的方法、基于一致性正則的方法以及混合方法。一致性正則的方法不追求得到無標注數(shù)據(jù)的偽標簽，而是通過對無標注數(shù)據(jù)加入不同的噪聲干擾，約束網(wǎng)絡對加噪聲的圖像產(chǎn)生相同的預測結(jié)果，提高網(wǎng)絡抗干擾能力，增強網(wǎng)絡魯棒性。對半監(jiān)督醫(yī)學圖像分割方法，在神經(jīng)網(wǎng)絡訓練時加入目標物體的解剖先驗，通過調(diào)整網(wǎng)絡在不同區(qū)域優(yōu)化的權(quán)重，讓網(wǎng)絡根據(jù)重要性有側(cè)重地學習，用先驗信息指導網(wǎng)絡訓練。5T/CIXXX—20232）基于卷積神經(jīng)網(wǎng)絡的圖像語義分割隨著深度學習的興起，利用深度學習體系結(jié)構(gòu)進行理療圖像分割，尤其是卷積神經(jīng)網(wǎng)絡（ConvolutionalNeuralNetwork，CNN），其在檢測準確率和效率方面都更優(yōu)于傳統(tǒng)的算法。CNN是以生物的視知覺機制為基礎原理設計的，是一種深度學習模型。卷積神經(jīng)網(wǎng)絡最明顯的特征是網(wǎng)絡中具有卷積結(jié)構(gòu)，能夠有效減少深層參數(shù)量，可以進行特征提取和分類，通過多次卷積、池化的操作不斷加深網(wǎng)絡，從而獲得多尺度的感受野來貼合不同尺寸的目標。基于深度卷積神經(jīng)網(wǎng)絡的語義分割方法，將圖像通過卷積神經(jīng)網(wǎng)絡提取特征，然后進行像素分類，得到語義分割圖像。語義分割常用神經(jīng)網(wǎng)絡：AlexNet、VGGNet、VGGNet、ResNet?；诰幋a器－解碼器架構(gòu)的變體是當前醫(yī)學圖像分割中最主流的網(wǎng)絡模型，如完全卷積網(wǎng)絡FCN和U-Net。其中基于FCN分割方法的一個主要特點是結(jié)合多尺度策略來搭建網(wǎng)絡模型以提取包含多尺度信息的特征圖，其包含詳細的紋理信息和豐富的上下文信息，利于提升模型的精度。為了在獲得高級語義特征的基礎上保留更多的結(jié)構(gòu)信息，U-Net將編碼器－解碼器結(jié)構(gòu)與跳躍連接結(jié)合，使網(wǎng)絡在解碼過程中融入編碼端低級特征，具有優(yōu)良的分割性能。FCN因其感受野大小受到限制，無法獲取足夠的全局上下文信息，而語義分割往往需要豐富的上下文信息以聚合生成精確的像素分類結(jié)果。上下文信息的聚合主要有三種：基于多尺度的方法，基于注意力的方法和基于隨機場的方法。實時圖像語義分割算法可以分為采用模型壓縮，比如網(wǎng)絡剪枝、低秩分解、參數(shù)量化和知識蒸餾；設計輕量化模型，通過優(yōu)化網(wǎng)絡結(jié)構(gòu)，能夠在不損失精度的同時降低模型的復雜度和所需的推理時間。實時分割算法更加注重降低網(wǎng)絡的參數(shù)量和計算成本，以達到更快的推理速度，但這不可避免地會損失精度。在深度卷積網(wǎng)絡中，感受野大小決定著網(wǎng)絡可以獲得多大范圍的語義上下文信息，擴張卷積被用來增加網(wǎng)絡感受野從而提升分割性能。圖4-1圖像語義分割流程4.3.2醫(yī)療圖像去噪最初采集到的原始醫(yī)學圖像大多數(shù)都是含噪圖像，這些噪聲的存在對醫(yī)學圖像分析與處理的影響很大，一定程度上增加了醫(yī)務人員對圖像細節(jié)進行識別和分析處理的難度。如果不6T/CIXXX—2023能及時進行圖像去噪，原始圖像中的噪聲會在之后特征提取和圖像增強中進一步延續(xù)和放大，對醫(yī)務人員的正常診斷造成更加嚴重的干擾，一定程度上造成誤診率上升。因此，有必要選擇合適的圖像去噪技術(shù)對醫(yī)學圖像進行預處理，消除或減少圖像中的噪聲，以降低對醫(yī)學圖像增強、分割和特征提取等后續(xù)圖像處理過程的不利影響。在醫(yī)學圖像去噪領(lǐng)域，平滑技術(shù)是目前最常用的技術(shù)，包括空間域去噪法和頻域去噪法兩大類別。（1）空間域去噪法：指通過采用不同圖像平滑模板對原始圖像進行卷積處理，在醫(yī)學圖像平面上修改灰度，達到抑制或消除噪聲的目的，主要包括高斯濾波、算術(shù)均值濾波和中值濾波。（2）頻域去噪法：指通過對圖像進行變換后，選用適當?shù)念l率帶通濾波器進行濾波，經(jīng)反變換后獲得去噪圖像，主要包括小波變換和基于稀疏變換去噪。4.3.3醫(yī)療圖像增強醫(yī)學圖像在產(chǎn)生、傳輸和存儲過程中，由于受光源、成像系統(tǒng)等各種復雜因素的影響，不可避免地會導致出現(xiàn)不同程度地清晰度下降、對比度偏低和包含噪聲等降質(zhì)現(xiàn)象。為了便于后續(xù)分析與處理，一般采用圖像恢復和圖像增強兩種技術(shù)提高圖像質(zhì)量，其中，圖像增強技術(shù)在圖像處理領(lǐng)域中的應用非常廣泛。所謂的圖像增強技術(shù)一般指根據(jù)圖像特點和處理目的加強圖像的整體或局部特性，很好地保留了圖像邊界和結(jié)構(gòu)信息以及突出圖像中的某些性質(zhì)等，提高了圖像的可判讀性，改善了圖像質(zhì)量，同時，使得圖像變得清晰，便于醫(yī)務人員分析醫(yī)學圖像，并從中獲得更多有價值的信息。（1）直方圖均衡化：使變換后的灰度分布更加的均衡，描述更多圖像細節(jié)。（2）對比度拉伸：基于灰度變換的圖像增強，使圖像亮度達到理想的狀態(tài)。（3）圖像銳化：補償圖像的輪廓，增強圖像的邊緣及灰度跳變的部分，使圖像變得清4.4醫(yī)學圖像可視化技術(shù)醫(yī)學圖像可視化技術(shù)是指利用從實驗中獲得的、掃描器測得的、計算模型合成的醫(yī)學數(shù)據(jù)，重建三維圖像模型，并進行定性定量分析，為用戶提供具有真實感的三維醫(yī)學圖像，使人們更清楚地認識蘊涵在體數(shù)據(jù)中的復雜結(jié)構(gòu)。醫(yī)學影像數(shù)據(jù)一般來源于醫(yī)院的CT或者MRI等設備，醫(yī)學序列圖像經(jīng)三維重建得到的三維數(shù)字可視化醫(yī)學模型，相比于二維圖像能提供組織器官更加直觀的三維立體視覺、顯示更加復雜的空間結(jié)構(gòu)，便于醫(yī)生多角度多層次地觀察和分析，并且能夠使醫(yī)生有效參與數(shù)據(jù)處理與分析的過程，能幫助醫(yī)生做出更加準確的判斷。7T/CIXXX—2023圖4-2醫(yī)學圖像可視化流程由圖可知，醫(yī)學圖像可視化過程需要先讀取CT或MRI圖像切片數(shù)據(jù)，根據(jù)所需的某個器官或者某個圖像區(qū)域?qū)T圖像進行分割，接著再對分割后的圖像進行三維重建，便于醫(yī)生更直觀地觀察病灶尺寸，確定病灶在器官中的位置信息。重建后的結(jié)果能夠提供實時交互功能，供醫(yī)生在不同的觀察角度對器官或者器官內(nèi)存在的病變進行觀察。三維圖像可視化是通過處理一系列二維圖像實現(xiàn)三維重建的技術(shù)。醫(yī)學圖像文件中的圖像信息往往以體數(shù)據(jù)的方式存儲，根據(jù)所要可視化的內(nèi)容，可以將醫(yī)學圖像的可視化劃分為面繪制和體繪制。4.4.1基于面繪制的三維重建面繪制是三維可視化的主要方法之一，在醫(yī)學圖像的三維可視化中應用也十分廣泛。面繪制應用于提取整個數(shù)據(jù)空間中的某些感興趣的數(shù)據(jù)（如從頭顱中提取顱骨即對一系列二維斷層圖像組成的體數(shù)據(jù)進行邊緣檢測等分割處理，根據(jù)這些提取出來的數(shù)據(jù)形成等值面，從而能夠還原出感興趣物體的三維醫(yī)學模型，實現(xiàn)多層面顯示，這樣醫(yī)學工作者就能夠比較直觀、整體地了解目標物體的信息，從而更加有效地對數(shù)據(jù)進行處理與分析。這在仿真手術(shù)、輔助診斷、圖形引導手術(shù)、虛擬內(nèi)窺鏡等領(lǐng)域都具有重大意義。面繪制的流程主要如下：第一步：閾值提取。根據(jù)醫(yī)學影像設備數(shù)據(jù)釆集的特點，醫(yī)學圖像中根據(jù)組織結(jié)構(gòu)的密度等不同特性生成的圖像灰度值的不同，設定相應的閾值，就能夠從醫(yī)學圖像中找到感興趣物體的位置；第二步：等值面生成。經(jīng)過閾值提取后，通過一定的規(guī)則形成拓撲結(jié)構(gòu)從而生成物體表面；第三步：光照模型。通過設置光源與視線形成富有真實感的物體模型。面繪制的核心問題是如何在體數(shù)據(jù)中構(gòu)造等值面。從處理的基本元素來分，目前主要有兩種方式：基于切片的面繪制以及基于體素的面繪制。4.4.2基于體繪制的三維重建8T/CIXXX—2023體繪制主要目標是將三維體數(shù)據(jù)投影在二維平面上，繪制后結(jié)果由多個體素數(shù)據(jù)組成的3維數(shù)組構(gòu)成。直接體繪制也稱為體繪制，是非常重要的可視化算法。與面繪制方法不同，體繪制技術(shù)并不生成中間過渡圖形，直接體繪制則將體數(shù)據(jù)集合中的每個體素看做一個具有一定屬性顏色、不透明度的個體，通過累加體數(shù)據(jù)中每個數(shù)據(jù)對相應二維像素點的貢獻值，直接從三維體數(shù)據(jù)中產(chǎn)生二維圖像，體繪制技術(shù)能夠完整得展示體數(shù)據(jù)的細節(jié)。與面繪制技術(shù)類似，體繪制中也運用到光照模型，不同的是，體繪制以物體對光的吸收原理為基礎，而面繪制中的光照模型則作為增強物體真實感的補充，起渲染作用。體繪制算法的核心問題在于如何計算體數(shù)據(jù)對像素點的貢獻以及圖像的合成。常見的體繪制算法有射線投射法、足跡法、剪切-曲變法、紋理映射法、頻域體繪制法以及基于小波的體繪制。體繪制技術(shù)已有很多相關(guān)算法，雖然實現(xiàn)過程有差別，但這些算法大致流程概括為：數(shù)據(jù)采集及獲取、數(shù)據(jù)預處理、體數(shù)據(jù)分類及體數(shù)據(jù)繪制四個階段。本文著重介紹醫(yī)學圖像體繪制流程，為后續(xù)研究及改進體繪制中的光線投射算法和傳遞函數(shù)設計方法提供相關(guān)理論基礎，如圖2-8所示。圖4-3醫(yī)學圖像體繪制流程第一階段：體數(shù)據(jù)采集及獲取。利用醫(yī)學圖像成像設備對人體進行斷層掃描，采集到二維斷層數(shù)字圖像序列，獲取的CT、MRI等圖像序列，一般采用DICOM格式存儲。第二階段：數(shù)據(jù)預處理。數(shù)據(jù)預處理的目的是為體數(shù)據(jù)分類效果提供保障。第三階段：體數(shù)據(jù)分類。體數(shù)據(jù)分類是體繪制最關(guān)鍵的階段，直接決定著體繪制效果。用傳遞函數(shù)對體數(shù)據(jù)進行分類，傳遞函數(shù)把體數(shù)據(jù)屬性（如顏色及不透明度等）映射成相對應的光學屬性。第四階段：體數(shù)據(jù)繪制。體數(shù)據(jù)繪制是把第三階段的分類結(jié)果渲染到屏幕上，以二維圖像形式在屏幕上顯示。9T/CIXXX—20234.5醫(yī)學圖像特征提取特征提取技術(shù)是從圖像中提取出具有代表性的特征信息，將這些信息轉(zhuǎn)化為計算機可識別、分類的形式。在醫(yī)學圖像處理中，特征提取技術(shù)可以用于疾病的診斷、醫(yī)學圖像的分割與配準等領(lǐng)域，是醫(yī)學圖像處理的重要組成部分。圖像處理要求選取的特征能很好地描述特征，特征提取的原則是：特征的提取應容易方便。選取比較穩(wěn)定的特征，即特征應對噪聲干擾和無關(guān)聯(lián)的變化不敏感。最為重要的是選取的特征一定要有很強的分區(qū)能力。此外，在特征提取中還要考慮一定的先驗知識。所謂的圖像特征一般指圖像有別于其他類型圖像的特性或者屬性，包括圖像的顏色、紋理、形狀和空間關(guān)系特征等4個方面。由于從圖像中所提取的特征能準確描述圖像本質(zhì)的、重要的特征，因而圖像特征提取的質(zhì)量直接影響到圖像分類結(jié)果的準確與否。4.5.1基于顏色的特征提取顏色特征最能直觀的反映出圖像中所含物體或場景的表面性質(zhì)，圖像中的每一個像素點都有自身的存在意義與貢獻。顏色特征不僅能描述全局特征而且還可以捕捉圖像中的局部特征，同時顏色特征本身還具有很好的抗敏感性。雖然顏色特征有其本身的諸多優(yōu)勢，但也有其短板，顏色特征是基于像素點的特征，因此無法涵蓋區(qū)域像素之間的關(guān)系信息、多尺度信息等。常用的顏色特征提取方法有：顏色直方圖、顏色集、顏色矩、顏色聚合向量、顏色相關(guān)圖等。4.5.2基于紋理的特征提取紋理是圖像中不同區(qū)域的紋路和織構(gòu)，反映了區(qū)域內(nèi)像素點的分布情況。紋理是一種重要的視覺線索，對圖像的粗細、疏密有很好的區(qū)分能力。紋理特征是全局特征，與顏色特征都具有對圖像中所含物體或場景表面性質(zhì)的描述能力，但區(qū)別在于紋理特征是一種區(qū)域性特征，其優(yōu)勢是符合人類對客觀事物的視覺習慣，具有旋轉(zhuǎn)不變性和強抗噪性，但缺點是容易受到光照、反射等情況的影響。按照性質(zhì)可將紋理特征提取方法劃分為四類：基于統(tǒng)計的方法、基于信號處理的方法、基于模型的方法和基于結(jié)構(gòu)的方法。基于統(tǒng)計方法是紋理特征提取方法中最常用的一種方法，主要是基于圖像的統(tǒng)計特性對紋理圖像進行分析。雖然圖像的紋理分布情況存在一定的隨機性但在一定程度上統(tǒng)計特性卻更為突出。4.5.3基于形狀的特征提取圖像特征是圖像的一種穩(wěn)定屬性，并不隨圖像尺度、亮度、視角的變化而變化，具有局部不變性。形狀特征包括：側(cè)重于物體外邊界的輪廓特征和針對整個形狀區(qū)域的區(qū)域特征。物體其實都是點、線、面的組合體，常見的形狀特征提取方法有：邊界特征法、集合參數(shù)法、T/CIXXX—2023傅里葉形狀描述符法、形狀不變矩法等。4.5.4基于空間關(guān)系的特征提取空間關(guān)系是指圖像中的多個分割目標間的相互空間位置信息或相對方向關(guān)系信息?？臻g位置信息可分為強調(diào)目標之間的相對情況的相對空間位置信息和強調(diào)目標之間的距離大小以及方位的絕對空間位置信息兩大類。相對方向關(guān)系是指連接/鄰接關(guān)系、交疊/重疊關(guān)系和包含/包容關(guān)系等?？臻g關(guān)系特征有一定的辨別力，但對圖像不具有旋轉(zhuǎn)不變性以及尺度不變性。提取圖像的空間關(guān)系特征一般有兩種方式1）根據(jù)某種分割算法將圖像先分割成多個區(qū)域，然后在這些區(qū)域提取特征并建立索引2）直接將圖像分割成均勻的規(guī)則區(qū)塊，然后提取各個區(qū)塊特征并建立索引。常需要配合其它特征來描述圖像的內(nèi)容。常用的提取圖像空間關(guān)系特征的方法有兩類：基于模型的姿態(tài)估計方法和基于學習的姿態(tài)估計方法。4.5.5基于深度學習的特征提取基于深度學習的方法解決了傳統(tǒng)機器學習方法需要花費時間，手動提取圖像特征并選擇合適方法進行降維的問題，同時能夠獲得高級特征。多尺度特征提取模塊提取圖像的多尺度特征，深度挖掘病灶區(qū)域與周邊組織的上下文信息增強網(wǎng)絡的特征提取能力。使用深度特征提取模塊從通道和空間兩方面著重關(guān)注病灶區(qū)域的局部特征，削弱不相關(guān)信息影響，加強對病灶區(qū)域辨識能力。運用空洞卷積并聯(lián)構(gòu)造增強特征提取模塊，在不損失圖像特征信息前提下提升分類精度，運用卷積替換策略在減少參數(shù)量的同時加強分類性能。特征提取作為語義分割任務中的關(guān)鍵步驟，主要通過深層卷積操作來逐步由淺到深地提取圖像語義信息。特征提取結(jié)構(gòu)可以有效地獲取圖像中的各類特征信息，但在具體的視覺任務中，需要網(wǎng)絡聚焦目標相關(guān)特征，對于目標特征關(guān)注度的提升通常采用注意力機制。多尺度特征融合主要針對目標尺度變化問題，利用深層特征和淺層特征逐步融合的方式來增強網(wǎng)絡的尺度不變性。深度神經(jīng)網(wǎng)絡通常采用卷積操作，卷積是一種局部連接和共享參數(shù)的連接方式，可以學習數(shù)據(jù)中的局部特征，具有多層結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡能夠?qū)\層的局部特征整合成具有高度抽象和表達能力的全局特征，能夠較好地提取出高維數(shù)據(jù)中的有效特征。典型的深度網(wǎng)絡如AlexNet、VGG、Inception網(wǎng)絡及殘差網(wǎng)絡（ResNet)。這些深度卷積網(wǎng)絡都極大地提升了特征提取的性能。針對傳統(tǒng)醫(yī)療圖像表觀特征缺乏深層語義信息的問題，結(jié)合醫(yī)療圖像病灶分割結(jié)果，研究病灶的全局深度特征提取方法，面向重點關(guān)注區(qū)域的局部特征，探索基于多尺度與自適應注意力機制的局部深度特征提取方法，建立全局深度特征與局部深度特征的聚合機制。T/CIXXX—20234.6醫(yī)學圖像特征融合技術(shù)針對高維、異構(gòu)、冗余、含噪的多元病灶特征，研究基于圖變換神經(jīng)網(wǎng)絡的多元望診特征融合策略，探索基于軸向門控注意力機制的融合特征判別性增強方法，實現(xiàn)對可變、虛假、冗余等特征的消除。醫(yī)學圖像特征融合技術(shù)是指將來自不同源頭、不同模態(tài)的醫(yī)學圖像（如CT、MRI、X光等）的特征信息有效地結(jié)合在一起，形成一個綜合的、更全面、更準確的圖像特征表示。這樣的技術(shù)有助于改善醫(yī)學圖像的診斷、治療和監(jiān)測效果，為醫(yī)生提供更全面的信息，增強醫(yī)學圖像的診斷準確性和可靠性。4.6.1多元特征處理（1）特征降維和選擇針對高維特征，可以使用降維技術(shù)，如主成分分析（PCA）或流形學習方法，將特征投影到低維空間，保留主要信息的同時減少冗余。如圖4-4所示，特征降維示意圖。第一步：對數(shù)據(jù)進行標準化處理，確保每個特征的取值范圍相近。這是因為PCA等降維方法依賴于數(shù)據(jù)的方差，如果特征之間的尺度差異很大，會影響降維的效果。將標準化后的數(shù)據(jù)計算特征之間的協(xié)方差矩陣。協(xié)方差矩陣反映了特征之間的線性關(guān)系程度。第二步：對協(xié)方差矩陣進行特征值分解，得到特征值和對應的特征向量。特征向量是新的特征空間的基向量，而特征值表示這些基向量的重要程度。將特征值按從大到小的順序排列，選擇前k個特征值對應的特征向量作為主成分。這里的k是降維后的維度，通常是根據(jù)數(shù)據(jù)的方差貢獻率來確定。第三步：將原始數(shù)據(jù)與選取的主成分組合，將數(shù)據(jù)投影到低維空間，得到降維后的數(shù)據(jù)集。T/CIXXX—2023圖4-4特征降維示意圖對于冗余特征，可以使用特征選擇方法，如相關(guān)系數(shù)分析或互信息，篩選出對任務有用的特征，排除冗余信息。如圖4-5所示，為特征選擇示意圖。圖4-5特征選擇示意圖第一步：確定特征選擇的評估指標，這取決于具體的問題。例如，如果是回歸問題，可以使用相關(guān)系數(shù)或皮爾遜相關(guān)系數(shù)作為評估指標；如果是分類問題，可以使用互信息或基于模型的特征選擇方法等。對每個特征計算所選的評估指標，衡量每個特征與目標變量之間的關(guān)聯(lián)程度或重要性。第二步：將特征根據(jù)評估指標進行排序，或者設置一個閾值，選擇具有較高得分的特征。也可以采用基于模型的特征選擇方法，如遞歸特征消除（RecursiveFeatureElimination，RFE）等。第三步：將選取的特征組合成新的數(shù)據(jù)集，作為輸入用于建模。（2）異構(gòu)特征融合將來自不同醫(yī)學影像模態(tài)或處理方法的異構(gòu)特征進行融合，可以采用圖像配準和對齊技術(shù)，確保不同特征之間空間和尺度的一致性。使用特征融合技術(shù)，如卷積神經(jīng)網(wǎng)絡中的多分支結(jié)構(gòu)，或者圖神經(jīng)網(wǎng)絡中的圖融合模塊，將異構(gòu)特征進行有效的融合，從而獲取更全面的信息。第一步：對不同模態(tài)或處理方法的醫(yī)學影像進行圖像配準和對齊，確保它們在空間和尺度上保持一致。對經(jīng)過配準和對齊的影像，從每個模態(tài)或處理方法中提取特征。這些特征可以是傳統(tǒng)的圖像特征，也可以是基于深度學習的卷積神經(jīng)網(wǎng)絡提取的高級特征。第二步：將從不同模態(tài)或處理方法提取的特征進行融合?？梢允褂镁矸e神經(jīng)網(wǎng)絡中的多分支結(jié)構(gòu)，將每個模態(tài)的特征輸入到不同的分支，然后通過一定的融合策略（如拼接、加權(quán)平均等）將它們合并。另一種方法是使用圖神經(jīng)網(wǎng)絡中的圖融合模塊，將特征表示為圖結(jié)構(gòu)，然后通過圖融合算法將不同模態(tài)的特征融合在一起。第三步：將融合后的特征用于建?；蚱渌t(yī)學圖像處理任務。這些融合后的特征通常能T/CIXXX—2023夠提供更全面的信息，有助于改進診斷、分割、分類等醫(yī)學影像分析任務的性能。（3）含噪特征處理對于含噪特征，可以采用預處理方法，如濾波或去噪技術(shù)，來減少噪聲的影響，并提升特征的質(zhì)量。濾波可以平滑數(shù)據(jù)并去除高頻噪聲，去噪技術(shù)專門處理噪聲，例如小波去噪等。引入魯棒性增強的特征學習方法，如對抗性訓練或稀疏表示等其他技術(shù)，可以增強特征的魯棒性，提高對噪聲的容忍度。4.6.2醫(yī)學圖像配準醫(yī)學圖像配準是將不同模態(tài)、不同時間或不同位置獲取的醫(yī)學圖像進行空間上的對齊，使它們在相同的坐標系下進行比較和分析的過程。醫(yī)學圖像配準對于疾病診斷、手術(shù)規(guī)劃以及治療評估等方面具有重要意義。醫(yī)學圖像配準算法如圖4-6所示。第一步，對要配準的圖像進行預處理，包括去除噪聲、平滑圖像、增強對比度等，以提高配準的準確性。從每幅圖像中提取特征點或特征描述子，用于后續(xù)的圖像匹配。常用的特征提取方法包括SIFT（尺度不變特征變換）、SURF（加速穩(wěn)健特征）等。第二步，采用搜索策略來匹配特征點，常見的有暴力搜索（brute-force）和k-d樹等近似搜索方法，以找到匹配的特征點對。在要配準的圖像中，根據(jù)特征點或描述子之間的相似度，進行特征點匹配。常見的匹配算法有最近鄰匹配、最佳雙向匹配等?；谔卣鼽c的匹配結(jié)果，選擇適合的變換模型來描述圖像之間的幾何變換關(guān)系。常見的變換模型包括剛體變換、相似變換、仿射變換和非剛性變換等。第三步，根據(jù)選定的變換模型，對圖像進行配準。這涉及到將目標圖像轉(zhuǎn)換到參考圖像的坐標系中，使它們對齊。配準后，通常需要對配準結(jié)果進行評估，檢查是否達到預期的準確性和可靠性。如果需要，可以進行迭代優(yōu)化，改進配準結(jié)果。圖4-6醫(yī)學圖像配準算法4.6.3基于圖變換神經(jīng)網(wǎng)絡的多元望診特征融合策略望診是中醫(yī)傳統(tǒng)診斷方法之一，涉及到對患者的臉部、舌苔等特征進行觀察和分析。圖變換神經(jīng)網(wǎng)絡是一種基于圖數(shù)據(jù)的深度學習方法，能夠有效處理非結(jié)構(gòu)化的圖像數(shù)據(jù)。在望T/CIXXX—2023診圖像特征提取和圖變換神經(jīng)網(wǎng)絡基本原理的基礎上，設計多元望診特征融合策略。這個策略將綜合利用臉部特征和舌苔特征，通過圖變換神經(jīng)網(wǎng)絡將它們進行有效融合，以獲得更具診斷能力的綜合特征。將臉部特征和舌苔特征轉(zhuǎn)換成圖形數(shù)據(jù)，構(gòu)建望診特征圖。設計適合望診特征圖的圖變換神經(jīng)網(wǎng)絡結(jié)構(gòu)，用于學習和融合多元望診特征。在圖變換神經(jīng)網(wǎng)絡中，進行多元望診特征的融合與學習。這包括基于圖卷積和注意力機制的特征融合，以及端到端的學習過程。通過以上步驟，可以實現(xiàn)基于圖變換神經(jīng)網(wǎng)絡的多元望診特征融合。4.6.4基于軸向門控注意力機制的特征判別性增強方法特征判別性增強方法是為了提高醫(yī)學圖像特征的判別能力，減少冗余特征和排除虛假特征而設計的一種技術(shù)。在醫(yī)學圖像特征融合中，由于特征可能存在冗余和噪聲，對于重要特征的判別能力的增強尤為重要。特征判別性增強方法旨在通過引入軸向門控注意力機制，對多元望診特征進行加權(quán)和選擇，從而提高重要特征的判別能力，降低冗余和噪聲特征的影響。軸向門控注意力機制通過學習到的權(quán)重向量，自動地對特征進行加權(quán)，使得對于關(guān)鍵的特征具有較高的權(quán)重，而對于無關(guān)或冗余的特征具有較低的權(quán)重，從而增強特征的判別性。軸向門控注意力機制由兩個主要部分組成：門控機制和注意力機制。在門控機制中，引入門控單元來學習特征的重要程度，它通過學習到的門控權(quán)重來控制特征的激活與抑制。在注意力機制中，通過計算特征與門控權(quán)重的點積得到特征的注意力權(quán)重，進而對特征進行加權(quán)。這個過程能夠使得在特征融合過程中，重要的特征得到強化，無關(guān)的特征得到抑制，從而增強特征的判別性。將軸向門控注意力機制引入多元望診特征融合策略中。在特征融合階段，將望診圖像中的臉部特征和舌苔特征分別作為輸入，并通過軸向門控注意力機制對它們進行特征判別性增強。注意力機制將計算不同特征與門控權(quán)重的點積，得到每個特征的注意力權(quán)重，然后將這些注意力權(quán)重與特征相乘，以得到特征加權(quán)后的結(jié)果。這樣，將增強對于診斷重要的特征，抑制對診斷無關(guān)的特征，從而實現(xiàn)對多元望診特征的優(yōu)化和判別性增強。4.7疾病診斷及病勢推演技術(shù)圍繞中醫(yī)望診圖像、病理圖像、心臟超聲圖像、皮膚圖像，依據(jù)病灶融合特征與中西醫(yī)辨證/辨病體系，研究基于因果強化學習的疾病智能診斷策略，探索疾病的病勢轉(zhuǎn)化與動態(tài)推演模型，實現(xiàn)對患者的智能準確診斷。4.7.1構(gòu)建因果推斷模型T/CIXXX—2023在醫(yī)學圖像分析和疾病智能診斷領(lǐng)域，準確理解疾病與醫(yī)學圖像之間的因果關(guān)系對于提高診斷準確性和效率至關(guān)重要。因此，本標準旨在構(gòu)建因果推斷模型，從大量的醫(yī)學圖像和病例數(shù)據(jù)中挖掘出特征之間的因果關(guān)聯(lián)，以幫助理解不同特征之間的因果影響，并為智能診斷器提供更準確的信息和決策支持。第一步：進行數(shù)據(jù)預處理和特征工程，確保數(shù)據(jù)的質(zhì)量和準確性。第二步：基于預處理后的特征數(shù)據(jù)，需要進行因果關(guān)系挖掘。這可以通過因果推斷方法來實現(xiàn)，如因果圖模型、結(jié)構(gòu)方程模型等。因果關(guān)系挖掘的目標是找出不同特征之間的因果關(guān)系，即哪些特征對于疾病診斷起到關(guān)鍵作用。第三步：在因果關(guān)系挖掘的基礎上，構(gòu)建因果推斷模型。這個模型可以是基于統(tǒng)計學方法的，如概率圖模型，也可以是基于機器學習的，如深度神經(jīng)網(wǎng)絡。模型的選擇和構(gòu)建需要根據(jù)具體任務和數(shù)據(jù)特點進行考慮。構(gòu)建完因果推斷模型后，需要對模型進行評估和優(yōu)化。評估可以使用交叉驗證等方法來驗證模型的性能和泛化能力。根據(jù)評估結(jié)果，對模型進行優(yōu)化，調(diào)整模型參數(shù)和結(jié)構(gòu)，以提高模型的性能和效果。4.7.2疾病智能診斷器構(gòu)建與訓練在構(gòu)建疾病