T-CIATCM 111-2024 中醫(yī)四診合參病案數(shù)據(jù)處理和融合規(guī)范

ICS35.240.80DataProcessingandIntegrationStandardsforMedicalCaseswithCombiDiagnosticMethodsofTraditionalChineseMedicine中國中醫(yī)藥信息學會發(fā)布IT/CIATCM111—2024 2規(guī)范性引用文件 3術語和定義 4規(guī)范性技術要素 4.1總體規(guī)范內(nèi)容 4.2總體數(shù)據(jù)流程圖 4.3具體規(guī)范內(nèi)容 附錄A（規(guī)范性附錄）數(shù)據(jù)安全規(guī)范 A.1系統(tǒng)安全要求 T/CIATCM111—2024本文件參照GB/T1.1—2020《標準化工作導則第1部分:標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責任。本文件由中國中醫(yī)科學院醫(yī)學實驗中心提出。本文件由中國中醫(yī)藥信息學會歸口。本文件起草單位：中國中醫(yī)科學院醫(yī)學實驗中心、清華大學、博奧生物集團有限公司、上海中醫(yī)藥大學、天津帕斯泰克醫(yī)療器械有限公司、成都中醫(yī)藥大學、北京中醫(yī)藥大學東直門醫(yī)院、蘇州思必馳科技有限公司。本文件主要起草人：汪南玥、徐華、李福鳳、王東、溫川飆、劉佳、田貴華、錢鵬、王文君、駱學榮、吳至婧、余文夢、毛惠生、李心怡、周躍。T/CIATCM111—2024中醫(yī)四診合參是中醫(yī)診斷中最重要的思想之一，中醫(yī)四診客觀化數(shù)據(jù)進行融合研究是中醫(yī)診斷現(xiàn)代化的必然發(fā)展趨勢。中醫(yī)四診合參數(shù)據(jù)源自中醫(yī)的“望聞問切”四種診斷方式，結(jié)合多種中醫(yī)診斷設備，采集受試者后得到的文本、音頻和圖片等多模態(tài)數(shù)據(jù)。由于采集過程的長期性、多種診斷模式以及處理數(shù)據(jù)、分析方法的復雜性，使中醫(yī)四診合參數(shù)據(jù)處理及融合進展緩慢。本文件通過對四診合參中的多個單模態(tài)數(shù)據(jù)的數(shù)據(jù)采集及數(shù)據(jù)格式、數(shù)據(jù)處理過程進行規(guī)范，并將多個單模態(tài)特征融合的過程進行規(guī)范，這樣，可以更好地綜合各個模態(tài)特征的優(yōu)勢，挖掘數(shù)據(jù)的潛能，從而提升病情預測的準確率。1T/CIATCM111—2024中醫(yī)四診合參病案數(shù)據(jù)處理和融合規(guī)范本文件通過對四診合參中的多個單模態(tài)數(shù)據(jù)的采集、格式、處理過程進行規(guī)范并對多個單模態(tài)特征融合的過程進行規(guī)范，可開展四診合參數(shù)據(jù)的處理、分析與研究工作。本文件適用于中醫(yī)四診合參數(shù)據(jù)的采集、處理及融合應用，中醫(yī)師、中西醫(yī)結(jié)合醫(yī)師、臨床數(shù)據(jù)采集人員、相關科研人員、數(shù)據(jù)分析人員等可依據(jù)本文件，在中醫(yī)科研機構(gòu)、數(shù)據(jù)分析機構(gòu)、中醫(yī)醫(yī)療機構(gòu)、中醫(yī)藥企業(yè)等適合場所開展中醫(yī)四診合參數(shù)據(jù)處理、分析與融合等研究工作。2規(guī)范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T40665.1—2021中醫(yī)四診操作規(guī)范第1部分：望診GB/T40665.2—2021中醫(yī)四診操作規(guī)范第2部分：聞診GB/T40665.3—2021中醫(yī)四診操作規(guī)范第3部分：問診GB/T40665.4—2021中醫(yī)四診操作規(guī)范第4部分：切診T/CIATCM058—2019中醫(yī)藥信息標準編制通則3術語和定義下列術語和定義適用于本文件3.1數(shù)據(jù)采集dataacquisition工作人員使用輔助設備對受試者進行數(shù)據(jù)收集的過程，包括望診數(shù)據(jù)，主要為舌、面診與目診的圖片采集；聞診數(shù)據(jù)主要為音頻的采集；問診數(shù)據(jù)，主要通過臨床量表與相關生理參數(shù)填寫的文本表格數(shù)據(jù)；切診數(shù)據(jù)主要為脈搏波信號數(shù)據(jù)。3.2數(shù)據(jù)處理dataprocessing指將望聞問切的原始數(shù)據(jù)轉(zhuǎn)換為對應特征向量的過程。該過程包含數(shù)據(jù)預處理，如舌、面診與目診的圖片，音頻降噪等；以及特征提取等步驟。3.3數(shù)據(jù)融合datafusion指考慮不同模態(tài)的特異性和互補性，從而進行有效的特征拼接、張量融合等方法對望聞問切“四診”特征的有效融合和預測，融合后的特征包含更全面的信息，增強數(shù)據(jù)可靠性。4規(guī)范性技術要素4.1總體規(guī)范內(nèi)容中醫(yī)四診合參數(shù)據(jù)，是通過對受試者進行中醫(yī)“望聞問切”四種診斷方式，結(jié)合多種中醫(yī)診斷設備，2T/CIATCM111—2024采集得到的文本、音頻和圖片等多模態(tài)數(shù)據(jù)。四診合參數(shù)據(jù)主要包括以下四個方面的內(nèi)容：a）望診數(shù)據(jù)（圖片，主要為舌、面診與目診）b）聞診（聲音）數(shù)據(jù)（音頻，聲音的采集）c）問診數(shù)據(jù)（表格數(shù)據(jù)，臨床量表與相關生理參數(shù)的填寫）d）切診（脈診）數(shù)據(jù)（文本數(shù)據(jù)，為脈搏波的信號數(shù)據(jù)）在獲得上述數(shù)據(jù)后，需結(jié)合計算機算法輔助進行數(shù)據(jù)處理和數(shù)據(jù)融合，以便后期數(shù)據(jù)分析，達到更好的診斷目的。因此，本文件主要涵蓋以下三方面的內(nèi)容：a）數(shù)據(jù)采集、格式規(guī)范：明確開展病例數(shù)據(jù)采集內(nèi)容、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)格式等要求，內(nèi)容引用《中醫(yī)四診信息病案數(shù)據(jù)采集規(guī)范》標準。b）數(shù)據(jù)處理規(guī)范：明確采集到的四診信息數(shù)據(jù)所需要進行的預處理方法和流程，即將原始數(shù)據(jù)轉(zhuǎn)換為各個單模態(tài)特征。c）數(shù)據(jù)融合規(guī)范：明確不同單模態(tài)特征的融合方法和流程，最終得到分類器所需的融合特征表示。4.2總體數(shù)據(jù)流程圖總體上，三方面數(shù)據(jù)內(nèi)容的關系見圖1。圖1總體數(shù)據(jù)流程圖4.3具體規(guī)范內(nèi)容4.3.1數(shù)據(jù)采集規(guī)范a）望診數(shù)據(jù)（圖片，主要為舌、面診與目診）采集，在封閉環(huán)境下保證固定的光照，使用高分辨率的數(shù)字相機或智能手機的相機功能進行圖片采集。確保相機設置為適當?shù)那夜潭ǖ慕嵌群途嚯x，以便捕捉的圖像便于處理。b）聞診（聲音）數(shù)據(jù)（音頻，聲音的采集），使用高質(zhì)量的錄音設備或智能手機的錄音功能進行音頻采集。在采集音頻數(shù)據(jù)之前，確保設備處于良好的工作狀態(tài)，并選擇一個相對安靜的環(huán)境，以減少背景噪音的干擾。將麥克風或錄音設備放置在合適的位置，以捕捉病人的聲音、呼吸或其他需要記錄的音頻信號。c）問診數(shù)據(jù)（表格數(shù)據(jù)，臨床量表與相關生理參數(shù)的填寫），使用電子表格、文檔編輯器或?qū)ｉT的數(shù)據(jù)采集工具來記錄文本數(shù)據(jù)，設計合適的表單或模板來收集病人的相關信息，如年齡、身高、現(xiàn)病史、家族史等。在采集文本數(shù)據(jù)時，確保使用清晰、簡潔的語言，并盡可能詳細地記錄相關的醫(yī)療信息。d）切診（脈診）數(shù)據(jù)（文本數(shù)據(jù)，為脈搏波的信號數(shù)據(jù)），使用脈搏測量儀器（如血壓計、心電圖儀等）來采集病人的脈搏數(shù)據(jù)。遵循正確的操作步驟和技術，確保準確測量和記錄脈搏數(shù)據(jù)。3T/CIATCM111—20244.3.2數(shù)據(jù)處理規(guī)范“望聞問切”四診數(shù)據(jù)的存在形式不一，所需要的處理方式亦不同。數(shù)據(jù)處理規(guī)范涵蓋望、聞、問、切四診的數(shù)據(jù)處理，適用于數(shù)據(jù)分析人員對四診合參數(shù)據(jù)進行數(shù)據(jù)處理和特征提取。a）望診數(shù)據(jù)處理規(guī)范包括舌、面診與目診數(shù)據(jù)處理規(guī)范。每位受試者的舌、面診數(shù)據(jù)包括三張圖片，分別對應舌面、舌底和面部特征。面部圖片分析中應包含至少5個區(qū)域，分別為額頭、鼻部、右頰、左頰、下頜五大區(qū)域；舌診需要包含舌面與舌下絡脈兩部分內(nèi)容的分析：舌面需要進行舌體分割與苔質(zhì)分離，并分別進行舌質(zhì)顏色、舌苔顏色、舌體面積、是否有齒痕、是否有裂紋等關鍵參數(shù)分析；舌下絡脈需要進行絡脈分割，并分別進行顏色、長短、粗細、迂曲走形的分析。目診數(shù)據(jù)包括左眼和右眼共十張圖片，每組圖片分別對應雙眼正視、左視、右視、上視，見圖2。具體處理步驟：①舌面、舌底以及眼部位在圖片中的占比較低，需要先實現(xiàn)對應的語義分割提取網(wǎng)絡，從原始圖像中提取舌上和舌下等局部圖像區(qū)域；②設計五個部位的特征提取網(wǎng)絡；③拼接上述特征，得到望診數(shù)據(jù)的特征表示。在圖像語義分割過程中去除異常分割像素點。圖2望診數(shù)據(jù)處理規(guī)范圖示b）聞診（聲音）數(shù)據(jù)處理規(guī)范聞診數(shù)據(jù)采集的受試者發(fā)出特定語音與語句時錄制的語音音頻數(shù)據(jù)。具體處理步驟：①使用音頻特征提取器（eGeMAPS）從受試者的聲音中提取出若干維統(tǒng)計學特征，采樣率設置為16000；②由于提取的特征時序長短不一，使用0對時序短的特征進行填充；③得到聞診數(shù)據(jù)的特征表示。聞診數(shù)據(jù)處理4T/CIATCM111—2024規(guī)范圖示見圖3。聞診信息處理特征需包括：基頻、諧波、共振峰及其頻率、相位與幅值等參數(shù)。圖3聞診數(shù)據(jù)處理規(guī)范圖示c）問診數(shù)據(jù)處理規(guī)范問診數(shù)據(jù)為記錄受試者信息的若干個表項數(shù)據(jù)，比如年齡、身高、現(xiàn)病史、家族史等，每一個表項均可視為一個特征，具體處理步驟：①將非數(shù)值型特征進行數(shù)值化處理；②設計特征提取網(wǎng)絡；③得到問診數(shù)據(jù)的特征表示。問診數(shù)據(jù)處理規(guī)范圖示見圖4。圖4問診數(shù)據(jù)處理規(guī)范圖示d）脈診數(shù)據(jù)處理規(guī)范脈診數(shù)據(jù)指每位受試者6個部位（左右手的寸、關、尺）的脈搏搏動監(jiān)測值。具體處理步驟：①根據(jù)脈診數(shù)據(jù)繪制波形圖，設計波形模式挖掘網(wǎng)絡，提取出模式特征；②將脈診數(shù)據(jù)視為信號數(shù)據(jù)，首先使用傳統(tǒng)信號處理方法對輸入數(shù)據(jù)進行歸一化、降噪處理和去除基準漂移，然后計算數(shù)據(jù)的平均周期波形并獲取平均周期特征。設計信號特征提取網(wǎng)絡，從而提取出信號特征；③拼接以上兩種特征，得到脈診數(shù)據(jù)的特征表示。脈診信息特征需包含體現(xiàn)中醫(yī)位、數(shù)、形、勢等關鍵特征的參數(shù)，如脈力、脈位、脈率、節(jié)律、脈形等信息，并進行6部脈相關參數(shù)自身對照或與健康基線進行對照。脈診數(shù)據(jù)處理規(guī)范圖示見圖5。5T/CIATCM111—2024圖5脈診數(shù)據(jù)處理規(guī)范圖示4.3.3數(shù)據(jù)融合規(guī)范對于望聞問切四種模態(tài)信息，首先會用各自的方法提取出相對成熟的特征向量。這四種模態(tài)的特征向量的維度不一定相同，對于特征維度不同的情況，首先會人為選定一個標準的維度，然后按照這個標準維度，對各個模態(tài)的特征進行線性變換，讓特征的維度都保持一致。對于維度對齊后的特征向量，可以采用不同方法進行模態(tài)融合。具體有兩類融合方法：a）平凡融合方法，包括第一維度拼接，加權求和，將四種特征向量按順序進行拼接，形成一個更大的特征向量。這種方法簡單有效，直接將各個模態(tài)的特征信息串聯(lián)起來。b）基于深度學習的融合方法，對于這一類方法，會額外構(gòu)建一個模態(tài)融合網(wǎng)絡，這個網(wǎng)絡接收四種模態(tài)的特征向量為輸入，輸出為一個向量，即為望聞問切四種模態(tài)融合后的特征向量。通過實驗驗證，基于深度學習的融合方法表現(xiàn)比平凡融合方法會更好。得到融合后的特征向量之后，將融合后的特征輸入到無偏置線性層，通過線性映射將特征維度映射到與分類器對應的特征維度。這一步驟有助于提取出最能表達中醫(yī)“四診”多模態(tài)信息的有效融合表達。實現(xiàn)將多個單模態(tài)特征進行融合，綜合利用各個模態(tài)的信息，得到一個綜合且有效的“四診”多模態(tài)特征表示。數(shù)據(jù)融合流程圖示見圖6。圖6數(shù)據(jù)融合流程圖示6T/CIATCM111—2024