深度學習算法在面向行為分析的抑郁癥輔助診斷中的研究進展

1、摘要近十年來，人工智能技術(shù)快速發(fā)展并逐漸由學術(shù)界泄向產(chǎn)業(yè)界，其在醫(yī)療領域的應用也逐漸 深入。受技術(shù)和倫理的局限，人工智能在醫(yī)療領域更多處于輔助決策的地位。抑郁癥作為一種常見的精神障礙，苴發(fā)病率在全球日益增長，如何利用以深度學習為代表的人工智能技術(shù)手段實現(xiàn)對抑郁癥的篩查和診斷，促進抑郁癥早發(fā)現(xiàn)和及時治療，具有十分重要的意義。我們對近幾年以人工智能為手段的抑郁癥輔助診斷技術(shù)進行了文獻調(diào)研和總結(jié)，主要從人臉表情、語音語調(diào)、文本語義、姿態(tài)行為及多模態(tài)數(shù)據(jù)融合 5個方而入手，介紹人工智能在而向 患者日常行為分析的抑郁癥輔助 診斷方而的研究進展。抑郁癥是一種常見精神障礙，目前占全球疾病負擔第二位廣。抑郁癥

2、的高發(fā)病率、高致殘率、高復發(fā)率、高社會經(jīng)濟成本，對個人、家庭和社會造成沉重的負擔。抑郁癥的診斷缺乏生物診斷”金標準，需要結(jié)合患者當前的精神狀態(tài)和既往史，診斷在很大程度上具有不確左性2,主要依賴于精神科醫(yī)生的主觀評估，例如參考 DSM-5或者ICD-10,這對臨床醫(yī)生的診療水平提出了較高的要求。目前抑郁癥診斷的方法多局限于量表， 包括自評疑表和他評量表。 自評量表的優(yōu)點是簡便、 經(jīng)濟, 但是與臨床訪談相比，自評量表未考慮患者臨床癥狀的含義，也不具備根據(jù)個體特征、共想英他精神和軀體疾病、以及潛在的重要生活事件進行修正的能力，也無法有效地進行抑郁癥亞型的判斷，嚴重程度也可能會受到所問問題的限制，如有

3、意（如違背規(guī)范）或無 意（如主觀、自我 傾向、社會期望和默許）的影響，導致評估結(jié)果無法反映出抑郁癥患者的真實抑郁程度叫此外，假陽性診斷的可能性。統(tǒng)計臨床醫(yī)生可能把正常的悲傷（如喪親）與抑郁混淆起來，從而增加假陽性診斷的可能性。統(tǒng)計數(shù)據(jù)表明，全科醫(yī)生只能正確識別 47.3%的抑郁癥患者，存在 很大比例的漏診及誤診， 而誤診 導致治療不足或者治療過度。尋找一套生物學、生理學和行為學標志物來輔助臨床評估的研究日益增多，機器學習、人工智能和行為信號處理的最新進展使研究人員能夠?qū)⒁钟舭Y輔助診斷視為一個建模決策問題,采用一系列的方法更好地疑化抑郁癥狀態(tài)評估 ？。主要是利用外部設備記錄患者在試驗過程中的生理

4、或行為數(shù)據(jù)，包括音頻、視頻、文本、功能磁共振成像圖像、腦電信號、眼球運動、運動姿態(tài)等。通過分析生理或行為數(shù)據(jù)并提取相應特征，實現(xiàn)抑郁癥患者和健康對照者的分類，這些方法可以大大簡化測試過程，提高識別精度。我們將從人臉表情、語音語調(diào)、文本 語義、姿態(tài)行為分析及多模態(tài)數(shù)據(jù)融合 5個方面詳細介紹抑郁癥輔助診斷的研究進展。一、人臉表情抑郁狀態(tài)檢測在人類的交流活動中，超過一半的基于視覺的非言語行為用繞在而部區(qū)域。研究發(fā)現(xiàn)，抑郁癥患者會出現(xiàn)典型的“抑郁而容，如額頭緊縮、雙眉間呈,JI卜字形、嘴角下垂、瞬目次數(shù)減少、頭部前傾、目光向下等 9。因此，研究者引入計算機視覺技術(shù)來檢測患者的抑郁狀態(tài)。目前基于而部表情

5、的抑郁癥狀態(tài)分析方法大致可分為三類：第一類是基于形狀特征的方法，根據(jù)人臉的幾何特征進行關(guān)鍵點立位，提取而部特征；第二類是基于外觀特征的皮膚紋理分析方法；第三類是混合方法，同時提取形狀特征和外觀特征進行分析10。以抑郁量表（例如：貝克抑郁量表第2版）評估結(jié)果為標簽，Zhu等設計一種可以同時捕捉人臉外觀和動態(tài)特性的深度卷積神經(jīng)網(wǎng)絡模型，模型能夠很好地刻畫面部動力學特征，而患者面部動態(tài)信息對抑郁癥的初步診斷具有重要意義eZhou等則在深度卷積神經(jīng)網(wǎng)絡的基礎上設il?基于注意力（attention-based ）的特征聚合機制，進一步提升面部特征提取的性能。Bhatia等”使用直接人臉分析技術(shù)如監(jiān)督下

6、降法和間接人臉分析技術(shù)如來自三個正交平而的局部二值模式方法進行特征抽取，采用支持向戢機對提取的幾何特征和紋理特征進行抑郁狀態(tài)分類。目前關(guān)于人臉抑郁狀態(tài)的檢測方法正處于不斷探索之中，這些發(fā)現(xiàn)表明抑郁癥自動檢測的可行性，提出的自動化而部圖像分析病情狀態(tài)對臨床理論和實踐有著令人振奮的意義。二、語音抑郁狀態(tài)檢測近年來，利用語音來自動檢測精神疾病的研究越來越多。研究發(fā)現(xiàn)，抑郁患者的聲音常常表現(xiàn)為,說話時聲音低沉、緩慢、猶豫、單調(diào)，有時口吃、低語，在說出一個詞之前猶豫不決，在句子中間則經(jīng)常變得沉默門。其他相關(guān)研究也發(fā)現(xiàn)抑郁癥患者的語音變化存在較長的停頓、較差的可懂度、不精確的輔音、較低的聲音強度、遲鈍的韻

7、律和其他異常的音質(zhì)特征-O流行的抑郁癥語音分析特征包括：音調(diào)、強度、說話速 率、聲門波形值（即Teager能量算子）和倒譜值（即梅爾頻率倒譜系數(shù)）。主要 從韻律、音質(zhì)、頻譜和聲門 4個方而研究基于語音的抑郁癥輔助診斷以抑郁屋表（例如漢密爾頓抑郁疑表）度量抑郁嚴重程度，從韻律、音質(zhì)、頻譜和聲門提取多 種語音特征，借助機器學習方法建立回歸模型進行抑郁狀態(tài)的判斷o Alhanai等18則使用長-短期記憶神經(jīng)網(wǎng)絡模型分析音頻和文本特征的交互作用，通過交互過程進行抑郁狀態(tài)的輔助檢測。Huang等”使用長-短期記憶神經(jīng)網(wǎng)絡模型進行連續(xù)情緒識別，采用 eGeMAPS （ extendedgeneva min

8、imalistic acoustic parameter set ） 特征集作為基線音頻特征描述，由 23個聲學描述符組成，包括能呈：、頻譜和倒譜特征、 音調(diào)、語音 質(zhì)量和微韻律特征，測試集由德語和匈牙利語組成，研究表明同一模型在不同語種下的測試準確度存在較大差異。基于語音的抑郁癥分析模型可以廣泛部署于復雜場景，例如使用電話或基于互聯(lián)網(wǎng)語音協(xié)議的系統(tǒng)對易感個體進行遠程監(jiān)控，同時拓展到臨床實踐中，包括新的輔助診斷手段和輔助培訓手段。三、基于文本語義的抑郁狀態(tài)檢測基于文本語義的抑郁狀態(tài)檢測其數(shù)據(jù)來源主要有兩類，社交媒體數(shù)拯和電子醫(yī)療數(shù)據(jù)?；谏缃幻襟w數(shù)據(jù)分析方而，特征表示、神經(jīng)網(wǎng)絡、強化學習 2。

9、、語義圖”等方法 被用于建立抑郁狀態(tài)同文本語義之間的關(guān)系，探索使用文本信息檢測抑郁癥的可能性。黃智生等妙采用知識圖譜技術(shù)建立針對網(wǎng)絡媒體（如：新浪微博）的監(jiān)控，并發(fā)布相應的自殺風險等級，為自殺救助提供決策依據(jù)，取得了廣泛的社會影響。 基于電子醫(yī) 療數(shù)據(jù)分析方面，Yang等23提出了一個利用Doc2vec和文本卷積神經(jīng)網(wǎng)絡對被訪談 者是否有抑郁傾向進行分類的框架。Vaci等也使用自然語言處理方法從臨床文本中 自動抽取抑郁癥患者相關(guān)信息，促進電子醫(yī)療數(shù)據(jù)在心理健康研究方而的使用?；谖谋菊Z義的抑郁狀態(tài)檢測主要采用自然語言處理、知識圖譜、深度神經(jīng)網(wǎng)絡等方法構(gòu)建模型實現(xiàn)抑郁狀態(tài)檢測。其所使用的兩類主要

10、數(shù)據(jù)源務有英優(yōu)缺點，社交媒體數(shù)據(jù)具有數(shù)據(jù)量大、易于獲取的優(yōu)點，但存在價值密度低的缺點；電子醫(yī)療數(shù)據(jù)具有價值密度高、針對性強等優(yōu)點，同時存在隱私保護、難于獲取等局限。四、姿態(tài)行為抑有B狀態(tài)檢測行為特征，如身體動作、手勢、眼動和周期性的肌肉運動已經(jīng)廣泛用于抑郁癥分析。相關(guān)研究可以從視頻圖像序列中跟蹤一些關(guān)鍵點或部分關(guān)節(jié)，然后合并恢復人體的姿 態(tài)結(jié)構(gòu)，并對人的行為進行識別、判斷、跟蹤與理解。Kacem等刃從視頻中提取、預處理運動特征，并使用高斯混合模型和費雪矢量進行運動特征編碼，結(jié)果表明而部運 動的速度和加速度可以作為抑郁癥識別的顯著特征，基于該特征可以實現(xiàn)抑郁程度的分類。此外，有研究發(fā)現(xiàn)抑郁癥患者

11、的眼睹運動有明顯的特性，可以檢測出這種細微變化作為抑郁癥特征的生物標記物。Li等*6提取基于注視、眼跳、瞳孔大小等眼動數(shù)據(jù)，利用基于分類技術(shù)的眼動特征來區(qū)分抑郁癥患者和非抑郁癥患者。Pan等”以情緒面孔作為視覺刺激，收集參與者的反應時間數(shù)據(jù)和眼動數(shù)據(jù)，利用支持向量機對抑郁癥患者和健康對照組進行分類。Wang等2*結(jié)合心理健康自測數(shù)據(jù)和眼動數(shù)據(jù)，提取包括眼動、記憶特征、認知特征和網(wǎng)絡行為等多模態(tài)特征，提出一個掃描疊加模型 來捕捉特征之間復雜的非線性關(guān)系，建立抑郁狀態(tài)檢測模型。五、基于多模態(tài)數(shù)據(jù)融合的抑郁狀態(tài)檢測高檢測準確通過多模態(tài)數(shù)據(jù)融合實現(xiàn)抑郁狀態(tài)檢測已經(jīng)有許多研究，研究者試圖從新的角度來提高

12、檢測準確率，主要采用視頻、語音、文本結(jié)合的多模態(tài)數(shù)據(jù)來綜合評價受試者的狀態(tài)，期望能夠提高抑郁癥檢測水平。這方而的研究重點主要體現(xiàn)在兩個部分：單模態(tài)數(shù)據(jù)特征的提取和多模態(tài)特征數(shù)拯的融合。Yang等29設計一個混合架構(gòu)的抑郁癥分 類評估模型，包含3個主要部分：(1)基于 深度卷積神經(jīng)網(wǎng)絡 (deepconvolutional neural network, DCNN )和深度神經(jīng)網(wǎng)絡 (deep neural networks, DNN )的視聽多模態(tài)抑郁癥識別框架；(2)基于支持向量機和隨機森林的抑郁癥分類框架：(3)融 合DCNN-DNN模型的視聽多元回歸抑郁癥分類模型。Jan等皿利用深度學習

13、方法從而部表情框架中提取關(guān)鍵視覺特征，從短音頻片段中提取頻譜低層描述符和梅爾頻率倒譜系數(shù)特征，并且提出了特征動態(tài)歷史直方圖來捕捉特征空間上的時序變化，最后作者使用回歸技術(shù)將這些特征動態(tài)歷史直方圖和音頻特征融合，以預測貝克抑郁屋表第2版抑郁量表分數(shù)。多模態(tài)數(shù)據(jù)融合方法方而，學術(shù)界往往將特征融合和決策結(jié)果生成統(tǒng)一考慮，在全局特征維度進行不同模態(tài)數(shù)據(jù)的融合和決策結(jié)果的生成。例如 ：Yin等曲提出了一種多模態(tài)的分層遞歸神經(jīng)網(wǎng)絡 結(jié)構(gòu)方法，將視覺、聽覺和文本特征結(jié)合起來用于抑郁癥的檢測，采用兩層的雙向長-短期記憶神經(jīng)網(wǎng)絡模型實現(xiàn)多模態(tài) 特征融合并預測抑郁癥的嚴重程度。Gui等提出一種全新的多代理協(xié)同模型

14、，模型 從社交媒體中自動抽取抑郁癥相關(guān)的文本特征和視覺特征，并通過特征關(guān)聯(lián)自動進行 特征融合，實現(xiàn)更好的性能和健壯性 (robustness)。Makiuchi等提出了一個基于語音和語義的多模態(tài)特征融合的抑郁癥檢測手段，采用幾種不同的深度模型實現(xiàn)單模態(tài)數(shù)據(jù)特征的提取，最后通過全連接層實現(xiàn)多模態(tài)數(shù)據(jù)特征的融合并估計抑郁程度。Qureshi等?提出一種新的基于多任務學習的深度神經(jīng)網(wǎng)絡模型，模型實現(xiàn)語音、文本和視覺數(shù)據(jù)的融合，通過回歸和分類實現(xiàn)抑郁嚴重程度的判斷六、總結(jié)與展望療等技術(shù)的以5G為代表的新一代網(wǎng)絡基礎設施、高性能計算設備、大數(shù)據(jù)、人工智能及智慧醫(yī)療等技術(shù)的路和醫(yī)療手段也提出了突破與應用，

15、為互聯(lián)網(wǎng)醫(yī)院的發(fā)展奠泄了良好的基礎，同時對新的醫(yī)療思路和醫(yī)療手段也提出了更高要求。而互聯(lián)網(wǎng)醫(yī)院的發(fā)展為精神疾病的診療開辟了新的模式，海量問診數(shù)據(jù)和人工智能算法為智能抑郁癥輔助診斷系統(tǒng)的開發(fā)奠泄了技術(shù)基礎?；谀壳暗陌l(fā)展狀態(tài)，開發(fā)這樣一個系統(tǒng)目前仍存在許多局限：第一，臨床標簽數(shù)據(jù)的匱乏，算法的建立需要以標簽數(shù)據(jù)為基礎建立對特定領域的認知，往往需要有 經(jīng)驗的專業(yè)醫(yī)師進行數(shù)據(jù)標注的工作，醫(yī)療資源的匱乏導致這方而的工作不夠完全：第二，大型臨床數(shù)據(jù)集的缺乏，目前輔助診斷模型的構(gòu)建往往基于公共數(shù)據(jù)集，而人 工智能技術(shù)需要在全而且復雜真實環(huán)境下不斷迭代優(yōu)化才能取得性能的提升：第三，生物醫(yī)學數(shù)據(jù)管理問題，患者醫(yī)療數(shù)拯面臨隱私保護的問題，獲取時需要獲得患者的知情同意，數(shù)據(jù)使用授權(quán)問題對應用的構(gòu)建造成影響。解決以上問題，需要跨學科的深入交叉合作，通過制度等多方面的變革來推動人工智能在醫(yī)學領域應用模式的轉(zhuǎn)變。首先，需要建立臨床醫(yī)生向人工智能領域輸送專業(yè)知識的通道：苴次，需要