醫(yī)療語音識別——協(xié)和探索與實踐課件

1、 醫(yī)療語音識別協(xié)和探索與實踐 中文醫(yī)療語音識別技術難點 醫(yī)療語音識別技術突破我院語音識別探索實踐醫(yī)療語音識別應用價值語音識別應用展望中文醫(yī)療語音識別技術難點01地方方言口音多音字多音詞背景環(huán)境嘈雜汽車鳴笛電話信道多人說話中文語音識別技術難點中文的發(fā)音和字是獨立的，僅僅是中國大陸地區(qū)就有很多的方言，口音問題非常嚴重。中文有415個基本的無調音節(jié)來構成7000多個基本漢字的發(fā)音醫(yī)療語音識別技術難點醫(yī)療專業(yè)術語特殊單位切開闊筋膜并鈍性分離闊筋膜張肌Cells/l個細胞每微升cmH2O厘米水柱難點特殊符號呈（-）呈陰性叁點五乘五點二厘米3.5*5.2cm醫(yī)療語音識別技術突破02語音識別（ Automa

2、tic Speech Recognition ）是將人類自然語音轉換為可供計算機識別的文本信息的過程。語音識別引擎可智能識別客戶語言并與其他應用系統(tǒng)進行匹配，是人機交互的重要接口。特征提取噪音消除端點檢測編碼器匹配度語法編譯程序語音結果自定義語法詞匯音素系統(tǒng)程序庫語音內容語言包聲學模型語法庫語音識別過程語義處理語音識別技術語音識別底層算法統(tǒng)計學習GMM/HMM,N-Gram, SVM, CRF深度學習+大數據DNN, CNN, RNN/LSTMLSTM-CTC, Seq2Seq 1.02013年1月工業(yè)界首先把深度學習引入到智能語音交互領域深度學習 2.0 3.0通用語音識別醫(yī)療語音識別跟人一

3、樣，機器需要學習學習的數據越多越精確智商越高（模型）越精確記憶力（模型復雜度）越好越精確模型：機器的知識庫通用領域模型醫(yī)學領域模型語言模型聲學模型mpmwchfdxtb0aiuneai聲母韻母利用聲學模型自適應和大數據語音建模技術，解決不同地區(qū)口音/噪聲對語音識別的干擾，增強聲學模型的魯棒性研究醫(yī)生說話口音統(tǒng)計醫(yī)生說話習慣收集噪聲環(huán)境數據效果優(yōu)化聲學模型針對性結合醫(yī)療領域的大量文本術語語義知識，構建統(tǒng)計醫(yī)療語言模型，減少解碼搜索范圍，降低醫(yī)療語言識別的錯誤率。研究醫(yī)療術語表述收集醫(yī)生常用說法構造字詞關聯(lián)算法效果優(yōu)化語言模型Kai1tong1Cai3ling2Hua4fei4Qing3wen4f

4、ei1xing4Qu3xiao1Wo3xiang3根據醫(yī)療專業(yè)常用英文術語，精心定制醫(yī)療發(fā)音字典，提高醫(yī)療專業(yè)英文術語識別準確率效果優(yōu)化英文術語效果優(yōu)化個性化詞庫 醫(yī)生的說出的醫(yī)療特殊單位、特殊符號，按照醫(yī)療行業(yè)要求進行識別和轉寫。已收集整理300多個。微米m微克每升g/L 微克每千克g/kg 微克每毫升g/ml 微克每分升g/dl 微克g 微國際單位每毫升IU/mL 升每分鐘L/min 攝氏度千克kg 千單位每升KU/L 千單位KU 皮克每升pg/L 皮克每毫升pg/ml 皮克pg 效果優(yōu)化專業(yè)硬件醫(yī)療領域語音識別效果對比項目協(xié)和專業(yè)定制科大訊飛中文識別準確率96%96%醫(yī)療詞匯識別準確率9

5、3%81%醫(yī)療特殊符號識別準確率95%幾乎無法識別部署方式支持私有云和公有云僅公有云基于醫(yī)院專門定制支持不支持命令詞控制簡單回車等10個命令無我院語音識別探索實踐03我院醫(yī)療語音識別應用app移動查房醫(yī)技科電子病歷語音輸入醫(yī)療語音識別應用場景應用場景門診電子病歷語音錄入病房電子病歷語音錄入手術休息室病歷錄入應用方式實時病歷錄入：醫(yī)生通過麥克風口述病歷內容，實時將語音轉換為文字，并記錄到電子病歷系統(tǒng)中。電子病歷應用應用場景超聲科語音錄入影像科語音錄入病理科語音錄入應用方式光標定位功能影像專用語音控制模板功能醫(yī)技科室應用應用場景醫(yī)生使用app語音錄入患者使用app語音錄入應用方式語音錄入：病歷錄入

6、語音交互：“前面還幾個人”語音搜索：“昨天膽囊手術后復用阿司匹林患者”院內app應用多方式客戶端語音數據數據層語音識別服務語義理解服務接口服務數據加密服務版本管理服務院外WLAN3G4GAI層應用層網絡層應用層影像、超聲等報告錄入技師手術記錄錄入護理文書錄入護士生命體征錄入入院宣教病歷錄入醫(yī)生病情交代后結構化分析查房記錄錄入識別轉寫數據個性化信息數據日志數據模型管理服務個性化信息服務院內WLAN多渠道互聯(lián)互通部署方式醫(yī)療語音識別應用價值04HIMSS EUROPE調查顯示：語音識別的應用可提高醫(yī)生錄入工作20%40%效率語音識別錄入方案主要集中應用在工作量高、 時間壓力較大的科室。越復雜的報告

7、就越能體現語音識別錄入的優(yōu)點國外醫(yī)療語音識別應用效果BelgiumFinlandUKFranceAustria醫(yī)療語音錄入系統(tǒng)已在我院病房、醫(yī)技科室、手術休息區(qū)進行了一段時間的使用。為了更好的測試語音識別的效果，2015年3月到2016年3月之間我院組織醫(yī)生進行了語音識別系統(tǒng)測試和主觀體驗，其中隨機抽取了135個樣本進行精確統(tǒng)計。下表為醫(yī)療領域語音識別系統(tǒng)的測試準確率。環(huán)境測試文本總字數錯誤字數準確率每百字需要醫(yī)生手動修改的次數安靜25690128495%2噪音25690205592%3我院醫(yī)療語音錄入使用效果醫(yī)生使用語音錄入解決方案，醫(yī)療領域語音識別準確率超過90%針對影像科專有名詞進行語音

8、識別效果優(yōu)化，影像科語音識別準確率超過95%超過90%的大夫希望使用語音錄入方式，以提高工作效率你愿意嘗試使用語音識別技術以提高工作效率么？我院醫(yī)療語音錄入實踐成果國內首家提供醫(yī)療領域語音交互解決方案并有落地項目的廠商國內成長最快的智能語音交互公司專注醫(yī)療領域智能語音交互研究超過10年北京協(xié)和醫(yī)院是集醫(yī)療、教學、科研于一體的大型三級甲等綜合醫(yī)院協(xié)和三大寶：圖書館、教授、病歷初步科研成果醫(yī)療語音識別應用展望05生產智能語音錄入結構化語義化數據挖掘與分析知識問答輔助決策語義搜索臨床服務與科研醫(yī)療管理醫(yī)療產品醫(yī)療保險消費應用大數據大數據生產大數據消費大數據應用智慧醫(yī)療方案醫(yī)生個性化針對醫(yī)生口音，語言

9、習慣優(yōu)化根據醫(yī)生已書寫的病歷，訓練個人語言模型科室個性化不同科室構建不同的語言模型識別結果后處理自動轉換口語化的輸入，使其符合書面化的病歷書寫規(guī)范利用上下文信息檢查申請單中的診斷云端新詞更新自動挖掘醫(yī)療領域新詞大數據生產智能語音錄入結構化基于模板關系數據模型語義化基于知識本體RDF或圖模型基于自然語言處理技術的病歷自動語義抽取大數據生產結構化語義化分類數據挖掘與分析方法聚類回歸溯因關聯(lián)規(guī)則發(fā)現時間序列分析序列模式發(fā)現偏差分析患者分群分析模型療效分析模型疾病相似度分析模型疾病轉歸分析模型疾病風險預測模型回顧性人群分析模型前瞻性人群分析模型慢性病跟蹤預測模型醫(yī)療數據分析模型大數據消費數據挖掘分析我眼睛不舒服，左眼疼，腫了4天，這是什么病疑似結膜炎，該種病處置方式問題應答語音大數據消費知識問答病歷合規(guī)檢查藥品配伍分析臨床路徑合規(guī)檢查臨床指南合規(guī)檢查合規(guī)檢查：降低醫(yī)療事故風險用藥方案推薦檢查檢驗推薦影像輔助診斷服務醫(yī)學教育輔助診療：提高診療質量大數據消費輔助決策 在患者信息庫中，可以通過自然語言理解技術，多維度交叉條件搜索所需要的患者信息。昨天膽囊手術后服用了阿司匹林的患者昨天time 膽囊手術operation 后 服用 了 阿司匹林medication 的 患者時間：2016年6月15日操作：膽囊手術用藥：阿司匹林