醫(yī)療語音識別——協(xié)和探索與實(shí)踐課件

1、 醫(yī)療語音識別協(xié)和探索與實(shí)踐 中文醫(yī)療語音識別技術(shù)難點(diǎn) 醫(yī)療語音識別技術(shù)突破我院語音識別探索實(shí)踐醫(yī)療語音識別應(yīng)用價值語音識別應(yīng)用展望中文醫(yī)療語音識別技術(shù)難點(diǎn)01地方方言口音多音字多音詞背景環(huán)境嘈雜汽車鳴笛電話信道多人說話中文語音識別技術(shù)難點(diǎn)中文的發(fā)音和字是獨(dú)立的，僅僅是中國大陸地區(qū)就有很多的方言，口音問題非常嚴(yán)重。中文有415個基本的無調(diào)音節(jié)來構(gòu)成7000多個基本漢字的發(fā)音醫(yī)療語音識別技術(shù)難點(diǎn)醫(yī)療專業(yè)術(shù)語特殊單位切開闊筋膜并鈍性分離闊筋膜張肌Cells/l個細(xì)胞每微升cmH2O厘米水柱難點(diǎn)特殊符號呈（-）呈陰性叁點(diǎn)五乘五點(diǎn)二厘米3.5*5.2cm醫(yī)療語音識別技術(shù)突破02語音識別（ Automa

2、tic Speech Recognition ）是將人類自然語音轉(zhuǎn)換為可供計(jì)算機(jī)識別的文本信息的過程。語音識別引擎可智能識別客戶語言并與其他應(yīng)用系統(tǒng)進(jìn)行匹配，是人機(jī)交互的重要接口。特征提取噪音消除端點(diǎn)檢測編碼器匹配度語法編譯程序語音結(jié)果自定義語法詞匯音素系統(tǒng)程序庫語音內(nèi)容語言包聲學(xué)模型語法庫語音識別過程語義處理語音識別技術(shù)語音識別底層算法統(tǒng)計(jì)學(xué)習(xí)GMM/HMM,N-Gram, SVM, CRF深度學(xué)習(xí)+大數(shù)據(jù)DNN, CNN, RNN/LSTMLSTM-CTC, Seq2Seq 1.02013年1月工業(yè)界首先把深度學(xué)習(xí)引入到智能語音交互領(lǐng)域深度學(xué)習(xí) 2.0 3.0通用語音識別醫(yī)療語音識別跟人一

3、樣，機(jī)器需要學(xué)習(xí)學(xué)習(xí)的數(shù)據(jù)越多越精確智商越高（模型）越精確記憶力（模型復(fù)雜度）越好越精確模型：機(jī)器的知識庫通用領(lǐng)域模型醫(yī)學(xué)領(lǐng)域模型語言模型聲學(xué)模型mpmwchfdxtb0aiuneai聲母韻母利用聲學(xué)模型自適應(yīng)和大數(shù)據(jù)語音建模技術(shù)，解決不同地區(qū)口音/噪聲對語音識別的干擾，增強(qiáng)聲學(xué)模型的魯棒性研究醫(yī)生說話口音統(tǒng)計(jì)醫(yī)生說話習(xí)慣收集噪聲環(huán)境數(shù)據(jù)效果優(yōu)化聲學(xué)模型針對性結(jié)合醫(yī)療領(lǐng)域的大量文本術(shù)語語義知識，構(gòu)建統(tǒng)計(jì)醫(yī)療語言模型，減少解碼搜索范圍，降低醫(yī)療語言識別的錯誤率。研究醫(yī)療術(shù)語表述收集醫(yī)生常用說法構(gòu)造字詞關(guān)聯(lián)算法效果優(yōu)化語言模型Kai1tong1Cai3ling2Hua4fei4Qing3wen4f

4、ei1xing4Qu3xiao1Wo3xiang3根據(jù)醫(yī)療專業(yè)常用英文術(shù)語，精心定制醫(yī)療發(fā)音字典，提高醫(yī)療專業(yè)英文術(shù)語識別準(zhǔn)確率效果優(yōu)化英文術(shù)語效果優(yōu)化個性化詞庫 醫(yī)生的說出的醫(yī)療特殊單位、特殊符號，按照醫(yī)療行業(yè)要求進(jìn)行識別和轉(zhuǎn)寫。已收集整理300多個。微米m微克每升g/L 微克每千克g/kg 微克每毫升g/ml 微克每分升g/dl 微克g 微國際單位每毫升IU/mL 升每分鐘L/min 攝氏度千克kg 千單位每升KU/L 千單位KU 皮克每升pg/L 皮克每毫升pg/ml 皮克pg 效果優(yōu)化專業(yè)硬件醫(yī)療領(lǐng)域語音識別效果對比項(xiàng)目協(xié)和專業(yè)定制科大訊飛中文識別準(zhǔn)確率96%96%醫(yī)療詞匯識別準(zhǔn)確率9

5、3%81%醫(yī)療特殊符號識別準(zhǔn)確率95%幾乎無法識別部署方式支持私有云和公有云僅公有云基于醫(yī)院專門定制支持不支持命令詞控制簡單回車等10個命令無我院語音識別探索實(shí)踐03我院醫(yī)療語音識別應(yīng)用app移動查房醫(yī)技科電子病歷語音輸入醫(yī)療語音識別應(yīng)用場景應(yīng)用場景門診電子病歷語音錄入病房電子病歷語音錄入手術(shù)休息室病歷錄入應(yīng)用方式實(shí)時病歷錄入：醫(yī)生通過麥克風(fēng)口述病歷內(nèi)容，實(shí)時將語音轉(zhuǎn)換為文字，并記錄到電子病歷系統(tǒng)中。電子病歷應(yīng)用應(yīng)用場景超聲科語音錄入影像科語音錄入病理科語音錄入應(yīng)用方式光標(biāo)定位功能影像專用語音控制模板功能醫(yī)技科室應(yīng)用應(yīng)用場景醫(yī)生使用app語音錄入患者使用app語音錄入應(yīng)用方式語音錄入：病歷錄入

6、語音交互：“前面還幾個人”語音搜索：“昨天膽囊手術(shù)后復(fù)用阿司匹林患者”院內(nèi)app應(yīng)用多方式客戶端語音數(shù)據(jù)數(shù)據(jù)層語音識別服務(wù)語義理解服務(wù)接口服務(wù)數(shù)據(jù)加密服務(wù)版本管理服務(wù)院外WLAN3G4GAI層應(yīng)用層網(wǎng)絡(luò)層應(yīng)用層影像、超聲等報告錄入技師手術(shù)記錄錄入護(hù)理文書錄入護(hù)士生命體征錄入入院宣教病歷錄入醫(yī)生病情交代后結(jié)構(gòu)化分析查房記錄錄入識別轉(zhuǎn)寫數(shù)據(jù)個性化信息數(shù)據(jù)日志數(shù)據(jù)模型管理服務(wù)個性化信息服務(wù)院內(nèi)WLAN多渠道互聯(lián)互通部署方式醫(yī)療語音識別應(yīng)用價值04HIMSS EUROPE調(diào)查顯示：語音識別的應(yīng)用可提高醫(yī)生錄入工作20%40%效率語音識別錄入方案主要集中應(yīng)用在工作量高、 時間壓力較大的科室。越復(fù)雜的報告

7、就越能體現(xiàn)語音識別錄入的優(yōu)點(diǎn)國外醫(yī)療語音識別應(yīng)用效果BelgiumFinlandUKFranceAustria醫(yī)療語音錄入系統(tǒng)已在我院病房、醫(yī)技科室、手術(shù)休息區(qū)進(jìn)行了一段時間的使用。為了更好的測試語音識別的效果，2015年3月到2016年3月之間我院組織醫(yī)生進(jìn)行了語音識別系統(tǒng)測試和主觀體驗(yàn)，其中隨機(jī)抽取了135個樣本進(jìn)行精確統(tǒng)計(jì)。下表為醫(yī)療領(lǐng)域語音識別系統(tǒng)的測試準(zhǔn)確率。環(huán)境測試文本總字?jǐn)?shù)錯誤字?jǐn)?shù)準(zhǔn)確率每百字需要醫(yī)生手動修改的次數(shù)安靜25690128495%2噪音25690205592%3我院醫(yī)療語音錄入使用效果醫(yī)生使用語音錄入解決方案，醫(yī)療領(lǐng)域語音識別準(zhǔn)確率超過90%針對影像科專有名詞進(jìn)行語音

8、識別效果優(yōu)化，影像科語音識別準(zhǔn)確率超過95%超過90%的大夫希望使用語音錄入方式，以提高工作效率你愿意嘗試使用語音識別技術(shù)以提高工作效率么？我院醫(yī)療語音錄入實(shí)踐成果國內(nèi)首家提供醫(yī)療領(lǐng)域語音交互解決方案并有落地項(xiàng)目的廠商國內(nèi)成長最快的智能語音交互公司專注醫(yī)療領(lǐng)域智能語音交互研究超過10年北京協(xié)和醫(yī)院是集醫(yī)療、教學(xué)、科研于一體的大型三級甲等綜合醫(yī)院協(xié)和三大寶：圖書館、教授、病歷初步科研成果醫(yī)療語音識別應(yīng)用展望05生產(chǎn)智能語音錄入結(jié)構(gòu)化語義化數(shù)據(jù)挖掘與分析知識問答輔助決策語義搜索臨床服務(wù)與科研醫(yī)療管理醫(yī)療產(chǎn)品醫(yī)療保險消費(fèi)應(yīng)用大數(shù)據(jù)大數(shù)據(jù)生產(chǎn)大數(shù)據(jù)消費(fèi)大數(shù)據(jù)應(yīng)用智慧醫(yī)療方案醫(yī)生個性化針對醫(yī)生口音，語言

9、習(xí)慣優(yōu)化根據(jù)醫(yī)生已書寫的病歷，訓(xùn)練個人語言模型科室個性化不同科室構(gòu)建不同的語言模型識別結(jié)果后處理自動轉(zhuǎn)換口語化的輸入，使其符合書面化的病歷書寫規(guī)范利用上下文信息檢查申請單中的診斷云端新詞更新自動挖掘醫(yī)療領(lǐng)域新詞大數(shù)據(jù)生產(chǎn)智能語音錄入結(jié)構(gòu)化基于模板關(guān)系數(shù)據(jù)模型語義化基于知識本體RDF或圖模型基于自然語言處理技術(shù)的病歷自動語義抽取大數(shù)據(jù)生產(chǎn)結(jié)構(gòu)化語義化分類數(shù)據(jù)挖掘與分析方法聚類回歸溯因關(guān)聯(lián)規(guī)則發(fā)現(xiàn)時間序列分析序列模式發(fā)現(xiàn)偏差分析患者分群分析模型療效分析模型疾病相似度分析模型疾病轉(zhuǎn)歸分析模型疾病風(fēng)險預(yù)測模型回顧性人群分析模型前瞻性人群分析模型慢性病跟蹤預(yù)測模型醫(yī)療數(shù)據(jù)分析模型大數(shù)據(jù)消費(fèi)數(shù)據(jù)挖掘分析我眼睛不舒服，左眼疼，腫了4天，這是什么病疑似結(jié)膜炎，該種病處置方式問題應(yīng)答語音大數(shù)據(jù)消費(fèi)知識問答病歷合規(guī)檢查藥品配伍分析臨床路徑合規(guī)檢查臨床指南合規(guī)檢查合規(guī)檢查：降低醫(yī)療事故風(fēng)險用藥方案推薦檢查檢驗(yàn)推薦影像輔助診斷服務(wù)醫(yī)學(xué)教育輔助診療：提高診療質(zhì)量大數(shù)據(jù)消費(fèi)輔助決策 在患者信息庫中，可以通過自然語言理解技術(shù)，多維度交叉條件搜索所需要的患者信息。昨天膽囊手術(shù)后服用了阿司匹林的患者昨天time 膽囊手術(shù)operation 后 服用 了 阿司匹林medication 的 患者時間：2016年6月15日操作：膽囊手術(shù)用藥：阿司匹林