老年人語(yǔ)音情感識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)課件

老年人語(yǔ)音情感識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)目錄課題研究背景與意義BackgroundAndSignificanceOfTheSelectedTopic1CONTENTS系統(tǒng)總體方案設(shè)計(jì)系統(tǒng)相關(guān)算法研究系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)測(cè)試結(jié)果與工作總結(jié)TestResultandFutureWork2345DetailDesignandImplementationRelatedTechnologiesAnalysisandAlgorithmDesignOverallProjectDesign1研究背景與意義4課題來源校企合作項(xiàng)目——“重慶市XX區(qū)智慧養(yǎng)老系統(tǒng)研發(fā)”人口老齡化問題我國(guó)已經(jīng)步入老齡化社會(huì)，且養(yǎng)老資源短缺，分布不均預(yù)計(jì)到2020年，獨(dú)居和空巢老人將達(dá)到1.18億人國(guó)家大力支持依托“互聯(lián)網(wǎng)+”的智慧養(yǎng)老產(chǎn)業(yè)發(fā)展

語(yǔ)音情感識(shí)別通過對(duì)語(yǔ)音信號(hào)的分析和處理得出情感狀態(tài)情感計(jì)算領(lǐng)域有代表性的方向與深度學(xué)習(xí)模型的結(jié)合取得了不錯(cuò)的進(jìn)展存在的問題現(xiàn)有智慧養(yǎng)老系統(tǒng)較少涉及獨(dú)居老人情感關(guān)懷，大多只是功能的整合針對(duì)老年人設(shè)計(jì)的單獨(dú)的語(yǔ)音情感識(shí)別系統(tǒng)很少智慧養(yǎng)老使用現(xiàn)代化信息技術(shù)構(gòu)建的新型養(yǎng)老體系解決養(yǎng)老問題的創(chuàng)新途徑政府、學(xué)者、專家陸續(xù)投入智慧養(yǎng)老方面的建設(shè)2老年人語(yǔ)音情感識(shí)別系統(tǒng)總體方案設(shè)計(jì)OVERALLPROJECT

DESIGN52系統(tǒng)總體方案設(shè)計(jì)6應(yīng)用場(chǎng)景：特殊疾病診療、遠(yuǎn)程醫(yī)療、E-Learning（遠(yuǎn)程網(wǎng)絡(luò)課堂）系統(tǒng)用戶需求分析獨(dú)居老年人后臺(tái)管理員老年人子女(1)用戶管理：管理自己的賬戶信息和基本信息，包括登錄時(shí)身份驗(yàn)證、修改登錄密碼等。(2)語(yǔ)音留言：給子女進(jìn)行語(yǔ)音留言。(3)語(yǔ)音上傳：將采集的語(yǔ)音信號(hào)通過網(wǎng)絡(luò)上傳至后臺(tái)服務(wù)端進(jìn)行情感識(shí)別。(1)用戶管理：管理自己的賬戶信息和基本信息，包括登錄時(shí)身份驗(yàn)證、修改登錄密碼等。(2)語(yǔ)音留言：查看父母留言及給父母語(yǔ)音留言。(3)父母情感報(bào)告中心：查看父母情感報(bào)告及心理疏導(dǎo)機(jī)構(gòu)提供的建議。(1)用戶管理：管理自己、老年人用戶及子女用戶的賬戶信息和基本信息，管理用戶權(quán)限。(2)語(yǔ)料存儲(chǔ)：存儲(chǔ)管理老年人語(yǔ)料。(3)語(yǔ)音增強(qiáng)：對(duì)帶噪語(yǔ)料庫(kù)進(jìn)行增強(qiáng)。(4)特征提?。簩?duì)語(yǔ)料庫(kù)進(jìn)行預(yù)處理、生成語(yǔ)譜圖特征、尺度規(guī)范化調(diào)整及格式轉(zhuǎn)換等操作。(5)模型訓(xùn)練：將語(yǔ)譜圖特征輸入模型進(jìn)行訓(xùn)練。(6)分類識(shí)別：對(duì)語(yǔ)料或采集的語(yǔ)音進(jìn)行情感分類。(7)信息推送：定期推送識(shí)別結(jié)果至子女端。功能需求功能描述賬戶信息管理提供使用人員的賬號(hào)、密碼等賬戶信息管理用戶信息管理提供用戶注冊(cè)申請(qǐng)信息的管理；提供用戶基礎(chǔ)信息管理，如用戶姓名、年齡、家庭住址等語(yǔ)音留言提供手機(jī)客戶端語(yǔ)音留言功能語(yǔ)音上傳提供將采集的語(yǔ)音信號(hào)通過網(wǎng)絡(luò)上傳至后臺(tái)服務(wù)端進(jìn)行情感識(shí)別功能父母情感報(bào)告中心提供手機(jī)客戶端查看父母情感報(bào)告及心理疏導(dǎo)機(jī)構(gòu)提供的建議功能語(yǔ)料存儲(chǔ)提供存儲(chǔ)管理老年人語(yǔ)料功能語(yǔ)音增強(qiáng)提供帶噪語(yǔ)音庫(kù)語(yǔ)音增強(qiáng)功能特征提取提供對(duì)語(yǔ)料庫(kù)預(yù)處理、生成語(yǔ)譜圖特征、尺度規(guī)范化調(diào)整及格式轉(zhuǎn)換等操作模型訓(xùn)練提供語(yǔ)譜圖特征輸入模型進(jìn)行訓(xùn)練的功能分類識(shí)別提供語(yǔ)料庫(kù)或采集的語(yǔ)音進(jìn)行情感分類的功能信息推送提供定期推送識(shí)別結(jié)果至子女端的功能軟件功能需求非功能需求：易用性、穩(wěn)定性、響應(yīng)時(shí)間、安全性、可擴(kuò)展性2系統(tǒng)總體方案設(shè)計(jì)7老年人語(yǔ)音情感識(shí)別系統(tǒng)總體方案老年人語(yǔ)音情感識(shí)別系統(tǒng)組織結(jié)構(gòu)圖2總體方案設(shè)計(jì)8提供用戶交互的窗口，由手機(jī)客戶端和后臺(tái)服務(wù)端組成數(shù)據(jù)分析處理1.老年人語(yǔ)音增強(qiáng)2.語(yǔ)譜圖特征提取3.CNN訓(xùn)練識(shí)別4.消息推送數(shù)據(jù)來源用戶交互界面手機(jī)客戶端后臺(tái)服務(wù)端應(yīng)用層老年人語(yǔ)音增強(qiáng)模塊數(shù)據(jù)處理層主程序語(yǔ)譜圖特征提取模塊CNN訓(xùn)練識(shí)別模塊消息推送模塊數(shù)據(jù)采集層語(yǔ)音采集設(shè)備手機(jī)麥克風(fēng)其他語(yǔ)音采集設(shè)備老年人語(yǔ)音情感識(shí)別系統(tǒng)總體方案數(shù)據(jù)請(qǐng)求數(shù)據(jù)返回?cái)?shù)據(jù)請(qǐng)求數(shù)據(jù)返回老年人語(yǔ)音情感識(shí)別軟件總體結(jié)構(gòu)圖

C/S價(jià)格便宜，成本低系統(tǒng)安全性好，響應(yīng)速度快具有強(qiáng)大的數(shù)據(jù)操作和事務(wù)處理能力

Linux、java支持多用戶、多任務(wù)可跨平臺(tái)免費(fèi)開源

Android免費(fèi)開源易開發(fā)性使用較為主流的開發(fā)語(yǔ)言JavaRESEARCHBACKGROUNDS2系統(tǒng)總體方案設(shè)計(jì)9系統(tǒng)開發(fā)工具選擇手機(jī)終端，數(shù)據(jù)庫(kù)開發(fā)平臺(tái)軟件架構(gòu)老年人語(yǔ)音情感識(shí)別系統(tǒng)MySQL可跨平臺(tái)移植融合性良好開源免費(fèi)適合中小項(xiàng)目開發(fā)3系統(tǒng)相關(guān)算法研究RELATEDALGORITHMS

ANALYSIS103系統(tǒng)相關(guān)算法研究

11老年人語(yǔ)音情感識(shí)別系統(tǒng)整體流程基于先驗(yàn)信噪比的維納濾波改進(jìn)算法基于CNN的老年人語(yǔ)音情感識(shí)別算法系統(tǒng)相關(guān)算法研究123基于先驗(yàn)信噪比的維納濾波算法流程基于先驗(yàn)信噪比的維納濾波改進(jìn)算法通過先驗(yàn)信噪比和后驗(yàn)信噪比構(gòu)造增益函數(shù)傳統(tǒng)算法的不足傳統(tǒng)算法的改進(jìn)1.噪聲估計(jì)的方法過于簡(jiǎn)單（前120ms），只適用于穩(wěn)定或變化不大的噪聲。利用語(yǔ)音活動(dòng)期間的無聲幀對(duì)估計(jì)出來的噪聲功率譜進(jìn)行更新算法不足改進(jìn)方法2.噪聲增益函數(shù)對(duì)帶噪信號(hào)過度抑制，引入大量的語(yǔ)音失真，造成信號(hào)畸變。在基于先驗(yàn)信噪比的維納濾波增益函數(shù)的基礎(chǔ)上開平方，引入門限修正引入語(yǔ)音活動(dòng)檢測(cè)算法增益函數(shù)開平方改進(jìn)算法實(shí)現(xiàn)框圖改進(jìn)算法實(shí)現(xiàn)框圖系統(tǒng)相關(guān)算法研究133算法驗(yàn)證驗(yàn)證的算法改進(jìn)算法與傳統(tǒng)算法仿真場(chǎng)景高斯白噪聲、火車噪聲仿真軟件Matlab

2012b語(yǔ)音庫(kù)NOIZEUS語(yǔ)音庫(kù)仿真參數(shù)采樣頻率：8000Hz幀長(zhǎng)：20ms選用窗：漢明窗，重疊1/2實(shí)驗(yàn)設(shè)置b.火車噪聲下的輸出信噪比以及基于幀的分段信噪比結(jié)果a.高斯噪聲下的輸出信噪比以及基于幀的分段信噪比結(jié)果c.幾種語(yǔ)音信號(hào)的時(shí)域波形比較3系統(tǒng)相關(guān)算法研究14卷積層降采樣層全連接層卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)圖每層卷積核尺寸單一固定，導(dǎo)致提取的特征信息不充分。基于CNN的老年人語(yǔ)音情感識(shí)別算法基本網(wǎng)絡(luò)的不足基本網(wǎng)絡(luò)的改進(jìn)同層多卷積核CNN結(jié)構(gòu)圖卷積層選用兩種不同尺度的卷積核，提取不同分辨率下的語(yǔ)音情感特征。3系統(tǒng)相關(guān)算法研究15基于CNN的老年人語(yǔ)音情感識(shí)別算法實(shí)驗(yàn)分析實(shí)驗(yàn)設(shè)置實(shí)驗(yàn)一實(shí)驗(yàn)二實(shí)驗(yàn)三識(shí)別率0.620.640.690.640.620.670.630.660.71平均識(shí)別率0.630.640.69語(yǔ)料庫(kù)融合對(duì)比實(shí)驗(yàn)設(shè)置實(shí)驗(yàn)一實(shí)驗(yàn)二實(shí)驗(yàn)三訓(xùn)練集EESDB（600句）EESDB（650句）EESDB（450句）CASIA（300句）CASIA（300句）CASIA（450句）測(cè)試集CASIA（600句）CASIA（0句）CASIA（600句）EESDB（0）EESDB（660句）EESDB（0）語(yǔ)料庫(kù)融合性能對(duì)比分析CNN類型基本CNN多卷積核CNN識(shí)別率0.630.710.660.750.660.73平均識(shí)別率0.650.73多卷積核CNN語(yǔ)譜圖分辨率256*256128*12864*64識(shí)別率0.570.540.590.520.560.610.500.520.62平均識(shí)別率0.530.540.61語(yǔ)譜圖64*64多種卷積結(jié)構(gòu)對(duì)比實(shí)驗(yàn)多種分辨率語(yǔ)譜圖對(duì)比實(shí)驗(yàn)4老年人語(yǔ)音情感識(shí)別系統(tǒng)

詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)DETAILDESIGNANDIMPLEMENTATION164系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)功能模塊劃分17三大組成部分重點(diǎn)模塊4系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)數(shù)據(jù)庫(kù)設(shè)計(jì)與實(shí)現(xiàn)18概念模型設(shè)計(jì)數(shù)據(jù)庫(kù)表設(shè)計(jì)編號(hào)數(shù)據(jù)庫(kù)表名數(shù)據(jù)庫(kù)描述1spr_olduser_info存儲(chǔ)老年用戶基本信息2spr_childuser_info存儲(chǔ)子女用戶基本信息3spr_admin_info存儲(chǔ)系統(tǒng)管理人員信息4spr_admin_action存儲(chǔ)系統(tǒng)管理員操作記錄5spr_old_voice存儲(chǔ)老年人帶噪語(yǔ)音信息6spr_enhanced_voice存儲(chǔ)純凈老年人語(yǔ)音信息7spr_child_voice存儲(chǔ)子女語(yǔ)音信息8spr_vocupload_record存儲(chǔ)老人語(yǔ)音上傳記錄9spr_enhanced_record存儲(chǔ)語(yǔ)音增強(qiáng)記錄10spr_pretreat_record存儲(chǔ)語(yǔ)音預(yù)處理記錄字段字段類型為空約束缺省值備注user_idint(8)no——用戶編號(hào)usernamevarchar(32)no主鍵—用戶名passwordvarchar(32)no——密碼namevarchar(32)no——用戶姓名genderchar(4)no——性別certificate_idchar(18)no——證件號(hào)ageint(4)no——年齡phonechar(11)no——電話號(hào)碼user_tpyechar(8)no——用戶類型4系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)系統(tǒng)通信協(xié)議設(shè)計(jì)19通信時(shí)序圖設(shè)計(jì)數(shù)據(jù)協(xié)議設(shè)計(jì)老人語(yǔ)音留言時(shí)序圖子女查詢老人情感狀況時(shí)序圖老年人客戶端數(shù)據(jù)類型發(fā)送消息用戶管理數(shù)據(jù)注冊(cè)請(qǐng)求“Register/”+username+”/”+usertype+”/”+password登錄請(qǐng)求“Login/”+username+”/”+usertype+”/”+password修改密碼請(qǐng)求“Changepsd/”+username+”/”+usertype+”/”+oldpsd+”/”+newpsd+”/”+repeatpsd語(yǔ)音留言數(shù)據(jù)語(yǔ)音留言請(qǐng)求“LeaveVocMsg/”+username+”/”+usertype+”/”+time語(yǔ)音上傳請(qǐng)求“UploadVocMsg/”+username+”/”+orderid+”/”+voicelen+”/”+usertype+”/”+time后臺(tái)服務(wù)端數(shù)據(jù)類型發(fā)送消息用戶管理數(shù)據(jù)注冊(cè)反饋“Register/”+result+”/”+username+”/”+usertype登錄反饋“Login/”+result+”/”+username+”/”+usertype修改密碼反饋“Changepsd/”+result語(yǔ)音留言數(shù)據(jù)語(yǔ)音留言反饋“VoiceMsg/”+result+”/”+username+”/”+usertype+”/”+time語(yǔ)音上傳反饋“UploadVocMsg/”+result+”/”+username+”/”+orderid+”/”+voicelen+”/”+usertype+”/”+time查看語(yǔ)音留言反饋“CheckVocMsg/”+result+”/”+username+”/”+usertype+”/”+time查看父母情感報(bào)告反饋“CheckEmoReport/”+result+”/”+username+”/”+usertype+”/”+time4系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)20用戶管理語(yǔ)音留言手機(jī)客戶端父母情感報(bào)告執(zhí)行算法頁(yè)面顯示4系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)21后臺(tái)服務(wù)端的設(shè)計(jì)與實(shí)現(xiàn)數(shù)據(jù)庫(kù)負(fù)責(zé)系統(tǒng)數(shù)據(jù)的存儲(chǔ)后臺(tái)服務(wù)端核心模塊示意圖4系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)22語(yǔ)音增強(qiáng)語(yǔ)譜圖特征提取執(zhí)行算法判斷語(yǔ)音長(zhǎng)度格式轉(zhuǎn)換生成語(yǔ)譜圖4系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)23語(yǔ)音情感識(shí)別執(zhí)行算法CNN訓(xùn)練流程修改配置5測(cè)試結(jié)果與工作總結(jié)TESTRESULTANDFUTUREWORK245測(cè)試結(jié)果與工作總結(jié)25測(cè)試環(huán)境測(cè)試環(huán)境網(wǎng)絡(luò)拓?fù)鋱D系統(tǒng)軟硬件環(huán)境軟件環(huán)境硬件環(huán)境操作系統(tǒng)：Ubuntu14.04處理器：Intel(R)i5-4200U@1.6GHZ4核數(shù)據(jù)庫(kù)：MySql5.6.26內(nèi)存：16G服務(wù)器：Apache2.4.7硬盤：500G調(diào)試工具：Eclipse移動(dòng)端操作系統(tǒng)：Android網(wǎng)絡(luò)環(huán)境：WiFi系統(tǒng)測(cè)試項(xiàng)測(cè)試類型測(cè)試項(xiàng)功能測(cè)試手機(jī)客戶端、后臺(tái)服務(wù)端、系統(tǒng)級(jí)性能測(cè)試手機(jī)客戶端、后臺(tái)服務(wù)端非功能測(cè)試手機(jī)客戶端兼容性測(cè)試、易用性測(cè)試、可靠性測(cè)試ANALYSISANDDISCUSSION5測(cè)試結(jié)果與工作總結(jié)26注冊(cè)登錄個(gè)人中心密碼修改語(yǔ)音留言父母情感報(bào)告中心手機(jī)客戶端功能測(cè)試5測(cè)試結(jié)果與工作總結(jié)27用戶管理查詢用戶成功查詢用戶失敗修改管理員密碼添加新用戶添加新用戶成功后臺(tái)服務(wù)端功能測(cè)試5測(cè)試結(jié)果與工作總結(jié)28基于先驗(yàn)信噪比的維納濾波改進(jìn)算法測(cè)試人工試聽增強(qiáng)前后語(yǔ)音觀察語(yǔ)音增強(qiáng)前后語(yǔ)譜圖：功率譜能量更加集中，白噪聲得到明顯抑制語(yǔ)音增強(qiáng)前語(yǔ)譜圖語(yǔ)音增強(qiáng)后語(yǔ)譜圖5測(cè)試結(jié)果與工作總結(jié)29CNN訓(xùn)練識(shí)別測(cè)試模型訓(xùn)練系統(tǒng)分類結(jié)果5測(cè)試結(jié)果與工作總結(jié)30系統(tǒng)級(jí)功能測(cè)試上傳的老年人語(yǔ)音語(yǔ)音情感識(shí)別結(jié)果5測(cè)試結(jié)果與工作總結(jié)31測(cè)試工具ADB工具、騰訊WeTest質(zhì)量開放平臺(tái)測(cè)試機(jī)型HUAWEIY6