鼾聲與語(yǔ)音的時(shí)頻區(qū)分特征畢業(yè)答辯通信課件

鼾聲與語(yǔ)音的時(shí)頻區(qū)分特征鼾聲與語(yǔ)音的時(shí)頻區(qū)分特征Page

2本次演示的結(jié)構(gòu)安排

課題準(zhǔn)備

設(shè)計(jì)思路系統(tǒng)的過程實(shí)現(xiàn)實(shí)驗(yàn)結(jié)果和總結(jié)出現(xiàn)的問題的探討12345Page2本次演示的結(jié)構(gòu)安排課題準(zhǔn)備Page

3

1.1課題的背景與意義課題背景研究意義鼾聲是一種異常的呼吸音，由病變或睡眠姿勢(shì)不對(duì)所引起。由于鼾聲與許多疾病息息相關(guān)，在呼吸暫停綜合征（OSAHS）等疾病的診斷上有著重要作用。針對(duì)現(xiàn)有鼾聲診斷由于其他語(yǔ)音信號(hào)干擾造成的不足，人們?cè)絹碓蕉嗟南韧ㄟ^語(yǔ)音信號(hào)處理錄音再用計(jì)算機(jī)輔助分析。本次畢業(yè)設(shè)計(jì)提出運(yùn)用matlab的語(yǔ)音端點(diǎn)檢測(cè)技術(shù)，最大程度的區(qū)分出說話聲，排除其在鼾聲提取過程中的干擾，為鼾聲的準(zhǔn)確分析提供有效的技術(shù)支持。Page31.1課題的背景與意義課題背景研究Page

4

1.2課題研究現(xiàn)狀和思考頻域參數(shù)方法近年來，隨著人工智能的興起，也可以通過支持向量機(jī)等模式識(shí)別的方式實(shí)現(xiàn)鼾聲與說話聲的精確區(qū)分。時(shí)域參數(shù)方法通過聲學(xué)特征的自然成因差異來實(shí)現(xiàn)二者的區(qū)分。語(yǔ)音信號(hào)的識(shí)別經(jīng)過前人在鼾聲的時(shí)域特征上的分析，總結(jié)出了其在時(shí)域特征上的規(guī)律，我們可以通過這些使時(shí)域方法實(shí)現(xiàn)進(jìn)一步的設(shè)計(jì)與應(yīng)用。思考Page41.2課題研究現(xiàn)狀和思考頻域參數(shù)Page

5

2設(shè)計(jì)思路錄音樣本大樣本分析小樣本分析預(yù)處理實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)語(yǔ)音信號(hào)提取時(shí)域分析頻域分析

本次設(shè)計(jì)主要運(yùn)用鼾聲和說話聲在時(shí)域中持續(xù)時(shí)間的不同來實(shí)現(xiàn)時(shí)域方法上的準(zhǔn)確區(qū)分。Page52設(shè)計(jì)思路錄音樣本大樣本分析小樣Page

6

3系統(tǒng)的過程實(shí)現(xiàn)每段大樣本時(shí)間為10分鐘；每段小樣本時(shí)間為5s-10s錄音樣本通常為整晚睡眠錄音，一般持續(xù)7-8小時(shí)matlab軟件限制，正常情況下不能超過30分鐘的音頻讀取分割所用軟件：goldwave錄音樣本的選取與分割錄音樣本的選取與分割Page63系統(tǒng)的過程實(shí)現(xiàn)每段大樣本時(shí)間為Page

7

3.2小樣本分析預(yù)加重

提升信號(hào)的高頻部分，使其頻譜變的平坦保持在低頻到高頻的整個(gè)頻帶中，能用同樣的信噪比求頻譜，以便于頻譜分析或聲道參數(shù)分析。加窗分幀語(yǔ)音信號(hào)具有短時(shí)平穩(wěn)特性采用漢明窗、漢寧窗、矩形窗等，漢明窗低通特性較好分幀雖然可以采用連續(xù)分段的方法，但一般要采用交疊分段的方法，這是為了使幀與幀之間平滑過渡，保持其連續(xù)性．幀移幀長(zhǎng)的比值一般取為0~1/2幀長(zhǎng)的選擇：幀長(zhǎng)為200，幀移100Page73.2小樣本分析Page

8

3.3語(yǔ)音信號(hào)提取端點(diǎn)檢測(cè)參數(shù)常用參數(shù)為短時(shí)能量及短時(shí)過零率，方法為雙門限法本次課題僅對(duì)聲音信號(hào)進(jìn)行研究，對(duì)端點(diǎn)檢測(cè)精度要求不高，僅用短時(shí)能量進(jìn)行端點(diǎn)檢測(cè)端點(diǎn)檢測(cè)過后，語(yǔ)音信號(hào)需大于短時(shí)能量的某一門限方能進(jìn)行提取選取無聲段的語(yǔ)音信號(hào)進(jìn)行短時(shí)能量統(tǒng)計(jì)，選取合適的門限值。門限值最后為0.01。Page83.3語(yǔ)音信號(hào)提取端點(diǎn)檢測(cè)參數(shù)常Page

9Page9Page

10

語(yǔ)音提取算法流程Page10語(yǔ)音提取算法流程Page

11

3.4時(shí)域區(qū)分方案選定時(shí)域區(qū)分通常依靠聲音的語(yǔ)音學(xué)規(guī)律和特征從已有的研究成果看鼾聲呼氣段和吸氣段通常持續(xù)3s。一般的鼾聲檢測(cè)若只檢測(cè)到吸氣段，吸氣段通常持續(xù)2s。根據(jù)此規(guī)律確定鼾聲和說話聲的區(qū)分特征Page113.4時(shí)域區(qū)分方案選定Page

12

3.5具體方案設(shè)計(jì)完成連續(xù)語(yǔ)音提取單一連續(xù)語(yǔ)音時(shí)長(zhǎng)介于1-2.5s為鼾聲三個(gè)具體判定參數(shù)的選取

第一個(gè)為鼾聲和說話聲的平均時(shí)長(zhǎng)，記為average，定義公式為：

第二個(gè)為鼾聲和說話聲持續(xù)時(shí)間處于1s-2s之間的聲音與總時(shí)長(zhǎng)的比率，記為cm，定義公式為：

第三個(gè)為鼾聲和說話聲持續(xù)時(shí)間處于1s-2s的連續(xù)幀個(gè)數(shù)占總幀數(shù)的比率，記為cm1，定義公式為：

其中av為單一語(yǔ)音持續(xù)時(shí)間為1s-2s長(zhǎng)度的平均值，sumt為單一語(yǔ)音持續(xù)時(shí)間1s-2s長(zhǎng)度的和，nu為單一語(yǔ)音的總個(gè)數(shù)其中t為處于1s-2s的單一語(yǔ)音持續(xù)時(shí)間的總長(zhǎng)其中，nut為處于1s-2s的連續(xù)時(shí)長(zhǎng)的幀個(gè)數(shù)，nuf為總幀數(shù)。Page123.5具體方案設(shè)計(jì)完成連續(xù)語(yǔ)音Page

13

三個(gè)參數(shù)各自的統(tǒng)計(jì)結(jié)果Page13三個(gè)參數(shù)各自的統(tǒng)計(jì)結(jié)果Page

14

最終方案選定統(tǒng)計(jì)結(jié)果看出，三個(gè)參數(shù)在鼾聲和說話聲中都具有一定區(qū)分度，經(jīng)過門限值的選取，用三個(gè)參數(shù)分別對(duì)小樣本鼾聲和語(yǔ)音信號(hào)進(jìn)行判定測(cè)試。

發(fā)現(xiàn)三者的判定率都沒有達(dá)到預(yù)期效果。平均持續(xù)時(shí)間對(duì)鼾聲判定率不高，原因由于夜晚人睡眠狀態(tài)不穩(wěn)定，持續(xù)時(shí)間有長(zhǎng)也有短。時(shí)間百分比對(duì)說話聲判定率不夠高，原因由于不同人說話聲長(zhǎng)短有異。幀數(shù)百分比雖然區(qū)分準(zhǔn)確率高，但由于區(qū)分區(qū)間徘徊在26%—28%之間，區(qū)分度不高。 綜上所述，由于三個(gè)參數(shù)鼾聲普遍大于說話聲，選取三個(gè)特征的和作為最終判定結(jié)果，記為tsum。Page14最終方案選定統(tǒng)計(jì)結(jié)果看出，三個(gè)參Page

15

tsum小樣本結(jié)果統(tǒng)計(jì)Page15tsum小樣本結(jié)果統(tǒng)計(jì)Page

16

4實(shí)驗(yàn)結(jié)果和總結(jié)4.1時(shí)域分析參數(shù)判定結(jié)果統(tǒng)計(jì)選取參數(shù)為單一語(yǔ)音持續(xù)時(shí)間為1-2s時(shí)的三個(gè)所求特征值之和，記為tsum，此時(shí)tsum>=1.2為鼾聲，tsum<1.2為說話聲，否則為無聲段Page164實(shí)驗(yàn)結(jié)果和總結(jié)4.1時(shí)域分Page

17

4.2統(tǒng)計(jì)結(jié)果分析

tsum的對(duì)鼾聲的判定準(zhǔn)確率為97.5%，識(shí)別說話聲的準(zhǔn)確率為95%，總識(shí)別率為96.25%。說話聲判定為鼾聲由于說話人聲中有一部分特殊語(yǔ)音，持續(xù)時(shí)間較長(zhǎng)。如笑聲，叫聲等。鼾聲判定為說話聲原因則較為復(fù)雜，最多見的原因?yàn)槿嗽诓煌乃邥r(shí)段鼾聲持續(xù)時(shí)間有細(xì)微差別，而人與人之間的鼾聲持續(xù)時(shí)間也不同，另一種原因則是該樣本來源人為呼吸暫停綜合征的患者，且病情較重。此類患者的鼾聲除了要根據(jù)單個(gè)鼾聲持續(xù)時(shí)間進(jìn)行判斷為外，還要輔助以每個(gè)鼾聲之間的間隔時(shí)間進(jìn)行區(qū)分，與持續(xù)時(shí)間相似的規(guī)律。間隔時(shí)間為2-5s。Page174.2統(tǒng)計(jì)結(jié)果分析tPage

18Page18Page

19

4.3關(guān)于頻域分析結(jié)論1.常用頻域參數(shù)語(yǔ)音識(shí)別的方法

多個(gè)頻域參數(shù)提取，組成高維參數(shù)后進(jìn)行模式識(shí)別

mfcc（mel域復(fù)倒譜系數(shù)）、lpcc(線性預(yù)測(cè)倒譜系數(shù))等高維參數(shù)配合自身差分或其他參數(shù)進(jìn)行模式識(shí)別2.常用模式識(shí)別方法:支持向量機(jī)、隱馬爾科夫模型、矢量量化等本次課題采用mfcc及支持向量機(jī)。mfcc參數(shù)提取流程圖Page194.3關(guān)于頻域分析結(jié)論P(yáng)age

20

4.4頻域參數(shù)區(qū)分未完成原因分析所選樣本數(shù)量不夠，并在截取樣本時(shí)沒有完全排除重復(fù)截取的可能性，使訓(xùn)練樣本區(qū)分度不高，訓(xùn)練后的模型無法對(duì)測(cè)試樣本進(jìn)行有效分類選取mfcc參數(shù)的語(yǔ)音幀數(shù)過小，并沒有取所有幀作為訓(xùn)練參數(shù)，使得訓(xùn)練數(shù)據(jù)量不夠多，可能影響了模型最后的區(qū)分能力對(duì)核函數(shù)模型的選取并不妥當(dāng)，由于未能理解支持向量機(jī)的具體分類過程和核函數(shù)各參數(shù)的作用。在分類過程中，沒有很好的選取核函數(shù)并及時(shí)對(duì)核函數(shù)的中間參數(shù)進(jìn)行調(diào)整。樣本幀數(shù)模型參數(shù)Page204.4頻域參數(shù)區(qū)分未完成原因分Page

21

4.5頻域區(qū)分方案的選定

4.5.1頻域參數(shù)選定準(zhǔn)備工作語(yǔ)音信號(hào)作為隨機(jī)信號(hào)不存在能量譜，但由于短時(shí)平穩(wěn)特性，可以對(duì)每一幀做短時(shí)傅里葉變換。頻域參數(shù)所用樣本為小樣本，和時(shí)域一樣，先進(jìn)行預(yù)處理和語(yǔ)音信號(hào)提取，然后對(duì)每一幀進(jìn)行短時(shí)傅里葉變換，計(jì)算器能量，得出能量譜Page214.5頻域區(qū)分方案的選定 4.Page

22Page22Page

23

4.5.2頻域區(qū)分參數(shù)的選定

由圖中可以看出，鼾聲的譜能量大多集中于低頻部分，而說話聲的譜能 量在1-1000hz之間都有分布。

計(jì)算譜能量后，確定一個(gè)頻率閾值，鼾聲中該頻率之后的譜能量加權(quán)比 上該頻率之前譜能量加權(quán)的比值較小，而說話聲較大，以此可以用來區(qū) 分鼾聲和語(yǔ)音。通過統(tǒng)計(jì)，確定該頻率為240Hz。區(qū)分的比值為1.6。Page234.5.2頻域區(qū)分參數(shù)的選定 Page

24

4.5.3最終統(tǒng)計(jì)結(jié)果從圖中看出，鼾聲單獨(dú)的判定準(zhǔn)確率為0.675，說話聲為0.7，整體準(zhǔn)確率為0.6875Page244.5.3最終統(tǒng)計(jì)結(jié)果從圖中看Page

25

4.6實(shí)驗(yàn)結(jié)論用于大樣本區(qū)分大樣本中每一樣本長(zhǎng)度為10分鐘，從七小時(shí)的夜晚錄音中選取大樣本中混有說話聲、鼾聲、無聲段及雜聲（由于未涉及雜聲分類，此時(shí)雜聲可能為鼾聲，可能為說話聲）。Page254.6實(shí)驗(yàn)結(jié)論用于大樣本區(qū)分大Page

26

結(jié)果展示Page26結(jié)果展示Page

27Page27Page

28

最終八小時(shí)的判定統(tǒng)計(jì)結(jié)果

前15分鐘為語(yǔ)音段中間全為鼾聲段最后10分鐘語(yǔ)音段

從圖中可以看出，在本次八小時(shí)錄音中，實(shí)驗(yàn)程序可以較好的判定出語(yǔ)音段和鼾聲段的位置，并能反應(yīng)病人打鼾時(shí)的間隔和狀態(tài)。Page28最終八小時(shí)的判定統(tǒng)計(jì)