語音數(shù)據(jù)與語音合成

1、語音合成技術(shù) 什么叫語音合成 Text To Speech過程,簡稱TTS 作用：將文本狀態(tài)的文字信息轉(zhuǎn)化為可聽的聲音信息 “電腦會說話” 鍵 盤 光電掃描 手寫識別 網(wǎng)絡(luò)/數(shù)據(jù) 庫 文 本語言處理韻律處理語音合成 結(jié)果輸出 詞典/規(guī)則語音庫 發(fā)聲機(jī)理 語音產(chǎn)生的生理過程 總綱 1 . 數(shù)字語音信號 2 . 語音合成技術(shù) 3 . 數(shù)據(jù)制作與合成 4 . 合成效果測聽 數(shù)字語音信號 什么是數(shù)字語音信號 語音：說話，聲波傳遞的語言 語音信號：記錄下來的聲波振動 模擬語音信號： （磁帶，唱片） 數(shù)字語音信號：模擬信號數(shù)字化 （wav mp3 CD） - 計算機(jī)應(yīng)用的需要計算機(jī)應(yīng)用的需要 如何數(shù)字化

2、取樣：采樣率（時間尺子，8K，16K，44K，每秒樣點(diǎn)數(shù)量） 量化：量化精度（幅度尺子，16bit，-3276732768范圍） 數(shù)字語音信號 取樣和量化 數(shù)字語音信號 波形不能說明內(nèi)容 數(shù)字語音信號 頻域介紹 一段任意波形可以由一系列正弦波形組合而成 離散傅里葉變換數(shù)學(xué)表示： 最高值，采樣率的一半（16K wav；max freq = 8K Hz） 人可聽辨的頻率范圍： （20Hz 20kHz） 電話語音信道的頻率范圍（60Hz 3400Hz） 數(shù)字語音信號 語譜圖 數(shù)字語音信號 清音和濁音 濁音：聲帶的快速振動，聲帶能夠?qū)⒎€(wěn)定氣流轉(zhuǎn)換成振動 振動頻率稱為基頻，準(zhǔn)周期性 清音：紊亂氣流，肺部

3、氣流通過聲道中的狹窄處產(chǎn)生 爆破音：突然爆破 數(shù)字語音信號 聲學(xué)特征 如此雜亂多變的信號，如何描述，如何恢復(fù)？ 語音信號產(chǎn)生的數(shù)字模型（源-濾波器模型） 數(shù)字語音信號 聲學(xué)特征 基頻：發(fā)濁音時聲帶振動引起的周期變化，我們聽感音調(diào) 高低主要由基頻決定，中文聲調(diào)還用于區(qū)分語義 譜參數(shù)：描述聲道和口唇輻射 共振峰，LPC，倒譜參數(shù) 總綱 1 . 數(shù)字語音信號 2 . 語音合成技術(shù) 3 . 數(shù)據(jù)標(biāo)注與合成 4 . 合成效果測聽 語音合成技術(shù) 主流技術(shù)路線 基于統(tǒng)計規(guī)則的大語料庫拼接語音合成系統(tǒng) 基于HMM的參數(shù)語音合成系統(tǒng) 基于HMM的語料庫拼接語音合成系統(tǒng) 兩條道路： 要么是波形切分再拼合起來，要么

4、是聲學(xué)參數(shù)轉(zhuǎn)化出來 語音合成技術(shù) 基于統(tǒng)計規(guī)則的大語料庫拼接語音合成系統(tǒng) 傳統(tǒng)大語料庫合成， InterPhonic 5.0之前 單元挑選波形拼接 超大規(guī)模音庫制作 語料設(shè)計，音庫錄制，精細(xì)切分，韻律標(biāo)注 規(guī)則統(tǒng)計，針對不同發(fā)音人的細(xì)致調(diào)整 優(yōu)點(diǎn)：音質(zhì)最佳，正常句子的自然度也很好 缺點(diǎn)：非常依賴音庫的規(guī)模大小和制作質(zhì)量，存在一定 穩(wěn)定性問題，不能應(yīng)用在小型設(shè)備中 樣例： InterPhonic系統(tǒng)處理流程 語音合成技術(shù) 基于HMM的參數(shù)語音合成系統(tǒng) 首先進(jìn)行語音特征參數(shù)的提取 以音素為單位（中文為聲韻母），使用HMM （Hidden Markov Model）對自然語流的頻譜特征參數(shù)進(jìn)行建模

5、采用基于決策樹的聚類方法對上下文相關(guān)模型進(jìn)行聚類 ，以提高模型的魯棒性，得到預(yù)測參數(shù) 最后生成參數(shù)輸入合成器，得到合成語音 優(yōu)點(diǎn)：所需音庫規(guī)模小，標(biāo)注精度要求相對降低，自然 度高，系統(tǒng)小，靈活度高，ViviVoice，AiSound 缺點(diǎn)：音質(zhì)相對較差，帶有合成器風(fēng)格 樣例： 語音合成技術(shù) 參數(shù)語音合成系統(tǒng)框架 語音合成技術(shù) HMM參數(shù)建模 用聲學(xué)參數(shù)針對音素建模 為什么要建模？描述的音素特征變化 隱馬爾科夫模型（ Hidden Markov Model - HMM ） 語音合成技術(shù) 決策樹模型聚類 有了模型怎么使用？來一句話怎么預(yù)知用哪個模型？ 基于上下文的信息的決策樹聚類 語音合成技術(shù) 基

6、于HMM的語料庫拼接語音合成系統(tǒng) 利用HMM目標(biāo)模型和連接模型來指導(dǎo)單元挑選 結(jié)合參數(shù)訓(xùn)練模型的數(shù)學(xué)統(tǒng)計模型優(yōu)勢和波形拼接的高 音質(zhì)，相對以前的大語料庫技術(shù)在自然度上有較大提升 自主原發(fā)，意義重大 優(yōu)點(diǎn)：擁有明確目標(biāo)和度量準(zhǔn)則，音質(zhì)好，自然度高， 系統(tǒng)搭建自動化程度高，InterPhonic 5.5以上版本 缺點(diǎn)：仍然需要很大規(guī)模的語料庫，計算量較大 樣例： 語音合成技術(shù) 基于HMM的單元挑選系統(tǒng)結(jié)構(gòu)圖 總綱 1 . 數(shù)字語音信號 2 . 語音合成技術(shù) 3 . 數(shù)據(jù)制作與合成 4 . 合成效果測聽 數(shù)據(jù)制作與合成 數(shù)據(jù)與合成的關(guān)系 音庫數(shù)據(jù)是合成系統(tǒng)的基石，離開了音庫談合成就是 “無源之水 無

7、本之木” 一份音庫的制作質(zhì)量，直接決定了該發(fā)音人合成系統(tǒng)的 能達(dá)到什么效果 數(shù)據(jù)制作與合成 數(shù)據(jù)制作過程 音庫設(shè)計 音庫錄制 音素切分 韻律標(biāo)注 音素檢錯 基頻修正 索引制作 數(shù)據(jù)制作與合成 音庫設(shè)計與合成 一個設(shè)計良好的音庫要有較好的音素，韻律覆蓋率 廣泛的語料來源，保證超大規(guī)模庫的穩(wěn)定 某方向定制語料，提升某特應(yīng)用場合的效果，對語料庫 拼接技術(shù)很重要 “還煩請大家收集更多更好的語料文本” 數(shù)據(jù)制作與合成 音庫錄制與合成 錄音控制很重要 錄音室環(huán)境，隔除噪音 話筒的擺放，能量幅度范圍 如何保持發(fā)音人的發(fā)音狀態(tài) 輕松心態(tài)，自然流程，不要帶情緒，除非這是情感庫 適度原則，不要疲勞錄音，寧缺勿濫

8、批次比對，及時與之前數(shù)據(jù)做比對，可加入重復(fù)句 “還請大家多關(guān)注錄音質(zhì)量” 數(shù)據(jù)制作與合成 音素切分與合成 切分精度 精切：大語料庫拼接標(biāo)準(zhǔn)，周期下降沿 粗切：參數(shù)合成與HMM拼接，模型具有一定內(nèi)部切分調(diào)整能力 粗切不代表切分不重要，好的初始位置能幫助模型自切。 電腦未必比人聰明，清濁好定，濁濁也難定，還需修正 停頓位置 什么地方有Sp，silv，pau？ 標(biāo)準(zhǔn)L3層以上邊界，30ms以上計算機(jī)才能使用 如果本來有停頓卻沒有加silv，停頓段會影響前后音素單元質(zhì)量 一些錄音缺陷也可塞給停頓位置，鼻息，口水音 合成樣例： The*psychotropic*airplanes#underwrote*

9、the*dispassionate*song。 數(shù)據(jù)制作與合成 音素切分與合成 音變處理 連續(xù)語流總存在一些規(guī)則音變或者不規(guī)則音變，導(dǎo)致所讀不是 原來詞典音素 音素是身份牌，這個錯了后果很嚴(yán)重！ 修改標(biāo)準(zhǔn)：尊重錄音 中文：聲調(diào)變化，兒化，輕讀。沒被改過的音變就是地雷 英文：連讀，吞音，弱化，縮寫詞 吞音標(biāo)準(zhǔn)：有無音位，或者我去掉這個讀有無差別 英文音素短，不是母語，更需小心 “還請大家切音時多細(xì)心” 數(shù)據(jù)制作與合成 韻律標(biāo)注與合成 韻律標(biāo)注是音素的檔案，據(jù)此來分門別類，聽候取用 良好的韻律標(biāo)注幫助我們構(gòu)建正確有效的統(tǒng)計預(yù)測結(jié)構(gòu)， 上下文韻律決策樹 如果韻律標(biāo)注是錯誤的，連鎖毀滅性破壞 韻律標(biāo)錯

10、 - 聚類分錯 - 模型建錯 - 預(yù)測走錯 - 參數(shù)找錯 - 挑選看錯 - 合成出錯 -客戶很生氣- game over 數(shù)據(jù)制作與合成 韻律標(biāo)注與合成 中文韻律：調(diào)型，停頓層次（L0 L1 L2 L3 L4 L5） 英文韻律：ToBI ( Tone and Break Index) 停頓層次： Tone Break 邊界調(diào)： Phrase Tone 重讀： Pitch Accent 數(shù)據(jù)制作與合成 韻律標(biāo)注與合成 標(biāo)注不同對合成的影響實(shí)例 重讀 But*I*did*not(H*)*enjoy*it*long。 邊界調(diào) Now*run*along(L-H%)，and*tell*them*to*

11、hurry。 數(shù)據(jù)制作與合成 韻律標(biāo)注與合成 一致性！ 一致性非常重要，統(tǒng)一標(biāo)準(zhǔn) 面對模棱兩可的地方，如何取舍？ 個人尊重大家意見 新人咨詢資深意見 多討論，多比對 對新錄庫可以按批次做一致性檢查 “還請大家細(xì)致統(tǒng)一的標(biāo)注韻律” 數(shù)據(jù)制作與合成 音素檢錯與基頻修正 評測會給數(shù)據(jù)打分糾錯，合成也需要 挑出音庫中可能存在的地雷 檢錯種類： 濁濁修正 調(diào)型修正 音素修正 基頻修正 特點(diǎn)：直接鎖定位置判斷，規(guī)律性強(qiáng) “還請大家多反饋檢錯時的規(guī)律總結(jié)” 數(shù)據(jù)制作與合成 索引制作與合成 音庫索引將音庫韻律和參數(shù)信息整理保存 合成需要從索引中提取數(shù)據(jù)，拼接合成在系統(tǒng)挑選時還 需要直接使用索引 較為固定，但一

12、旦出錯不易更改 某個詞性錯位問題遺留很久才被發(fā)現(xiàn)（技術(shù)人員的錯誤） “制庫工作很繁瑣，煩勞大家了” 總綱 1 . 數(shù)字語音信號 2 . 語音合成技術(shù) 3 . 數(shù)據(jù)制作與合成 4 . 合成效果測聽 合成效果測聽 測聽與合成 效果測聽是評判合成系統(tǒng)好壞的硬性指標(biāo) 常用測聽項目 音質(zhì) 自然度 相似度 主觀打分標(biāo)準(zhǔn)，（mean opinion score， MOS） MOS分主觀意見 5分優(yōu)，察覺不到任何不自然 4分良，剛察覺若干不自然 3分可，能察覺不自然但可以接受 2分差，明顯察覺但可忍受 1分壞，不可忍受 合成效果測聽 測聽與合成 音質(zhì)測聽注意事項 對音質(zhì)由技術(shù)路線主導(dǎo)，但敏感度因人而異，主觀好

13、惡 16K原始錄音音質(zhì)可打5分 16k原始分析合成可到4分 波形拼接合成音質(zhì)可超4分 參數(shù)合成系統(tǒng)音質(zhì)在3分附近 盡量減少自然度上的錯誤對音質(zhì)打分的影響 一般測聽要求 黑盒：防止慣性打分 0.5分間隔：提高一致性 測聽數(shù)量不能少，要有覆蓋率和代表性 一只好耳機(jī)，包住耳朵，提高音量 其實(shí)，5分很高，2分很低 合成效果測聽 測聽與合成 自然度測聽注意事項 同樣是主觀打分，個人標(biāo)準(zhǔn)看待 說話人原始錄音也只能接近5分 參數(shù)合成較為流暢，相對平淡 拼接合成存在不穩(wěn)定性，波動較大 自然度測聽強(qiáng)調(diào)對不自然處的扣分 同樣盡量減少不同音質(zhì)對自然度打分的影響 一般測聽要求 黑盒：防止慣性打分 0.5分間隔：提高一

14、致性 保證一定數(shù)據(jù)量，如果數(shù)量很多，可以分批測聽 5分太高，2分很丟人 合成效果測聽 測聽與合成 相似度測聽注意事項 一般會提供目標(biāo)人的錄音作參照 重點(diǎn)考察音色，兼顧基頻，時長，口音 一般測聽要求 黑盒不重要 0.5分間隔：提高一致性 合成效果測聽 測聽與合成 偏向性測聽注意事項 在兩個較為接近的效果中取舍 測聽要求 一定要黑盒！ 可以用黑盒工具，固定0， 1打分 偏向性選擇只能選一個 在特別說明時，對難以區(qū)分的，可以同時選或不選 合成效果測聽 測聽與合成 外教測聽注意事項 對外語種合成效果測聽，native人士的感覺很重要 一般只對整體感覺打分，綜合音質(zhì)自然度 測聽要求 多交流說明我們的目的

15、 對關(guān)注的問題需要直接溝通 控制測聽時間和數(shù)量，保證測聽質(zhì)量 合成效果測聽 測聽與合成 一句話總結(jié) “還請大家用靈巧的耳朵和聰慧的心靈幫助我們對每一句 合成語音做出客觀，細(xì)致，有代表性的評判” 謝謝！ 歡 迎 提 問 總綱 1 . 數(shù)字語音信號 2 . 語音合成技術(shù) 3 . 數(shù)據(jù)制作與合成 4 . 合成效果測聽 總綱 1 . 數(shù)字語音信號 2 . 語音合成技術(shù) 3 . 數(shù)據(jù)制作與合成 4 . 合成效果測聽 數(shù)據(jù)制作與合成 音素切分與合成 音變處理 連續(xù)語流總存在一些規(guī)則音變或者不規(guī)則音變，導(dǎo)致所讀不是 原來詞典音素 音素是身份牌，這個錯了后果很嚴(yán)重！ 修改標(biāo)準(zhǔn)：尊重錄音 中文：聲調(diào)變化，兒化，

16、輕讀。沒被改過的音變就是地雷 英文：連讀，吞音，弱化，縮寫詞 吞音標(biāo)準(zhǔn)：有無音位，或者我去掉這個讀有無差別 英文音素短，不是母語，更需小心 “還請大家切音時多細(xì)心” 數(shù)據(jù)制作與合成 韻律標(biāo)注與合成 韻律標(biāo)注是音素的檔案，據(jù)此來分門別類，聽候取用 良好的韻律標(biāo)注幫助我們構(gòu)建正確有效的統(tǒng)計預(yù)測結(jié)構(gòu)， 上下文韻律決策樹 如果韻律標(biāo)注是錯誤的，連鎖毀滅性破壞 韻律標(biāo)錯 - 聚類分錯 - 模型建錯 - 預(yù)測走錯 - 參數(shù)找錯 - 挑選看錯 - 合成出錯 -客戶很生氣- game over 數(shù)據(jù)制作與合成 韻律標(biāo)注與合成 標(biāo)注不同對合成的影響實(shí)例 重讀 But*I*did*not(H*)*enjoy*it*long。 邊界調(diào) Now*run*along(L-H%)，and*tell*them*to*hurry。 數(shù)據(jù)制作與合成 韻律標(biāo)注與合成 一致性！ 一致性非常重要，統(tǒng)一標(biāo)準(zhǔn) 面對模棱兩可的地方，如何取舍？ 個人尊重大家意見 新人咨詢資深意見 多討論，多比對 對新錄庫可以按批次做一致性檢查 “還請大家細(xì)致統(tǒng)一的標(biāo)注韻律” 數(shù)據(jù)制作與合成 索引制作與合成 音庫索引將音庫韻律和參數(shù)信息整理保存 合成需要從索引中提