HTK使用方法簡(jiǎn)介(三).ppt

1、HTK使用方法簡(jiǎn)介(三),使用細(xì)分字音單位、多混合數(shù) 李立民,Step 1: Feature Extraction,將實(shí)驗(yàn)所需的訓(xùn)練音及測(cè)試音波形檔(*.wav)轉(zhuǎn)換成特徵檔(*.mfcc) 建立一個(gè)設(shè)定檔fea_extract.cfg來(lái)指定轉(zhuǎn)換之輸入與輸出格式。 建立一個(gè)輸入與輸出檔路徑表檔案io_filelist.txt 執(zhí)行HCopy -C fea_extract.cfg -S io_filelist.txt,Step 2: 音檔標(biāo)音並蒐集會(huì)用到的聲音單位,d0 l ih ng sp d1 iy sp d2 er sp d3 s aa n sp d4 s us sp d5 uw sp d

2、6 l ih ow sp d7 ch iy sp d8 b aa sp d9 jh ih ow sp SILENCE sil,建立標(biāo)音字典 word_to_subword_sp.dic 本例標(biāo)音字典中每個(gè)音都會(huì)用到 用HLEd程式將 word_trans.mlf 轉(zhuǎn)成subword_trans_sp.mlf的標(biāo)音檔 編輯轉(zhuǎn)換規(guī)則檔dig_to_subword.led，內(nèi)容含EX及IS sil sil 執(zhí)行HLEd -d word_to_subword_sp.dic -i subword_trans_sp.mlf dig_to_subword.led word_trans.mlf,word_to

3、_subword_sp.dic,#!MLF!# mfcc/S5/00_00.lab sil l ih ng sp sil . mfcc/S5/00_01.lab sil iy sp sil .,mfcc/S5/00_11.lab sil l ih ow sp b aa sp iy sp sil .,subword_trans_sp.mlf,Step 3: 建立HMM model的架構(gòu)(產(chǎn)生初始HHM),造好存放初始HHM架構(gòu)的目錄 mkdir model_struct; del /q model_struct 系統(tǒng)共使用幾種架構(gòu)？哪些聲音的HMM檔要使用同一種架構(gòu) 為每個(gè)架構(gòu)建一個(gè) “架構(gòu)設(shè)定

4、檔”及 “模型表列檔” 注意:模型表列檔最後要有一個(gè)空白列 例model_struct_sp.pcf , hmmlist_sp.txt (sp的模型) model_struct_sil.pcf , hmmlist_sil.txt (sil的模型) model_struct_short.pcf , hmmlist_short.txt (短音模型) model_struct_long.pcf , hmmlist_long.txt (長(zhǎng)音模型) 執(zhí)行產(chǎn)生各種架構(gòu)HMM檔之指令: for %n in ( sp sil short long ) do Perl MakeProtoHMMSet model

5、_struct_%n.pcf 將各個(gè)模型表列檔合併成hmmlist.txt以便將來(lái)使用,sp,iy er us uw aa ow,l ih ng n s chb jh,sil,Step 4: 計(jì)算training data的mean及variance 作為模型初值,建立訓(xùn)練音路徑列表檔filelist_odd.txt 造一個(gè)模型根目錄models, 及其下子目錄hmm0hmm20以存放各階段的模型檔 mkdir models del /s /q models* for /L %m in (0,1,20) do mkdir modelshmm%m 先將將各個(gè)HMM檔合併成總模型檔且同時(shí)將所有模型

6、狀態(tài)綁在一起(連動(dòng))，然後以所有訓(xùn)練語(yǔ)料變異數(shù)及平均值作其初值，啟用HCompV計(jì)算變異數(shù)下限設(shè)定值，最後將vFloors定義也加進(jìn)總模型檔且同時(shí)把狀態(tài)綁在一起的狀態(tài)解開(kāi)。 建立tie_all_state.hed，內(nèi)容為 TI allstate *.state1-100 建立untie_all_state.hed，內(nèi)容為 UT *.state1-100 HHed -d model_struct -M models/hmm0 -w hmmdefs tie_all_state.hed hmmlist.txt HERest -S filelist_odd.txt -H models/hmm0/hmm

7、defs -M models/hmm0 -I subword_trans_sp.mlf hmmlist.txt HCompV -f 0.01 -m -S filelist_odd.txt -M models/hmm0 model_struct/sp HHed -H models/hmm0/hmmdefs -H models/hmm0/vFloors -M models/hmm0 -w hmmdefs untie_all_state.hed hmmlist.txt,建立shi.hed HHed -H models/hmm0/hmmdefs -M models/hmm0 -w hmmdefs sh

8、i.hed hmmlist.txt,Step 5: 靜音回繞及與短間隔音的連結(jié),AT 2 4 0.2 sil.transP AT 4 2 0.2 sil.transP AT 1 3 0.3 sp.transP TI silst sil.state3,sp.state2,AT為增加轉(zhuǎn)移機(jī)率 silence第2狀態(tài)轉(zhuǎn)移第4狀態(tài)的機(jī)率為0.2 創(chuàng)造一個(gè)TEE模型叫silst，將sil的第3狀態(tài)與sp的第2狀態(tài)連結(jié)在一起,Step 6: 單定音HMM訓(xùn)練,HERest -S filelist_odd.txt -H models/hmm0/hmmdefs -M models/hmm1 -I subwor

9、d_trans_sp.mlf hmmlist.txt HERest -S filelist_odd.txt -H models/hmm1/hmmdefs -M models/hmm2 -I subword_trans_sp.mlf hmmlist.txt HERest -S filelist_odd.txt -H models/hmm2/hmmdefs -M models/hmm3 -I subword_trans_sp.mlf hmmlist.txt HERest -S filelist_odd.txt -H models/hmm3/hmmdefs -M models/hmm4 -I sub

10、word_trans_sp.mlf hmmlist.txt HERest -S filelist_odd.txt -H models/hmm4/hmmdefs -M models/hmm5 -I subword_trans_sp.mlf hmmlist.txt,Step 7 鄰境音模型,語(yǔ)音單位的特性若可不受鄰音影響，稱為獨(dú)定音或單定音(context independent unit) 實(shí)際情形是發(fā)音時(shí)會(huì)受到鄰音牽動(dòng)而有所變異，我們稱為鄰牽音或鄰境音(context dependent phone) 。HTK用 s-aa+n 來(lái)表示一個(gè)aa的音受到前接s後接n影響的變異版本。,以前後音影響做

11、模型的細(xì)分,以HLEd建立鄰境三音標(biāo)記檔 建立轉(zhuǎn)換指令檔subword_to_triphone.led HLEd -n triphonelist -i triphone_trans_sp.mlf sw2tri.led subword_trans_sp.mlf 以HHEd造出鄰境三音模型 以下列指令產(chǎn)生編輯命令檔mktri.hed perl maketrihed hmmlist.txt triphonelist 由單定音模型複製出鄰境三音模型 HHEd -B -H models/hmm5/hmmdefs -M models/hmm6 mktri.hed hmmlist.txt 對(duì)鄰境三音模型訓(xùn)練

12、2次，並產(chǎn)生狀態(tài)統(tǒng)計(jì)量stats HERest -S filelist_odd.txt -H models/hmm6/hmmdefs -M models/hmm7 -s stats -I triphone_trans_sp.mlf triphonelist HERest -S filelist_odd.txt -H models/hmm7/hmmdefs -M models/hmm8 -s stats -I triphone_trans_sp.mlf triphonelist,NB sil NB sp TC,#!MLF!# mfcc/S5/00_00.lab sil sil-l+ih l-ih

13、+ng ih-ng+sil sp sil . mfcc/S5/00_01.lab sil sil-iy+sil sp sil .,mfcc/S5/00_11.lab sil sil-l+ih l-ih+ow ih-ow+b sp ow-b+aa b-aa+iy sp a-iy+sil sp sil .,Step 8 決策樹(shù)與鄰境音連結(jié),單定音衍生出過(guò)多的鄰境三音，模型數(shù)量暴增，模型過(guò)多難有足夠資料可做穩(wěn)健訓(xùn)練。 一個(gè)單定音衍生的鄰境三音中，鄰音類(lèi)型相同者，特性的改變應(yīng)相似，因此，可根據(jù)鄰音類(lèi)別來(lái)合併特性相同的鄰境三音，例如單定音為a ，則左邊或右邊接鼻音的 a (m-a+*，n-a+*, ng

14、-a+*, *-a+m, *-a+n, *-a+ng)合併成一類(lèi)，其餘的a合併成另一類(lèi)。 一個(gè)鄰音條件是否滿足可以區(qū)分出兩個(gè)類(lèi)別，n個(gè)條件可區(qū)分成2n個(gè)類(lèi)別。我們可根據(jù)一序列 “鄰音條件是否滿足的問(wèn)句”來(lái)對(duì)鄰境三音做分類(lèi)。 我們可以列出所有可能的鄰音條件(問(wèn)句)，再?gòu)闹刑暨x出較具區(qū)別力的條件來(lái)做分類(lèi)依據(jù)，形成所謂的決策樹(shù)。決策樹(shù)的每個(gè)節(jié)點(diǎn)代表一個(gè)滿足某種條件的集合與一個(gè)問(wèn)句，將是否滿足問(wèn)句條件的元素分成兩類(lèi)，分流到其兩個(gè)子節(jié)點(diǎn)之集合。 建構(gòu)好的決策樹(shù):先找出可以做最大區(qū)分的鄰音條件作為根節(jié)點(diǎn)問(wèn)題，也就是先將所有鄰境三音放在根節(jié)點(diǎn)，對(duì)每個(gè)問(wèn)句試作分類(lèi)，將可分成最為內(nèi)聚的兩類(lèi)之問(wèn)句挑出作為此節(jié)點(diǎn)的

15、問(wèn)句。根據(jù)是否滿足問(wèn)句，得到兩個(gè)類(lèi)別子集合，分別位在其子節(jié)點(diǎn)。再以相同的程序分別挑選各子節(jié)點(diǎn)的問(wèn)句，直到不需再細(xì)分為止。 何謂可分成最為內(nèi)聚的兩類(lèi)? 這兩個(gè)高斯分布分別產(chǎn)生其資料的概似度最大 。,建立完整鄰境音集fulllist，涵蓋所有tri-phone組合 mono_to_xwtri.exe hmmlist.txt fulllist 注意:使用上列程式時(shí)，hmmlist.txt 開(kāi)頭的兩個(gè)音必須是 sp 及sil 建立問(wèn)題集與連結(jié)指令檔 例如左邊是否接元音？ 右邊是否接鼻音？左邊是否接 “b”這個(gè)音？可複製HTK所附範(fàn)例quests.hed再作適當(dāng)修改 用perl mkclscript.p

16、rl TB 350 hmmlist.txt tree.hed 在tree.hed中加入指令A(yù)U fulllist CO tiedlist ST trees 進(jìn)行分類(lèi)、連結(jié)並合成未出現(xiàn)過(guò)的tri-phone HHEd -H models/hmm8/hmmdefs -M models/hmm9 tree.hed triphonelist log 再訓(xùn)練 HERest -S filelist_odd.txt -H models/hmm9/hmmdefs -M models/hmm10 -I triphone_trans_sp.mlf tiedlist HERest -S filelist_odd.t

17、xt -H models/hmm10/hmmdefs -M models/hmm11 -I triphone_trans_sp.mlf tiedlist,Step 9: 建立文法規(guī)則及產(chǎn)生連字網(wǎng)路規(guī)則,建立文法規(guī)則gram.txt 執(zhí)行HParse gram.txt net.txt,gram.txt,$digit = d0 |d1 | d2 | d3 | d4 |d5 |d6 |d7 |d8 |d9 ; ( SILENCE SILENCE ),Step 10: 單高斯系統(tǒng)語(yǔ)音辨認(rèn),造一個(gè)存放辨認(rèn)輸出的目錄temp mkdir temp del /q /s temp* 進(jìn)行辨認(rèn) 編輯連字網(wǎng)路擴(kuò)展

18、設(shè)定組態(tài)檔 vit_xw.cfg, 使字網(wǎng)在辯認(rèn)階段擴(kuò)展成跨字鄰牽三音網(wǎng)。 HVite -C vit_xw.cfg -H models/hmm11/hmmdefs -S filelist_even.txt -i temprec_out.mlf -w net.txt word_to_subword_sp.dic tiedlist 分析辨認(rèn)結(jié)果 將所有用到的字，全部列在wordlist.txt檔案中 HResults -p -I word_trans.mlf wordlist.txt temprec_out.mlf temp.txt 或HResults -p -I word_trans.mlf w

19、ord_to_subword_sp.dic temprec_out.mlf temp.txt 觀看 temp.txt 檔案,FORCECXTEXP = T ALLOWXWRDEXP = T,vit_xw.cfg,Step 11: 增加混合數(shù),建立模型編修指令檔 increase_mix_2.hed 執(zhí)行模型編修程式 HHEd -H models/hmm11/hmmdefs -M models/hmm12 increase_mix_2.hed tiedlist 再訓(xùn)練2次 HERest -S filelist_odd.txt -H models/hmm12/hmmdefs -M models/h

20、mm13 -I triphone_trans_sp.mlf tiedlist HERest -S filelist_odd.txt -H models/hmm13/hmmdefs -M models/hmm14 -I triphone_trans_sp.mlf tiedlist,MU 2 *.state1-100.mix,Step 12: 語(yǔ)音辨認(rèn)(混合數(shù)=2),進(jìn)行辨認(rèn) HVite -C vit_xw.cfg -H models/hmm14/hmmdefs -S filelist_even.txt -i temprec_out.mlf -w net.txt word_to_subword_sp.dic tiedlist 分析辨認(rèn)結(jié)果 HResults -p -I word_trans.mlf wor