利用現(xiàn)有的語音辨識系統(tǒng)對這些語料進(jìn)行自動(dòng)轉(zhuǎn)寫.ppt

非監(jiān)督式學(xué)習(xí)於中文電視新聞自動(dòng)轉(zhuǎn)寫之初步應(yīng)用,郭人瑋、蔡文鴻、陳柏琳國立臺灣師範(fàn)大學(xué)資訊工程研究所,ExploitingUnsupervisedLearningtoMandarinTVNewsTranscription:AnInitialStudy,Jen-WeiKuo,Wen-HungTsai,BerlinChenSpeechLab,NationalTaiwanNormalUniversity,序論,動(dòng)機(jī)日常生活中能取得的多媒體影音資訊愈來愈多，若要在語音辨識系統(tǒng)上使用這些資訊，人工轉(zhuǎn)寫往往不易取得。解決方法非監(jiān)督式學(xué)習(xí)利用現(xiàn)有的語音辨識系統(tǒng)對這些語料進(jìn)行自動(dòng)轉(zhuǎn)寫，並使用信心度評評估來加以篩選。非監(jiān)督式學(xué)習(xí)包含非監(jiān)督式聲學(xué)模型訓(xùn)練利用發(fā)音確認(rèn)技術(shù)來挑選較正確的語料。非監(jiān)督式聲學(xué)模型調(diào)適引入信心度評估來作聲學(xué)模型調(diào)適。非監(jiān)督式語言模型調(diào)適使用自動(dòng)轉(zhuǎn)寫的文字語料來作語言模型調(diào)適。非監(jiān)督式學(xué)習(xí)之流程與技術(shù),Introduction,Motivation日常生活中能取得的多媒體影音資訊愈來愈多，若要在語音辨識系統(tǒng)上使用這些資訊，人工轉(zhuǎn)寫往往不易取得。SolutionUnsupervisedLearning利用現(xiàn)有的語音辨識系統(tǒng)對這些語料進(jìn)行自動(dòng)轉(zhuǎn)寫，並使用信心度評評估來加以篩選。非監(jiān)督式學(xué)習(xí)包含UnsupervisedAcousticModelTraining利用發(fā)音確認(rèn)技術(shù)來挑選較正確的語料。UnsupervisedAcousticModelAdaptation引入信心度評估來作聲學(xué)模型調(diào)適。UnsupervisedLanguageModelAdaptation使用自動(dòng)轉(zhuǎn)寫的文字語料來作語言模型調(diào)適。,臺師大資工所新聞?wù)Z音辨識系統(tǒng),大詞彙連續(xù)語音辨識系統(tǒng)詞典建立：利用前後雙連機(jī)率來作為複合詞合併的依據(jù)。詞彙樹複製搜尋：為一種結(jié)合語言模型與聲學(xué)模型的動(dòng)態(tài)規(guī)劃搜尋演算法，配合語言模型前看分?jǐn)?shù)及光束剪栽能有效率的建立詞圖。詞圖搜尋：在詞圖上上使用更高階的語言模型，重新進(jìn)行一次動(dòng)態(tài)規(guī)劃搜尋，找出最佳的詞句。,NTNULVCSRSystem,LargeVocabularyContinuousSpeechRecognitionSystem詞典建立：利用前後雙連機(jī)率來作為複合詞合併的依據(jù)。詞彙樹複製搜尋：為一種結(jié)合語言模型與聲學(xué)模型的動(dòng)態(tài)規(guī)劃搜尋演算法，配合語言模型前看分?jǐn)?shù)及光束剪栽能有效率的建立詞圖。詞圖搜尋：在詞圖上上使用更高階的語言模型，重新進(jìn)行一次動(dòng)態(tài)規(guī)劃搜尋，找出最佳的詞句。,詞圖,圖一、語音辨識器所產(chǎn)生的詞圖，對應(yīng)的轉(zhuǎn)寫為豪雨不斷臺東兩人死亡,非監(jiān)督式學(xué)習(xí)之流程,大量語料,語音辨識,對應(yīng)的自動(dòng)轉(zhuǎn)寫(第一名詞序列),篩選,篩選,非監(jiān)督式聲學(xué)模型訓(xùn)練,聲學(xué)模型,語言模型,詞典,語音辨識系統(tǒng),詞彙樹複製搜尋,語音輸入,文字輸出,詞圖,詞彙樹複製搜尋,詞圖,MLLR,非監(jiān)督式聲學(xué)模型調(diào)適,詞圖搜尋,篩選,非監(jiān)督式語言模型調(diào)適,文字語料,語型言建模立,語言模型,少量人工轉(zhuǎn)寫語料,聲型學(xué)建模立,聲學(xué)模型,非監(jiān)督式學(xué)習(xí)技術(shù),候選詞事後機(jī)率,聲學(xué)信心,候選詞信心度評估,發(fā)音確認(rèn),非監(jiān)督式聲學(xué)模型訓(xùn)練,非監(jiān)督式語言模型調(diào)適,非監(jiān)督式聲學(xué)模型調(diào)適,候選詞事後機(jī)率,候選詞事後機(jī)率,根據(jù)觀察，以愈高階的語言模型進(jìn)行詞圖搜尋，候選詞之間的事後機(jī)率差異愈是懸殊，例如以三連語言模型進(jìn)行詞圖搜尋時(shí)，第一名詞序列(Top1WordSequence)中的候選詞往往佔(zhàn)有超過0.95的事後機(jī)率，換句話說，語言模型所用的階層(Order)愈高，則候選詞事後機(jī)率愈受語言模型所影響。將式子作一點(diǎn)修正，引入信心度比例係數(shù)來解決。,候選詞事後機(jī)率,其中為信心度比例係數(shù)(ConfidenceScaleFactor)，介於0與1之間，表示對聯(lián)合機(jī)率施以壓縮，使候選詞間的事後機(jī)率差異變小。當(dāng)?shù)褥?時(shí)，則表示刻度不變；當(dāng)?shù)褥?時(shí)，事後機(jī)率為均勻機(jī)率(UniformProbability)。,聲學(xué)信心,臺東(taa_iduueng),ta,a_i,du,ueng,sic_a,sic_o,sil,候選詞信心度評估,候選詞信心度評估為候選詞事後機(jī)率與聲學(xué)信心的線性組合。,其中與為權(quán)重參數(shù)，在以下的非監(jiān)督式聲學(xué)模型訓(xùn)練中，我們均設(shè)為0.5。,發(fā)音確認(rèn),決定某語句是否予以挑選成為非監(jiān)督式訓(xùn)練的語料。發(fā)音確認(rèn)可視為一個(gè)決斷函數(shù)，根據(jù)平均候選詞信心度評估，來決定自動(dòng)轉(zhuǎn)寫產(chǎn)生的第一名詞序列是否能成為訓(xùn)練語料。其中為篩選的基準(zhǔn)閥值。,非監(jiān)督式聲學(xué)模型調(diào)適,大多數(shù)的非監(jiān)督式聲學(xué)模型調(diào)適僅取第一次辨識所產(chǎn)生的第一名詞序列來做聲學(xué)模型調(diào)適的依據(jù)。然而語音辨識的錯(cuò)誤可能會對聲學(xué)模型調(diào)適造成影響，使得調(diào)適效果有限。我們嘗試使用候選詞信心度評估為詞圖上的候選詞進(jìn)行加權(quán)，使得每一個(gè)候選詞依其信心度評估分?jǐn)?shù)對模型調(diào)適都有不同程度的貢獻(xiàn)。,非監(jiān)督式聲學(xué)模型調(diào)適,演算法：測試語句經(jīng)由詞彙樹複製搜尋(Tree-CopySearch)，產(chǎn)生詞圖(WordGraph)。利用Forward-Backward演算法在詞圖上進(jìn)行詞圖搜尋(WordGraphRescoring)，為詞圖上的每一候選詞求出其對應(yīng)的信心度評估。針對每一候選詞的語音段落，再使用一次狀態(tài)層次(StateLevel)Forward-Backward演算法，為每一音框(Frame)t及狀態(tài)(State)i求其事後機(jī)率。,非監(jiān)督式聲學(xué)模型調(diào)適,演算法：最後，將乘上所屬候選詞的事後機(jī)率，並對所有候選詞語音段落加總?？傻靡艨驎r(shí)t，狀態(tài)i的事後機(jī)率。重覆上述步驟，收集MLLR模型調(diào)適時(shí)所需的統(tǒng)計(jì)量，並進(jìn)行MLLR模型調(diào)適。,廣播及電視新聞?wù)Z料,初始聲學(xué)模型：大約4小時(shí)語料收錄於1998至1999年之間。所有的語料都經(jīng)由人工切割為一則一則的新聞?wù)Z音檔，每一則新聞均由一個(gè)主播所播報(bào)，性別上男女都有。某些檔案因錄音的關(guān)係，含有相當(dāng)大的背景雜訊。初始語言模型：收錄2000及2001年中央社的新聞。約含有162M個(gè)中文字。,廣播及電視新聞?wù)Z料,公視新聞?wù)Z料為中央研究院資訊所口語小組耗時(shí)三年與公共電視臺合作錄製完成，預(yù)計(jì)將收錄200小時(shí)的廣播新聞。公視新聞?wù)Z料大致上可分內(nèi)場及外場兩個(gè)部份，內(nèi)場部分主要為主播(StudioAnchors)的語料，外場部分主要為記者(FieldReporters)與受訪者(Interviewees)的語料。經(jīng)由統(tǒng)計(jì)，MATBN2002與MATBN2003共120小時(shí)的語料內(nèi)，只含有五位主播，其中以葉明蘭主播的語料佔(zhàn)絕大多數(shù)，約85%，使得要在內(nèi)場中定義出一套較具代表性的訓(xùn)練及測試語料，顯得有些困難。,廣播及電視新聞?wù)Z料,本實(shí)驗(yàn)的訓(xùn)練語料,廣播及電視新聞?wù)Z料,本實(shí)驗(yàn)的測試語料,非監(jiān)督式聲學(xué)模型調(diào)適基礎(chǔ)實(shí)驗(yàn),基礎(chǔ)實(shí)驗(yàn)與非監(jiān)督式聲學(xué)模型調(diào)適之語音辨識結(jié)果：嘗試改變信心度比例係數(shù)與計(jì)算候選詞事後機(jī)率時(shí)語言模型的階層。MLLR(Top1)為傳統(tǒng)只取用第一名辨識結(jié)果詞序列來做MLLR調(diào)適；MLLR(CM)為引入信心度評估的MLLR調(diào)適。字錯(cuò)誤率減少百分比為相對於無聲學(xué)模型調(diào)適之字錯(cuò)誤率。,MLLR(CM),MLLR(CM),MLLR(CM),MLLR(CM),MLLR(CM),MLLR(CM),MLLR(CM),MLLR(CM),非監(jiān)督式聲學(xué)模型訓(xùn)練實(shí)驗(yàn)結(jié)果,非監(jiān)督式聲學(xué)模型訓(xùn)練在使用不同基準(zhǔn)閥值下的語音辨識結(jié)果。Thr為非監(jiān)督式聲學(xué)模型訓(xùn)練用以選取語句之基準(zhǔn)閥值，MLLR(CM)為引入信心度評估的MLLR調(diào)適，信心度比例係數(shù)在此設(shè)為1/16。同一列中，MLLR括弧內(nèi)的數(shù)據(jù)為相對於無聲學(xué)模型調(diào)適時(shí)字錯(cuò)誤率減少百分比。最後一列的監(jiān)督式訓(xùn)練為對照組。,非監(jiān)督式語言模型調(diào)適實(shí)驗(yàn)結(jié)果,自動(dòng)轉(zhuǎn)寫用於語言模型調(diào)適的語音辨識結(jié)果。Thr為非監(jiān)督式聲學(xué)模型訓(xùn)練用以選取語句之基準(zhǔn)閥值，括弧內(nèi)之?dāng)?shù)據(jù)為相對於無語言模型調(diào)適之字錯(cuò)誤率減少百分比。,領(lǐng)域內(nèi)之語言模型調(diào)適實(shí)驗(yàn)結(jié)果,領(lǐng)域內(nèi)語言模型調(diào)適的語音辨識結(jié)果。MLLR(CM)為引入信心度評估的MLLR調(diào)適，信心度比例係數(shù)在此設(shè)為1/16。,結(jié)論與未來展望,發(fā)音確認(rèn)能有效地挑選較為可靠的語料來進(jìn)行訓(xùn)練，節(jié)省大量的人力進(jìn)行人工轉(zhuǎn)寫，使龐大的語料能被運(yùn)用。信心度評估也使得詞圖上更多的資訊能應(yīng)用在非監(jiān)督式聲學(xué)模型調(diào)適上，不再只侷限於