人工智能數(shù)據(jù)標(biāo)注實(shí)戰(zhàn)教程 課件 第五章 語音標(biāo)注項(xiàng)目

第五章

語音標(biāo)注項(xiàng)目任務(wù)一

自動語音識別標(biāo)注任務(wù)內(nèi)容概括“猶勝相逢不相識，形容變盡語音存?！?---蘇軾內(nèi)容概括知識背景典型應(yīng)用場景實(shí)踐標(biāo)注操作1.知識背景語音識別商業(yè)化目前在算力、算法和數(shù)據(jù)方面基本達(dá)到了階段性成熟，語音識別技術(shù)的發(fā)展離不開大量標(biāo)注語音數(shù)據(jù)來訓(xùn)練模型，對智能語音行業(yè)來說，優(yōu)質(zhì)的語音識別標(biāo)注數(shù)據(jù)是不可缺少的2.典型應(yīng)用場景游戲娛樂字幕生成語音指令社交聊天會議紀(jì)要體育運(yùn)動我國科大訊飛公司作為冬奧會的“翻譯官”3.實(shí)踐標(biāo)注操作（1）準(zhǔn)備數(shù)據(jù)

來自一首歌曲《我和我的祖國》，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”

按鈕創(chuàng)建項(xiàng)目3.實(shí)踐標(biāo)注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標(biāo)簽頁，選擇“UploadFiles”，在彈出框中選擇準(zhǔn)備好的據(jù)文件，進(jìn)行導(dǎo)入3.實(shí)踐標(biāo)注操作（4）選擇模板切換到“LabelingSetup”選項(xiàng)卡，指定項(xiàng)目模板類型為“AutomaticSpeechRecognition”3.實(shí)踐標(biāo)注操作（5）開始標(biāo)注單擊“Play”按鈕，邊聽邊將聲音信息在轉(zhuǎn)寫框中（ProvideTranscription）轉(zhuǎn)寫為文字信息，反復(fù)播放直至完成所有聲音內(nèi)容的轉(zhuǎn)寫。3.實(shí)踐標(biāo)注操作（6）導(dǎo)出結(jié)果單擊“Export”按鈕，在彈出菜單中選擇導(dǎo)出格式并保存。小結(jié)知識目標(biāo)：（1）明確自動語音識別標(biāo)注相關(guān)概念（2）明確自動語音識別標(biāo)注方法思政目標(biāo)：（1）中國科技創(chuàng)新的力量（2）中國古代人文情懷第五章

語音標(biāo)注項(xiàng)目任務(wù)二說話人語音分割標(biāo)注任務(wù)內(nèi)容概括知識背景典型應(yīng)用場景實(shí)踐標(biāo)注操作1.知識背景語音識別技術(shù)由于語音信號在背景噪聲、信道條件等方面的差異性，在進(jìn)行語音識別之前必須經(jīng)過多項(xiàng)語音前端技術(shù)進(jìn)行預(yù)處理以提高語音識別的性能。其中，說話人分割技術(shù)就是一種重要的語音前端處理技術(shù)，它可以用來解決“什么時(shí)候誰在說話”的問題。2.典型應(yīng)用場景客服中心電話會議內(nèi)容紀(jì)要智能音箱電話營銷3.實(shí)踐標(biāo)注操作（1）準(zhǔn)備數(shù)據(jù)節(jié)選自著名相聲大師侯寶林與郭啟儒的一段相聲，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”

按鈕創(chuàng)建項(xiàng)目3.實(shí)踐標(biāo)注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標(biāo)簽頁，選擇“UploadFiles”，在彈出框中選擇準(zhǔn)備好的數(shù)據(jù)文件，進(jìn)行導(dǎo)入3.實(shí)踐標(biāo)注操作（4）選擇模板切換到“LabelingSetup”選項(xiàng)卡，指定項(xiàng)目模板類型為“SpeakerSegmentation”3.實(shí)踐標(biāo)注操作（5）維護(hù)標(biāo)簽通過“Addlabelnames”文本框填入新增標(biāo)簽并單擊“Add”按鈕保存；通過Labels列表項(xiàng)的刪除按鈕刪除無用標(biāo)簽。3.實(shí)踐標(biāo)注操作（6）開始標(biāo)注首先選擇標(biāo)簽，然后在音頻數(shù)據(jù)中通過鼠標(biāo)劃定與標(biāo)簽對應(yīng)的說話人說話片段范圍。循環(huán)上述操作直到完成數(shù)據(jù)的所有標(biāo)記。如果某一次標(biāo)注不準(zhǔn)確，在波形圖單擊對應(yīng)該次標(biāo)注的音頻片段，在標(biāo)注界面右上側(cè)區(qū)域，點(diǎn)擊刪除按鈕，刪去本次標(biāo)注3.實(shí)踐標(biāo)注操作（6）開始標(biāo)注3.實(shí)踐標(biāo)注操作（6）開始標(biāo)注3.實(shí)踐標(biāo)注操作（7）導(dǎo)出結(jié)果單擊“Export”按鈕，在彈出菜單中選擇導(dǎo)出格式并保存。小結(jié)知識目標(biāo)：（1）明確說話人語音分割標(biāo)注相關(guān)概念（2）明確說話人語音分割標(biāo)注方法思政目標(biāo)：（1）工匠精神（2）中國科技力量第五章

語音標(biāo)注項(xiàng)目任務(wù)三聲音事件檢測標(biāo)注任務(wù)內(nèi)容概括知識背景典型應(yīng)用場景實(shí)踐標(biāo)注操作1.知識背景聲音事件檢測（SoundEventDetection，SED）就是檢測連續(xù)的音頻流之中有無出現(xiàn)目標(biāo)聲音事件。它可以對聲音數(shù)據(jù)進(jìn)行分類與檢測，并將檢測結(jié)果作為是否執(zhí)行某種操作的判斷標(biāo)準(zhǔn)。如果說語音識別是將人類語音翻譯為機(jī)器能聽懂的語言，那么聲音事件檢測就是將環(huán)境聲音翻譯為機(jī)器可以理解的聲音2.典型應(yīng)用場景安全監(jiān)控生物檢測異常監(jiān)測情景感知3.實(shí)踐標(biāo)注操作（1）準(zhǔn)備數(shù)據(jù)準(zhǔn)備一段聲音，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”

按鈕創(chuàng)建項(xiàng)目3.實(shí)踐標(biāo)注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標(biāo)簽頁，選擇“UploadFiles”，在彈出框中選擇準(zhǔn)備好的數(shù)據(jù)文件，進(jìn)行導(dǎo)入3.實(shí)踐標(biāo)注操作（4）選擇模板切換到“LabelingSetup”選項(xiàng)卡，指定項(xiàng)目模板類型為“SoundEventDetection”3.實(shí)踐標(biāo)注操作（5）維護(hù)標(biāo)簽通過“Addlabelnames”文本框填入新增標(biāo)簽并單擊“Add”按鈕保存；通過Labels列表項(xiàng)的刪除按鈕刪除無用標(biāo)簽。3.實(shí)踐標(biāo)注操作（6）開始標(biāo)注首先選擇標(biāo)簽，然后在音頻數(shù)據(jù)中通過鼠標(biāo)劃定與標(biāo)簽對應(yīng)的事件發(fā)生片段范圍，如果某一次標(biāo)注不準(zhǔn)確，在波形圖中單擊對應(yīng)該次標(biāo)注的音頻片段，在標(biāo)注界面右上側(cè)區(qū)域，點(diǎn)擊刪除按鈕，刪去本次標(biāo)注，循環(huán)上述操作直到完成數(shù)據(jù)的所有標(biāo)記。3.實(shí)踐標(biāo)注操作（7）導(dǎo)出結(jié)果單擊“Export”按鈕，在彈出菜單中選擇導(dǎo)出格式并保存。小結(jié)知識目標(biāo)：（1）明確聲音事件檢測標(biāo)注相關(guān)概念（2）明確聲音事件檢測標(biāo)注方法思政目標(biāo)：（1）創(chuàng)新精神（2）工匠精神第五章

語音標(biāo)注項(xiàng)目任務(wù)四語音意圖分類標(biāo)注任務(wù)內(nèi)容概括知識背景典型應(yīng)用場景實(shí)踐標(biāo)注操作1.知識背景語音對話交流中的用戶意圖理解是人機(jī)自然、和諧交互的重要前提。缺少這一前提，就很容易導(dǎo)致“答非所問”的情況發(fā)生。語音意圖分類核心問題在于如何理解用戶在互聯(lián)網(wǎng)環(huán)境下的話語意圖以及如何根據(jù)話語意圖生成讓用戶更為滿意的反饋結(jié)果，并在此基礎(chǔ)上提升語音生成的表現(xiàn)力。2.典型應(yīng)用場景游戲娛樂智能客服智能家居3.實(shí)踐標(biāo)注操作（1）準(zhǔn)備數(shù)據(jù)來自音頻數(shù)據(jù)是一段來自小米公司智能語音助手小愛同學(xué)的智能服務(wù)演示，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”按鈕創(chuàng)建項(xiàng)目3.實(shí)踐標(biāo)注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標(biāo)簽頁，選擇“UploadFiles”，在彈出框中選擇準(zhǔn)備好的據(jù)文件，進(jìn)行導(dǎo)入3.實(shí)踐標(biāo)注操作（4）選擇模板切換到“LabelingSetup”選項(xiàng)卡，指定項(xiàng)目模板類型為“IntentClassification”3.實(shí)踐標(biāo)注操作（5）維護(hù)標(biāo)簽通過“Addlabelnames”文本框填入新增標(biāo)簽，通過Labels列表項(xiàng)的刪除按鈕刪除無用標(biāo)簽。Choices列表表示在當(dāng)前項(xiàng)目意圖分類的種類。通過“Addchoices”選項(xiàng)框填入新增選項(xiàng)通過Choices選項(xiàng)的刪除按鈕刪除無用選項(xiàng)3.實(shí)踐標(biāo)注操作（6）開始標(biāo)注首先選擇標(biāo)簽，然后在音頻數(shù)據(jù)中通過鼠標(biāo)劃定與標(biāo)簽對應(yīng)的人機(jī)交