汽車(chē)智能座艙系統(tǒng)與應(yīng)用 課件 4-2 實(shí)現(xiàn)座艙中語(yǔ)音交互技術(shù)的應(yīng)用

能力模塊四

掌握智能座艙中語(yǔ)音交互技術(shù)的應(yīng)用任務(wù)二

實(shí)現(xiàn)座艙中語(yǔ)音交互技術(shù)的應(yīng)用作為一名智能座艙測(cè)試工程師，今天主管要求你測(cè)試智能座艙中語(yǔ)音交互是否可以實(shí)現(xiàn)，你需要進(jìn)行一個(gè)簡(jiǎn)單的語(yǔ)音交互的設(shè)計(jì)與實(shí)現(xiàn)，來(lái)驗(yàn)證語(yǔ)音交互技術(shù)的可行性。任務(wù)引入Tasktointroduce01主流的車(chē)載語(yǔ)音助手功能認(rèn)知02NLP技術(shù)應(yīng)用（喚醒、聆聽(tīng)、理解、播報(bào)）認(rèn)知目錄

CONTENTS03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)04百度智能云實(shí)現(xiàn)語(yǔ)音識(shí)別主流的車(chē)載語(yǔ)音助手功能認(rèn)知PART0101主流的車(chē)載語(yǔ)音助手功能認(rèn)知

常見(jiàn)的車(chē)載語(yǔ)音助手功能：語(yǔ)音交互功能語(yǔ)音交互功能語(yǔ)音交互功能語(yǔ)音交互功能常見(jiàn)的車(chē)載語(yǔ)音助手功能01主流的車(chē)載語(yǔ)音助手功能認(rèn)知語(yǔ)音交互功能主要包括語(yǔ)音識(shí)別、語(yǔ)音合成。通過(guò)語(yǔ)音交互功能，系統(tǒng)能夠通過(guò)用戶的語(yǔ)音指令，從而實(shí)現(xiàn)各應(yīng)用程序的功能控制。同時(shí)，針對(duì)接收到的語(yǔ)音指令，系統(tǒng)能夠給予用戶正確的語(yǔ)音反饋?；谡Z(yǔ)音識(shí)別技術(shù)，當(dāng)車(chē)載語(yǔ)音系統(tǒng)接收到用戶指令后，系統(tǒng)能夠“聽(tīng)懂”人類的語(yǔ)言；基于語(yǔ)音合成技術(shù)，系統(tǒng)能夠?qū)?zhí)行結(jié)果通過(guò)語(yǔ)音播報(bào)的形式反饋給用戶。語(yǔ)音交互功能01主流的車(chē)載語(yǔ)音助手功能認(rèn)知相較于打開(kāi)第三方應(yīng)用程序的傳統(tǒng)方式，用戶僅通過(guò)全語(yǔ)音交互的形式即可實(shí)現(xiàn)信息的自主查詢功能，從而在提高系統(tǒng)執(zhí)行效率的同時(shí)，避免了用戶注意力的分散，保障了用戶的駕駛安全。例如，天氣查詢：基于“今天天氣如何”、“明天深圳會(huì)下雨嗎”等語(yǔ)音指令，用戶可對(duì)天氣信息執(zhí)行查詢操作。語(yǔ)音查詢功能01主流的車(chē)載語(yǔ)音助手功能認(rèn)知娛樂(lè)功能是車(chē)載語(yǔ)音系統(tǒng)的核心功能，具體包含有本地音樂(lè)、在線音樂(lè)、本地電臺(tái)、在線節(jié)目四個(gè)子功能。例如，針對(duì)在線音樂(lè)的功能，車(chē)載語(yǔ)音系統(tǒng)設(shè)計(jì)用戶的語(yǔ)音指令分為控制指令和搜索指令。用戶可通過(guò)控制指令實(shí)現(xiàn)音樂(lè)應(yīng)用程序的打開(kāi)、關(guān)閉，實(shí)現(xiàn)對(duì)歌曲播放模式的控制。娛樂(lè)功能01主流的車(chē)載語(yǔ)音助手功能認(rèn)知語(yǔ)音控制車(chē)輛原有設(shè)備，針對(duì)車(chē)輛內(nèi)的空調(diào)、車(chē)窗、天窗等設(shè)備，通過(guò)采用全語(yǔ)音交互的方式，從而使系統(tǒng)控制更為快捷、便利。相較于傳統(tǒng)的觸摸屏幕的形式，語(yǔ)音交互不會(huì)分散用戶的注意力，能夠用戶的行車(chē)安全。語(yǔ)音控制功能NLP技術(shù)應(yīng)用PART0202

NLP技術(shù)應(yīng)用

通過(guò)前面的學(xué)習(xí)，我們知道智能座艙語(yǔ)音交互分為語(yǔ)音交互的喚醒、聆聽(tīng)、理解、播報(bào)4個(gè)部分。02NLP技術(shù)應(yīng)用設(shè)計(jì)喚醒狀態(tài)前需要考慮當(dāng)前設(shè)備采用哪種語(yǔ)音交互方式，還需要考慮該設(shè)備使用的是近場(chǎng)語(yǔ)音交互還是遠(yuǎn)場(chǎng)語(yǔ)音交互。近場(chǎng)語(yǔ)音交互主要是指人距離機(jī)器不超過(guò)30cm的語(yǔ)音識(shí)別技術(shù)，像帶有智能語(yǔ)音助手的電視遙控器和手機(jī)都屬于近場(chǎng)語(yǔ)音交互。遠(yuǎn)場(chǎng)語(yǔ)音交互主要解決人距離機(jī)器0.3～5m的語(yǔ)音交互問(wèn)題。喚醒02NLP技術(shù)應(yīng)用為了營(yíng)造認(rèn)真聆聽(tīng)用戶說(shuō)話的效果，設(shè)計(jì)相應(yīng)的反饋機(jī)制。聆聽(tīng)

我們可以在等待用戶響應(yīng)時(shí)，燈光和智能語(yǔ)音助手可以保持一個(gè)相對(duì)平靜的狀態(tài)，這意味著設(shè)備接收不到任何信息。如果智能語(yǔ)音助手是一個(gè)人物或動(dòng)物，則可以通過(guò)動(dòng)作表示正在傾聽(tīng)，在時(shí)間達(dá)到上限時(shí)可以反饋給用戶“聽(tīng)不到”的動(dòng)作。02NLP技術(shù)應(yīng)用

理解又稱網(wǎng)絡(luò)等待狀態(tài)，因?yàn)榻^大部分語(yǔ)音交互的識(shí)別和處理都是在云端進(jìn)行的，所以返回語(yǔ)音結(jié)果需要一段時(shí)間。理解狀態(tài)必須反饋給用戶，因?yàn)橛脩舨恢涝摖顟B(tài)何時(shí)才會(huì)結(jié)束。如果整個(gè)語(yǔ)音交互流程需要很長(zhǎng)時(shí)間才能完成響應(yīng)，那么系統(tǒng)應(yīng)該告知用戶當(dāng)前流程出現(xiàn)異常，需要重新發(fā)起語(yǔ)音交互流程。理解02NLP技術(shù)應(yīng)用不同產(chǎn)品在處理語(yǔ)音播報(bào)狀態(tài)方面有著不一樣的反饋設(shè)計(jì)。播報(bào)

在Echo智能音箱上，Alexa會(huì)用藍(lán)色和青色交替表示設(shè)備正在播報(bào)內(nèi)容，顏色的交替模擬了Alexa說(shuō)話時(shí)的呼吸節(jié)奏。手機(jī)/平板電腦上的Siri在播報(bào)內(nèi)容時(shí)會(huì)將內(nèi)容顯示在屏幕上，同時(shí)顯示一個(gè)球形來(lái)告知用戶當(dāng)前無(wú)法持續(xù)聆聽(tīng)。案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)PART0303案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)snowboy是一個(gè)開(kāi)源的、輕量級(jí)語(yǔ)音喚醒引擎，可以通過(guò)它很輕松地創(chuàng)建屬于自己的類似“hey,Siri”的喚醒詞。我們接下來(lái)具體實(shí)現(xiàn)喚醒功能。

一、安裝依賴03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

獲取源碼

拉取源碼成功后，進(jìn)入Python3目錄

然后使用make命令開(kāi)始編譯

下載Swig3.0.12的源碼包03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

解壓Swig

安裝編譯工具

進(jìn)入Swig源碼03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

配置

編譯

安裝03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

將swig導(dǎo)入到環(huán)境變量，打開(kāi)bashrc

添加環(huán)境

刷新環(huán)境

確認(rèn)版本型號(hào)03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語(yǔ)音模型借助SnowboyPersonalWakeWord（）官網(wǎng)生成語(yǔ)音喚醒模型。有如下7個(gè)步驟： 1.打開(kāi)Snowboy網(wǎng)站

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語(yǔ)音模型2.點(diǎn)擊按鈕啟動(dòng)麥克風(fēng)，如下圖所示

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語(yǔ)音模型 3.單擊“Record”并等待準(zhǔn)備就緒

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語(yǔ)音模型4.說(shuō)出喚醒詞，你好，小馳。并等待結(jié)束，結(jié)束后將產(chǎn)生一條語(yǔ)音。

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語(yǔ)音模型5.重復(fù)步驟4，并直至產(chǎn)生3條語(yǔ)音結(jié)束。

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語(yǔ)音模型6.輸入模型名稱，提交音頻。

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語(yǔ)音模型 7.下載模型。

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)

四、部署模型

下載好的模型文件放入到snowboy/examples/Python3/文件中。

五、在命令行中輸入：python3demo.py模型名字.pmdl并使用自己的喚醒詞進(jìn)行測(cè)試。

03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)API的概念早在20世紀(jì)60年代就已經(jīng)出現(xiàn)，其代表的是應(yīng)用程序的編程接口，是一些預(yù)先定義的函數(shù)，或指軟件系統(tǒng)不同組成部分銜接的約定。換句話說(shuō)，API是一個(gè)信使，它將用戶的請(qǐng)求交付給用戶所請(qǐng)求的提供者，然后將響應(yīng)交付給用戶。使用第三方API的好處如下：降低開(kāi)發(fā)周期和開(kāi)發(fā)成本，減少了產(chǎn)品的推廣成本，使得自己的服務(wù)被第三方依賴。借助第三方API實(shí)現(xiàn)03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺(tái)下載對(duì)應(yīng)sdk 1.在瀏覽器打開(kāi)開(kāi)放平臺(tái)-以語(yǔ)音交互為核心的人工智能開(kāi)放平臺(tái)()，登錄控制臺(tái)。03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺(tái)下載對(duì)應(yīng)sdk 2.創(chuàng)建應(yīng)用控制臺(tái)-訊飛開(kāi)放平臺(tái)()，如下圖所示：03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺(tái)下載對(duì)應(yīng)sdk 3.點(diǎn)擊應(yīng)用，選擇語(yǔ)音喚醒服務(wù)，如圖所示。03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺(tái)下載對(duì)應(yīng)sdk 4.設(shè)置喚醒詞，我以“你好，小馳”為例，如圖所示。03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺(tái)下載對(duì)應(yīng)sdk 5.下載SDK，我選擇Linux為例，如下圖所示：03案例：“你好，小馳！”設(shè)計(jì)與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)

二、設(shè)置音頻文件

將音頻文件（要求16k,16bit,pcm格式）放入bin/audio目錄下，并將音頻命名為awake.pcm 三、選擇sdk文件

進(jìn)入sdk內(nèi)samples/awaken_offline_sample目錄，選擇source64bit_make.sh或32bit_make.sh,視系統(tǒng)位數(shù)選擇 四、查看結(jié)果

運(yùn)行成功后進(jìn)入sdkbin目錄下cd../../bin/，運(yùn)行./awaken_offline_sample即可看到運(yùn)行結(jié)果百度智能云實(shí)現(xiàn)語(yǔ)音識(shí)別PART0403百度智能云實(shí)現(xiàn)語(yǔ)音識(shí)別在熟悉語(yǔ)音識(shí)別功能及語(yǔ)音喚醒的方法之后，我們可以利用汽車(chē)智能座艙實(shí)訓(xùn)軟件系統(tǒng)來(lái)進(jìn)行語(yǔ)音識(shí)別的實(shí)例測(cè)試。在汽車(chē)智能座艙系統(tǒng)實(shí)訓(xùn)臺(tái)上，打開(kāi)教學(xué)系統(tǒng)屏幕，在軟件系統(tǒng)頁(yè)面點(diǎn)擊“語(yǔ)音識(shí)別控制單元（ASR)”，如圖所示。03百度智能云實(shí)現(xiàn)語(yǔ)音識(shí)別在語(yǔ)音識(shí)別控制單元頁(yè)面中，點(diǎn)擊“實(shí)例測(cè)試”，可觀察到中間頁(yè)面為接口描述和錯(cuò)誤代碼提示。右側(cè)輸入框分別為APPID、Clientid和Clientsecret。這三個(gè)輸入信息可以從百度智能云創(chuàng)建好的應(yīng)用中獲?。ㄒ来螌?duì)應(yīng)的是APPID、APIKey和SecretKey信息）。03百度智能云實(shí)現(xiàn)語(yǔ)音識(shí)別信息輸入后點(diǎn)擊“錄音”按鈕。