汽車智能座艙系統(tǒng)與應(yīng)用 課件 4-2 實(shí)現(xiàn)座艙中語音交互技術(shù)的應(yīng)用

能力模塊四

掌握智能座艙中語音交互技術(shù)的應(yīng)用任務(wù)二

實(shí)現(xiàn)座艙中語音交互技術(shù)的應(yīng)用作為一名智能座艙測試工程師，今天主管要求你測試智能座艙中語音交互是否可以實(shí)現(xiàn)，你需要進(jìn)行一個簡單的語音交互的設(shè)計與實(shí)現(xiàn)，來驗(yàn)證語音交互技術(shù)的可行性。任務(wù)引入Tasktointroduce01主流的車載語音助手功能認(rèn)知02NLP技術(shù)應(yīng)用（喚醒、聆聽、理解、播報）認(rèn)知目錄

CONTENTS03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)04百度智能云實(shí)現(xiàn)語音識別主流的車載語音助手功能認(rèn)知PART0101主流的車載語音助手功能認(rèn)知

常見的車載語音助手功能：語音交互功能語音交互功能語音交互功能語音交互功能常見的車載語音助手功能01主流的車載語音助手功能認(rèn)知語音交互功能主要包括語音識別、語音合成。通過語音交互功能，系統(tǒng)能夠通過用戶的語音指令，從而實(shí)現(xiàn)各應(yīng)用程序的功能控制。同時，針對接收到的語音指令，系統(tǒng)能夠給予用戶正確的語音反饋?；谡Z音識別技術(shù)，當(dāng)車載語音系統(tǒng)接收到用戶指令后，系統(tǒng)能夠“聽懂”人類的語言；基于語音合成技術(shù)，系統(tǒng)能夠?qū)?zhí)行結(jié)果通過語音播報的形式反饋給用戶。語音交互功能01主流的車載語音助手功能認(rèn)知相較于打開第三方應(yīng)用程序的傳統(tǒng)方式，用戶僅通過全語音交互的形式即可實(shí)現(xiàn)信息的自主查詢功能，從而在提高系統(tǒng)執(zhí)行效率的同時，避免了用戶注意力的分散，保障了用戶的駕駛安全。例如，天氣查詢：基于“今天天氣如何”、“明天深圳會下雨嗎”等語音指令，用戶可對天氣信息執(zhí)行查詢操作。語音查詢功能01主流的車載語音助手功能認(rèn)知娛樂功能是車載語音系統(tǒng)的核心功能，具體包含有本地音樂、在線音樂、本地電臺、在線節(jié)目四個子功能。例如，針對在線音樂的功能，車載語音系統(tǒng)設(shè)計用戶的語音指令分為控制指令和搜索指令。用戶可通過控制指令實(shí)現(xiàn)音樂應(yīng)用程序的打開、關(guān)閉，實(shí)現(xiàn)對歌曲播放模式的控制。娛樂功能01主流的車載語音助手功能認(rèn)知語音控制車輛原有設(shè)備，針對車輛內(nèi)的空調(diào)、車窗、天窗等設(shè)備，通過采用全語音交互的方式，從而使系統(tǒng)控制更為快捷、便利。相較于傳統(tǒng)的觸摸屏幕的形式，語音交互不會分散用戶的注意力，能夠用戶的行車安全。語音控制功能NLP技術(shù)應(yīng)用PART0202

NLP技術(shù)應(yīng)用

通過前面的學(xué)習(xí)，我們知道智能座艙語音交互分為語音交互的喚醒、聆聽、理解、播報4個部分。02NLP技術(shù)應(yīng)用設(shè)計喚醒狀態(tài)前需要考慮當(dāng)前設(shè)備采用哪種語音交互方式，還需要考慮該設(shè)備使用的是近場語音交互還是遠(yuǎn)場語音交互。近場語音交互主要是指人距離機(jī)器不超過30cm的語音識別技術(shù)，像帶有智能語音助手的電視遙控器和手機(jī)都屬于近場語音交互。遠(yuǎn)場語音交互主要解決人距離機(jī)器0.3～5m的語音交互問題。喚醒02NLP技術(shù)應(yīng)用為了營造認(rèn)真聆聽用戶說話的效果，設(shè)計相應(yīng)的反饋機(jī)制。聆聽

我們可以在等待用戶響應(yīng)時，燈光和智能語音助手可以保持一個相對平靜的狀態(tài)，這意味著設(shè)備接收不到任何信息。如果智能語音助手是一個人物或動物，則可以通過動作表示正在傾聽，在時間達(dá)到上限時可以反饋給用戶“聽不到”的動作。02NLP技術(shù)應(yīng)用

理解又稱網(wǎng)絡(luò)等待狀態(tài)，因?yàn)榻^大部分語音交互的識別和處理都是在云端進(jìn)行的，所以返回語音結(jié)果需要一段時間。理解狀態(tài)必須反饋給用戶，因?yàn)橛脩舨恢涝摖顟B(tài)何時才會結(jié)束。如果整個語音交互流程需要很長時間才能完成響應(yīng)，那么系統(tǒng)應(yīng)該告知用戶當(dāng)前流程出現(xiàn)異常，需要重新發(fā)起語音交互流程。理解02NLP技術(shù)應(yīng)用不同產(chǎn)品在處理語音播報狀態(tài)方面有著不一樣的反饋設(shè)計。播報

在Echo智能音箱上，Alexa會用藍(lán)色和青色交替表示設(shè)備正在播報內(nèi)容，顏色的交替模擬了Alexa說話時的呼吸節(jié)奏。手機(jī)/平板電腦上的Siri在播報內(nèi)容時會將內(nèi)容顯示在屏幕上，同時顯示一個球形來告知用戶當(dāng)前無法持續(xù)聆聽。案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)PART0303案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)snowboy是一個開源的、輕量級語音喚醒引擎，可以通過它很輕松地創(chuàng)建屬于自己的類似“hey,Siri”的喚醒詞。我們接下來具體實(shí)現(xiàn)喚醒功能。

一、安裝依賴03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

獲取源碼

拉取源碼成功后，進(jìn)入Python3目錄

然后使用make命令開始編譯

下載Swig3.0.12的源碼包03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

解壓Swig

安裝編譯工具

進(jìn)入Swig源碼03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

配置

編譯

安裝03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)二、獲取snowboy源碼進(jìn)行編譯

將swig導(dǎo)入到環(huán)境變量，打開bashrc

添加環(huán)境

刷新環(huán)境

確認(rèn)版本型號03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語音模型借助SnowboyPersonalWakeWord（）官網(wǎng)生成語音喚醒模型。有如下7個步驟： 1.打開Snowboy網(wǎng)站

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語音模型2.點(diǎn)擊按鈕啟動麥克風(fēng)，如下圖所示

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語音模型 3.單擊“Record”并等待準(zhǔn)備就緒

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語音模型4.說出喚醒詞，你好，小馳。并等待結(jié)束，結(jié)束后將產(chǎn)生一條語音。

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語音模型5.重復(fù)步驟4，并直至產(chǎn)生3條語音結(jié)束。

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語音模型6.輸入模型名稱，提交音頻。

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)三、生成語音模型 7.下載模型。

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)利用snowboy實(shí)現(xiàn)

四、部署模型

下載好的模型文件放入到snowboy/examples/Python3/文件中。

五、在命令行中輸入：python3demo.py模型名字.pmdl并使用自己的喚醒詞進(jìn)行測試。

03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)API的概念早在20世紀(jì)60年代就已經(jīng)出現(xiàn)，其代表的是應(yīng)用程序的編程接口，是一些預(yù)先定義的函數(shù)，或指軟件系統(tǒng)不同組成部分銜接的約定。換句話說，API是一個信使，它將用戶的請求交付給用戶所請求的提供者，然后將響應(yīng)交付給用戶。使用第三方API的好處如下：降低開發(fā)周期和開發(fā)成本，減少了產(chǎn)品的推廣成本，使得自己的服務(wù)被第三方依賴。借助第三方API實(shí)現(xiàn)03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺下載對應(yīng)sdk 1.在瀏覽器打開開放平臺-以語音交互為核心的人工智能開放平臺()，登錄控制臺。03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺下載對應(yīng)sdk 2.創(chuàng)建應(yīng)用控制臺-訊飛開放平臺()，如下圖所示：03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺下載對應(yīng)sdk 3.點(diǎn)擊應(yīng)用，選擇語音喚醒服務(wù)，如圖所示。03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺下載對應(yīng)sdk 4.設(shè)置喚醒詞，我以“你好，小馳”為例，如圖所示。03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)一、在控制臺下載對應(yīng)sdk 5.下載SDK，我選擇Linux為例，如下圖所示：03案例：“你好，小馳！”設(shè)計與實(shí)現(xiàn)借助第三方API實(shí)現(xiàn)

二、設(shè)置音頻文件

將音頻文件（要求16k,16bit,pcm格式）放入bin/audio目錄下，并將音頻命名為awake.pcm 三、選擇sdk文件

進(jìn)入sdk內(nèi)samples/awaken_offline_sample目錄，選擇source64bit_make.sh或32bit_make.sh,視系統(tǒng)位數(shù)選擇 四、查看結(jié)果

運(yùn)行成功后進(jìn)入sdkbin目錄下cd../../bin/，運(yùn)行./awaken_offline_sample即可看到運(yùn)行結(jié)果百度智能云實(shí)現(xiàn)語音識別PART0403百度智能云實(shí)現(xiàn)語音識別在熟悉語音識別功能及語音喚醒的方法之后，我們可以利用汽車智能座艙實(shí)訓(xùn)軟件系統(tǒng)來進(jìn)行語音識別的實(shí)例測試。在汽車智能座艙系統(tǒng)實(shí)訓(xùn)臺上，打開教學(xué)系統(tǒng)屏幕，在軟件系統(tǒng)頁面點(diǎn)擊“語音識別控制單元（ASR)”，如圖所示。03百度智能云實(shí)現(xiàn)語音識別在語音識別控制單元頁面中，點(diǎn)擊“實(shí)例測試”，可觀察到中間頁面為接口描述和錯誤代碼提示。右側(cè)輸入框分別為APPID、Clientid和Clientsecret。這三個輸入信息可以從百度智能云創(chuàng)建好的應(yīng)用中獲取（依次對應(yīng)的是APPID、APIKey和SecretKey信息）。03百度智能云實(shí)現(xiàn)語音識別信息輸入后點(diǎn)擊“錄音”按鈕。