T∕TAF 043-2019 智能產(chǎn)品語音識別測評方法 第二部分：智能音箱

1、ICS 33.050M 30團體標準T/TAF 043-2019智能產(chǎn)品語音識別測評方法第二部分：智能音箱Evaluation Specification of Speech Recognition for Smart ProductsPart 2: Smart Speaker2019 -10 -14 發(fā)布2019 - 10 - 14 實施電信終端產(chǎn)業(yè)協(xié)會發(fā) 布T/TAF 043-2019 PAGE * ROMAN III目錄 HYPERLINK l _bookmark0 目錄I HYPERLINK l _bookmark1 前言II HYPERLINK l _bookmark2 引言III

2、HYPERLINK l _bookmark3 智能產(chǎn)品語音識別測評方法 第二部分：智能音箱1 HYPERLINK l _bookmark4 范圍1 HYPERLINK l _bookmark5 規(guī)范性引用文件1 HYPERLINK l _bookmark6 術(shù)語、定義和縮略語1 HYPERLINK l _bookmark7 術(shù)語和定義1 HYPERLINK l _bookmark8 縮略語3 HYPERLINK l _bookmark9 功能要求3 HYPERLINK l _bookmark10 智能音箱系統(tǒng)框架3 HYPERLINK l _bookmark11 接口4 HYPERLINK l

3、 _bookmark12 網(wǎng)絡(luò)4 HYPERLINK l _bookmark13 語音交互4 HYPERLINK l _bookmark14 資源內(nèi)容5 HYPERLINK l _bookmark15 賬號和升級管理5 HYPERLINK l _bookmark16 語料設(shè)計和環(huán)境搭建6 HYPERLINK l _bookmark17 語料庫設(shè)計6 HYPERLINK l _bookmark18 測試環(huán)境6 HYPERLINK l _bookmark19 測試方法7 HYPERLINK l _bookmark20 喚醒率8 HYPERLINK l _bookmark21 誤喚醒率8 HYPER

4、LINK l _bookmark22 喚醒延遲8 HYPERLINK l _bookmark23 識別響應(yīng)準確率9 HYPERLINK l _bookmark24 識別響應(yīng)時間9 HYPERLINK l _bookmark25 用戶意圖識別準確率9 HYPERLINK l _bookmark26 該指標用于評價智能音箱具體功能支持的廣度與深度。9 HYPERLINK l _bookmark27 附 錄 A （規(guī)范性附錄） 標準修訂歷史10 HYPERLINK l _bookmark28 附 錄 B （資料性附錄） 測試集技能領(lǐng)域參考11 HYPERLINK l _bookmark29 參考文獻

5、13前言本標準按照 GB/T 1.1-2009給出的規(guī)則編寫。本標準由電信終端產(chǎn)業(yè)協(xié)會提出并歸口。本標準起草單位：中國信息通信研究院、華為技術(shù)有限公司。本標準主要起草人：李瑋、傅蓉蓉、張小雨、董千洲、劉毓煒、鄭宗斌、高偉、孫亮、陳會引言目前智能音箱行業(yè)空前火熱，互聯(lián)網(wǎng)巨頭紛紛扎堆布局智能音箱。智能音箱被認為是物聯(lián)網(wǎng)的“新入口”，它集成了AI 智能引擎，搭載語音交互、有聲資源播放、智能家居控制、生活 O2O 服務(wù)等功能， 使用場景豐富，潛力巨大。但與此同時，用戶在使用智能音箱時也面臨標準缺失帶來的問題，比如喚醒效果差、誤喚醒、語音識別錯誤、答非所問、音質(zhì)差、抗噪能力不足等，成為阻礙智能音箱發(fā)展、

6、無法滿足用戶體驗的重要原因。因此，有必要針對智能音箱制定面向消費者的語音交互測評方法，從而為智能音箱的質(zhì)量評估提供必要的參考依據(jù)，幫助更好地規(guī)范智能音箱市場，保障用戶的使用體驗。T/TAF 043-2019 PAGE 13智能產(chǎn)品語音識別測評方法 第二部分：智能音箱范圍本標準規(guī)定了智能音箱語音交互性能測評指標和測試方法。本標準適用于指導(dǎo)第三方測評機構(gòu)對智能音箱的性能測評工作。規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件SJ/T 11380-2008 自動聲紋識別（說話人

7、識別）技術(shù)規(guī)范GB/T 21023-2007中文語音識別系統(tǒng)通用技術(shù)規(guī)范DB50/T 489-2013智能家居監(jiān)控系統(tǒng)技術(shù)要求DB50/T 488-2013智能家居監(jiān)控系統(tǒng)測試規(guī)范ITU-T P.851 基于口語對話系統(tǒng)的電話服務(wù)的主觀質(zhì)量評價（Subjective quality evaluation of telephoneservices based on spoken dialogue systems）術(shù)語、定義和縮略語術(shù)語和定義下列術(shù)語和定義適用于本文件智能音箱智能音箱是一款具備傳統(tǒng)音箱功能，同時在此基礎(chǔ)上擁有語音識別、語義理解和語音合成的整套語音交互功能的智能設(shè)備。產(chǎn)品可擁有多種互

8、聯(lián)網(wǎng)服務(wù)內(nèi)容，成為消費者從互聯(lián)網(wǎng)上獲取信息的一種工具， 例如點播歌曲、聽新聞，或是了解天氣預(yù)報，它也可以對智能家居設(shè)備進行控制，比如打開空調(diào)、預(yù)約電飯鍋煮飯等。麥克風(fēng)陣列 Microphone Array麥克風(fēng)陣列是應(yīng)用于語音處理的系統(tǒng)，它由一定數(shù)目的麥克風(fēng)按規(guī)則排列組成，用來對聲場的空間特性進行采樣并處理的拾音技術(shù)。語音喚醒 Voice Wake-up設(shè)備在待機狀態(tài)下，檢測到語音輸入中的喚醒詞，并做出語音應(yīng)答回應(yīng)的操作。語音喚醒詞 Voice Wake-up Word用來進行語音喚醒時的關(guān)鍵詞，一般為短語(24 音節(jié))或者用戶自定義的一句話。語音識別 Automatic Speech Rec

9、ognition就是讓智能音箱通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本技術(shù)。 HYPERLINK /item/%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF 語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準則及模型訓(xùn)練技術(shù)三個方面。語音合成 Text To Speech語音合成是通過機械的、電子的方法產(chǎn)生人造語音的技術(shù)。TTS技術(shù)（又稱文語轉(zhuǎn)換技術(shù)）隸屬于語音合成，它是將計算機自己產(chǎn)生的、或外部輸入的文字信息轉(zhuǎn)變?yōu)榭梢月牭枚?、流利的漢語口語輸出的技術(shù)。自然語言處理 Natural Language Processing自然語言處理

10、（NLP）是計算機科學(xué)，人工智能，語言學(xué)關(guān)注計算機和人類（自然）語言之間的相互作用的領(lǐng)域。它包括知識圖譜，語言理解，語言生成等多種領(lǐng)域。自然語言理解 Natural Language Understanding是自然語言處理(NLP)的子集。包括分詞，詞法分析，句法分析，文本分類等多種技術(shù)涵蓋多種技術(shù)領(lǐng)域的應(yīng)用。背景噪聲 Background Noise模擬智能音箱所在環(huán)境中可能發(fā)出的擴散噪聲信號。信噪比 HYPERLINK /link?url=MwBrOrgGxelVvBhScDv91I702dRH7xhZ7hyDH2UT4RntAW0 xJ9cpl8tY1cXucNO-XOREK7TKJB

11、ZERKaW3J0qBbkeVnwCXitMjCIaL9tl8-M_ih78MTj8r8ntsmlfLyvH Signal-to-noise Ratio（SNR）智能音箱發(fā)出的語音信號或用戶的輸入語音信號與噪音信號或干擾源信號的能量比。房間混響 Room Reverberation室內(nèi)聲源發(fā)出的聲波能量，在傳播的過程中不斷經(jīng)墻面來回反射以致能量逐漸衰減的過程。測試語料 Test Corpus用于測試智能音箱語音交互功能的音頻集合。喚醒率 Voice Wake-up Precision假設(shè)智能音箱在喚醒時會出現(xiàn)兩種狀態(tài)，其中：總共有P次類別為1的樣本，假設(shè)類別1為成功喚醒?？偣灿蠳次類別為0的樣

12、本，假設(shè)類別0為喚醒失敗。喚醒率的定義：F P P N喚醒率反映了智能音箱的靈敏度，同時在一定程度上和誤喚醒率正相關(guān)。誤喚醒 False Voice Wake-up圖1 假設(shè)智能音箱在使用過程中會出現(xiàn)兩種狀態(tài)，其中：總共有P次類別為1的樣本，假設(shè)類別1為進行了喚醒行為?？偣灿蠳次類別為0的樣本，假設(shè)類別0為無喚醒行為。誤喚醒理論上定義為 FP 即：在一定連續(xù)使用音箱的時間范圍內(nèi)，沒有進行喚醒行為卻發(fā)生響應(yīng)的次數(shù)?？s略語下面縮略語適用于本文件ASRAutomatic SpeechRecognition語音識別TTSText To Speech語音合成NLPNatural LanguageProc

13、essing自然語言處理NLUNatural LanguageUnderstanding自然語言理解功能要求智能音箱系統(tǒng)框架圖2 智能音箱基本框架圖智能音箱系統(tǒng)框架主要包括語音前端交互系統(tǒng)，由麥克風(fēng)陣列、語音識別模塊和喇叭組成；中控處理單元，由語義理解模塊、業(yè)務(wù)邏輯處理和語音合成模塊組成，以上為最基本的智能音箱框架圖。接口智能音箱應(yīng)至少具有并行接口、通用串行總線接口、以太網(wǎng)接口或無線接口中的一種接口，并應(yīng)符合國家相關(guān)標準的規(guī)定。網(wǎng)絡(luò)智能音箱應(yīng)可通過無線網(wǎng)絡(luò)或有線網(wǎng)絡(luò)連接到以太網(wǎng)，播放網(wǎng)絡(luò)上的音頻資源；另外智能音箱應(yīng)該具有藍牙(BlueTooth)功能，可以通過連接手機等BlueTooth設(shè)備播

14、放手機里的音頻。語音交互語音識別智能音箱應(yīng)能在非極限環(huán)境下，將用戶輸入的語音信號轉(zhuǎn)為文字信號，并且在語音信號轉(zhuǎn)文字的過程中要有一定的容錯能力。容錯能力是指發(fā)音含糊或者音近的的情況下可進行矯正的能力。產(chǎn)品宜應(yīng)識別多種人群，如發(fā)音不準的小孩和老人，宜適應(yīng)多地域人群，例如：西南、廣東、廣西等地域發(fā)音差異顯著的人群。語音喚醒產(chǎn)品應(yīng)能在安靜場景、外部噪聲和自噪聲場景下通過語音識別檢測到語音輸入中的喚醒詞，并且做出相應(yīng)的應(yīng)答(軟硬件形式不限)。依照喚醒距離可分為遠場喚醒和近場喚醒。遠場喚醒指聲源與音箱距離在3米及以上范圍喚醒的操作。近場喚醒指聲源與音箱距離在3米以內(nèi)范圍喚醒的操作。產(chǎn)品的語音識別功能在語音

15、喚醒階段應(yīng)支持本地識別，確保消費者的隱私不外泄，不應(yīng)連接以太網(wǎng)。語義理解自然語言語義的表示主要有三種：分布語義，框架語義，模型論語義。現(xiàn)階段智能對話平臺通常采用模型語義的一個變形：領(lǐng)域（domain）、意圖（intent）、詞槽（slot）來表示語義。在實際使用時，由于智能音箱是物聯(lián)網(wǎng)的入口，因此人與音箱的對話會涉及很多場景。音箱應(yīng)對非規(guī)范的口語有一定的容錯能力，根據(jù)用戶查詢(俗稱 Query),判斷 Query 所屬的領(lǐng)域、具體意圖，并解析出用戶Query 所對應(yīng)的詞槽，進而為后續(xù)意圖的正確響應(yīng)做準備。語音合成語音合成的實現(xiàn)涉及語言學(xué)、語音學(xué)的諸多復(fù)雜知識，因?qū)崿F(xiàn)細節(jié)的不同，語音合成系統(tǒng)合成

16、的語音在準確性、自然度、清晰度、連貫性等方面也有著不一樣的表現(xiàn)，產(chǎn)品應(yīng)能將文字轉(zhuǎn)化為語音信號。目前典型的TTS系統(tǒng)可分為前端和后端兩部分。前端只要處理文本的分詞，韻律結(jié)構(gòu)等的預(yù)處理，后端則通過聲學(xué)建模，訓(xùn)練調(diào)參，再由聲碼器合成人所聽到的聲音。如圖所示。語音合成的聲音應(yīng)可以正確分詞，識別數(shù)字，兒化音，輕音等。由于后端的評價指標過于主觀，暫時不做硬性要求。圖3 語音合成要求資源內(nèi)容智能音箱應(yīng)能為用戶播放豐富的音頻資源，以滿足作為音箱的功能。播放宜不只局限于藍牙方式連接的本地播放模式，而宜提供豐富的網(wǎng)絡(luò)資源音頻。例如：新聞、音樂、故事，相聲等。產(chǎn)品擁有的內(nèi)容服務(wù)，宜滿足其定位客戶的需求。基本新聞信息

17、類宜有基本的音樂、新聞的有聲資源，可根據(jù)不同的合作方為用戶提供更多豐富的新聞信息內(nèi)容。日常資源類查詢天氣，路況，百科、航班車次、簡單咨詢(可為物流信息亦或物品詢價等)。產(chǎn)品可根據(jù)自身定位提供服務(wù)的內(nèi)容。生活助理類可實現(xiàn)語音備忘、提醒，鬧鐘等手機語音助手能夠?qū)崿F(xiàn)的功能。產(chǎn)品可進行擴展，實現(xiàn)語音購物， 語音支付等服務(wù)?？刂祁惞δ墚a(chǎn)品應(yīng)可控制音頻播放，比如暫停播放、增大音量減少音量等。智能音箱宜可以控制家居，可對連入家庭局域網(wǎng)內(nèi)家電進行簡單的控制，比如臺燈的開關(guān)、風(fēng)扇的開關(guān)、電視空調(diào)的開關(guān)等。賬號和升級管理智能音箱應(yīng)具備賬號和設(shè)備的綁定功能，一臺設(shè)備可綁定有限個帳號，可以管理/修改賬號信息， 設(shè)置個

18、人喜好等其他擴展功能(完成基本用戶畫像)。產(chǎn)品后端應(yīng)有云平臺或者 AI 服務(wù)平臺做支撐，前端 app 上應(yīng)列出合作的第三方服務(wù)資源，供用戶自由選擇，不可有捆綁消費設(shè)計產(chǎn)品。智能音箱應(yīng)在wifi 聯(lián)網(wǎng)下支持自動升級系統(tǒng)；產(chǎn)品升級時，應(yīng)具備靜默升級功能，不打擾用戶的正常生活。語料設(shè)計和環(huán)境搭建語料庫設(shè)計為保證智能音箱語音識別系統(tǒng)測試的一致性、可重復(fù)性，應(yīng)采用基于智能音箱語音識別系統(tǒng)測試標準庫的測試方法。語音識別測試標準庫的建立應(yīng)按照 GB/T 21023 的要求進行，通過專業(yè)錄音麥克風(fēng)在消音室環(huán)境下組織錄制人員錄制。喚醒測試集的構(gòu)成，主要是根據(jù)待測音箱聲明的默認喚醒詞錄制，發(fā)音為中文普通話。錄制人

19、員需考慮性別、年齡分布，地域分布，單個設(shè)備的喚醒詞錄制數(shù)量不低于 500 句。詳細要求參閱下表：男女比例1：1地域要求滿足覆蓋七大方言區(qū)，單一省份人數(shù)不超過總數(shù)的 30%且單一省份不少于 1%；錄音人說普通話，不可以是方言，允許不同程度的口音；年齡段占比要求：712 歲：5%1317 歲：10%1830 歲：60%3150 歲：20%50+歲：5%采集要求錄音參數(shù)為 48000hz，單聲道，16bit，wav 格式，非壓縮性語音文件；誤喚醒測試集的構(gòu)成，主要考慮實際應(yīng)用場景中引起待測設(shè)備誤喚醒的噪聲來源。家居環(huán)境下音箱的誤喚醒主要來源于電視、人聲談話等，所以此時選擇的誤喚醒語料，每 24 小時

20、包含 6 小時電視節(jié)目， 6 小時新聞節(jié)目，6 小時人聲對話（可選擇談話節(jié)目模擬），6 小時音樂播放。語音識別測試集的構(gòu)成，需覆蓋待測設(shè)備支持的所有領(lǐng)域，包括但不限于播放音樂/有聲類播放（按歌名、歌手、流派、心情、場景、語種等方式）、廣播電臺、新聞、播放控制、音量控制、藍牙、收藏功能、天氣查詢、鬧鐘、備忘錄提醒、家居控制、生活輔助、娛樂對話等，測試語料的規(guī)模不少于1000 句。（測試集涉及的技能領(lǐng)域可參考附錄 B）測試環(huán)境測試環(huán)境應(yīng)為混響測試環(huán)境，具體要求參見 ETSI EG 202 396-1（第 6 部分）中指定的 ETSI 普通房間配置。本底噪聲目標應(yīng)為 28 dBSPL(A) 并且必須

21、 35 dBSPL(A)房間的混響時間應(yīng)少于 0.7 秒，但多于 0.4 秒，頻率范圍在 100 hz 和 8 kHz 之間。表1 典型的環(huán)境噪聲的場景場 景 編號環(huán)境噪聲源與被測終端 距離噪聲源與被測終端角度喚醒詞及語音指令在麥克風(fēng)處聲壓級麥克風(fēng)處的環(huán)境噪聲聲壓級備注1安靜1.5m0、45、90、13518050-55dB（A）35dB（A）以下必選2中噪1.5m0 、45 、90 、135 18055-60dB（A）45-55dB（A）必選3重噪1.5m0 、45 、90 、135 18060-65dB（A）50-60dB（A）可選4自噪聲N/AN/A50-55dB（A）播放粉噪70dB（

22、A）必選表2 待測設(shè)備擺放高度位置編號離地距離備注140cm必選280cm必選表3 目標聲源位置位置編號與待測設(shè)備距離與待測設(shè)備角度發(fā)聲位置備注11m0站姿：距地面 150cm-162cm坐姿：距地面約 80cm躺姿：距地面約 40cm必選23m同上同上必選35m同上同上必選1.5m1.5m1.5m1.5mDUT1.5m 1m、3m、5mNoise Speaker圖 4 測試環(huán)境搭建測試方法喚醒率喚醒率在智能音箱人機交互應(yīng)用場景中是最為重要的一個指標。測試條件音箱開啟，并完成網(wǎng)絡(luò)配置，處于正常工作狀態(tài)。測試環(huán)境包括 5.2 節(jié)表 1 場景編號 14；待測設(shè)備擺放高度包括 5.2 節(jié)表 2 位置

23、編號 1-2；目標聲源位置包括 5.2 節(jié)表 3 位置編號 1-3。測試方法通過人工嘴發(fā)出喚醒詞喚醒，查看智能音箱的反應(yīng)（如控制燈閃爍，聲音提示），判斷是否喚醒成功，測試喚醒率。若智能音箱共進行了 W 次喚醒，其中SW 次成功喚醒。則： 喚醒率=SW/W100%。誤喚醒率在語音交互過程中，誤喚醒是指設(shè)備聽到與喚醒詞相近的音或設(shè)備自身出現(xiàn)故障而被誤觸發(fā)的情況，其誤喚醒率越低越好。測試條件音箱開啟，并完成網(wǎng)絡(luò)配置，處于正常工作狀態(tài)。噪聲源距離待測音箱1.5米；待測音箱和噪聲源距離地面高度為80cm。測試方法在普通干擾環(huán)境(背景聊天，電視播放等)下的連續(xù) 24*10 小時實測。若智能音箱在實測中共出

24、現(xiàn)了W次喚醒。則：誤喚醒率 。喚醒延遲測試條件音箱開啟，并完成網(wǎng)絡(luò)配置，處于正常工作狀態(tài)。測試環(huán)境包括5.2節(jié)表1場景編號1；待測設(shè)備擺放高度包括5.2節(jié)表2位置編號2；目標聲源位置包括5.2節(jié)表3位置編號1。測試方法對于語音喚醒，若語音輸入的結(jié)束時刻為te ；智能音箱的響應(yīng)時刻為tr （響應(yīng)可取音箱的燈效響應(yīng)或音箱的聲音響應(yīng)，此處建議取聲音響應(yīng)）。則：喚醒延遲時間=tr-te，根據(jù)喚醒測試集數(shù)量取平均值。識別響應(yīng)準確率該指標用于評價智能音箱對語音識別任務(wù)的正確響應(yīng)情況。測試條件音箱開啟，并完成網(wǎng)絡(luò)配置，處于正常工作狀態(tài)。測試環(huán)境包括 5.2 節(jié)表 1 場景編號 13；待測設(shè)備擺放高度包括 5.2 節(jié)表 2 位置編號 1-2；目標聲源位置包括 5.2 節(jié)表 3 位置編號 1-3。測試方法若智能音箱在既定的識別輪數(shù)內(nèi)完成了語音識別任務(wù)，則此次語音識別成功。若智能音箱共進行了R 次特定的語音識別任務(wù)，其中 SR 次識別成功，F(xiàn)R 次識別出現(xiàn)誤操作