T-CRSS 0012-2023 服務(wù)機(jī)器人中文語音交互系統(tǒng) 性能測(cè)評(píng)方法

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

J28CRSS

T/CRSS

0012—2023服務(wù)機(jī)器人

中文語音交互系統(tǒng)性能測(cè)評(píng)方法

robots-Speech

interactive

重慶市機(jī)器人學(xué)會(huì)??發(fā)

布學(xué)兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔下載學(xué)兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)兔下載兔學(xué)兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

00122023兔學(xué)兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

10 10 10 10 10

12學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載 本文件按照

《標(biāo)準(zhǔn)化工作導(dǎo)則

限責(zé)任公司、重慶凱瑞認(rèn)證服務(wù)有限公司、重慶三峽學(xué)院。洋、陳仕聰、譚澤富。II學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

00122023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

3096-2008

36464.2-2018,3.1]

36464.2-2018,3.2]

21024-2007,3.1]

36464.2-2018,3.3]

code

speech

accuracy學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

3.93.103.11

chat

response

speech

36464.2-2018,3.13]3.12

wakeup3.13

a)

b)

c)

d)

e)

a)

b)

c)

15~20cmd)

4870-1991

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

00122023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載e)

誤的發(fā)聲波形截?cái)酂o法理解聲音、舌音、感嘆等都屬于誤的，需讓發(fā)聲者f)

16bit

g)

h)

注1：82~392

64~523

123~493

注2：82~392

160~1200

123~493

220~1.1

a)

b)

音人員的擇應(yīng)在符系統(tǒng)對(duì)發(fā)人員限制條件下，可能選擇有代表性統(tǒng)計(jì)分布律的發(fā)音員，特別考慮不同音、不同齡、不同速、不同育背景、同說話韻c)

20

d)

e)

于非特定的中文語交互系統(tǒng)特別應(yīng)強(qiáng)對(duì)有一定音的中文應(yīng)能力和文語調(diào)問

a)

b)

5sa)

b)

c)

d)

0.3se)

5.1

f)

噪聲錄制格式為

16bit

采樣的

格式，錄制的噪聲幅度最大值不能超過

30000(g)

h)

i)

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載用一實(shí)物建被設(shè)備際工時(shí)的用場(chǎng)景或被測(cè)備置實(shí)際作時(shí)使用景中常見家用服務(wù)機(jī)器人使用場(chǎng)景為客廳，模擬家居客廳環(huán)境參考：正常標(biāo)準(zhǔn)白墻房間（無異形，最好不超過30平方米）內(nèi)布置大小方桌各一個(gè)，常見規(guī)整尺寸的沙發(fā)、電視柜、電視、落地空調(diào)、落地?zé)?、裝飾隔板、窗簾等等家具，家具大小尺寸樣式無具體要求，盡量貼合真實(shí)客廳場(chǎng)景，房間所處位置的實(shí)際生活噪聲不超過7.3.5的要求即可，無需再次疊加新的背景噪聲。當(dāng)被測(cè)設(shè)備帶有智能家居控制功能時(shí)，應(yīng)為其配置可被控制常見商用服務(wù)機(jī)器人使用場(chǎng)景為辦事大廳、展覽廳、會(huì)場(chǎng)等，可將待測(cè)機(jī)器人及測(cè)試設(shè)備帶入實(shí)際場(chǎng)景中進(jìn)

a)

個(gè)點(diǎn)聲源擾只能用個(gè)音箱設(shè)播放，要慮點(diǎn)聲源擾的距離角度，以點(diǎn)聲源的b)

散場(chǎng)的背噪聲一定用多個(gè)音設(shè)備同時(shí)放，比如間的四個(gè)角，分別置音箱，c)

外場(chǎng)景的聲和室內(nèi)景的噪聲考慮混響比如要在音室模擬外的噪聲景，且要d)

e)

聲場(chǎng)景（器人本身聲器播放又被麥克接收到的聲）要考機(jī)器人本播放語音

50dB

80dB-

a)

30cm±5cmGB/T364641m1mb)

a)

b)

c)

d)

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

00122023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載6.2.2）及其擺放高度，

a)

b)

c)

d)

a)

b)

a)

℃～40b)

c)

d)

75e)

f)

g)

除個(gè)別項(xiàng)目有單獨(dú)的規(guī)定外，一般用揚(yáng)聲器或人工嘴播放測(cè)試語料次，在此過程中，測(cè)試人員可

7.5.1.1

7.5.1.2

7.5.2.1

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載7.5.2.2

8.1

7.5.3.1

7.5.3.2

8.2

7.5.4.1

7.5.4.2

7.5.5.1

7.5.5.2

8.3APP7.5.5.3

........................ ｚｆ學(xué)兔兔ｗｗｗ．ｂｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

00122023ｚｆ學(xué)兔兔ｗｗｗ．ｂｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載

7.5.6.1

7.5.6.2

7.5.7.1

7.5.7.2

7.5.8.1

7.5.8.2

a)

項(xiàng)目測(cè)試員應(yīng)全程與過被測(cè)音交互系的其他所項(xiàng)目測(cè)試并具備服機(jī)器人測(cè)b)

其他所有目測(cè)試完后，多名試人員進(jìn)綜合判定以文字描的方式體在原始記

7.5.9.1

7.5.9.2

學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載T/CRSS

2023學(xué)兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ標(biāo)準(zhǔn)下載男女測(cè)試人員各人，通過其他項(xiàng)目的語音反饋結(jié)果，測(cè)聽合成語音同真人語音在音質(zhì)、可懂度、8.4

a)

，能連續(xù)進(jìn)行到相鄰二輪對(duì)話記

b)

a)

分：優(yōu)（聊天內(nèi)容種類豐富且持續(xù)輪數(shù)多），

分：良（聊天持續(xù)輪數(shù)多），

分中（聊

b)

識(shí)別準(zhǔn)確率90%以上分，識(shí)別準(zhǔn)確率之間分，識(shí)別準(zhǔn)確率之間分，識(shí)別準(zhǔn)確60%不在打分范圍內(nèi)）進(jìn)行打分，分：優(yōu)（接近人類自然語音狀態(tài)）；分：良（機(jī)械合成感不明顯）；10評(píng)分標(biāo)準(zhǔn)

部理語義，并1545

確理語義，并的語進(jìn)行回答為中國五岳之首峰玉皇頂海拔

1545

句式內(nèi)容有錯(cuò)誤

60本理語義，但漏字內(nèi)容有誤在山東省中部為中國五

1545

然與文化遺產(chǎn)，世界

5A

......

統(tǒng)基理解語義據(jù)庫支持回答對(duì)用進(jìn)行提示但我知道泰山在山東

有全理解語義不夠效，語料

統(tǒng)沒理解語義：你在說什么，我聽．ｃｘｗｏｍ標(biāo)準(zhǔn)學(xué)兔兔ｗｗｗ．ｂｚｆ下載T/CR