GB/T 41813.2-2022信息技術(shù)智能語音交互測(cè)試方法第2部分：語義理解

ICS3524001

CCSL.77.

中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)

GB/T418132—2022

.

信息技術(shù)智能語音交互測(cè)試方法

第2部分語義理解

:

Informationtechnology—Intelligentspeechinteractiontestingmethod—

Part2Semanticunderstandin

:g

2022-10-12發(fā)布2023-05-01實(shí)施

國(guó)家市場(chǎng)監(jiān)督管理總局發(fā)布

國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)

GB/T418132—2022

.

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語和定義

3………………1

概述

4………………………1

測(cè)試準(zhǔn)備和執(zhí)行

5…………………………2

測(cè)試數(shù)據(jù)集

5.1…………………………2

測(cè)試工具

5.2……………3

測(cè)試環(huán)境

5.3……………3

測(cè)試執(zhí)行

5.4……………3

結(jié)果判定

5.5……………3

功能測(cè)試方法

6……………3

意圖理解

6.1……………3

命名實(shí)體識(shí)別

6.2………………………3

敏感信息辨別

6.3………………………4

語義拒識(shí)

6.4……………4

信息檢索

6.5……………4

文本相似度計(jì)算

6.6……………………4

文本修改

6.7……………4

語義修正

6.8……………4

自然語言生成

6.9………………………5

邏輯推理

6.10……………5

對(duì)話引導(dǎo)

6.11……………5

上下文相關(guān)的多輪會(huì)話

6.12……………5

性能測(cè)試方法

7……………5

語義理解效果

7.1………………………5

語義理解效率

7.2………………………8

系統(tǒng)穩(wěn)定性

7.3…………………………9

附錄規(guī)范性主觀體驗(yàn)測(cè)試

A()…………10

概述

A.1………………10

測(cè)試項(xiàng)

A.2……………10

測(cè)試方法

A.3…………………………10

參考文獻(xiàn)

……………………12

Ⅰ

GB/T418132—2022

.

前言

本文件按照標(biāo)準(zhǔn)化工作導(dǎo)則第部分標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則的規(guī)定

GB/T1.1—2020《1:》

起草

。

本文件是信息技術(shù)智能語音交互測(cè)試方法的第部分已經(jīng)發(fā)布

GB/T41813《》2。GB/T41813

了以下部分

:

第部分語音識(shí)別

———1:;

第部分語義理解

———2:。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任

。。

本文件由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)提出并歸口

(SAC/TC28)。

本文件起草單位中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院科大訊飛股份有限公司小米通訊技術(shù)有限公司華

:、、、

為終端有限公司深圳市優(yōu)必選科技股份有限公司中國(guó)電信集團(tuán)有限公司思必馳科技股份有限公司

、、、、

中國(guó)科學(xué)院自動(dòng)化研究所中國(guó)醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)工程研究所哈爾濱工業(yè)大學(xué)海信視像科技股份

、、、

有限公司馬上消費(fèi)金融股份有限公司騰訊科技北京有限公司沈陽(yáng)新松機(jī)器人自動(dòng)化股份有限公

、、()、

司深圳市人馬互動(dòng)科技有限公司平安科技深圳有限公司安徽咪鼠科技有限公司涇豐科技深圳

、、()、、()

有限公司北京捷通華聲科技股份有限公司北京百度網(wǎng)訊科技有限公司深圳市北科瑞聲科技股份有

、、、

限公司阿里云計(jì)算有限公司云從科技集團(tuán)股份有限公司上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心網(wǎng)易杭州

、、、、()

網(wǎng)絡(luò)有限公司南京云問網(wǎng)絡(luò)技術(shù)有限公司聯(lián)想北京有限公司福州數(shù)據(jù)技術(shù)研究院有限公司國(guó)家

、、()、、

網(wǎng)絡(luò)軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心濟(jì)南華南理工大學(xué)山東省計(jì)算中心國(guó)家超級(jí)計(jì)算濟(jì)南中心神

()、、()、

思電子技術(shù)股份有限公司鄭州中業(yè)科技股份有限公司中汽數(shù)據(jù)天津有限公司中國(guó)電器科學(xué)研究

、、()、

院有限公司中汽研天津汽車工程研究院有限公司中科極限元杭州智能科技股份有限公司北京

、()、()、

愛數(shù)智慧科技有限公司

。

本文件主要起草人徐洋馬萬鐘吳國(guó)綱朱亞軍賈一君周立君宋文林袁杰楊震田定書

:、、、、、、、、、、

錢彥旻陶建華花云飛蒲江波李海峰王峰楊春勇蘇丹張鋒馮海洪劉國(guó)濤任軍民陳楠

、、、、、、、、、、、、、

刑啟洲李笑如黃石磊汪淼淼蔡立志李軍胡光龍楊萌鹿飛方斌王岳井焜溫正棋李介

、、、、、、、、、、、、、、

張瑩徐向民孟憲明高永超張晴晴

、、、、。

Ⅲ

GB/T418132—2022

.

引言

智能語音交互在智能家居智能客服移動(dòng)終端車載終端以及智慧教育智慧醫(yī)療智能辦公服務(wù)

、、、、、、

機(jī)器人等諸多領(lǐng)域應(yīng)用廣泛已成為當(dāng)前人機(jī)交互的重要方式之一隨著智能語音交互的深入需要對(duì)

,。,

智能語音交互的系統(tǒng)參考框架基礎(chǔ)技術(shù)要求互聯(lián)網(wǎng)接口要求等進(jìn)行統(tǒng)一規(guī)范在這方面國(guó)家已制定

、、,,

了支撐智能語音交互系統(tǒng)的基礎(chǔ)性國(guó)家標(biāo)準(zhǔn)在此基礎(chǔ)上也需要用統(tǒng)一的測(cè)試方法和評(píng)價(jià)標(biāo)準(zhǔn)來對(duì)

。,

智能語音交互系統(tǒng)的能力進(jìn)行評(píng)測(cè)為智能語音交互相關(guān)的產(chǎn)品和服務(wù)提供評(píng)測(cè)的基礎(chǔ)方法和依據(jù)

,。

信息技術(shù)智能語音交互測(cè)試方法為所有部分信息技術(shù)智能語

GB/T41813《》GB/T36464()《

音交互系統(tǒng)提供基礎(chǔ)通用的測(cè)試方法智能語音交互包括語音識(shí)別語義理解和語音合成三個(gè)基本環(huán)

》。、

節(jié)各環(huán)節(jié)所涉及的測(cè)試對(duì)象測(cè)試項(xiàng)目測(cè)試環(huán)境和測(cè)試方法均有所不同信息技術(shù)

,、、。GB/T41813《

智能語音交互測(cè)試方法旨在確立和描述適用于智能語音交互各環(huán)節(jié)的通用測(cè)試項(xiàng)和通用測(cè)試方法擬

》,

由三個(gè)部分構(gòu)成

。

第部分語音識(shí)別目的在于為智能語音交互應(yīng)用中的語音識(shí)別環(huán)節(jié)提供通用測(cè)試項(xiàng)和通

———1:。

用測(cè)試方法

。

第部分語義理解目的在于為智能語音交互應(yīng)用中的語義理解環(huán)節(jié)提供通用測(cè)試項(xiàng)和通

———2:。

用測(cè)試方法

。

第部分語音合成目的在于為智能語音交互應(yīng)用中的語音合成環(huán)節(jié)提供通用測(cè)試項(xiàng)和通

———3:。

用測(cè)試方法

。

Ⅳ

GB/T418132—2022

.

信息技術(shù)智能語音交互測(cè)試方法

第2部分語義理解

:

1范圍

本文件描述了智能語音交互測(cè)試中語義理解系統(tǒng)的通用測(cè)試項(xiàng)和通用測(cè)試方法

。

本文件適用于智能語音服務(wù)提供商用戶和第三方檢測(cè)機(jī)構(gòu)對(duì)智能語音交互應(yīng)用的語義理解系統(tǒng)

、

測(cè)試的設(shè)計(jì)和實(shí)施

。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款其中注日期的引用文

。,

件僅該日期對(duì)應(yīng)的版本適用于本文件不注日期的引用文件其最新版本包括所有的修改單適用于

,;,()

本文件

。

所有部分信息技術(shù)智能語音交互系統(tǒng)

GB/T36464()

3術(shù)語和定義

所有部分界定的以及下列術(shù)語和定義適用于本文件

GB/T36464()。

31

.

語義理解semanticunderstanding

使功能單元理解人說話的意圖

。

來源

[:GB/T36464.1—2020,3.11]

32

.

命名實(shí)體namedentity

具有特指或唯一含義的指稱名字的實(shí)體

。

3