信息技術(shù) 人工智能 服務(wù)能力成熟度評(píng)價(jià)參考模型

ICS35.240在提交反饋意見時(shí)，請(qǐng)將您知道的相關(guān)專利連同

L270支持性文件一并附上

團(tuán)體標(biāo)準(zhǔn)

T/CESAXXXX—XXXX

信息技術(shù)人工智能服務(wù)能力成熟度評(píng)價(jià)

參考模型

Informationtechnology-Artificialintelligence-Referencemodelofservice

capabilitymaturityevaluation

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布

T/XXXXXXXX—XXXX

前??言

本標(biāo)準(zhǔn)按照GB/T1.1-2009給出的規(guī)則起草。

請(qǐng)注意本文件的某些內(nèi)容不涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。

本標(biāo)準(zhǔn)由中國電子技術(shù)標(biāo)準(zhǔn)化研究院提出并歸口。

本標(biāo)準(zhǔn)起草單位：。

本標(biāo)準(zhǔn)主要起草人：。

II

T/XXXXXXXX—XXXX

信息技術(shù)人工智能服務(wù)能力成熟度評(píng)價(jià)參考模型

1范圍

本標(biāo)準(zhǔn)規(guī)定了人工智能服務(wù)能力成熟度評(píng)價(jià)參考模型，包括能力框架、評(píng)價(jià)指標(biāo)體系以及相應(yīng)的成

熟度等級(jí)。

本標(biāo)準(zhǔn)適用于對(duì)服務(wù)提供商提供的人工智能服務(wù)的成熟度評(píng)估，以及服務(wù)成熟度模型中某項(xiàng)主能力

域、能力子域的單項(xiàng)評(píng)估。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T5271.28-2001信息技術(shù)詞匯第28部分:人工智能基本概念與專家系統(tǒng)

GB/T5271.29-2006信息技術(shù)詞匯第29部分:人工智能語音識(shí)別與合成

GB/T5271.31-2006信息技術(shù)詞匯第31部分:人工智能機(jī)器學(xué)習(xí)

GB/T5271.34-2006信息技術(shù)詞匯第34部分:人工智能神經(jīng)網(wǎng)絡(luò)

3術(shù)語、定義和縮略語

GB/T5271.28-2001、GB/T5271.29-2006、GB/T5271.31-2006、GB/T5271.34-2006界定的以

及下列術(shù)語和定義適用于本文件。

3.1

人工智能服務(wù)能力成熟度maturityofAIservicecapability

從基礎(chǔ)服務(wù)能力、業(yè)務(wù)服務(wù)能力等方面對(duì)人工智能服務(wù)能力的水平的評(píng)價(jià)。

3.2

主能力域majorcapabilityarea

成熟度等級(jí)評(píng)價(jià)中主要的能力領(lǐng)域劃分，由一組相關(guān)的能力子域組成。

3.3

能力子域capabilitysub-area

所屬主能力域中構(gòu)成成熟度水平的若干技術(shù)能力領(lǐng)域，由一組相關(guān)的能力子項(xiàng)組成。

3.4

能力子項(xiàng)capabilitysub-item

所屬能力子域構(gòu)成成熟度的若干特性指標(biāo)單項(xiàng)。

1

T/XXXXXXXX—XXXX

3.5

能力子項(xiàng)權(quán)重factorofcapabilitysub-item

對(duì)應(yīng)能力子項(xiàng)在所述能力子域評(píng)價(jià)中的權(quán)重因子。

3.6

服務(wù)可用性serviceavailability

服務(wù)客戶發(fā)起服務(wù)請(qǐng)求后，服務(wù)可訪問的時(shí)間占總服務(wù)時(shí)間的比例。

注：可用性的計(jì)算是在一系列預(yù)定義的時(shí)間段中，服務(wù)可用時(shí)間之和占預(yù)定義時(shí)間段之和的比例，可排除允許的服

務(wù)不可用時(shí)間。

4參考模型

服務(wù)能力成熟度評(píng)價(jià)參考模型見圖1，包括能力框架、評(píng)價(jià)指標(biāo)體系、評(píng)價(jià)算法和成熟度等級(jí)。

圖1人工智能服務(wù)能力成熟度評(píng)價(jià)參考模型

能力框架由多個(gè)主能力域組成，每個(gè)主能力域代表成熟度等級(jí)中主要的領(lǐng)域劃分。每個(gè)主能力域由

若干能力子域組成，每個(gè)能力子域代表該主能力域中構(gòu)成成熟度水平的若干技術(shù)能力領(lǐng)域。每個(gè)能力子

域又劃分為若干能力子項(xiàng)。

評(píng)價(jià)指標(biāo)體系由三級(jí)指標(biāo)構(gòu)成，分別與主能力域、能力子域和能力子項(xiàng)對(duì)應(yīng)，每個(gè)能力子項(xiàng)代表該

能力子域構(gòu)成成熟度的若干特性指標(biāo)。

評(píng)價(jià)算法是指在獲得各項(xiàng)特性指標(biāo)數(shù)據(jù)后，選擇某一方法實(shí)現(xiàn)對(duì)評(píng)價(jià)指標(biāo)體系的綜合計(jì)算，其輸出

結(jié)果為某一成熟度等級(jí)。評(píng)價(jià)算法包括且不限于指標(biāo)賦權(quán)模型、主成分分析法、神經(jīng)網(wǎng)絡(luò)模型、貝葉斯

網(wǎng)絡(luò)模型、模糊評(píng)價(jià)模型。指標(biāo)賦權(quán)模型的評(píng)價(jià)示例參見附錄B。

成熟度等級(jí)分為5級(jí)：起始級(jí)、發(fā)展級(jí)、穩(wěn)健級(jí)、優(yōu)秀級(jí)、卓越級(jí)。

5成熟度等級(jí)

2

T/XXXXXXXX—XXXX

5.1成熟度等級(jí)劃分

人工智能服務(wù)能力成熟度劃分為5個(gè)等級(jí)，并用一、二、三、四、五表示，見圖2。

圖2人工智能服務(wù)能力成熟度等級(jí)

每個(gè)成熟度等級(jí)表明人工智能服務(wù)能力所達(dá)到的成熟度水平。

人工智能服務(wù)能力的改進(jìn)和成熟度提升是通過漸進(jìn)的方式來實(shí)現(xiàn)的，較高的成熟度等級(jí)涵蓋了低于

其成熟度等級(jí)的全部要求。

5.2成熟度分級(jí)規(guī)則

人工智能服務(wù)能力、某項(xiàng)主能力域、能力子域成熟度分級(jí)規(guī)則見表1。

表1人工智能服務(wù)能力成熟度分級(jí)規(guī)則

等級(jí)特征

起始級(jí)主能力域中各個(gè)能力子域的能力子項(xiàng)只達(dá)到較低或最低的要求。人工智能服務(wù)只能完成基本的功

能，在技術(shù)水平、系統(tǒng)性能、可擴(kuò)展性、安全性等方面只能達(dá)到較低或最低的要求。

發(fā)展級(jí)主能力域中大多數(shù)能力子域的能力子項(xiàng)只達(dá)到較低的要求。人工智能服務(wù)能夠完成基本的功能，在

技術(shù)水平、系統(tǒng)性能、可擴(kuò)展性、安全性等方面中的一部分可以達(dá)到較低或中等的要求。

穩(wěn)健級(jí)主能力域中大多數(shù)能力子域的能力子項(xiàng)達(dá)到中等的要求。人工智能服務(wù)能夠完善的完成基本功能，

在技術(shù)水平、系統(tǒng)性能、可擴(kuò)展性、安全性等方面中的大部分可以達(dá)到或超過中等的要求。

優(yōu)秀級(jí)主能力域中大多數(shù)能力子域的能力子項(xiàng)能達(dá)到中等或較高的要求。人工智能服務(wù)除了有優(yōu)秀的功能

實(shí)現(xiàn)，還在技術(shù)水平、系統(tǒng)性能、可擴(kuò)展性、安全性等方面中的大部分可以達(dá)到較高的要求。

卓越級(jí)主能力域中大多數(shù)能力子域的能力子項(xiàng)能達(dá)到較高或最高的要求。人工智能服務(wù)除了有卓越的功能

實(shí)現(xiàn)，在技術(shù)水平、系統(tǒng)性能、可擴(kuò)展性、安全性等方面中的大部分可以達(dá)到最高的要求。

服務(wù)能力成熟度分級(jí)可采用評(píng)分量化的方式進(jìn)行，其計(jì)算示例參見附錄A。

6能力框架

3

T/XXXXXXXX—XXXX

6.1能力框架結(jié)構(gòu)

人工智能服務(wù)能力成熟度框架應(yīng)分為AI基礎(chǔ)服務(wù)能力、AI業(yè)務(wù)服務(wù)能力。各主能力域的能力子域和

能力子項(xiàng)框架見表2。

表2人工智能服務(wù)能力成熟度能力框架

主能力域能力子域能力子項(xiàng)

數(shù)據(jù)管理

多樣性

存儲(chǔ)

分布式可拓展

可用性

數(shù)據(jù)計(jì)算

高效易用

穩(wěn)定性

計(jì)算

可擴(kuò)展性

靈活性

統(tǒng)計(jì)監(jiān)控

協(xié)議安全

數(shù)據(jù)和算法隱私

數(shù)據(jù)加密

AI基礎(chǔ)服務(wù)能力

安全與隱私網(wǎng)絡(luò)隔離

權(quán)限管理和鑒權(quán)

行為審計(jì)

恢復(fù)備份

全生命周期

訓(xùn)練性能

深度學(xué)習(xí)集群兼容性

靈活性

易用性

全生命周期管理

易用性

機(jī)器學(xué)習(xí)集群

算法庫

可管理性

語音識(shí)別

智能語音語音合成

開放與可擴(kuò)展性

語義理解

AI業(yè)務(wù)服務(wù)能力

知識(shí)記憶

自然語言處理語義推理

常識(shí)/規(guī)則的歸納

情感分析

4

T/XXXXXXXX—XXXX

知識(shí)圖譜

機(jī)器翻譯

閑聊

智能對(duì)話問答

任務(wù)導(dǎo)向的對(duì)話

識(shí)別能力

防呈現(xiàn)攻擊能力

智能圖像視頻理解能力

業(yè)務(wù)拓展性

服務(wù)穩(wěn)定性

定位導(dǎo)航

環(huán)境感知

無人駕駛

規(guī)劃決策

自動(dòng)控制

系統(tǒng)與模型穩(wěn)定性

數(shù)據(jù)處理準(zhǔn)確率與決策可接受性

時(shí)效性

智能數(shù)據(jù)處理與決策人機(jī)協(xié)同性

可解釋性

可擴(kuò)展性

可動(dòng)態(tài)維護(hù)性

使用成熟度評(píng)價(jià)參考模型時(shí)，應(yīng)根據(jù)不同應(yīng)用場景構(gòu)建不同的能力子項(xiàng)權(quán)重值和各子項(xiàng)的評(píng)價(jià)方法。

基于家用智能設(shè)備應(yīng)用場景的能力子項(xiàng)權(quán)重和評(píng)價(jià)方法參考示例見附錄B。

6.2能力項(xiàng)描述

6.2.1AI基礎(chǔ)服務(wù)能力

存儲(chǔ)

存儲(chǔ)能力如下：

a)存儲(chǔ)管理：數(shù)據(jù)存儲(chǔ)系統(tǒng)的整體管理能力，包括支持的存儲(chǔ)容量、數(shù)據(jù)條目數(shù)量等；

b)多樣性：支持多種類型的數(shù)據(jù)、支持多種開發(fā)語言的能力；

c)分布式可拓展：支持分布式架構(gòu)的集群系統(tǒng)業(yè)務(wù)負(fù)載感知、降低運(yùn)維復(fù)雜度的能力；

d)其他：存儲(chǔ)服務(wù)的效率、設(shè)備故障預(yù)警和報(bào)警能力、存儲(chǔ)數(shù)據(jù)恢復(fù)能力、接口便捷性和服務(wù)可

用性等方面。

計(jì)算

計(jì)算能力如下：

a)數(shù)據(jù)計(jì)算：支持超大規(guī)模分布式計(jì)算、批量計(jì)算、流式計(jì)算、圖計(jì)算、機(jī)器學(xué)習(xí)計(jì)算和邊緣計(jì)

算等復(fù)雜計(jì)算任務(wù)的能力；

b)集群效率：簡單高效的提供大規(guī)模集群的部署、調(diào)度、擴(kuò)展和管理服務(wù)的能力；

5

T/XXXXXXXX—XXXX

c)穩(wěn)定性：分布式架構(gòu)部署的穩(wěn)定性，包括保證故障自動(dòng)恢復(fù)、快速遷移、連續(xù)運(yùn)行時(shí)長等能力；

d)可擴(kuò)展性：計(jì)算資源擴(kuò)容、提供擴(kuò)展接口的能力；

e)靈活性：根據(jù)業(yè)務(wù)變化和負(fù)載情況靈活調(diào)整的能力，以及是否能夠提供便捷易用的自動(dòng)化工具，

支持多種框架、控制臺(tái)、應(yīng)用程序編程接口和軟件開發(fā)包的能力；

f)統(tǒng)計(jì)監(jiān)控：數(shù)據(jù)流、數(shù)據(jù)收發(fā)狀態(tài)的統(tǒng)計(jì)監(jiān)控、報(bào)警觸發(fā)的能力。

安全與隱私

安全與隱私保護(hù)能力如下：

a)協(xié)議安全：協(xié)議使用可信通道、確保用戶的輸入不能被第三方竊聽的能力；

b)數(shù)據(jù)隱私和算法安全：數(shù)據(jù)存儲(chǔ)中關(guān)于用戶個(gè)人隱私的相關(guān)數(shù)據(jù)采用匿名脫敏存儲(chǔ)、考慮算法

安全機(jī)制的能力；

c)數(shù)據(jù)加密：對(duì)敏感數(shù)據(jù)進(jìn)行加密存儲(chǔ)的能力；

d)網(wǎng)絡(luò)隔離：對(duì)不同用途和環(huán)境的設(shè)備進(jìn)行必要的網(wǎng)絡(luò)隔離、對(duì)不同安全級(jí)別的運(yùn)算環(huán)境之間的

互通進(jìn)行權(quán)限檢查的能力；

e)權(quán)限管理和鑒權(quán)：對(duì)數(shù)據(jù)和服務(wù)調(diào)用進(jìn)行鑒權(quán)的能力；

f)行為審計(jì)：對(duì)各種操作行為進(jìn)行審計(jì)的能力；

g)恢復(fù)備份：支撐數(shù)據(jù)恢復(fù)與備份的能力。

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)支撐能力如下：

a)全生命周期：支撐包含數(shù)據(jù)框架（采集、篩選、預(yù)標(biāo)注、標(biāo)注和脫敏等）、特征探索、模型開

發(fā)（訓(xùn)練、評(píng)估和預(yù)測）、模型部署、模型管理、應(yīng)用發(fā)布等全生命周期過程的能力；

b)訓(xùn)練性能：支撐具備高性能的運(yùn)算能力；

c)兼容性：兼容其他訓(xùn)練模型代碼的能力，包括主流的API和訓(xùn)練模型代碼等；

d)靈活性：靈活分配計(jì)算資源的能力，包括訓(xùn)練時(shí)靈活分配計(jì)算資源的時(shí)間顆粒度、靈活的計(jì)量

計(jì)費(fèi)機(jī)制等；

e)易用性：操控人工智能服務(wù)所使用工具支持可視化的拖拽布局編程服務(wù)，組合各種數(shù)據(jù)源、組

件、算法、模型和評(píng)估模塊的能力；

f)算法庫：支持提供插件式算子注入，支持多類算子及算法、時(shí)空分析、頻繁項(xiàng)挖掘等能力。

6.2.2AI業(yè)務(wù)服務(wù)能力

智能語音

智能語音業(yè)務(wù)服務(wù)能力如下：

a)語音識(shí)別：噪聲場景中喚醒詞識(shí)別和將語音轉(zhuǎn)換為文本的能力；

b)語音合成：將文本轉(zhuǎn)換為語音的能力；

c)開放與可擴(kuò)展性：支持多種不同廠商不同軟硬件配置以及用戶或第三方開發(fā)者進(jìn)行擴(kuò)展定義和

開發(fā)的能力。

自然語言處理

自然語言處理業(yè)務(wù)服務(wù)能力如下：

a)語義理解：支持詞法分析、句法分析、語義分析的能力；

6

T/XXXXXXXX—XXXX

b)知識(shí)記憶：對(duì)通過語義理解取得的知識(shí)進(jìn)行存儲(chǔ)和復(fù)用的能力；

c)語義推理：根據(jù)已有的知識(shí)，用規(guī)則或模型，擴(kuò)展相關(guān)知識(shí)或產(chǎn)生出新知識(shí)的能力；

d)常識(shí)/規(guī)則的歸納：根據(jù)已有的知識(shí)，歸納出常識(shí)及用于語義推理的規(guī)則或模型的能力；

e)情感分析：通過對(duì)自然語言文本的分析，識(shí)別文本作者或文本所描述的個(gè)體的情感的能力；

f)知識(shí)圖譜：構(gòu)建知識(shí)圖譜并利用知識(shí)圖譜進(jìn)行知識(shí)計(jì)算和推理等方面的能力；

g)機(jī)器翻譯：自動(dòng)對(duì)文本在不同自然語言之間進(jìn)行翻譯的能力。

智能對(duì)話

智能對(duì)話業(yè)務(wù)服務(wù)能力如下：

a)閑聊：閑聊對(duì)話中上下文銜接和提高用戶粘性的能力；

b)問答：根據(jù)用戶的問題給出準(zhǔn)確答案的能力；

c)任務(wù)導(dǎo)向的對(duì)話：響應(yīng)并引導(dǎo)用戶的需求，達(dá)成任務(wù)的能力。

智能圖像視頻

智能圖像視頻業(yè)務(wù)服務(wù)能力如下：

a)識(shí)別能力：支持至少一項(xiàng)識(shí)別服務(wù)的能力，如人臉識(shí)別、物體識(shí)別、文字識(shí)別等；

b)防呈現(xiàn)攻擊能力：防多種呈現(xiàn)攻擊形式的能力；

c)理解能力：準(zhǔn)確和高效理解圖像內(nèi)容信息的能力；

d)業(yè)務(wù)拓展性：支持不同設(shè)備能力情況下的多種不同要求的服務(wù)業(yè)務(wù)的能力；

e)服務(wù)穩(wěn)定性：提供圖像視頻穩(wěn)定性的能力，包括容錯(cuò)和負(fù)載均衡等。

無人駕駛

無人駕駛業(yè)務(wù)服務(wù)能力如下：

a)定位和導(dǎo)航：準(zhǔn)確獲知車輛位置和生成車輛全局行駛路線的能力；

b)環(huán)境感知：通過多種傳感器對(duì)車輛周圍的環(huán)境信息進(jìn)行感知的能力；

c)規(guī)劃決策：對(duì)當(dāng)前的車輛行為進(jìn)行規(guī)劃（例如，速度規(guī)劃、避障局部路徑規(guī)劃等），并產(chǎn)生相

應(yīng)的決策（例如，跟車、換道、停車等）的能力；

d)自動(dòng)控制：精確、平順、低延時(shí)的執(zhí)行能力。

結(jié)構(gòu)化數(shù)據(jù)處理與決策

結(jié)構(gòu)化數(shù)據(jù)處理與決策業(yè)務(wù)服務(wù)能力如下：

a)系統(tǒng)與模型穩(wěn)定性：數(shù)據(jù)處理模型對(duì)抗噪聲和數(shù)據(jù)攻擊的穩(wěn)定性能力；

b)數(shù)據(jù)處理準(zhǔn)確率與決策可接受性：提供精確的數(shù)據(jù)分析結(jié)果，并給出可被用戶接受的決策建議

的能力；

c)時(shí)效性：提供實(shí)時(shí)性和變化感知的能力；

d)人機(jī)協(xié)同性：與用戶的互協(xié)作能力；

e)可解釋性：數(shù)據(jù)處理和決策過程中模型的可解釋性與流程的透明性；

f)可擴(kuò)展性：跨領(lǐng)域、覆蓋多個(gè)場景的遷移能力和可擴(kuò)展度；

g)可動(dòng)態(tài)維護(hù)性：在維護(hù)和調(diào)整時(shí)的在線實(shí)時(shí)服務(wù)能力。

7

T/XXXXXXXX—XXXX

附錄A

（資料性附錄）

成熟度參考模型評(píng)分

服務(wù)能力成熟度等級(jí)的評(píng)分可參考如下方式：

1）成熟度等級(jí)得分=主能力域主能力域權(quán)重

其中，主能力域k為構(gòu)成成