人工智能 服務(wù)能力成熟度評(píng)估 征求意見稿

1GB/TXXXXX—XXXX人工智能服務(wù)能力成熟度評(píng)估本文件提出了人工智能服務(wù)能力成熟度評(píng)估模型，規(guī)定了成熟度等級(jí)、能力框架、評(píng)估指標(biāo)和評(píng)估方法。本文件適用于對(duì)服務(wù)提供商提供的人工智能服務(wù)能力的成熟度評(píng)估，以及服務(wù)能力成熟度模型中某項(xiàng)能力主域、能力子域的單項(xiàng)評(píng)估。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語3術(shù)語和定義GB/T41867-2022界定的以及下列術(shù)語和定義適用于本文件。3.1能力子項(xiàng)capabilitysub-item能力子域中構(gòu)成成熟度的若干特性指標(biāo)單項(xiàng)。3.2能力子項(xiàng)權(quán)重factorofcapabilitysub-item對(duì)應(yīng)能力子項(xiàng)在所述能力子域評(píng)估中的權(quán)重因子。3.3服務(wù)可用性serviceavailability服務(wù)客戶發(fā)起服務(wù)請(qǐng)求后，服務(wù)可訪問的時(shí)間占總服務(wù)時(shí)間的比例。注：可用性的計(jì)算是在一系列預(yù)定義的時(shí)間段中，服務(wù)可用時(shí)間之和4縮略語AI：人工智能（ArtificialIntelligence）5概述2GB/TXXXXX—XXXX5.1服務(wù)能力成熟度評(píng)估模型服務(wù)能力成熟度評(píng)估模型見圖1，包括能力框架、評(píng)估指標(biāo)體系和成熟度等級(jí)。圖1人工智能服務(wù)能力成熟度評(píng)估模型能力框架由多個(gè)能力主域組成，每個(gè)能力主域代表成熟度等級(jí)評(píng)估中主要的領(lǐng)域劃分，由一組相關(guān)的能力子域組成。每個(gè)能力子域代表該能力主域中構(gòu)成成熟度水平的若干技術(shù)能力領(lǐng)域，由一組相關(guān)的能力子項(xiàng)組成。評(píng)估指標(biāo)體系由三級(jí)指標(biāo)構(gòu)成，分別與能力主域、能力子域和能力子項(xiàng)對(duì)應(yīng)，每個(gè)能力子項(xiàng)代表該能力子域構(gòu)成成熟度的若干特性指標(biāo)。在獲得各項(xiàng)特性指標(biāo)數(shù)據(jù)后綜合計(jì)算獲得某一成熟度等級(jí)。成熟度等級(jí)是從基礎(chǔ)服務(wù)能力、業(yè)務(wù)服務(wù)能力等方面對(duì)人工智能服務(wù)能力的分級(jí)評(píng)估結(jié)果。5.2服務(wù)能力框架人工智能服務(wù)能力框架應(yīng)分為AI基礎(chǔ)服務(wù)能力、AI業(yè)務(wù)服務(wù)能力。各能力主域的能力子域和能力子項(xiàng)按照衡量相關(guān)能力所需的技術(shù)水平、系統(tǒng)性能、可擴(kuò)展性、安全性等維度進(jìn)行規(guī)定，其框架見表1。表1人工智能服務(wù)能力框架3GB/TXXXXX—XXXX5.3成熟度等級(jí)4GB/TXXXXX—XXXX5.3.1成熟度等級(jí)劃分及判定人工智能服務(wù)能力成熟度等級(jí)分為5級(jí)：起始級(jí)、發(fā)展級(jí)、穩(wěn)健級(jí)、優(yōu)秀級(jí)、卓越級(jí)，并用（一）、（二）、（三）、（四）、（五）表示，如圖2。圖2人工智能服務(wù)能力成熟度等級(jí)每個(gè)成熟度等級(jí)表明人工智能服務(wù)能力所達(dá)到的成熟度水平。人工智能服務(wù)能力的改進(jìn)和成熟度提升是通過漸進(jìn)的方式來實(shí)現(xiàn)的，較高的成熟度等級(jí)涵蓋了低于其成熟度等級(jí)的全部要求。人工智能服務(wù)能力、某項(xiàng)能力主域、能力子域成熟度分級(jí)評(píng)分見表2，根據(jù)得到的相應(yīng)的成熟度得分，對(duì)照相應(yīng)的服務(wù)能力成熟度評(píng)級(jí)：表2人工智能服務(wù)能力成熟度分級(jí)參考規(guī)則人工智能平臺(tái)能夠提供基本的人工智能服務(wù)，AI基人工智能平臺(tái)能夠提供可拓展的人工智能服務(wù)，AI人工智能平臺(tái)能夠提供穩(wěn)定的人工智能服務(wù)，AI基人工智能平臺(tái)能夠提供優(yōu)秀的人工智能服務(wù)，AI基人工智能平臺(tái)能夠提供卓越的人工智能服務(wù)，AI基5.3.2成熟度分級(jí)規(guī)則服務(wù)能力成熟度分級(jí)可采用評(píng)分量化的方式進(jìn)行，服務(wù)能力成熟度等級(jí)的評(píng)分可參考如下公式。其中，各能力主域和能力子域的評(píng)分可分別適用相關(guān)公式進(jìn)行評(píng)估:5GB/TXXXXX—XXXXa)成熟度等級(jí)得分=其中，能力主域k為構(gòu)成成熟度評(píng)估參考模型的能力主域。b)能力主域k成熟度得分=其中，能力子域j為能力主域k下的能力子域。c)能力子域j成熟度得分=其中，能力子項(xiàng)i為能力子域j下的能力子項(xiàng)。5.3.3能力項(xiàng)權(quán)重使用成熟度評(píng)估模型時(shí)，應(yīng)根據(jù)不同應(yīng)用場(chǎng)景構(gòu)建不同的能力子項(xiàng)評(píng)估要素。基于家用智能設(shè)備場(chǎng)景、智能醫(yī)療診療場(chǎng)景、工業(yè)設(shè)備預(yù)測(cè)性維護(hù)場(chǎng)景等能力子項(xiàng)權(quán)重見附錄A.1。6評(píng)估指標(biāo)6.1AI基礎(chǔ)服務(wù)能力6.1.1存儲(chǔ)存儲(chǔ)能力應(yīng)包括：a)存儲(chǔ)管理：數(shù)據(jù)存儲(chǔ)系統(tǒng)的整體管理能力，包括支持的存儲(chǔ)容量、數(shù)據(jù)條目數(shù)量等；b)多樣性：支持多種類型數(shù)據(jù)、多種開發(fā)語言的能力；c)分布式可拓展：支持分布式架構(gòu)的集群系統(tǒng)業(yè)務(wù)負(fù)載感知、降低運(yùn)維復(fù)雜度的能力；d)其他：存儲(chǔ)服務(wù)效率、設(shè)備故障預(yù)警和報(bào)警能力、存儲(chǔ)數(shù)據(jù)恢復(fù)能力、接口便捷性和服務(wù)可用性等方面。6.1.2計(jì)算計(jì)算能力應(yīng)包括：a)數(shù)據(jù)計(jì)算：支持超大規(guī)模分布式計(jì)算、批量計(jì)算、流式計(jì)算、圖計(jì)算、機(jī)器學(xué)習(xí)計(jì)算和邊緣計(jì)算等復(fù)雜計(jì)算任務(wù)的能力；b)集群效率：簡(jiǎn)單高效的提供大規(guī)模集群的部署、調(diào)度、擴(kuò)展和管理服務(wù)的能力；c)穩(wěn)定性：分布式架構(gòu)部署的穩(wěn)定性，包括保證故障自動(dòng)恢復(fù)、快速遷移、連續(xù)運(yùn)行時(shí)長(zhǎng)等能力；d)可擴(kuò)展性：計(jì)算資源擴(kuò)容、提供擴(kuò)展接口的能力；e)靈活性：根據(jù)業(yè)務(wù)變化和負(fù)載情況靈活調(diào)整的能力，以及是否能夠提供便捷易用的自動(dòng)化工具，支持多種框架、控制臺(tái)、應(yīng)用程序編程接口和軟件開發(fā)包的能力；f)統(tǒng)計(jì)監(jiān)控：數(shù)據(jù)流、數(shù)據(jù)收發(fā)狀態(tài)的統(tǒng)計(jì)監(jiān)控、報(bào)警觸發(fā)的能力。6.1.3數(shù)據(jù)結(jié)構(gòu)化處理與決策數(shù)據(jù)結(jié)構(gòu)化處理與決策業(yè)務(wù)服務(wù)能力應(yīng)包括：a)穩(wěn)定性：數(shù)據(jù)處理模型對(duì)抗噪聲和數(shù)據(jù)攻擊的能力；6GB/TXXXXX—XXXXb)可用性：系統(tǒng)與用戶的互協(xié)作能力；提供精確的數(shù)據(jù)分析結(jié)果，并給出可用決策建議的能力；在維護(hù)和調(diào)整時(shí)的在線實(shí)時(shí)服務(wù)能力等；c)時(shí)效性：提供實(shí)時(shí)性和變化感知的能力；d)可解釋性：數(shù)據(jù)處理和決策過程中模型的可解釋性與流程的透明性；e)可擴(kuò)展性：跨領(lǐng)域、覆蓋多個(gè)場(chǎng)景的遷移能力和可擴(kuò)展度。6.1.4機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)支撐能力應(yīng)包括：a)全生存周期：支撐包含數(shù)據(jù)框架（采集、篩選、預(yù)標(biāo)注、標(biāo)注和脫敏等）、特征探索、模型開發(fā)（訓(xùn)練、評(píng)估和預(yù)測(cè)）、模型部署、模型管理、應(yīng)用發(fā)布等全生存周期過程的能力；b)訓(xùn)練性能：支撐具備高性能的運(yùn)算能力；c)兼容性：兼容其他訓(xùn)練模型代碼的能力，包括主流的API和訓(xùn)練模型代碼等；d)靈活性：靈活分配計(jì)算資源的能力，包括訓(xùn)練時(shí)靈活分配計(jì)算資源的時(shí)間顆粒度、靈活的計(jì)量計(jì)費(fèi)機(jī)制等；e)易用性：操控人工智能服務(wù)所使用工具支持可視化的拖拽布局編程服務(wù)，組合各種數(shù)據(jù)源、組件、算法、模型和評(píng)估模塊的能力；f)算法庫(kù)：支持提供插件式算子注入，支持多類算子及算法、時(shí)空分析、頻繁項(xiàng)挖掘等能力。6.1.5安全與隱私安全與隱私保護(hù)能力應(yīng)包括：a)協(xié)議安全：協(xié)議使用可信通道、確保用戶的輸入不能被第三方竊聽的能力；b)數(shù)據(jù)隱私和算法安全：數(shù)據(jù)存儲(chǔ)中關(guān)于用戶個(gè)人隱私的相關(guān)數(shù)據(jù)采用匿名脫敏存儲(chǔ)、考慮算法安全機(jī)制，能夠避免通過統(tǒng)計(jì)數(shù)據(jù)反推算法邏輯的能力；c)數(shù)據(jù)加密：對(duì)敏感數(shù)據(jù)進(jìn)行加密存儲(chǔ)的能力；d)網(wǎng)絡(luò)隔離：對(duì)不同用途和環(huán)境的設(shè)備進(jìn)行必要的網(wǎng)絡(luò)隔離、對(duì)不同安全級(jí)別的運(yùn)算環(huán)境之間的互通進(jìn)行權(quán)限檢查的能力；e)權(quán)限管理和鑒權(quán)：對(duì)數(shù)據(jù)和服務(wù)調(diào)用進(jìn)行鑒權(quán)的能力；f)行為審計(jì)：對(duì)各種操作行為進(jìn)行審計(jì)的能力；g)恢復(fù)備份：支撐數(shù)據(jù)恢復(fù)與備份的能力。6.2AI業(yè)務(wù)服務(wù)能力6.2.1智能語音智能語音業(yè)務(wù)服務(wù)能力應(yīng)包括：a)語音識(shí)別：噪聲場(chǎng)景中喚醒詞識(shí)別和將語音轉(zhuǎn)換為文本的能力；b)語音合成：將文本轉(zhuǎn)換為語音的能力；c)聲紋識(shí)別：通過聲音判別說話者身份的技術(shù)能力。6.2.2自然語言理解自然語言理解業(yè)務(wù)服務(wù)能力應(yīng)包括：a)詞法、句法分析：支持詞法分析、句法分析、語義分析的能力；b)信息抽?。簭奈谋尽⒁纛l、圖像、視頻等數(shù)據(jù)中抽取知識(shí)單元的能力；c)信息檢索：根據(jù)用戶需求，查找出所需信息的能力；7GB/TXXXXX—XXXXd)語義推理：根據(jù)已有的知識(shí)，用規(guī)則或模型，擴(kuò)展相關(guān)知識(shí)或產(chǎn)生出新知識(shí)的能力；e)情感分析：通過對(duì)自然語言文本的分析，識(shí)別文本作者或文本所描述的個(gè)體的情感的能力；f)知識(shí)圖譜：構(gòu)建知識(shí)圖譜并利用知識(shí)圖譜進(jìn)行知識(shí)計(jì)算和推理等方面的能力。6.2.3智能對(duì)話智能對(duì)話業(yè)務(wù)服務(wù)能力包括：a)閑聊：閑聊對(duì)話中上下文銜接和提高用戶粘性的能力；b)知識(shí)型問答：為用戶提供知識(shí)內(nèi)容、知識(shí)搜索等答疑解惑服務(wù)的能力；c)任務(wù)導(dǎo)向?qū)υ挘喉憫?yīng)并引導(dǎo)用戶的需求，達(dá)成任務(wù)的能力；d)情感對(duì)話：與人對(duì)話，結(jié)合主題、情景等考慮對(duì)人進(jìn)行情感支持的能力；e)啟發(fā)式對(duì)話：在用戶不知道如何做或者能做什么時(shí)，給用戶提示，引導(dǎo)用戶繼續(xù)對(duì)話，考慮信息的利用程度、自主性以及學(xué)習(xí)的能力；f)多模態(tài)對(duì)話：在對(duì)話中可以同時(shí)考慮語音、視頻、動(dòng)作、事件輸入，以及表情、動(dòng)作、語音等多模態(tài)輸出，考慮模態(tài)數(shù)量、模態(tài)選擇策略、學(xué)習(xí)的能力。6.2.4智能圖像視頻分析智能圖像視頻分析業(yè)務(wù)服務(wù)能力應(yīng)包括：a)識(shí)別能力：支持至少一項(xiàng)識(shí)別服務(wù)的能力，如人臉識(shí)別、物體識(shí)別、文字識(shí)別等；識(shí)別過程中防攻擊的能力，例如防呈現(xiàn)攻擊；b)理解能力：準(zhǔn)確和高效理解圖像內(nèi)容信息的能力；c)業(yè)務(wù)拓展性：支持不同設(shè)備能力情況下的多種不同要求的服務(wù)業(yè)務(wù)的能力；d)服務(wù)穩(wěn)定性：提供圖像視頻穩(wěn)定性的能力，包括容錯(cuò)和負(fù)載均衡等。7成熟度模型評(píng)分7.1AI基礎(chǔ)服務(wù)能力7.1.1存儲(chǔ)存儲(chǔ)能力子域的能力子項(xiàng)成熟度評(píng)估分值見表3。表3存儲(chǔ)能力子項(xiàng)成熟度評(píng)估分值（1-5分）53低：支持1種結(jié)構(gòu)數(shù)據(jù)的一體化采集技術(shù)，受1高：支持5種或以上的自由存儲(chǔ)系統(tǒng)，包括關(guān)系服務(wù)、結(jié)構(gòu)化存儲(chǔ)服務(wù)、彈性消息隊(duì)列等；支持5種或以上語言SDKPython、PHP、JavaScript、Node.js、53158GB/TXXXXX—XXXX3153低：對(duì)服務(wù)器故障高度敏感，無法提供安全注：以上能力未達(dá)到最低評(píng)分要求或不具備該能力項(xiàng)7.1.2計(jì)算計(jì)算能力子域的能力子項(xiàng)成熟度評(píng)估分值見表4。表4計(jì)算能力子項(xiàng)成熟度評(píng)估分值（1-5分）流式計(jì)算、圖計(jì)算和機(jī)器學(xué)習(xí)計(jì)算等復(fù)雜任務(wù)；支持大規(guī)模機(jī)器53低：不具備大規(guī)模的數(shù)據(jù)計(jì)算能力，無法支持復(fù)雜度較高153低：能提供初步規(guī)模集群的部署、調(diào)度、擴(kuò)展和管理服1高：具備底層資源雙可用區(qū)支撐，保證故障自動(dòng)恢復(fù)、快53低：無法保證故障能夠自動(dòng)恢復(fù)和遷移，不能提供71高：支持低時(shí)延（如秒級(jí)水平）擴(kuò)容，提供簡(jiǎn)潔的預(yù)低計(jì)算規(guī)模擴(kuò)展到較大規(guī)模，而運(yùn)行應(yīng)用程序的方式并不531高：能夠根據(jù)業(yè)務(wù)變化和負(fù)載情況，對(duì)計(jì)算資源進(jìn)行供便捷易用的自動(dòng)化工具，支持多種常用框架和Web控制臺(tái)、AP53低：不能完全根據(jù)業(yè)務(wù)變化和負(fù)載情況對(duì)計(jì)算資源進(jìn)行調(diào)整；沒1提供數(shù)據(jù)流全鏈路監(jiān)控，在數(shù)據(jù)異常和服務(wù)異常時(shí)能5提供數(shù)據(jù)流部分鏈路監(jiān)控，在數(shù)據(jù)異常和服務(wù)異常出現(xiàn)之39GB/TXXXXX—XXXX低：無法完善量化數(shù)據(jù)流的數(shù)據(jù)質(zhì)量情況，沒有完善統(tǒng)計(jì)各模塊1注：以上能力未達(dá)到最低評(píng)分要求或不具備該7.1.3數(shù)據(jù)結(jié)構(gòu)化處理與決策數(shù)據(jù)結(jié)構(gòu)化處理與決策的能力子項(xiàng)成熟度評(píng)估分值應(yīng)符合表5的規(guī)定。表5智能數(shù)據(jù)處理與決策能力子項(xiàng)成熟度評(píng)估分值（1-5分）53低：完全不可管理，配置困難，所提供的數(shù)據(jù)智能1高：能夠提供高準(zhǔn)確率（大于等于95%）、低錯(cuò)誤率（（大于等于95%）、高特異性（大于等于95%）性很高，易于接受；支持用戶在數(shù)據(jù)處理與決可為每位用戶建立自適應(yīng)的協(xié)同模型；服務(wù)可5于等于20%）、較高靈敏度（大于等于80%，小于95%）、較高80%，小于95%）的分類精度，錯(cuò)誤分類可能降低可以接受；在大部分環(huán)節(jié)中（大于60%，小于100%）支持用戶中與系統(tǒng)交互，系統(tǒng)可為部分用戶建立自適應(yīng)的協(xié)同模型；超過50%3低：僅能提供較高準(zhǔn)確率（大于等于90%），不可行，無效，無法接受；僅在較少環(huán)節(jié)（小于20%）支持用策中與系統(tǒng)交互，系統(tǒng)不支持為用戶建立自適應(yīng)153低：延遲反應(yīng)，在處理和決策時(shí)拖延時(shí)間，決策的1可理解，業(yè)務(wù)可闡釋性高，可呈現(xiàn)為供有資質(zhì)第三方審），5GB/TXXXXX—XXXX可基本闡釋，決策模型方法基本可解釋說明（超），3低：數(shù)據(jù)處理流程可解釋性差，處理和決策過153低：僅針對(duì)某一特定領(lǐng)域提供服務(wù)或只適用1注：以上能力未達(dá)到最低評(píng)分要求或不具備該能7.1.4機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)支撐能力子域的能力子項(xiàng)成熟度評(píng)估分值見表6。表6機(jī)器學(xué)習(xí)集群能力子項(xiàng)成熟度評(píng)估分值（1-5分）發(fā)（訓(xùn)練、評(píng)估和預(yù)測(cè)）、模型部署、模型管理、應(yīng)用531高：支持超高性能GPU運(yùn)算（例如NVIDIA），5并行和模型并行、單機(jī)多卡和多機(jī)多卡的分布式訓(xùn)練；部分具備CPU31），samples代碼（例如GoogleCl），53低：支持自身設(shè)備的深度學(xué)習(xí)框架的API，不兼容其他sa1531者Docker中運(yùn)行），可以通過API、SDK或者We53GB/TXXXXX—XXXX低：所使用的工具易用性不高，無法通過API、SDK或者Web控制15317.1.5安全與隱私安全與隱私能力子域的能力子項(xiàng)成熟度評(píng)估分值見表7。表7安全與隱私能力子項(xiàng)成熟度評(píng)估分值（1-5分）高：支持5種或以上的接入?yún)f(xié)議均基于可信通道進(jìn)行（例如），53低：支持1種的接入?yún)f(xié)議通過可信通道進(jìn)行，不能確保用戶輸1高：數(shù)據(jù)庫(kù)中95%以上用戶隱私相關(guān)的數(shù)據(jù)采用用戶531531531GB/TXXXXX—XXXX權(quán)高：對(duì)服務(wù)間調(diào)用建立了基于密碼學(xué)和權(quán)限列表的訪問控制，避531高：對(duì)100%登錄后的操作進(jìn)行記錄，在必要53低：沒有完善的操作記錄機(jī)制，無法在一定時(shí)間15），3），1注：以上能力未達(dá)到最低評(píng)分要求或不具備該能力項(xiàng)7.2AI業(yè)務(wù)服務(wù)能力7.2.1智能語音智能語音能力子域的能力子項(xiàng)成熟度評(píng)估分值見表8。表8智能語音能力子項(xiàng)成熟度評(píng)估分值（1-5分）高：在不同信噪比狀態(tài)下，識(shí)別率很高（大于53低：在不同信噪比狀態(tài)下，識(shí)別率較低（小于80%）或1高：分詞準(zhǔn)確，句讀流暢，用戶可以準(zhǔn)確理解，與53低：分詞不準(zhǔn)確，句讀不流暢，影響用戶理解，與自然人類1高：錯(cuò)誤接受率小于等于0.25%，錯(cuò)誤拒53低：錯(cuò)誤接受率小于等于0.75%，錯(cuò)誤拒絕率小于1注：以上能力未達(dá)到最低評(píng)分要求或不具備該能7.2.2自然語言理解自然語言理解能力子域的能力子項(xiàng)成熟度評(píng)估分值應(yīng)符合表9的規(guī)定。GB/TXXXXX—XXXX表9自然語言理解能力子項(xiàng)成熟度評(píng)估分值（1-5分）90%)，可以根據(jù)上下文理解復(fù)雜句子，響應(yīng)時(shí)間符合自然人類問答習(xí)慣，完全531高：能提取關(guān)鍵詞，命中實(shí)體及實(shí)體間的顯示語義關(guān)系531531高：可以實(shí)現(xiàn)通用的邏輯推理，并擁有常識(shí)，準(zhǔn)確率大于等531不同的情緒，每一種情緒區(qū)分至少3個(gè)級(jí)別(531高：可以支持通用領(lǐng)域和專用領(lǐng)域知識(shí)圖譜的構(gòu)建，支53低：支持專用領(lǐng)域知識(shí)圖譜的構(gòu)建，支持利用知識(shí)圖譜進(jìn)行知識(shí)計(jì)17.2.3智能對(duì)話智能對(duì)話能力子域的能力子