《企業(yè)級人工智能應用產(chǎn)品體驗驗收指南》

T/CAS1.1—2017

企業(yè)級人工智能應用產(chǎn)品體驗驗收指南

1范圍

本標準提供了企業(yè)級人工智能應用產(chǎn)品體驗驗收指南，給出以用戶體驗為導向的人工智能應用產(chǎn)品

體驗驗收的維度、驗收的方法以及驗收實施流程，旨在幫助人工智能應用產(chǎn)品提升產(chǎn)品可用性、易用性

等產(chǎn)品質量。

本標準適用于企業(yè)級人工智能應用產(chǎn)品或集成人工智能模型于企業(yè)業(yè)務系統(tǒng)的應用產(chǎn)品，其他同類

具有高度業(yè)務屬性的應用產(chǎn)品可參考使用；

本標準暫不適用于以個體用戶為主的個人用戶產(chǎn)品。

2規(guī)范性引用文件

下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

WCAG2.0Web內容無障礙指南

GB/T29799-2013網(wǎng)頁內容可訪問性指南

GB/T25000.51-2016系統(tǒng)與軟件工程系統(tǒng)與軟件質量要求和評價（SQuaRE）

GB/T29836.3-2013系統(tǒng)與軟件易用性第3部分：測評方法

3術語和定義

下列術語和定義適用于本文件。

3.1人工智能企業(yè)級服務應用產(chǎn)品EnterpriseServiceApplicationProduct

人工智能企業(yè)級服務應用產(chǎn)品是利用人工智能為底層技術，并面向商業(yè)和組織需求設計的業(yè)務應用

產(chǎn)品。

注：企業(yè)級服務通常指面向企業(yè)的服務，服務范圍涵蓋企業(yè)發(fā)展過程中以再生產(chǎn)為目標的方方面面。

產(chǎn)品的購買者通常為正式機構、組織。

3.2目標用戶targetusers

目標用戶是指在產(chǎn)品、服務、應用設計中，開發(fā)者或設計團隊明確定義的特定用戶群體。

3.3核心任務coretasks

4

T/CAS1.1—2017

核心任務是指在特定工作中，最為關鍵和高頻的任務或活動，它們對于實現(xiàn)成功和達成目標至關重

要。如果它們沒有得到有效執(zhí)行，將會對工作流程產(chǎn)生顯著的不利影響。

其中任務沿用

4體驗驗收指標體系與評價標準

體驗驗收指標體系希望建立一套能夠保障用戶在使用人工智能企業(yè)級服務應用產(chǎn)品時順利高效完

整核心任務的產(chǎn)品體驗評價標準，進而達成業(yè)務目標。指標體系由6個一級評價維度、20個二級考察指

標以及指標優(yōu)先級劃分標準，共同組合成一套體驗驗收指標體系。請見表1.體驗驗收指標體系

評估重要性級別具體檢查項

類型

實用Block(P0)1.總的來說，使用該產(chǎn)品/功能可以使用戶達成上述所定義的目

性標

可學Block(P0)2.在使用該產(chǎn)品/功能時，用戶可以時刻明確當前界面的任務

習性Critical(P1)3.在使用該產(chǎn)品/功能時，當用戶感到迷惑時，可通過產(chǎn)品內提供

的解釋說明或幫助手冊解決

Major(P2)4.在使用該產(chǎn)品/功能時，用戶所接觸到的現(xiàn)有概念符合其認知

Major(P2)5.在使用該產(chǎn)品/功能時，對所接觸到的產(chǎn)品獨特概念，用戶可

以在產(chǎn)品中找到其清晰的解釋

Major(P2)6.在使用該產(chǎn)品/功能時，用戶認為產(chǎn)品的導航劃分方式是合理

的

Critical(P1)7.在使用該產(chǎn)品/功能時，用戶所需操作是能夠被用戶找到的

Major(P2)8.在使用該產(chǎn)品/功能時，用戶認為產(chǎn)品所用的色彩、圖標、插

圖可被辨識且符合其認知

效率Major(P2)9.在使用該產(chǎn)品/功能時，用戶不必進行任何大量的、重復性的

操作即可完成任務

Major(P2)10.在使用該產(chǎn)品/功能時，用戶不必進行任何有難度的精確控制

即完成任務

Major(P2)11.在使用該產(chǎn)品/功能時，涉及多角色、不同權限的任務符合用

戶的協(xié)作模式

5

T/CAS1.1—2017

評估重要性級別具體檢查項

類型

可記Major(P2)12.在使用該產(chǎn)品/功能時，用戶不必記憶任何不屬于當前操作界

憶性面的信息

Major(P2)13.在使用該產(chǎn)品/功能時，用戶應隨時感知他操作的對象所處的

狀態(tài)

防錯Major(P2)14.在使用該產(chǎn)品/功能時，除非在操作前向用戶提供告警，否則

性所有關鍵操作均允許用戶撤銷

Critical(P1)15.在使用該產(chǎn)品/功能時，用戶可以隨時返回上一個層級/來源

頁

Major(P2)16.在使用該產(chǎn)品/功能時，用戶每次在執(zhí)行有風險的命令前，均

會接收到二次確認，以便其了解操作風險

Critical(P1)17.在使用該產(chǎn)品/功能時，如發(fā)生錯誤，用戶可以獲取到易于理

解的錯誤原因說明及解決錯誤的方法

視覺Critical(P1)18.該產(chǎn)品/功能中所使用的品牌及Logo符合公司規(guī)范

品牌Major(P2)19.該產(chǎn)品/功能中所使用的字體、圖標、圖片等設計元素無版

權風險

Critical(P1)20.該產(chǎn)品/功能中，與客戶定制化相關的品牌、Logo、文案等信

息沒有錯誤

表1.體驗驗收指標體系

4.1評價維度說明

一級維度基于用戶任務視角，強調用戶目標達成與系統(tǒng)的可學習型，具體如下：

評價維度維度說明

實用性關注的是用戶目標能否通過產(chǎn)品達成。

可學習性從界面呈現(xiàn)內容角度，圍繞產(chǎn)品的信息結構、視覺元素、功能概念等方面建立指標，關

注用戶對產(chǎn)品理解的容易程度。

效率從功能操作角度，圍繞完成任務的操作步驟是否便捷無冗余、提供多角色協(xié)同支持等方

面建立指標，關注用戶完成任務的效率。

可記憶性將時間維度加入可用性度量，在用戶長期使用過程中確保產(chǎn)品提供一定記憶性。

防錯性對于用戶使用期間的容錯性功能進行評價。

6

T/CAS1.1—2017

視覺品牌主要圍繞品牌視覺使用的規(guī)范性、版權問題、定制化合規(guī)等角度進行評價。

表2.評價維度說明

4.2指標優(yōu)先級劃分標準

在指標體系建立的過程中我們緊密聚焦用戶目標任務，因此20個二級指標的優(yōu)先級劃分主要以其對

任務的完成的影響作為依據(jù)，按印象的嚴重程度由大到小，優(yōu)先級劃分為以下5種：

優(yōu)先級優(yōu)先級對應問題嚴重程度說明

Block(P0)用戶要執(zhí)行的核心任務完全不可用的問題。如不修復這類問題，用戶將認為自己無法通過產(chǎn)品

完成目標

Critical(P1)導致某些核心功能不可用的問題。如不修復這類問題，用戶將認為產(chǎn)品令其感到氣憤或痛苦

Major(P2)可以正常使用、但極大影響用戶使用效率的問題。如不修復這類問題，用戶將認為產(chǎn)品體驗是

不友好的

Minor(P3)非體驗行業(yè)專業(yè)用戶可察覺的界面樣式、交互動效等問題。如不修復這類問題，用戶認為產(chǎn)品

設計品質較低

Trivial(P4)僅體驗行業(yè)專業(yè)用戶可察覺的微小的界面問題。如不修復這類問題，將不會影響用戶對產(chǎn)品的

整體滿意度

表3.指標優(yōu)先級

4.3分級評價標準

為了能夠適用于不同發(fā)版產(chǎn)品的情況，我們基于產(chǎn)品可售賣客戶數(shù)為不同版本分別制定評審標準，

評審范圍。產(chǎn)品版本分級評價標準具體如下：

版本類別最大可支持客戶數(shù)版本標準

概念版11、無block級體驗問題（預案支持）

體驗版51、無block級體驗問題

2、無critical級體驗問題

3、其余交互體驗部分（預案支持）

搶鮮版101、無block級體驗問題

2、無critical級體驗問題

3、其余交互體驗部分（預案支持）

7

T/CAS1.1—2017

版本類別最大可支持客戶數(shù)版本標準

預覽版301、無block級體驗問題

2、無critical級體驗問題

3、Major級體驗問題（預案支持）

正式版30以上1、無block級體驗問題

2、無critical級體驗問題

3、無major級體驗問題

表4.產(chǎn)品版本分級評價標準

說明1：“預案”需保證公司品牌不受影響，“預案支持”即產(chǎn)品出現(xiàn)對應問題有對應方案保障

說民2:發(fā)布的版本售賣客戶數(shù)越多，相應的度量指標也會越嚴格，評審標準增加一定靈活性與適

用度。

5驗收流程

5.1驗收小組人員選定

驗收小組成員包括：主持人、評審專家、測試用戶、業(yè)務方代表。其中各成員應具備以下相關條件

如下：

1）主持人：具有公平公正、合理溝通的基本素養(yǎng)；熟悉驗收流程和相關文件信息；了解驗收產(chǎn)品

的產(chǎn)品架構、用戶需求和判定條件。

2）評審專家：具有客觀公正的基本素質；熟悉用戶體驗、人工智能的基本知識和相關業(yè)務知識；

接受過相關培訓，清楚了解測試的目標、范圍和標準，以便能夠評估測試文檔的一致性。評審專家除了

在用戶測試過程中進行評估外，自身也要進行啟發(fā)式評估，以熟悉測試功能，和提供專業(yè)視角，對于用

戶忽略的問題，以及難以界定的情形會給出專業(yè)視角的補充。

3）測試用戶：應該代表產(chǎn)品或服務的潛在最終用戶。技能、知識儲備等需要與最終用戶畫像一致，

測試前會評估用戶的角色定位、角色權限、使用場景、行為特點/規(guī)律，與目標用戶畫像的匹配度偏差

不能超過50%，以確保他們的反饋和行為能夠代表實際用戶的需求和期望；不能與測試結果有相關的利

益沖突，以確保他們能夠提供客觀的反饋。參與測試的用戶要求不少于2名。

測試用戶人數(shù)說明：企業(yè)服務產(chǎn)品中的用戶代表的是一種組織中的某個角色。無論性別、年齡、地

區(qū)有何差異，他們都是一類角色，具有相對一致的職業(yè)屬性。因此產(chǎn)品的功能設計的主要依據(jù)就是企業(yè)

對角色的業(yè)務定位和考核目標，因此在外部用戶數(shù)量上我們在Nielsen提出的測試5人就能發(fā)現(xiàn)85%的

可用性問題的理論基礎上進行了進一步縮減，因此要求測試用戶至少2名。

4）業(yè)務方代表：具有實事求是的基本素養(yǎng)；熟悉驗收產(chǎn)品的產(chǎn)品架構、需求背景、業(yè)務方向和用

戶信息；可以負責組織產(chǎn)品后續(xù)的迭代。

8

T/CAS1.1—2017

5.2驗收實施流程

5.2.1籌備階段

1）業(yè)務方明確產(chǎn)品相關的背景、測試邊界與協(xié)助形式、產(chǎn)品版本與分級信息；

2）業(yè)務方確定測試用戶。業(yè)務方在測試執(zhí)行前要為評審小組明確產(chǎn)品的目標用戶用戶畫像，并負

責聯(lián)系真實用戶作為測試對象。

3）業(yè)務方確定評估邊界。業(yè)務方需明確本次測試任務，任務范圍與發(fā)版材料中的主干任務一致。

此外業(yè)務方還需明確測試時為用戶提供的預設情景。

4）業(yè)務方提供穩(wěn)定的測試環(huán)境、賬號等必要信息

5）業(yè)務方/產(chǎn)品設計師根據(jù)主干任務以及以上信息完成驗收信息收集，表中除了包括用戶信息、環(huán)

境、驗收時間時間、目標等基本信息外，還需要寫出每項用戶任務可以判定成功的標準，后續(xù)專家會結

合此判定標準對任務通過情況進行判斷。詳情請見：表5.驗收信息收集

產(chǎn)品版本產(chǎn)品分級驗收時間

對應級別重要性程

度級別要求

邊界/協(xié)助范圍

目標用戶

角色定位角色權限業(yè)務熟練度

行為特點/規(guī)律使用場景

待測用戶

姓名職位是否為真實用戶匹配

度偏

差

可驗收時間驗收場所驗收環(huán)境

輔助工具錄像設備音頻設備驗收設備其他：

產(chǎn)品目標

序號目標簡介（根據(jù)此版本項目需求轉換成用戶可理解的任務目標）

1

2

驗收指標體系判斷條件表

9

T/CAS1.1—2017

任務一名稱

步驟補充材料判定標準結果反饋反饋備注

表5.驗收信息收集表

5.2.2信息審核

1）專家評審根據(jù)產(chǎn)品的立項材料確認其版本分級對應的驗收評審要求。

2）專家評審根據(jù)產(chǎn)品的立項材料確認其需求范圍及需求等級，以此判斷業(yè)務方給出的任務流程是

否合理。

3）專家評審測試前確認任務流程與了解版本功能，各自獨立模擬用戶完成特定任務，給出基于任

務的指標達成情況判定。

4）表格審核后確定最終測試執(zhí)行時間、地點。

5.2.3執(zhí)行階段

測試執(zhí)行階段參考標準

1）為避免真實用戶臨場緊張或受到干擾，評審組成員不與測試用戶在一個空間，通常通過共享屏

幕查看真實用戶操作。

2）主持人提供任務書給測試用戶，簡述背景任務以及注意事項。

3）在測試過程中允許用戶按照發(fā)版計劃接受一定程度的幫助。例如如果產(chǎn)品本身承諾為客戶提供

了使用手冊、電話咨詢等協(xié)助，那在測試過程中，允許測試用戶進行該范圍內的支持。

4）測試過程中評審小組觀察用戶使用情況，發(fā)現(xiàn)問題點后，比照表格查看是否在考察項范圍，如

果在考察范圍內，則將其記錄在對應問題點后。結合用戶完成任務情況和走查結果給出各個指標的判定

結果，并綜合版本可用性要求，經(jīng)過幾位專家溝通給出最終一致的評審結果。

5.2.4統(tǒng)計復盤

1）在統(tǒng)計復盤階段，評審小組統(tǒng)計每個指標項中問題的數(shù)量。根據(jù)各檢查項重要性級別，得到各

級別下問題的數(shù)量，并根據(jù)整體的質量標準進行判定。

2）完成驗收報告。報告重點用于梳理和記錄驗收過程中發(fā)現(xiàn)的問題，例如任務范圍、內容、驗收

結果、指標統(tǒng)計和各項指標的達成結果以及改進意見等，具體報告請見表格6.驗收報告。

3）如未通過測試，需由業(yè)務方與相關人員同步問題，闡述失敗原因，修改后由項目經(jīng)理重新預約

新一輪測試。

10

T/CAS1.1—2017

產(chǎn)品名稱：測試用戶：

產(chǎn)品對應分級及體驗要求：用戶角色：

標準說明問題統(tǒng)計

體驗檢查項的重要性程度的級別劃分：

Block(P0)問題數(shù)量

Block(P0)：

用戶要執(zhí)行的核心任務完全不可用的問題。如不修復這類問題，

用戶將認為自己無法通過產(chǎn)品完成目標Critical(P1)問題數(shù)量

Critical(P1)：

導致某些核心功能不可用的問題。如不修復這類問題，用戶將認

Major(P2)問題數(shù)量

為產(chǎn)品令其感到氣憤或痛苦

Major(P2)：

可以正常使用、但極大影響用戶使用效率的問題。如不修復這類

Minor(P3)問題數(shù)量

問題，用戶將認為產(chǎn)品體驗是不友好的

Minor(P3)：

非體驗行業(yè)專業(yè)用戶可察覺的界面樣式、交互動效等問題。如不Trivial(P4)問題數(shù)量

修復這類問題，用戶認為產(chǎn)品設計品質較低

Trivial(P4)：

總計問題數(shù)

僅體驗行業(yè)專業(yè)用戶可察覺的微小的界面問題。如不修復這類問

題，將不會影響用戶對產(chǎn)品的整體滿意度

任務評估

評估類別重要級別具體檢查項是否通過存在的問題

1.總的來說，使用該產(chǎn)品/功能可以使用戶達

實用性Block（0）

成上述所定義的目標

2.在使用該產(chǎn)品/功能時，用戶可以時刻明確

可學習性Block（0）

當前界面的任務

Critical(P1)3.在使用該產(chǎn)品/功能時，當用戶感到迷惑時，

可通過產(chǎn)品內提供的解釋說明或幫助手冊解

決

Major(P2)4.在使用該產(chǎn)品/功能時，用戶所接觸到的現(xiàn)

有概念符合其認知

Major(P2)5.在使用該產(chǎn)品/功能時，對所接觸到的產(chǎn)品

獨特概念，用戶可以在產(chǎn)品中找到其清晰的解

釋

Major(P2)6.在使用該產(chǎn)品/功能時，用戶認為產(chǎn)品的導

航劃分方式是合理的

Critical(P1)7.在使用該產(chǎn)品/功能時，用戶所需操作是能

夠被用戶找到的

1

T/CAS1.1—2017

Major(P2)8.在使用該產(chǎn)品/功能時，用戶認為產(chǎn)品所用

的色彩、圖標、插圖可被辨識且符合其認知

Major(P2)9.在使用該產(chǎn)品/功能時，用戶不必進行任何

效率

大量的、重復性的操作即可完成任務

Major(P2)10.在使用該產(chǎn)品/功能時，用戶不必進行任何

有難度的精確控制即完成任務

Major(P2)11.在使用該產(chǎn)品/功能時，涉及多角色、不同

權限的任務符合用戶的協(xié)作模式

Major(P2)12.在使用該產(chǎn)品/功能時，用戶不必記憶任何

可記憶性

不屬于當前操作界面的信息

Major(P2)13.在使用該產(chǎn)品/功能時，用戶應隨時感知他

操作的對象所處的狀態(tài)

Major(P2)14.在使用該產(chǎn)品/功能時，除非在操作前向用

出錯

戶提供告警，否則所有關鍵操作均允許用戶撤

銷

Critical(P1)15.在使用該產(chǎn)品/功能時，用戶可以隨時返回

上一個層級/來源頁

Major(P2)16.在使用該產(chǎn)品/功能時，用戶每次在執(zhí)行有

風險的命令前，均會接收到二次確認，以便其

了解操作風險

Critical(P1)17.在使用該產(chǎn)品/功能時，如發(fā)生錯誤，用戶

可以獲取到易于理解的錯誤原因說明及解決

錯誤的方法

Critical(P1)18.該產(chǎn)品/功能中所使用的品牌及Logo符合

視覺品牌

公司規(guī)范

Major(P2)19.該產(chǎn)品/功能中所使用的字體、圖標、圖

片等設計元素無版權風險

Critical(P1)20.該產(chǎn)品/功能中，與客戶定制化相關的品

牌、Logo、文案等信息沒有錯誤

表格.6驗收報告

_________________________________

2

ICS

A00T/

團體標準

T/CIDADS—

企業(yè)級人工智能應用產(chǎn)品體驗驗收指南

Artificialintelligenceenterpriseserviceapplicationproductexperienceacceptance

processandevaluationguide

點擊此處添加與國際標準一致性程度的標識

（征求意見稿）

（本稿完成日期：2024-03-07）

2024-××-××發(fā)布2024-××-××實施

中國工業(yè)設計協(xié)會發(fā)布

T/CAS1.1—2017

企業(yè)級人工智能應用產(chǎn)品體驗驗收指南

1范圍

本標準提供了企業(yè)級人工智能應用產(chǎn)品體驗驗收指南，給出以用戶體驗為導向的人工智能應用產(chǎn)品

體驗驗收的維度、驗收的方法以及驗收實施流程，旨在幫助人工智能應用產(chǎn)品提升產(chǎn)品可用性、易用性

等產(chǎn)品質量。

本標準適用于企業(yè)級人工智能應用產(chǎn)品或集成人工智能模型于企業(yè)業(yè)務系統(tǒng)的應用產(chǎn)品，其他同類

具有高度業(yè)務屬性的應用產(chǎn)品可參考使用；

本標準暫不適用于以個體用戶為主的個人用戶產(chǎn)品。

2規(guī)范性引用文件

下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

WCAG2.0Web內容無障礙指南

GB/T29799-2013網(wǎng)頁內容可訪問性指南

GB/T25000.51-2016系統(tǒng)與軟件工程系統(tǒng)與軟件質量要求和評價（SQuaRE）

GB/T29836.3-2013系統(tǒng)與軟件易用性第3部分：測評方法

3術語和定義

下列術語和定義適用于本文件。

3.1人工智能企業(yè)級服務應用產(chǎn)品EnterpriseServiceApplicationProduct

人工智能企業(yè)級服務應用產(chǎn)品是利用人工智能為底層技術，并面向商業(yè)和組織需求設計的業(yè)務應用

產(chǎn)品。

注：企業(yè)級服務通常指面向企業(yè)的服務，服務范圍涵蓋企業(yè)發(fā)展過程中以再生產(chǎn)為目標的方方面面。

產(chǎn)品的購買者通常為正式機構、組織。

3.2目標用戶targetusers

目標用戶是指在產(chǎn)品、服務、應用設計中，開發(fā)者或設計團隊明確定義的特定用戶群體。

3.3核心任務coretasks