T-CIDADS 00019-2024 企業(yè)級人工智能產(chǎn)品應(yīng)用體驗(yàn)設(shè)計(jì)驗(yàn)收指南

ICS35.020CCSY70CIDADSEnterprise-levelArtificialIntelligenceapplicationproductexperienceIT/CIDADS00019—2024前言 II引言 III 12規(guī)范性引用文件 3術(shù)語和定義 4驗(yàn)收指標(biāo)體系 4.1驗(yàn)收一級評價(jià)指標(biāo) 4.2驗(yàn)收二級指標(biāo) 4.3指標(biāo)優(yōu)先級劃分 5驗(yàn)收規(guī)則 6驗(yàn)收流程 6.1驗(yàn)收小組成員組成 6.2驗(yàn)收流程 附錄A（資料性）驗(yàn)收信息收集表 7附錄B（資料性）驗(yàn)收報(bào)告 8II本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件請注意本文件的某些內(nèi)容可能涉及專利，本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由中國工業(yè)設(shè)計(jì)協(xié)會設(shè)計(jì)標(biāo)準(zhǔn)分會提出并歸口。本文件起草單位：第四范式（北京）技術(shù)有限公司、艾普工華科技（武漢）有限公司、西安迅騰科技有限責(zé)任公司、中電云計(jì)算技術(shù)有限公司、中移（蘇州）軟件技術(shù)有限公司。本文件主要起草人：徐昀、馮佳寧、王雨萱、王蔚、李鑫杰、于東、路露、陳罡、浦玉、趙暉、杜俊志。本文件為首次發(fā)布。IIIT/CIDADS00019—2024企業(yè)級人工智能應(yīng)用產(chǎn)品隨著人工智能技術(shù)的不斷升級，逐步面向眾多細(xì)分行業(yè)領(lǐng)域。由于AI技術(shù)特性，人工智能產(chǎn)品在使用方式上往往不同于以往傳統(tǒng)業(yè)務(wù)系統(tǒng)，例如知識圖譜產(chǎn)品、模型訓(xùn)練平臺等可以說是誕生了一種新的產(chǎn)品品類。這就意味著人工智能產(chǎn)品對于用戶天然具有一定的學(xué)習(xí)和認(rèn)知成本。加之企業(yè)級產(chǎn)品本身的專業(yè)性、流程的復(fù)雜性，對于越復(fù)雜的產(chǎn)品，確保向用戶提供良好的使用體驗(yàn)就越困難，因此如何保障企業(yè)級人工智能產(chǎn)品的體驗(yàn)是一個(gè)值得討論和探究的問題。目前業(yè)界暫無成熟的對企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)相關(guān)的現(xiàn)行標(biāo)準(zhǔn)與具體指南。業(yè)界存在針對人工智能模型能力、芯片能力、算法能力的評價(jià)維度，但無法真實(shí)的反映出用戶使用企業(yè)級人工智能應(yīng)用產(chǎn)品的體驗(yàn)水平。用戶體驗(yàn)質(zhì)量是衡量企業(yè)級人工智能應(yīng)用產(chǎn)品品質(zhì)的關(guān)鍵；面對市場上不斷出現(xiàn)的企業(yè)級人工智能應(yīng)用產(chǎn)品，具有高可用性的產(chǎn)品會受到客戶青睞，因此當(dāng)前需解決的一個(gè)問題就是如何保障企業(yè)級人工智能應(yīng)用產(chǎn)品滿足企業(yè)業(yè)務(wù)需求的同時(shí)，還具備可用的體驗(yàn)服務(wù)特點(diǎn)。而對于企業(yè)級人工智能應(yīng)用產(chǎn)品的開發(fā)者，可以通過收集體驗(yàn)服務(wù)的驗(yàn)收報(bào)告，針對真實(shí)的用戶群體不斷改善產(chǎn)品體驗(yàn)質(zhì)量，增加用戶黏性和市場口碑，占領(lǐng)更多的市場份額，從而推進(jìn)人工智能應(yīng)用產(chǎn)品在市場的快速發(fā)展和向更多業(yè)務(wù)領(lǐng)域的普及。為了達(dá)成以上各方的不同需求，且持續(xù)的普及和推廣人工智能技術(shù)至各行業(yè)領(lǐng)域，需要構(gòu)建一套科學(xué)可靠的企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)設(shè)計(jì)驗(yàn)收指南。本文件提供了企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)設(shè)計(jì)驗(yàn)收的指南，給出以用戶體驗(yàn)為導(dǎo)向的人工智能應(yīng)用產(chǎn)品體驗(yàn)驗(yàn)收的維度、驗(yàn)收的方法以及驗(yàn)收實(shí)施流程，旨在幫助人工智能應(yīng)用產(chǎn)品提升產(chǎn)品體驗(yàn)設(shè)計(jì)質(zhì)量。1T/CIDADS00019—2024企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)設(shè)計(jì)驗(yàn)收指南本文件規(guī)定了企業(yè)級人工智能應(yīng)用產(chǎn)品體驗(yàn)設(shè)計(jì)的驗(yàn)收指標(biāo)體系、驗(yàn)收規(guī)則和驗(yàn)收流程。本文件適用于企業(yè)級人工智能應(yīng)用產(chǎn)品或集成人工智能模型與企業(yè)業(yè)務(wù)系統(tǒng)的應(yīng)用產(chǎn)品的驗(yàn)收。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T25000.51系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(jià)（SQuaRE）第51部分：就緒可用軟件產(chǎn)品（RUSP）的質(zhì)量要求和測試細(xì)則。3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1企業(yè)級人工智能應(yīng)用產(chǎn)品設(shè)計(jì)enterprise-levelArtificialIntelligenceapplicationproductdesign為滿足企業(yè)或組織需求，開發(fā)和構(gòu)建以AI技術(shù)為核心的產(chǎn)品的過程。設(shè)計(jì)過程中注重如何將智能功能無縫融入產(chǎn)品，以增強(qiáng)產(chǎn)品的智能特性和用戶價(jià)值。3.2業(yè)務(wù)目標(biāo)businessobjective一個(gè)組織、公司或企業(yè)所設(shè)定的具體、可衡量的成就或結(jié)果，用于指導(dǎo)其經(jīng)營和戰(zhàn)略決策。這些目標(biāo)通常與組織的使命、愿景和長期戰(zhàn)略計(jì)劃相一致，有具體的可衡量的指標(biāo)，幫助確定公司在特定時(shí)間段內(nèi)想要達(dá)到的結(jié)果。3.3用戶任務(wù)usertask用戶任務(wù)基于3.2中的業(yè)務(wù)目標(biāo)向下拆解得到，是用戶在使用產(chǎn)品時(shí)需要執(zhí)行的特定操作，旨在滿足他們特定的需求或解決特定問題。用戶任務(wù)是用戶體驗(yàn)設(shè)計(jì)中的概念，用戶任務(wù)的高效完成是保障用戶體驗(yàn)的基本單元。3.4目標(biāo)用戶targetusers在產(chǎn)品、服務(wù)、應(yīng)用設(shè)計(jì)中，開發(fā)者或設(shè)計(jì)團(tuán)隊(duì)明確定義的特定用戶群體。產(chǎn)品主要滿足他們的需求和期望。3.5待測用戶testparticipants在用戶界面、產(chǎn)品或服務(wù)的測試過程中，被邀請參與測試的特定用戶群體。3.6核心任務(wù)coretask在特定工作中，最為關(guān)鍵和高頻的任務(wù)或活動，它們對于實(shí)現(xiàn)成功和達(dá)成目標(biāo)至關(guān)重要。如果它們沒有得到有效執(zhí)行，將會對工作流程產(chǎn)生顯著的不利影響。4驗(yàn)收指標(biāo)體系4.1驗(yàn)收一級評價(jià)指標(biāo)體驗(yàn)驗(yàn)收指標(biāo)體系希望建立一套能夠保障用戶在使用人工智能企業(yè)級服務(wù)應(yīng)用產(chǎn)品時(shí)順利高效完整核心任務(wù)的產(chǎn)品體驗(yàn)評價(jià)標(biāo)準(zhǔn)，進(jìn)而達(dá)成業(yè)務(wù)目標(biāo)。結(jié)合度量目標(biāo)，建立6個(gè)一級評價(jià)維度和20個(gè)二級考察指標(biāo)，共同組合成一套體驗(yàn)驗(yàn)收指標(biāo)體系。一級指標(biāo)基于用戶任務(wù)視角，強(qiáng)調(diào)用戶目標(biāo)達(dá)成與系統(tǒng)的可學(xué)習(xí)型，具體如下：1）可用性：關(guān)注的是用戶目標(biāo)能否通過產(chǎn)品達(dá)成；2）易學(xué)性：從界面呈現(xiàn)內(nèi)容角度，圍繞產(chǎn)品的信息結(jié)構(gòu)、視覺元素、功能概念等方面建立指標(biāo)，關(guān)注用戶對產(chǎn)品理解的容易程度；3）效率性：從功能操作角度，圍繞完成任務(wù)的操作步驟是否便捷無冗余、提供多角色協(xié)同支持等方面建立指標(biāo)，關(guān)注用戶完成任務(wù)的效率；4）記憶性：將時(shí)間維度加入可用性度量，在用戶長期使用過程中確保產(chǎn)品提供一定記憶性；5）防錯(cuò)性：對于用戶使用期間的容錯(cuò)性功能進(jìn)行評價(jià)；對于使用手冊文檔幫助性內(nèi)容是作為必須材料要求業(yè)務(wù)方提供，因此不作為考察指標(biāo)項(xiàng)；6）品牌規(guī)范性：主要圍繞品牌視覺使用的規(guī)范性、版權(quán)問題、定制化合規(guī)等角度進(jìn)行評價(jià)。4.2驗(yàn)收二級指標(biāo)在4.1中評價(jià)維度的基礎(chǔ)上，設(shè)立跟進(jìn)一步的二級指標(biāo)，共20項(xiàng)，具體如下：4.2.1可用性使用該產(chǎn)品/功能時(shí)可以使用戶達(dá)成用戶任務(wù)。4.2.2易學(xué)性易學(xué)性包括：1）在使用該產(chǎn)品/功能時(shí)，用戶可以時(shí)刻明確當(dāng)前界面的任務(wù)；2）在使用該產(chǎn)品/功能時(shí)，當(dāng)用戶感到迷惑時(shí)，可通過產(chǎn)品內(nèi)提供的解釋說明或幫助手冊解決；3）在使用該產(chǎn)品/功能時(shí)，用戶所接觸到的現(xiàn)有概念符合其認(rèn)知；4）在使用該產(chǎn)品/功能時(shí)，對所接觸到的產(chǎn)品獨(dú)特概念，用戶可以在產(chǎn)品中找到其清晰的解釋；5）在使用該產(chǎn)品/功能時(shí)，用戶認(rèn)為產(chǎn)品的導(dǎo)航劃分方式是合理的；6）在使用該產(chǎn)品/功能時(shí)，用戶所需操作是能夠被用戶找到的；7）在使用該產(chǎn)品/功能時(shí)，用戶認(rèn)為產(chǎn)品所用的色彩、圖標(biāo)、插圖可被辨識且符合其認(rèn)知。4.2.3效率性效率性包括：1）在使用該產(chǎn)品/功能時(shí)，產(chǎn)品應(yīng)根據(jù)GB/T25000.51包含有關(guān)使用質(zhì)量中效率的陳述；2）在使用該產(chǎn)品/功能時(shí)，用戶不必進(jìn)行任何大量的、重復(fù)性的操作即可完成任務(wù)；3）在使用該產(chǎn)品/功能時(shí)，用戶不必進(jìn)行任何有難度的精確控制即完成任務(wù)；4）在使用該產(chǎn)品/功能時(shí)，涉及多角色、不同權(quán)限的任務(wù)符合用戶的協(xié)作模式。4.2.4記憶性記憶性包括：1）在使用該產(chǎn)品/功能時(shí)，用戶不必記憶任何不屬于當(dāng)前操作界面的信息；2）在使用該產(chǎn)品/功能時(shí)，用戶應(yīng)隨時(shí)感知他操作的對象所處的狀態(tài)。3T/CIDADS00019—20244.2.5防錯(cuò)性防錯(cuò)性包括：1）在使用該產(chǎn)品/功能時(shí)，除非在操作前向用戶提供告警，否則所有關(guān)鍵操作均允許用戶撤銷；2）在使用該產(chǎn)品/功能時(shí)，用戶可以隨時(shí)返回上一個(gè)層級/來源頁；3）在使用該產(chǎn)品/功能時(shí)，用戶每次在執(zhí)行有風(fēng)險(xiǎn)的命令前，均會接收到二次確認(rèn)，以便其了解操作風(fēng)險(xiǎn)；4）在使用該產(chǎn)品/功能時(shí)，如發(fā)生錯(cuò)誤，用戶可以獲取到易于理解的錯(cuò)誤原因說明及解決錯(cuò)誤的方法。4.2.6品牌規(guī)范品牌規(guī)范包括：1）該產(chǎn)品/功能中所使用的品牌及Logo符合公司規(guī)范；2）該產(chǎn)品/功能中所使用的字體、圖標(biāo)、圖片等設(shè)計(jì)元素?zé)o版權(quán)風(fēng)險(xiǎn)；3）該產(chǎn)品/功能中，與客戶定制化相關(guān)的品牌、Logo、文案等信息沒有錯(cuò)誤。4.3指標(biāo)優(yōu)先級劃分在指標(biāo)體系建立的過程中我們緊密聚焦用戶目標(biāo)任務(wù)，因此20個(gè)二級指標(biāo)的優(yōu)先級劃分主要以其對任務(wù)的完成的影響作為依據(jù)，優(yōu)先級劃分有以下5種：1）阻塞級(Block)：用戶要執(zhí)行的核心任務(wù)完全不可用的問題。如不修復(fù)這類問題，用戶將認(rèn)為自己無法通過產(chǎn)品完成目標(biāo)。2）關(guān)鍵級(Critical)：導(dǎo)致某些核心功能不可用的問題。如不修復(fù)這類問題，用戶將認(rèn)為產(chǎn)品令其感到氣憤或痛苦。3）主要級(Major)：可以正常使用、但極大影響用戶使用效率的問題。如不修復(fù)這類問題，用戶將認(rèn)為產(chǎn)品體驗(yàn)是不友好的。4）次要級(Minor)：非體驗(yàn)行業(yè)專業(yè)用戶可察覺的界面樣式、交互動效等問題。如不修復(fù)這類問題，用戶認(rèn)為產(chǎn)品設(shè)計(jì)品質(zhì)較低。5）低優(yōu)先級(Trivial)：僅體驗(yàn)行業(yè)專業(yè)用戶可察覺的微小的界面問題。如不修復(fù)這類問題，將不會影響用戶對產(chǎn)品的整體滿意度。綜上，完整的指標(biāo)體系呈現(xiàn)見表1：表1體驗(yàn)設(shè)計(jì)驗(yàn)收指標(biāo)體系4息性5驗(yàn)收規(guī)則根據(jù)產(chǎn)品版本可支持客戶占比進(jìn)行驗(yàn)收，產(chǎn)品版本分級評價(jià)標(biāo)準(zhǔn)見表2。表2產(chǎn)品版本分級評價(jià)標(biāo)準(zhǔn)6驗(yàn)收流程6.1驗(yàn)收小組成員組成6.1.1驗(yàn)收小組成員包括：主持人、評審專家、待測用戶、業(yè)務(wù)方代表。5T/CIDADS00019—20246.1.2成員分別具備以下相關(guān)條件。1）主持人：熟悉驗(yàn)收流程和相關(guān)文件信息；了解驗(yàn)收產(chǎn)品的產(chǎn)品架構(gòu)、用戶需求和判定條件。2）評審專家：為非待測項(xiàng)目組成員；熟悉用戶體驗(yàn)、人工智能的基本知識和相關(guān)業(yè)務(wù)知識；接受過相關(guān)培訓(xùn)，清楚了解測試的目標(biāo)、范圍和標(biāo)準(zhǔn)，以便能夠評估測試文檔的一致性。評審專家自身進(jìn)行啟發(fā)式評估，以熟悉測試功能、提供專業(yè)視角，對于用戶忽略的問題以及難以界定的情形會給出專業(yè)視角的補(bǔ)充。3）待測用戶：代表產(chǎn)品或服務(wù)的潛在最終用戶。技能、知識儲備等需要與最終用戶畫像一致，測試前會評估用戶的角色定位、角色權(quán)限、使用場景、行為特點(diǎn)/規(guī)律，與目標(biāo)用戶畫像的匹配度偏差不應(yīng)超過50%，以確保待測用戶的反饋和行為能夠代表實(shí)際用戶的需求和期望；不應(yīng)與測試結(jié)果有相關(guān)的利益沖突，以確保待測用戶能夠提供客觀的反饋。4）業(yè)務(wù)方代表：熟悉驗(yàn)收產(chǎn)品的產(chǎn)品架構(gòu)、需求背景、業(yè)務(wù)方向和用戶信息；可以負(fù)責(zé)組織產(chǎn)品后續(xù)的迭代。6.2驗(yàn)收流程6.2.1籌備階段籌備階段流程如下：1）業(yè)務(wù)方代表明確產(chǎn)品相關(guān)的背景、測試邊界與協(xié)助形式、產(chǎn)品版本與分級信息；2）業(yè)務(wù)方代表確定待測用戶。業(yè)務(wù)方代表在測試執(zhí)行前要為評審小組明確產(chǎn)品的目標(biāo)用戶用戶畫像，并負(fù)責(zé)聯(lián)系真實(shí)用戶作為測試對象；3）業(yè)務(wù)方代表確定評估邊界。業(yè)務(wù)方代表需明確本次測試核心任務(wù)，任務(wù)范圍與發(fā)版材料中的主干任務(wù)一致。此外還需明確測試時(shí)為用戶提供的預(yù)設(shè)情景；4）業(yè)務(wù)方代表提供穩(wěn)定的測試環(huán)境、賬號等必要信息；5）業(yè)務(wù)方/產(chǎn)品設(shè)計(jì)師根據(jù)主干任務(wù)以及以上信息完成驗(yàn)收信息收集表、用戶任務(wù)書，驗(yàn)收信息收集表見附錄A。6.2.2專家審議專家審議流程如下：1）評審專家根據(jù)產(chǎn)品的立項(xiàng)材料確認(rèn)其版本分級對應(yīng)的驗(yàn)收評審要求；2）評審專家根據(jù)產(chǎn)品的立項(xiàng)材料確認(rèn)其需求范圍及需求等級，以此判斷業(yè)務(wù)方給出的核心任務(wù)流程是否合理；3）評審專家測試前確認(rèn)核心任務(wù)流程與了解版本功能，各自獨(dú)立模擬用戶完成特定任務(wù)，給出基于任務(wù)的指標(biāo)達(dá)成情況判定；4）表格審核后確定最終測試執(zhí)行時(shí)間、地點(diǎn)。6.2.3執(zhí)行階段執(zhí)行階段流程如下：1）為避免真實(shí)用戶臨場緊張或受到干擾，評審組成員不與測試用戶在一個(gè)空間，通常通過共享屏幕查看真實(shí)用戶操作；2）主持人提供任務(wù)書給測試用戶，簡述背景任務(wù)以及注意事項(xiàng)；3）在測試過程中允許用戶按照發(fā)版計(jì)劃接受一定程度的幫助。例如如果產(chǎn)品本身承諾為客戶提供了使用手冊、電話咨詢等協(xié)助，那在測試過程中，允許測試用戶進(jìn)行該范圍內(nèi)