用戶體驗測試和評價

1、用戶體驗測試與評價產(chǎn)品的用戶體驗測試評價就是把構(gòu)成產(chǎn)品的軟、硬件系統(tǒng)按其性能、功能、 界面形式、 可用 性等方面與某種預(yù)定的標(biāo)準(zhǔn)或者預(yù)想進(jìn)行比較， 對其做出評價。 用戶體驗測試與評價是產(chǎn)品 開發(fā)設(shè)計的一個重要步驟。 產(chǎn)品的成功與否需要通過評價以及用戶的實踐， 才能得到最終的 判定。8.1 概述從體驗的過程角度來講， 用戶體驗評價大致可分為兩類： 一類是在產(chǎn)品完成之后做出的最終 評價，稱為總結(jié)性評價( Summative Evaluation)；另一類是在設(shè)計過程中的評價，稱為階段性評價( Formative Evaluation )。這兩類評價在產(chǎn)品的開發(fā)過程中都起著重要的 作用， 是整個用戶

2、體驗設(shè)計的有機(jī)組成部分。 其中，階段性評價強(qiáng)調(diào)在評價中采用的是開放 式手段，如訪談、問卷、態(tài)度調(diào)查以及量表技術(shù)；而總結(jié)性評價則大多采用較嚴(yán)格的定量評 價，如反應(yīng)時間和錯誤率等。從被試選擇來看，用戶體驗也可以分為兩類： 一類是用戶評價 ( User-Based Evaluation)，有時也稱用戶測試；另一類是專家評價( Expert-BasedEvaluation )。如圖 8.1 所示。圖 8.1 用戶體驗測試與評價的分類可用性評估可以分為三個類別：可用性測試( Usability Test )、可用性調(diào)查( Usability Inquiry )和可用性檢驗( Usability Insp

3、ection)( Karat ，1997 ； Zhang ，2003 )?？捎眯詼y試的方法比較多，如焦點小組、認(rèn)知路徑法( Cognitive Walkthrough )和啟發(fā) 式評價( Heuristic Evaluation )等( Nielsen and Mack ，1994 )。 Santon 和 Young (1998 )在文獻(xiàn)回顧的基礎(chǔ)上分離出了60 余種可用性測試方法。根據(jù)產(chǎn)品的具體開發(fā)階段，可用性測試方法可分為四類：探索性測試( Exploratory Test )、評估性測試 (Assessment Test )、驗證性測試(Validation Test )和對比性測試 (

4、 Comparison Test ) (張光強(qiáng)等， 2001 )。圖 8.2 社區(qū)類網(wǎng)站可用性測試場景示例 針對測試方法，人們也在不斷地探索和完善之中。周榮剛( 2007 )提出了一種用戶體驗質(zhì) 量綜合評價的模型： 首先建立了包括人機(jī)交互角度、 用戶角度和觀察者角度的用戶體驗質(zhì) 量的 360o 指標(biāo)體系模型， 然后針對可用性概念的模糊性及其綜合評價中的問題， 應(yīng)用層次 分析法確定了指標(biāo)體系中相關(guān)因素的權(quán)重， 并根據(jù)模糊隸屬度函數(shù)對用戶體驗質(zhì)量評價標(biāo)準(zhǔn) 進(jìn)行了模糊化處理，最后采用模糊評價方法對用戶體驗質(zhì)量進(jìn)行評價。8.2 用戶體驗測試與評價的意義軟件或系統(tǒng)正式交付前需進(jìn)行嚴(yán)格測試， 使用戶進(jìn)行評

5、價。 嚴(yán)格的測試方法和評價標(biāo)準(zhǔn)可以 促進(jìn)產(chǎn)品的設(shè)計。據(jù)統(tǒng)計，在開發(fā)新軟件時，微軟都要將其 Beta 版發(fā)往全世界上千個專業(yè) 用戶進(jìn)行試用，以提出進(jìn)一步的修改意見，僅此每年可以為軟件開發(fā)節(jié)省數(shù) 10 億美元。對用戶體驗的測試和評價可以起到以下作用：(1 )更加貼近市場，通過市場反饋，進(jìn)一步了解市場和用戶的需求，改進(jìn)產(chǎn)品的設(shè)計；(2 )降低產(chǎn)品或者系統(tǒng)技術(shù)支持的費用，縮短最終用戶訓(xùn)練時間；(3 )減少由于用戶界面問題而引起的軟件修改和改版問題；（4 ）使產(chǎn)品的可用性增強(qiáng)，用戶易于使用；（5 ）更有效地利用計算機(jī)系統(tǒng)資源；（6 ）幫助系統(tǒng)設(shè)計者更深刻地領(lǐng)會以 “用戶為核心 ”的設(shè)計原則；（7 ）在界

6、面測試與評價過程中形成的一些評價標(biāo)準(zhǔn)和設(shè)計原則對界面設(shè)計有直接的指導(dǎo)作 用。8.3 用戶體驗測試與評價的準(zhǔn)則Macintosh 機(jī)之保證在整個產(chǎn)品在設(shè)計早期，用戶體驗設(shè)計師組織一份設(shè)計準(zhǔn)則是有必要的。蘋果公司的 所以獲得成功， 原因之一是它早期為應(yīng)用開發(fā)人員建立了一組明確的準(zhǔn)則， 開發(fā)周期中的協(xié)調(diào)。設(shè)計準(zhǔn)則應(yīng)考慮以下幾方面的問題：（1 ）產(chǎn)品運(yùn)行前后的一致性；（2 ）產(chǎn)品的界面方式及可選項內(nèi)容；（3 ）系統(tǒng)提示、反饋、出錯信息的內(nèi)容；（4 ）產(chǎn)品界面中各種術(shù)語、縮寫、圖符的內(nèi)容、式樣、對齊方式等的定義；（5 ）色彩、亮度、閃爍、圖像等技術(shù)的使用；（6 ）各種輸入輸出設(shè)備的類型和使用；（7 ）產(chǎn)

7、品操作響應(yīng)時間和顯示速率；（8 ）命令語言的語義、語法、序列；（9 ）系統(tǒng)控制的靈活性；（10 ）系統(tǒng)滿足適當(dāng)?shù)墓δ?；?11 ）可編程的功能鍵的使用；（12 ）產(chǎn)品出錯顯示和恢復(fù)；（13 ）聯(lián)機(jī)幫助和指導(dǎo)；（14 ）培訓(xùn)和參考資料。設(shè)計準(zhǔn)則的建立主要目的是提出設(shè)計原理， 為開發(fā)人員提供設(shè)計的功能需求。 準(zhǔn)則文件前后 應(yīng)一致并保持文件的完整。 它提供了嚴(yán)格的標(biāo)準(zhǔn)， 同時具有一定的靈活性， 可以根據(jù)用戶體 驗設(shè)計的發(fā)展以及用戶需求的變更增加新的內(nèi)容。 這樣，用戶體驗開發(fā)的執(zhí)行過程就會很快， 并減少設(shè)計的改變。8.4 評價指標(biāo)和形式8.4.1 評價指標(biāo)經(jīng)過可用性工程界多年的不懈努力， 對可用性衡量

8、標(biāo)準(zhǔn)的看法逐漸趨于一致，那就是： 可用性是特定產(chǎn)品在特定使用環(huán)境下為特定用戶用于特定用途時所具有的有效性（Effectiveness） 、效率 （Efficiency） 和用戶主觀滿意度 （Satisfaction） （張麗萍等， 2003 ）。對于用戶體驗的評價可以使用不同的四類評價指標(biāo)，它們是：（1 ）設(shè)計功能的評價（2 ）信息架構(gòu)的評價（3 ）設(shè)計效果的評價（4 ）設(shè)計問題的診斷8.4.2 評價形式（1 ）從設(shè)計評價的主體區(qū)分（2 ）從評價的性質(zhì)區(qū)分（3 ）從評價的過程區(qū)分8.5 用戶體驗測試與評價方法一般來說， 用戶體驗測試主要是借助定性和定量的方法， 對用戶的生理、 心理和行為等相關(guān)

9、 指標(biāo)進(jìn)行研究。用戶體驗的測試與評價方法還可以參照第四章中的 4.2 用戶研究方法，這 些方法同時也可以被用來對產(chǎn)品的用戶體驗進(jìn)行測試和評價。 其他有關(guān)評價方法也可以參照 人機(jī)界面設(shè)計（羅仕鑒等， 2002 ）一書第十二章。8.5.1 原型評價方法5 / 16在產(chǎn)品研發(fā)過程中， 對于界面設(shè)計以及程序的測試來獲得用戶的反饋是至關(guān)緊要的。 以用戶 為中心和交互式設(shè)計的重要因素之一就是原型( Prototyping )方法，原型方法的目的是將 界面設(shè)計與用戶的需求進(jìn)行匹配。8.5.2 簡易測試評價方法在條件不允許的情況下， 可以采取簡易的方法來對用戶體驗進(jìn)行評價。 其實驗構(gòu)成如圖 8.3 所示。圖

10、8.3 簡易用戶體驗測試實驗室8.5.3 眼動追蹤評價方法眼動在人的視覺信息加工過程中， 起著重要的作用。 它有三種主要形式： 跳動( Saccade )、 注視( Fixation )和平滑尾隨跟蹤( Smooth Pursuit )。眼動追蹤可用于揭示用戶在研究對象上感興趣或注意的空間位置及注意的轉(zhuǎn)移過程， 因此用 眼動追蹤技術(shù)可以進(jìn)行界面分析、 可用性測試以及人操作的內(nèi)因分析等。 眼動追蹤主要跟蹤 眼睛的運(yùn)動以及瞳孔的變化，已經(jīng)有 60 多年的歷史了，用于神經(jīng)生理學(xué)和眼科學(xué)、知覺和 認(rèn)知、臨床研究、人機(jī)互動、人機(jī)工程學(xué)、圖形用戶界面、網(wǎng)絡(luò)、廣告心理學(xué)、眼控人機(jī)界 面、虛擬現(xiàn)實、生物醫(yī)學(xué)工

11、程、人工智能和機(jī)器人學(xué)、警覺、運(yùn)動心理學(xué)、軍事、航空和交 通心理學(xué)、人事評鑒等。如 Thomsen 和 Fulton (2007 )借助 ASL Eye-TRAC 6000 系 統(tǒng)，以 63 名 12 14 歲之間的青少年為被試，以 6 幅雜志廣告為研究對象(如圖 8.4 所 示)，研究了青少年對于酒廣告的注視度以及回憶性。結(jié)果發(fā)現(xiàn)， 青少年對于文字信息的關(guān) 注度比較少，只使用了平均 0.35 秒， 7 的關(guān)注時間，而對于酒瓶、商標(biāo)和卡通等內(nèi)容關(guān) 注度較高； 但是只有少部分人能夠回憶起廣告的內(nèi)容。 Ozcelik 等(2009 )借助 Tobii 1750 5 / 16EyeTracker 系

12、統(tǒng)，以 52 名 19 27 歲之間的研究生為被試，采用眼動跟蹤方法研究了色 彩編碼對多媒體學(xué)習(xí)的影響， 結(jié)果顯示， 色彩編碼具有保持記憶和轉(zhuǎn)化的功能， 能夠增強(qiáng)圖 形與文字之間的聯(lián)系，同時有助于對顯著信息的理解。圖 8.4 6 幅酒的印刷品廣告在工業(yè)設(shè)計、用戶體驗設(shè)計、人機(jī)交互設(shè)計領(lǐng)域， 眼動追蹤可以用來評價對產(chǎn)品（包括硬件產(chǎn)品和軟件產(chǎn)品）設(shè)計的感性意象，評測產(chǎn)品設(shè)計的特性。圖 8.5 The EyeLink II頭戴式眼動儀圖 8.6 眼動儀在實驗中的情景在眼動追蹤中， 眼動儀會記錄下眼球注視的點并形成區(qū)域、 注視順序注視點的時間以及路徑， 如圖 8.7 所示。圖 8.7 注視點、注視順序

13、以及注視點的時間下圖 8.8 為 Tobii Demo 中被試的眼動跟蹤結(jié)果圖（八比特熊咨詢公司， 8-bit BearConsulting ），紅顏色表示關(guān)注時間最長，黃顏色其次，綠顏色最短。從圖中可見，被試 關(guān)注頁面中心和右上角的圖片的時間較長。17 / 16圖 8.8 Tobii Demo 中的眼動跟蹤結(jié)果圖圖 8.9 眼動追蹤對廣告、網(wǎng)頁界面的評估圖 8.10 眼動追蹤對手機(jī)界面與汽車外形進(jìn)行評估8.5.3 行為觀察評價方法大多數(shù)可用性實驗室都配備或開發(fā)了軟件， 以觀察和登記用戶的活動， 并有自動的時間標(biāo)志。 在用戶與界面進(jìn)行交互時， 界面系統(tǒng)自身能夠?qū)τ脩糨斎氲哪承?shù)據(jù)進(jìn)行自動記錄，

14、 例如出 現(xiàn)的錯誤、 特殊命令的使用等， 還可以通過計時器， 對用戶輸入進(jìn)行統(tǒng)計以得到各個事件的 發(fā)生頻率等。與其他觀察方法相比，系統(tǒng)監(jiān)控記錄的數(shù)據(jù)比較精確。其次， 在監(jiān)控系統(tǒng)建立以后，收集數(shù) 據(jù)和統(tǒng)計的過程非常自動化和可靠， 而且獲得的數(shù)據(jù)客觀公正、 具體明確， 為進(jìn)行系統(tǒng)性能 的評價、對比提供了客觀的基礎(chǔ)，并且不存在對用戶的任何干擾。 其缺點是局限性較大，一 般只能搜集到用戶對系統(tǒng)的直接操作， 不可能收集到有關(guān)用戶主觀性的活動 （例如思考） 之 類的信息。因此，這種方法最好與其他方法一起共同使用。用錄像機(jī)記錄下用戶與界面交互的整個過程， 包括用戶的操作、 界面顯示的內(nèi)容， 以及用戶 其他各

15、種狀態(tài)，如思考過程等。事后向設(shè)計者重放，顯示用戶遇到的問題。與直接觀察法相比， 它有提供大量豐富的數(shù)據(jù)信息等優(yōu)點， 并且能長期保持完整的人機(jī)交互 的記錄，提供反復(fù)觀察和分析的可能。其缺點是錄像記錄一般都長達(dá) 23 小時，分析起來 非常費事。 因為用錄像設(shè)備很費錢費時， 錄像帶的重放檢驗也是一個很乏味的工作， 所以只 有在想要發(fā)現(xiàn)特別的偶然事件時才在關(guān)鍵階段使用。圖 8.11 為行為觀察場景。圖 8.11 場景觀察目前，我們主要采用荷蘭 Noldus Observer XT 行為分析系統(tǒng)對產(chǎn)品和界面進(jìn)行測試和評 估。荷蘭 Noldus 公司的 Observer XT 行為分析軟件 （包括三種型號

16、： Observer XT Basic ， Observer XT Mobile和 Observer XT Video ），對人的思維動態(tài)及行為過程進(jìn)行科學(xué)的數(shù)據(jù)化的分析，使研究更目的化、條理化和科學(xué)化。廣泛應(yīng)用于研究兒童教育、兒童心理、 犯罪心理、昆蟲行為、動物行為、人的行為等方面。在工業(yè)設(shè)計、用戶體驗設(shè)計、人機(jī)交互 設(shè)計領(lǐng)域，它可以用來測量用戶的操作行為，包括操作時間、路徑等，用以評估對產(chǎn)品（包 括硬件產(chǎn)品和軟件產(chǎn)品）設(shè)計的感性意象，評測產(chǎn)品設(shè)計的特性。圖 8.12 和圖 8.13 分別 為行為分析的場景和數(shù)據(jù)分析。圖 8.12 行為分析的場景圖 8.13 行為分析的數(shù)據(jù)分析行為分析系統(tǒng)可

17、用來記錄分析被研究對象的動作、姿勢、運(yùn)動、位置、表情、情緒、社會交 往以及人機(jī)交互等各種活動； 記錄被研究對象各種行為發(fā)生的時刻、 發(fā)生的次數(shù)和持續(xù)的時 間，然后進(jìn)行統(tǒng)計處理，得到分析報告。8.5.4 腦電信號評價方法一般認(rèn)為，腦電信號( Electroencephalogram，EEG )是由大腦皮質(zhì)神經(jīng)元突觸后電位總和而形成， 主要通過波幅、 潛伏期和電位或電流的空間頻率等指標(biāo)來提供大腦工作過程的 信息。腦電可以直接反映神經(jīng)的電活動， 有極高的時間分辨率。 因此，它受到研究者的重視， 成為一種比較成熟的認(rèn)知神經(jīng)科學(xué)手段。人體的腦電信號的幅值十分微小( V)，加上人 體又是電的不良導(dǎo)體(內(nèi)阻

18、在 1M 數(shù)量級)，腦電信號源的輸出阻抗很高，這對腦電放大 器和腦電電極以及安置方法等各方面都提出了很高要求。腦電信號通過對頭皮電極采集， 記錄腦電信號， 通過放大器對信號進(jìn)行濾波、 放大與模數(shù)轉(zhuǎn) 換傳遞并儲存到電腦中。 研究者通過后期分析軟件提取和分析其中的有用信息， 并做后期數(shù) 據(jù)信號濾波、疊加、平、輸出圖形報告和腦電信號源定位，主要應(yīng)用于心理學(xué)、認(rèn)知科學(xué)和 產(chǎn)品設(shè)計領(lǐng)域。 通過對腦電信號的分析， 研究者可以探索大腦的認(rèn)知加工過程和受試者的心 理狀況。圖 8.14 所示為美國 EGI 公司的 GES300 (Geodesic EEG System 300)128通道腦電(事件相關(guān)電位)系統(tǒng)

19、( EGI research catalog， 2008 )。圖 8.14 GES300 系統(tǒng)在實驗過程中，需要將電極帽佩戴在頭上，如圖 8.15 所示。圖 8.15 GES300 系統(tǒng)在做實驗的情景圖 8.16 GES300 系統(tǒng)在作駕駛實驗的情景GES300 系統(tǒng)采用新一代源分析軟件 GeorSource ，它整合了目前最佳的線性逆解方法 （LORETA 和 LAURA ）。它將大腦進(jìn)行三維分割，得到 2400 多個體素，用戶只需通過簡 單的設(shè)定即可獲得每一個體素的信號強(qiáng)度， 得到大腦活動時所有腦皮層的完整特征描述。 由 于所有計算均由計算機(jī)自動完成， 沒有源定位經(jīng)驗的用戶也能夠輕松掌握。

20、 另外， GES300 系統(tǒng)具備有限差分模型（ FDM ），第一次對公共頭模（ Atlas Man ）進(jìn)行精確重建，得到 了精確的大腦幾何構(gòu)造，可以生成更為精確的源定位結(jié)果。 GeorSource 源分析軟件可以 將 EEG 數(shù)據(jù)與信號源影像學(xué)數(shù)據(jù)（ MRI 切片圖）精確同步顯示回放，從而揭示了在某一特 定時間點（毫秒）上信號源活動與頭皮電位（ EEG ）的關(guān)系。圖 8.17 GES300 系統(tǒng)數(shù)據(jù)采集與分析系統(tǒng)數(shù)據(jù)分析熱圖圖 8.18 GES300當(dāng)然，腦電技術(shù)也存在一定的缺陷，例如：（ 1 ）在空間分辨率上存在著局限性，因而對某 些認(rèn)知過程腦區(qū)的定位并不是非常準(zhǔn)確；（ 2 ）在許多相似的實驗研究中，由于研究者采用 了不同的實驗材料和方法等，導(dǎo)致實驗結(jié)果存在諸多差異；（3 ）由于采集、記錄時間的滯后性，腦電所記錄的并不一定是被試者當(dāng)下所想到的。8.5.5 用戶體驗問卷調(diào)查表用戶體驗設(shè)計評價有很多種方法， 編寫用戶體驗問卷調(diào)查表是一種費用少、 管理人員和用戶 雙方都能接受的方法。 這個方法