軟件測試的藝術(第3版)第07章 可用性(用戶體驗)測試

7.1可用性測試的概念7.2可用性測試的基本要素7.3可用性測試過程7.4可用性測試注意事項7.5小結第7章可用性（用戶體驗）測試7.1可用性測試的概念7.1.1什么是可用性測試？7.1可用性測試的概念7.1.1什么是可用性測試？簡單的一句話即可概括：觀察用戶使用產(chǎn)品的情況。通過觀察有代表性的用戶，完成產(chǎn)品的典型任務，而界定出可用性問題，并解決這些問題，目的是讓產(chǎn)品用起來更容易。7.1可用性測試的概念研發(fā)完成了新的產(chǎn)品功能或是創(chuàng)造了新的產(chǎn)品特性之后，總是有這樣的疑問：最新的版本是不是比以前的版本更好？我們的產(chǎn)品與競爭對手的產(chǎn)品使用起來一樣容易嗎？用戶是否能夠按照我們設計的流程完成他們所要完成的工作？我們的設計師是否按照用戶的操作習慣和產(chǎn)品的特性設計排版了？7.1.2為什么要進行可用性測試？7.1可用性測試的概念7.1.3可用性測試的指標可用性測試評價指標效能用戶完成特定任務和達到特定目標時所具有的正確和完整程度效率用戶完成任務的正確和完整程度與所使用資源（如時間）之間的比率滿意度用戶在使用產(chǎn)品過程中所感受到的主觀滿意和接受程度7.1可用性測試的概念7.1.4可用性測試的主要類型形成性測試●在產(chǎn)品或網(wǎng)站的開發(fā)過程中進行●

用來發(fā)現(xiàn)設計的可用性問題例子：在應用中，用戶能否找到和使

用“按揭計算器”按鈕，來順

利輸入貸款貼息呢？總結性測試●在開發(fā)后期進行●

用來確認某個產(chǎn)品已經(jīng)實現(xiàn)預期的目標例子：新的應用有沒有按預期的比

率提高了轉化率？用戶可用性測試的測試點可以從以下方面來考慮：1.是否每一個用戶交互設計都考慮到最終用戶的理解力、教育背景以及環(huán)境壓力？2.程序的輸出是否有意義、沒有侮辱性的詞語，以及是否含糊不清？7.2可用性測試的基本要素3.用來錯誤診斷的提示信息（errormessage）是直白易懂，還是需要計算機博士才可以讀懂？比如，程序有沒有輸出這樣的報錯信息：“IEK022AOPENERRORONFILE‘SYSIN’ABENDCODE=102“。在20世紀七八十年代，程序輸出這樣的報錯信息到處可見。今天大眾化的軟件系統(tǒng)在這一方面做得比以前強多了，但是用戶還是會碰到?jīng)]有任何幫助價值的錯誤提示信息，諸如“發(fā)生了一個未知錯誤”或“程序發(fā)生錯誤需要重新啟動”。若是你自己設計程序，則應該避免輸出這類沒有意義的錯誤信息。即使程序不是你設計的，作為程序的測試人員，也應該幫助改進這些人機交互的地方。7.2可用性測試的基本要素4.用戶界面上是否保持概念的一致、內(nèi)部的連貫性、語法的一致性？是否符合約定的使用習慣、語義和句法規(guī)律、格式、樣式以及縮寫習慣？5.需要高精確性和準確度的軟件系統(tǒng)是否提供了足夠有效的輸入驗證？以網(wǎng)上銀行系統(tǒng)為例，登錄時應該要求提供賬戶號碼、賬戶名以及PIN碼（個人識別密碼），以用來檢測用戶的合法性。7.2可用性測試的基本要素6.系統(tǒng)是不是包含了選項，或者包含的一些選項不會使用？基于軟件測試的設計和考慮，現(xiàn)在軟件的一個發(fā)展趨勢就是只提供這些最常用功能的菜單項。于是一個設計良好的軟件能夠從用戶的使用行為得到啟發(fā)，設計出用戶經(jīng)常使用的一些功能的菜單選項。即使擁有這樣智能的菜單系統(tǒng)，成功的軟件設計還必須考慮如何使得軟件的功能更符合人的思維邏輯和直覺。7.2可用性測試的基本要素7.對于來自用戶的輸入，系統(tǒng)是否能夠及時做出反應？比如，當用戶單擊鼠標時，選中操作生效需要耗費一些時間（訪問遠程系統(tǒng)的時候通常都這樣），則需要顯示一些信息，告知用戶需要等待。有時也稱這樣的測試為組件測試，用以組件交互以及用戶反饋、做出合理的選擇。7.2可用性測試的基本要素8.程序的操作是否很容易上手？如是否有效提示用戶需要輸入大小寫敏感的文本（例如：常見的密碼輸入）？再如，一項創(chuàng)新如果設計一連串的菜單和選項操作，它能輕松返回到主界面（例如：常見的游戲菜單選項都有一個主菜單）用戶是否能夠輕易返回上一級或者下一級？7.2可用性測試的基本要素9.軟件的設計是否有助于用戶準確輸入？通過分析用戶在輸入數(shù)據(jù)或者操作軟件時遇到的錯誤，測試可以統(tǒng)計出哪些屬于可以被用戶訂正的錯誤，而哪些會導致軟件異常。10.用戶的操作可以輕松重復？換一句話說，你的軟件是否能夠讓用戶學會更好地使用該系統(tǒng)？7.2可用性測試的基本要素11.用戶是否確定那個在眾多的功能和菜單中來回切換而不發(fā)生意外？對軟件主觀的評價可能會導致用戶是否會繼續(xù)選擇使用該軟件。使用結束時的輸出結果會讓用戶擔心還是滿意？用戶會推薦給其他人使用該軟件，還是僅僅自己用就算了？12.軟件的功能實現(xiàn)是否達到了設計規(guī)格要求？最終可用性測試需要包含一項軟件規(guī)格說明書與產(chǎn)品實際使用情況所做的評估。從用戶的角度來看，在實際使用環(huán)境中軟件的表現(xiàn)是否真的不負眾望？7.2可用性測試的基本要素可用性或基于用戶的測試基本上屬于黑盒測試的范疇。如果由于軟件設計不夠優(yōu)美、交互界面繁瑣難用、規(guī)格缺失或被忽視等原因，而導致用戶感覺該軟件未能按照規(guī)格正常操作，這就等于宣判這一項目開發(fā)失敗。用戶可用性測試應該從功能缺陷到不符合人機工程學的設計失誤來揭示軟件設計存在的問題。7.2可用性測試的基本要素7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排

5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)以極簡電視可用性測試為例獲得問題的背景，識別可用性問題：用戶更喜歡哪種操作界面？——《XX電視界面評測》用戶使用飛梭是不是提高了操作效率？——《XX遙控器可用性測試》在Android系統(tǒng)下，用戶是更喜歡海信還是TCL？——《XX與XX產(chǎn)品比較測試》各功能模塊是否好用？——《XX電視可用性測試》1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3可用性測試的過程7.3.1項目啟動會測試5名用戶-找到85﹪的缺陷改進設計再次測試5名用戶-找到85﹪的缺陷改進設計再次測試5名用戶-找到85﹪的缺陷1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3可用性測試的過程7.3.2招募被試找什么樣的用戶來？避免過度關注人口統(tǒng)計學數(shù)據(jù)！?。tep1:從描述開始：

嘗試描述你想要什么樣的用戶來參與測試；該產(chǎn)品的目標用戶是哪些？Step2：優(yōu)先關注產(chǎn)品使用經(jīng)驗和行為

與該產(chǎn)品相關的經(jīng)驗，例如：相關的知識技能水平，

相關產(chǎn)品的相關經(jīng)驗，例如手機，游戲機；用戶的網(wǎng)絡使用經(jīng)驗，例如：上網(wǎng)頻率，網(wǎng)絡應用等；用戶的電視使用經(jīng)驗：7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.2招募被試樣本量樣本條件年齡25-45歲，性別不限；使用觸屏智能手機（安卓系統(tǒng)尤佳）；思維活躍，善于表達；非敏感職業(yè)者（軟件、硬件工程師），財務、行政、前臺等尤佳；對網(wǎng)絡依賴度高，平均每天下班后累計上網(wǎng)時間不低于1個小時（通過pc或手機、平板電腦上網(wǎng)）；經(jīng)常使用手機、平板電腦觀看視頻、電影電視劇或通過usb下載到電腦上觀看。分類外部用戶內(nèi)部用戶總計計劃4人5人9人7.3可用性測試的過程7.3.2招募被試選擇角色篩選調(diào)查（問卷篩選）招募渠道內(nèi)部員工招募代理機構鼓勵機制外部項目提供禮品或現(xiàn)金內(nèi)部項目提供小禮品或免費食品被試安排時段候補被試7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.2招募被試編號用戶分類姓名性別年齡職業(yè)手機體驗時間聯(lián)系方式P0預測試女24用戶體驗實習生Android2月10日155````1616P1外部用戶女24華為人力資源Android2月11日158````2027P2女25電子廠職員iphone150````0930P3女33建筑公司職員Android2月12日159````7066P4男41IT技術人員Android130````8918P5內(nèi)部用戶男29R&D產(chǎn)業(yè)政策研究室Android2月13日159````6032P6女26R&D人力資源部iphone186````2415P7男25OBC人力資源部iphone2月14日135````7296P8女23R&D財務部Android135````68277.3可用性測試的過程7.3.2招募被試——被試安排

測試大綱測試目的介紹保密協(xié)議測試情景操作評分表（主試打分）問卷（被試評分）結束性提問對被試進行簡要小結

工具記錄工具（寫字板，筆記本、錄音、錄像、軟件）任務卡片手表

如果需要，平衡不同設計或產(chǎn)品的展示順序記住要做預測試7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.3創(chuàng)建測試大綱測試情景應為支持可用性問題而設計是一個簡單的故事般的場景要求被試執(zhí)行一個任務使用用戶的術語任務是清晰明確的不提供操作任務的步驟●“你和家人下個月想去夏威夷旅游。找到最便宜的機票并利用這個信息（遞給用戶信息卡片）訂票?！薄?/p>

“一個客戶打來電話告訴你他搬家了。他叫李平。請用這個系統(tǒng)更改他的地址。”●“去點擊圖片，輸入‘海洋’，然后找到海洋的圖片”。●

“在淘寶的美容板塊買一些東西。”7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.3創(chuàng)建測試大綱被試：實際的或潛在的用戶并非設計者或開發(fā)者主持者：

從計劃、實施到報告，監(jiān)督整個測試過程觀察者：記錄發(fā)生的事件不與被試互動協(xié)助測試報告撰寫7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色安排5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.4準備測試設備和角色安排哈哈，又到了周末了，可以肆無忌憚的看電視咯。情景設計任務流程7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.5進行測試歡迎提問觀光自我介紹解釋測試的目的和時間向用戶強調(diào)測試的對象是產(chǎn)品而不是用戶請用戶盡量出聲思維告知測試會錄音錄像，但結果完全保密簽署保密協(xié)議職業(yè)上網(wǎng)情況產(chǎn)品（關聯(lián)產(chǎn)品）使用情況平時的產(chǎn)品偏好······請用戶隨意瀏覽，但不要操作測試前5min7.3可用性測試的過程7.3.5進行測試——主持人做什么用戶執(zhí)行任務問題探討宣讀任務不要以任何方式表現(xiàn)出用戶正在犯錯誤或操作太慢仔細地觀察，并認真聆聽用戶的建議識別用戶的情緒，必要的時候選擇停止任務用戶遇到困難時盡量不要提供幫助，可給予適當鼓勵在用戶完成一個場景時可適當?shù)膯枴盀槭裁磩偛胚@樣操作”，但盡量簡單詢問哪些在過程中想深入詢問但沒有詢問的問題詢問在觀察的同事關心的問題測試中30~50min7.3可用性測試的過程7.3.5進行測試——主持人做什么測試后1h道別準備下一場測試組織大家整理記錄感謝用戶給用戶報酬將用戶送出門口保存錄像文件清楚記錄，或準備產(chǎn)品7.3可用性測試的過程7.3.5進行測試——主持人做什么7.3可用性測試的過程7.3.5進行測試——主持人做什么用戶能執(zhí)行要求的任務么？期望的信息有沒有找到？用戶找到有效的途徑了么？他們理解自己正在做的事情嗎？他們碰到了什么問題？

術語

不知道接下來要去哪里做什么沒有找到他們要找的東西他們能從錯誤中恢復嗎？測試中觀察傾聽和試探仔細地傾聽被試

如，表示意外的感嘆詞“哎呀”是一個很重要的數(shù)據(jù)。注意任何猶豫不決的情況探尋以獲得深層次動機提醒他們把所想的說出來（有聲思維）提防暗示性的問題

如，你會如何關閉一個文件？（問題透漏了答案），應該說“這個文檔已經(jīng)處理完了，現(xiàn)在你會做什么？”7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)客觀：1.參加者完成任務所需的時間2.對于某一任務，能正確完成任務的參加者個數(shù)3.參加者完成任務時所犯錯誤的次數(shù)4.試驗員提供提示的次數(shù)5.參加者完成任務時不得不借助外界協(xié)助的次數(shù)6.參加者是否使用了最佳的完成任務的方法7.參加者使用用戶手冊或聯(lián)機幫助的次數(shù)主觀：1.參加者表示感到迷茫的次數(shù)2.參加者的注意力被轉移而不能集中在真正的任務上的次數(shù)3.情景后問卷調(diào)查的分數(shù)4.參加者對產(chǎn)品的觀感、判斷及評價5.比較兩個或幾個系統(tǒng)時，每個參加者的喜好7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.6數(shù)據(jù)分析—測試數(shù)據(jù)完成筆記總結測試結果匯總和將數(shù)據(jù)列表分析發(fā)現(xiàn)按問題嚴重性級別排列生成建議生成最終文檔或演示7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)7.3.7將測試結果排序并提出建議①用戶第一反應按下鍵翻頁②正確翻頁方式太費時①在遙控上增加一個“翻頁鍵”；②在每頁右上角設計“上一頁、下一頁”。③按照用戶的習慣上下翻頁留白讓用戶以為只有這么多在空白處貼一張電視劇海報“1/24頁”提示太不明顯頁面提示再醒目一點7.3可用性測試的過程1.項目啟動會2.招募被試3.創(chuàng)建測試大綱4.準備測試設備和角色5.進行測試6.數(shù)據(jù)分析7.將測試結果排序并提出建議8.結果呈現(xiàn)結果示例測試前需要跟用戶說明本次測試持續(xù)的時間；要求用戶盡可能的進行發(fā)聲思維（對他看到的、想做的以及怎么想的）；與用戶說明“我們要測試的是網(wǎng)站，并不是用戶”；不要問用戶“為什么”；在測試過程中用戶提的關于如何使用的問題，不能立刻回答，可以在測試完成之后做回答；我們要測試的是用戶在沒有人幫忙的情況下將如何完成任務的；在用戶不能完成任務的情況下，切換到下一個任務，本次任務做不能完成處理；說明本次測試屏幕、聲音將被錄制，并且得到用戶許可；錄制的內(nèi)容將被作為網(wǎng)站改進的依據(jù)，不會被該項目無關的人員看到。7.4可用性測試注意事項測試前1.項目計劃書2.測試腳本3.問卷4.被試安排表5.測試任務卡片6.記錄表7.保密協(xié)議8.請勿打擾測試中9.數(shù)據(jù)收集（定量和定性）10.照片、錄音、錄像測試后11.小結撰寫12.報告撰寫13.禮物收單7.5小結7.5.1可用性測試文檔機器的配合產(chǎn)品的改進針對需求方針對測試者每天小結規(guī)范的建立學習（討論，看書）7.5小結7.5.2感想?yún)⒓诱呔幪枺?/p>

了解你所參與的試驗目的你現(xiàn)在所參與的產(chǎn)品試驗的目的是為了幫助我們測試我們的產(chǎn)品是否簡單、易學、好用。這個產(chǎn)品試驗研究的目的是研究你將要用到的產(chǎn)品，我們不是在測試你，或是你的能力。試驗收集的數(shù)據(jù)試驗的觀察人員將記錄你是怎樣使用本產(chǎn)品的，例如，本產(chǎn)品的某一部分是否簡單易用。在實驗中你需要回答一些問卷調(diào)查，在試驗后還有一個口頭調(diào)查。在試驗中你提供的信息，再加上其他參加者的信息，將幫助我們找出改進產(chǎn)品設計的方法。同意和棄權聲明你使用本產(chǎn)品和口頭調(diào)查的過程將被錄像和錄音。在這個同意書上簽名表示你同意我們公司在評估和演示產(chǎn)品時可以使用你的聲音、講話和錄制的圖像。但我們將不會使用你的名字。舒適如果需要，你在試驗的任何時候都可以要求暫停，你只需要告訴試驗員你要求暫停就可以了。保密在試驗中你所得到的任何關于產(chǎn)品的信息都是保密的，并歸公司所有。你在試驗中得到的信息僅僅是為了試驗的目的，在這個同意書上簽字表明你同意保守秘密，不將產(chǎn)品的信息泄露。退出試驗的自由你參加本試驗完全出于自愿，你可以在任何時候退出試驗。如果你同意以上的條款，請在下面簽字。簽字：

日期：

7.5小結7.5.3知情同意書樣例情景后問卷調(diào)查請根據(jù)您剛剛完成的任務回答以下問題，圈畫你認為最能表