非功能性測試指南.doc

非功能性測試指南 上海銀行信息技術(shù)部測試管理實(shí)施方案1 14Ver 1 0 非功能性測試指南非功能性測試指南 文檔名稱文檔名稱 非功能性測試指南非功能性測試指南 狀態(tài)狀態(tài) 初始版本初始版本 版本號版本號 1 01 0 版本提交日期版本提交日期 2012 08 132012 08 13 非功能性測試指南 Page 2 of 14 文檔信息文檔信息 項(xiàng)目名稱項(xiàng)目名稱上海銀行測試體系咨詢上海銀行測試體系咨詢文檔版本編號文檔版本編號 1 01 0 起草人起草人張紅輝張紅輝文檔版本日期文檔版本日期 2010 3 312010 3 31 復(fù)審人復(fù)審人復(fù)審日期復(fù)審日期 變變更更記錄記錄 版本號版本號更新內(nèi)容更新內(nèi)容更新日更新日更新者更新者 1 0 初始版本 2010 3 31 張紅輝 審批人審批人 簽字簽字姓名姓名角色角色審批日審批日批語批語 評審記錄評審記錄 評審人姓名評審人姓名評審日期評審日期評審相關(guān)文檔部分評審相關(guān)文檔部分評審建議評審建議作者對評審意見的回應(yīng)作者對評審意見的回應(yīng) 非功能性測試指南 Page 3 of 14 目目 錄錄 1目的和范圍目的和范圍 4 2術(shù)語和縮寫術(shù)語和縮寫 4 3參考資料參考資料 4 4角色角色對應(yīng)關(guān)系對應(yīng)關(guān)系 5 5非功能性測試類型及其測試方法非功能性測試類型及其測試方法 5 5 1安全性測試 5 5 2安裝測試 8 5 3配置和兼容性測試 8 5 4易用性測試 9 5 5數(shù)據(jù)和數(shù)據(jù)庫完整性測試 11 5 6接口測試 11 5 7文檔測試 12 5 8失效恢復(fù)測試 13 非功能性測試指南 Page 4 of 14 1 目的和范圍目的和范圍 本文檔闡述了常用的非功能性測試類型及其測試方法 供相關(guān)測試人員安排測 試計(jì)劃 設(shè)計(jì)測試和執(zhí)行測試時參考 功能測試 回歸測試和性能測試不在本文檔 討論范圍 另有專門文檔討論 本文檔適用于上海銀行信息技術(shù)部所有測試服務(wù)的非功能性測試工作 2 術(shù)語和縮寫術(shù)語和縮寫 術(shù)語術(shù)語和和縮縮寫寫解解釋釋備備注注 安全性測試測試應(yīng)用或系統(tǒng)的安全機(jī)制 安裝測試測試被測軟件在各種需要的軟硬件配置下 能正確安裝 配置 兼容性測試測試被測軟件在各種需要的軟硬件配置下 能正確運(yùn)行 易用性測試考慮軟件使用時人的因素和感受 數(shù)據(jù)和數(shù)據(jù)庫完整 性測試 測試數(shù)據(jù)存取方法和過程等能正確運(yùn)行 在整個數(shù)據(jù)操作過程中和結(jié)束后沒有數(shù)據(jù)被破 壞 接口測試測試內(nèi)部單元組合到一起后能夠按照設(shè)計(jì)的意 圖協(xié)作運(yùn)行 接口的調(diào)用正確 文檔測試驗(yàn)證發(fā)布的軟件產(chǎn)品中的文檔的正確性 尤其 對與用戶相關(guān)的文檔 失效恢復(fù)測試測試被測軟件能成功地從硬件 軟件或網(wǎng)絡(luò)故 障中失效恢復(fù)而不會有數(shù)據(jù)的丟失 3 參考資料參考資料 參考文件參考文件備備注注 TMMi Framework v2 0Produced by the TMMi Foundation 上海銀行信息技術(shù)部 ISO90012009 09 版 發(fā)布版 非功能性測試指南 Page 5 of 14 4 角色角色對應(yīng)關(guān)系對應(yīng)關(guān)系 角色角色對應(yīng)對應(yīng)關(guān)系關(guān)系 業(yè)務(wù)人員來自產(chǎn)品開發(fā)部 業(yè)務(wù)部門的業(yè)務(wù)需求發(fā)起者 測試需求分析人員通常由信息技術(shù)部指派 測試組長通常由信息技術(shù)部指派 測試設(shè)計(jì)人員通常由信息技術(shù)部指派 測試執(zhí)行人員通常由信息技術(shù)部指派 開發(fā)組長通常由信息技術(shù)部指派 5非功能性測試類型及其測試方法非功能性測試類型及其測試方法 5 1安全性測試安全性測試 軟件安全性輕則造成操作的不方便 重則造成數(shù)據(jù)的破壞或丟失甚至系統(tǒng)的崩 潰和人身的安全 因此 軟件安全性是一個不容忽視的重要問題 我們可以簡單地 把軟件的安全性作為一個或多個特定的功能來考慮 從而在軟件生命周期的早期就 加以考慮 為了幫助設(shè)計(jì)一個安全的信息系統(tǒng) 在產(chǎn)品設(shè)計(jì)的最開始就必須注意安全的問 題 比如需求中應(yīng)有安全性的相關(guān)項(xiàng)目 設(shè)計(jì)和代碼評審應(yīng)有專門針對安全性的內(nèi) 容等等 然后才是測試 測試員僅僅能測試驗(yàn)證軟件的安全性 當(dāng)然 對于沒有在 軟件需求書上標(biāo)明的可能影響系統(tǒng)運(yùn)行安全的隱性需求測試人員也要努力的發(fā)現(xiàn) 這也是一個有經(jīng)驗(yàn)的安全性測試人員的可貴之處 當(dāng)然 理論上沒有任何一個信息系統(tǒng)是安全的 因?yàn)橹灰M(jìn)行攻擊 任何系統(tǒng) 都能被攻破 只不過付出的代價的大小 而我們一般說某個信息系統(tǒng)是安全的就是 基于如果要攻破該系統(tǒng)所必須付出的代價要高于或遠(yuǎn)遠(yuǎn)高于攻破系統(tǒng)后獲得的利益 測試目標(biāo)測試應(yīng)用或系統(tǒng)的安全機(jī)制 保證系統(tǒng)運(yùn)行和使用的安全性 測試策略采取靜態(tài)分析技術(shù)和功能測試兩種方式攔截系統(tǒng)開發(fā)時存在的漏洞 軟件生命周期早期的代碼 設(shè)計(jì)評審 由開發(fā)人員完成 對軟件安全 性的提高非常有效和重要 可以人工評審和自動化工具結(jié)合的方法進(jìn) 行 非功能性測試指南 Page 6 of 14 更詳細(xì)的測試策略描述請參看下文軟件安全性測試詳細(xì)策略參考 測試重點(diǎn)考 慮 相關(guān)信息安全法律法規(guī)的要求 測試環(huán)境 網(wǎng)絡(luò)安全 日志評審 文件完整性檢查 系統(tǒng)軟件安全 客戶端應(yīng)用安全 客戶端到服務(wù)端應(yīng)用通訊安全 服務(wù)端應(yīng)用安全 測試通過準(zhǔn) 則 應(yīng)用滿足和符合采用的安全機(jī)制 在應(yīng)用規(guī)定的程度上能保證系統(tǒng)正 常運(yùn)行和安全使用 軟件安全性測試詳細(xì)策略參考 軟件安全性測試詳細(xì)策略參考 軟件安全性測試包括應(yīng)用軟件 網(wǎng)絡(luò)系統(tǒng) 數(shù)據(jù)庫和系統(tǒng)軟件安全性測試 根 據(jù)系統(tǒng)安全指標(biāo)不同測試策略也不同 1 用戶認(rèn)證安全的測試要考慮問題 系統(tǒng)中是否有不同的用戶使用權(quán)限 系統(tǒng)會不會因用戶的權(quán)限的改變造成混亂 系統(tǒng)中會不會出現(xiàn)用戶沖突 用戶登陸密碼是否可見 可復(fù)制 是否可以通過絕對路徑登陸系統(tǒng) 拷貝用戶登陸后的鏈接直接進(jìn)入系統(tǒng) 用戶退出系統(tǒng)后是否刪除了所有鑒權(quán)標(biāo)記 是否可以使用后退鍵而不通 過輸入口令進(jìn)入系統(tǒng) 2 應(yīng)用方面安全的測試要考慮問題 緩沖區(qū)溢出 無效的數(shù)據(jù)類型 非功能性測試指南 Page 7 of 14 關(guān)鍵信息是否采用加密技術(shù) 是否可以通過絕對路徑進(jìn)入系統(tǒng) 使用的端口號 遠(yuǎn)程進(jìn)入服務(wù) 如有 文件完整性檢查 日志評審 模擬黑客攻擊 3 系統(tǒng)網(wǎng)絡(luò)安全的測試要考慮問題 物理連接上的安全 包括無線部分 如有 防火墻 防病毒軟件的安全 測試采取的防護(hù)措施是否正確裝配好 有關(guān)系統(tǒng)的補(bǔ)丁是否打上 模擬非授權(quán)攻擊 看防護(hù)系統(tǒng)是否堅(jiān)固 采用成熟的網(wǎng)絡(luò)漏洞檢查工具檢查系統(tǒng)相關(guān)漏洞 入侵網(wǎng)絡(luò)監(jiān)察系統(tǒng)和防護(hù)系統(tǒng) 采用各種木馬檢查工具檢查系統(tǒng)木馬情況 采用各種防外掛工具檢查系統(tǒng)各組程序的外掛漏洞 4 數(shù)據(jù)庫安全考慮問題 系統(tǒng)數(shù)據(jù)是否機(jī)密 系統(tǒng)數(shù)據(jù)的完整性 系統(tǒng)數(shù)據(jù)可管理性 系統(tǒng)數(shù)據(jù)的獨(dú)立性 系統(tǒng)數(shù)據(jù)可備份和恢復(fù)能力 數(shù)據(jù)備份是否完整 可否恢復(fù) 恢復(fù)是否 可以完整 5 系統(tǒng)級別軟件安全考慮問題 系統(tǒng)級別軟件 如操作系統(tǒng) 數(shù)據(jù)庫系統(tǒng)和中間件系統(tǒng)等 是否最新的 尤其如果使用開源軟件或免費(fèi)軟件 系統(tǒng)軟件是否有相應(yīng)的補(bǔ)丁 尤其是安全性方面的補(bǔ)丁包 非功能性測試指南 Page 8 of 14 從安全性考慮 系統(tǒng)級別軟件是否是最可靠的 如使用 Tomcat 還是 Weblogic 從安全性考慮 系統(tǒng)級別軟件是否匹配應(yīng)用設(shè)計(jì)技術(shù) 5 2安裝測試安裝測試 安裝測試有兩個目的 第一個目的是確保軟件能夠在不同的條件下進(jìn)行安裝 例如 首次安裝 升級安裝 完整或自定義安裝 在正常和異常條件下的安裝 異 常條件例如磁盤空間不足 安裝用戶缺少目錄創(chuàng)建權(quán)限等 第二個目的是驗(yàn)證軟件 在安裝后能正確操作 這通常意味著要運(yùn)行大量為功能測試開發(fā)的測試用例 建議對于安裝測試 其重點(diǎn)應(yīng)該放在第一個目的上 對于第二個目的可以根據(jù) 需要和實(shí)際情況穿插在后續(xù)的測試 如冒煙測試 功能測試中體現(xiàn) 測試目標(biāo)驗(yàn)證被測軟件在各種需要的軟硬件配置下正確安裝 包括下列情況 新安裝 一新的機(jī)器 先前從未安裝過該軟件 更新 該機(jī)器先前安裝過該軟件同樣的版本 更新 該機(jī)器先前安裝過該軟件的老版本 測試策略手工或自動化 不管是手工安裝還是自動化腳本安裝 都要嚴(yán)格按照用戶安裝手冊規(guī) 定的操作步驟進(jìn)行 測試重點(diǎn)考 慮 有沒有安裝手冊 對于第二個目的的安裝測試 怎樣選取預(yù)先規(guī)定的功能測試的子集 測試通過準(zhǔn) 則 對于第一個目的 確保軟件能夠在不同的條件下進(jìn)行安裝 成功的安 裝應(yīng)該是在整個安裝過程中和安裝完成后沒有任何異常錯誤出現(xiàn) 能 成功登錄該應(yīng)用 對于第二個目的 驗(yàn)證軟件在安裝后能正確操作 這個需要運(yùn)行預(yù)先 規(guī)定的一功能測試的子集 5 3配置和兼容性測試配置和兼容性測試 配置和兼容性測試驗(yàn)證被測軟件在不同的軟硬件配置下的操作和表現(xiàn) 非功能性測試指南 Page 9 of 14 在大多數(shù)生產(chǎn)環(huán)境中 特定的硬件規(guī)格 如客戶端工作站 網(wǎng)絡(luò)情況 服務(wù)器 配置甚至型號都會不同 另外 不同客戶端工作站上也許有不同的軟件負(fù)載 如不 同的應(yīng)用軟件 不同的瀏覽器 瀏覽器的不同版本的插件 驅(qū)動程序等等 甚者不 同的操作系統(tǒng) 如 Windows XP Windows Vista 等等 服務(wù)器軟件也會不一致 如 數(shù)據(jù)庫軟件 如 Oracle Microsoft SQLServer 中間件軟件等等 該類測試對產(chǎn)品顯得尤其重要 對于項(xiàng)目來說也有巨大的指導(dǎo)作用 如項(xiàng)目經(jīng) 理為了最優(yōu)化配置 從成本和實(shí)用的角度等 就需要進(jìn)行不同軟硬件情況下的配 置和兼容性測試 該類測試也往往和性能測試相結(jié)合以決定在不同軟硬件情況下的 最優(yōu)化配置 如從成本和實(shí)用的角度等 測試目標(biāo)驗(yàn)證被測軟件在各種需要的軟硬件配置下能正確運(yùn)行 測試策略使用功能測試腳本 首先 針對一特定硬件配置下 打開和關(guān)閉許多和被測軟件無關(guān)的 但和被測軟件共同在同 一機(jī)器上的其它許多軟件 如同機(jī)上的 Microsoft 應(yīng)用軟件 Excel 或 Word 等等 如果有 可以在測試過程中和測試前就 打開 在此基礎(chǔ)上執(zhí)行相應(yīng)的功能測試 測試重點(diǎn)考 慮 硬件配置情況復(fù)雜多樣 使用哪些硬件配置呢 建議最好做些調(diào)研 如考慮目標(biāo)用戶或最終用戶的使用習(xí)慣和經(jīng)濟(jì)承受能力 打開哪些和被測軟件無關(guān)的 但和被測軟件共同在同一機(jī)器上的其它 許多軟件 建議最好做些調(diào)研 如考慮目標(biāo)用戶或最終用戶會使用哪 些其它的常用軟件 尤其在使用目標(biāo)軟件時往往同時會打開或使用的 軟件 測試通過準(zhǔn) 則 在某一特定的硬件配置下 在許多和被測軟件無關(guān)的 但和被測軟件 共同在同一機(jī)器上的其它許多軟件運(yùn)行或使用情況下 相應(yīng)的功能測 試沒有失敗 5 4易用性測試易用性測試 易用性是人類工程學(xué)的目標(biāo) 軟件的易用性是一個比較有特點(diǎn)的問題 會隨著 具體產(chǎn)品或項(xiàng)目的特征和要求而有巨大差異 比如手機(jī)軟件和一般 Windows 平臺 下的軟件易用性相差很大 又如一核反應(yīng)堆的關(guān)閉序列和一語音信箱的菜單系統(tǒng)的 非功能性測試指南 Page 10 of 14 易用性有著天壤之別 即使對于同一個軟件 不同的用戶也會有不同的感受 當(dāng)然 我們也不是說對軟件的易用性就毫無測試辦法和標(biāo)準(zhǔn) 對于同一類軟件還是有它的 通用性可言的 因此下面嘗試從一些比較通用的方面討論之 易用性主要考慮軟件使用時人的因素和感受 因此我們先介紹兩個概念 用戶 與程序相互交互的介質(zhì)稱為用戶接口 User Interface UI 用戶接口對不同軟件 種類也會有巨大的差異 對于 PC 來說 我們現(xiàn)在有了精致的完善的圖形用戶接口 Graphical User Interface GUI 很快我們可以對著我們的 PC 聽和說 那時又 會有新的 UI 另外 Accessibility testing 也屬于易用性測試范疇 這種測試一般針對對軟件 有特殊要求的群體 比如部分殘疾人 測試目標(biāo)考慮軟件使用時人的因素和感受 測試策略使用功能測試腳本 對于一些比較通用的規(guī)則可以制成檢查表的形式 測試重點(diǎn)考 慮 遵守通用的標(biāo)準(zhǔn)和指導(dǎo)方針 如 Windows 平臺下的軟件應(yīng)和 Windows 平臺的風(fēng)格一致 而 Mac 平臺下的軟件顯然應(yīng)該和 Mac 平臺的風(fēng)格一致 直覺的 如用戶界面是干凈的 不多余的 用戶界面是經(jīng)過 良好組織和布局的 一致性 如快捷鍵和菜單選項(xiàng)間 術(shù)語和命名 確認(rèn)和取消 按鈕的位置布局等 靈活性 如用戶希望能手工鍵入 粘貼 插入文件內(nèi)容等方 式作為輸入方法 舒服的 如較長時間的等待應(yīng)有進(jìn)度條提示 一般情況下程 序應(yīng)有較快的反應(yīng) 但也不是絕對的 舉個例子 高性能就一定 好嗎 未必如此 例如當(dāng)快速的連提示信息或出錯信息都不能看 清時用戶反而會覺得很不舒服 正確的 例如拼寫 圖標(biāo)是否有同樣的大小和背景 還有是 否所見即所得 WYSIWYG what you see is what you get 有用的 沒有大量的過量功能 這個特征尤其在產(chǎn)品上表現(xiàn) 突出 用戶往往要面對大量的無用的或者不需要的功能 非功能性測試指南 Page 11 of 14 測試通過準(zhǔn) 則 該類測試對于不同產(chǎn)品和項(xiàng)目有較大的差異性 因此尤其要加強(qiáng)對該 類測試用例的評審 在業(yè)務(wù)人員 設(shè)計(jì)人員等一致同意的基礎(chǔ)上進(jìn)行 測試 測試人員也要關(guān)注軟件需求中應(yīng)有該方面的相關(guān)描述 5 5數(shù)據(jù)和數(shù)據(jù)庫完整性測試數(shù)據(jù)和數(shù)據(jù)庫完整性測試 在整個系統(tǒng)測試過程中 數(shù)據(jù)庫和數(shù)據(jù)庫過程應(yīng)作為系統(tǒng)的子系統(tǒng)進(jìn)行測試 這些測試不使用用戶界面作為數(shù)據(jù)進(jìn)入界面進(jìn)行測試 對不同的數(shù)據(jù)庫管理系統(tǒng) 可能存在不同的工具和技術(shù) 如 Oracle 和 Microsoft SQLServer 測試目標(biāo)保證數(shù)據(jù)存取方法和過程正確運(yùn)行 在整個數(shù)據(jù)操作過程中和結(jié)束后 沒有數(shù)據(jù)破壞 測試策略使用有效的和無效的數(shù)據(jù)或數(shù)據(jù)的請求調(diào)用各個數(shù)據(jù)庫存取方法和過 程 檢查數(shù)據(jù)庫保證數(shù)據(jù)正如預(yù)期地進(jìn)入 所有的數(shù)據(jù)庫事件正確地發(fā)生 或者檢查數(shù)據(jù)保證對于正確的請求取得正確的數(shù)據(jù) 測試重點(diǎn)考 慮 測試也許需要一個 DBMS 開發(fā)環(huán)境或驅(qū)動程序以便在數(shù)據(jù)庫中直接 進(jìn)入或更改數(shù)據(jù) 確定哪些數(shù)據(jù)存取方法和數(shù)據(jù)過程重點(diǎn)測試 測試的先后順序 測試通過準(zhǔn) 則 所有的數(shù)據(jù)庫存取方法和過程正如設(shè)計(jì)要求一樣運(yùn)行 沒有任何的數(shù) 據(jù)破壞 5 6接口測試接口測試 在集成測試過程中 接口測試顯得特別重要 首先要確認(rèn)被測軟件是否集成了 規(guī)定的單元或子系統(tǒng) 外部系統(tǒng) 如有 其次 對相應(yīng)的接口要進(jìn)行詳細(xì)的測試 最后也應(yīng)該對集成后的所有功能進(jìn)行相應(yīng)的測試以確保集成后整個系統(tǒng)功能的正確 性 當(dāng)然這一步屬于功能測試的范疇 本文不予討論 測試目標(biāo)確保 測試需求 中對應(yīng)的所有工作版本的內(nèi)部單元組合到一起后能夠 按照設(shè)計(jì)的意圖協(xié)作運(yùn)行 接口的調(diào)用正確 非功能性測試指南 Page 12 of 14 測試策略使用功能測試腳本 按照設(shè)計(jì)規(guī)范 對所有接口設(shè)計(jì)相應(yīng)的測試用例進(jìn)行手工或自動化測 試 包括系統(tǒng)內(nèi)部接口和外部接口 尤其注意和第三方的軟硬件接口 如有 測試重點(diǎn)考 慮 測試的順序性 數(shù)據(jù)是否能正確傳遞 接口之間的調(diào)用 狀態(tài)的變化是否正確 如有 接口之間的異常處理功能 測試通過準(zhǔn) 則 所有與接口有關(guān)的測試用例功能沒有失敗 5 7文檔測試文檔測試 文檔也是發(fā)布的軟件產(chǎn)品的重要組成部分 因此也應(yīng)該對文檔進(jìn)行相應(yīng)的測試 尤其對安裝手冊 前面已有所述 用戶使用手冊和在線幫助手冊要進(jìn)行重點(diǎn)測試 正確的文檔能減少維護(hù)費(fèi)用和提高軟件的可維護(hù)性 改善軟件易用性 減少責(zé)任等 測試目標(biāo)保證發(fā)布的軟件產(chǎn)品中的文檔的正確性 測試策略按照手冊描述 逐章節(jié)閱讀 檢查和驗(yàn)證相應(yīng)的內(nèi)容 比如嚴(yán)格地按 照用戶使用手冊上的描述去操作和使用程序 測試重點(diǎn)考 慮 與用戶相關(guān)的文