研發(fā)項(xiàng)目測(cè)試基礎(chǔ)-《軟件測(cè)試的經(jīng)驗(yàn)與教訓(xùn)》學(xué)習(xí)心得

1、1 12013年2月1日星期五第2頁(yè)一一二二三三四四五五過(guò) 程 管 理過(guò) 程 管 理項(xiàng)項(xiàng) 目目 概概 述述 測(cè) 試 設(shè) 計(jì)測(cè) 試 設(shè) 計(jì)測(cè) 試 工 具測(cè) 試 工 具工 作 產(chǎn) 品工 作 產(chǎn) 品一一概概 述述第3頁(yè)角度角度關(guān)注點(diǎn)關(guān)注點(diǎn)內(nèi)容內(nèi)容測(cè)試方獨(dú)立性與公正性第一方測(cè)試、第二方測(cè)試、第三方測(cè)試測(cè)試員用戶(hù)測(cè)試、測(cè)試、強(qiáng)力測(cè)試（bug bash）、相關(guān)領(lǐng)域的專(zhuān)家測(cè)試、結(jié)對(duì)測(cè)試、自用測(cè)試覆蓋率測(cè)試內(nèi)容功能測(cè)試、特性或功能集成測(cè)試、菜單瀏覽、域測(cè)試、等價(jià)類(lèi)分析、邊界測(cè)試、最佳代表測(cè)試、輸入矩陣、邏輯測(cè)試、基于狀態(tài)的測(cè)試、路徑測(cè)試、語(yǔ)句與分支覆蓋率、配置覆蓋率、基于規(guī)格說(shuō)明的測(cè)試、基于需求的所有測(cè)試、組

2、合測(cè)試潛在問(wèn)題測(cè)試原因基于風(fēng)險(xiǎn)測(cè)試管理確定測(cè)試內(nèi)容，基于風(fēng)險(xiǎn)分析確定測(cè)試約束活動(dòng)測(cè)試方法回歸測(cè)試、腳本測(cè)試、冒煙測(cè)試、探索式測(cè)試、游擊式測(cè)試、場(chǎng)景測(cè)試、安裝測(cè)試、負(fù)載測(cè)試、長(zhǎng)序列測(cè)試（疲勞測(cè)試）、性能測(cè)試評(píng)估準(zhǔn)則是否通過(guò)基于自校驗(yàn)數(shù)據(jù)的測(cè)試、基于規(guī)格說(shuō)明或文檔的測(cè)試、基于理念（oracle）的測(cè)試第4頁(yè)類(lèi)類(lèi) 目目STET測(cè)試與測(cè)試用測(cè)試與測(cè)試用例的關(guān)系例的關(guān)系測(cè)試用例在之前就設(shè)計(jì)和記錄好，過(guò)后再測(cè)試執(zhí)行或被其他測(cè)試人員執(zhí)行測(cè)試設(shè)計(jì)和執(zhí)行時(shí)在同一時(shí)間完成，而且他們不是必須記錄下來(lái)，但也有可能與測(cè)試執(zhí)行的與測(cè)試執(zhí)行的關(guān)系關(guān)系可以控制測(cè)試執(zhí)行可以提升測(cè)試設(shè)計(jì)過(guò)程的交互性過(guò)程的交互性就像做個(gè)已準(zhǔn)備好的

3、演講，由之前想好的想法引導(dǎo)著就像一個(gè)對(duì)話，是自動(dòng)向?qū)У牡?頁(yè)探索式測(cè)試（探索式測(cè)試（exploratory testingexploratory testing） 是一種自由的軟件測(cè)試風(fēng)格，強(qiáng)調(diào)測(cè)試人員同時(shí)開(kāi)展測(cè)試學(xué)習(xí)、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行和測(cè)試結(jié)果評(píng)估等活動(dòng)，以持續(xù)優(yōu)化測(cè)試工作。 作為一個(gè)特定的技術(shù)術(shù)語(yǔ)，它是由測(cè)試專(zhuān)家Cem Kaner博士在1983年提出的，并受到語(yǔ)境驅(qū)動(dòng)的軟件測(cè)試學(xué)派（context driven testing school）的支持。p 是一種軟件測(cè)試風(fēng)格（style），而不是一種具體的軟件測(cè)試技術(shù)（如等價(jià)類(lèi)劃分、邊界值分析、組合測(cè)試等）。p 強(qiáng)調(diào)獨(dú)立測(cè)試人員（indiv

4、idual tester）的個(gè)人自由和責(zé)任其目的是為了持續(xù)優(yōu)化其工作的價(jià)值（value）。p 探索測(cè)試建議在整個(gè)項(xiàng)目過(guò)程中，將測(cè)試相關(guān)學(xué)習(xí)、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行和測(cè)試結(jié)果解讀作為相互支持的活動(dòng)，并行地執(zhí)行。第6頁(yè)第7頁(yè)一一二二三三四四五五過(guò) 程 管 理過(guò) 程 管 理概概 述述測(cè) 試 設(shè) 計(jì)測(cè) 試 設(shè) 計(jì)測(cè) 試 工 具測(cè) 試 工 具工 作 產(chǎn) 品工 作 產(chǎn) 品二二測(cè) 試 設(shè) 計(jì)測(cè) 試 設(shè) 計(jì)第8頁(yè)五個(gè)圈代表項(xiàng)目具體的資源和約束，中間代表測(cè)試團(tuán)隊(duì)的選擇測(cè)試策略。第9頁(yè) 產(chǎn)生將要測(cè)試的產(chǎn)品的系統(tǒng)。如何接收該產(chǎn)品？該產(chǎn)品的可測(cè)試性如何？開(kāi) 發(fā) 成功產(chǎn)品的評(píng)判準(zhǔn)則。該產(chǎn)品的風(fēng)險(xiǎn)是什么？有關(guān)質(zhì)量誰(shuí)的意見(jiàn)最重

5、要？需 求 能夠投入該產(chǎn)品測(cè)試的人員。有合適的人選嗎？能夠及時(shí)完成任務(wù)嗎？測(cè)試團(tuán)隊(duì) 使測(cè)試團(tuán)隊(duì)能夠完成測(cè)試任務(wù)的系統(tǒng)、工具和材料。有合適的設(shè)備嗎？程序錯(cuò)誤跟蹤系統(tǒng)狀態(tài)是否良好？測(cè)試實(shí)驗(yàn)室 測(cè)試團(tuán)隊(duì)必須按照客戶(hù)認(rèn)可的成功標(biāo)準(zhǔn)解決的問(wèn)題。快速找出重要問(wèn)題？對(duì)質(zhì)量做出準(zhǔn)確評(píng)估？任 務(wù)第10頁(yè)基于產(chǎn)品成熟度第11頁(yè)基于產(chǎn)品成熟度第12頁(yè)局部測(cè)試設(shè)計(jì)關(guān)注點(diǎn)：輸入、狀態(tài)、用戶(hù)數(shù)據(jù)、代碼路徑、執(zhí)行環(huán)境。局部探索式測(cè)試法第13頁(yè)局部測(cè)試設(shè)計(jì)關(guān)注點(diǎn)例子：I/O攻擊輸入。局部探索式測(cè)試法第14頁(yè)p商業(yè)區(qū)：軟件包裝盒上描述的那些特性，這里可以用Story法進(jìn)行區(qū)分；p歷史區(qū)：前一個(gè)版本遺留下來(lái)的代碼、問(wèn)題或則曾經(jīng)出

6、現(xiàn)多次缺陷的功能；p旅游區(qū)：新特性，老用戶(hù)一般不會(huì)訪問(wèn)；p娛樂(lè)區(qū)：輔助特性和功能，補(bǔ)充測(cè)試計(jì)劃的充分性；p旅館區(qū)：存儲(chǔ)在交互分區(qū)中的數(shù)據(jù)，包含：數(shù)據(jù)倉(cāng)庫(kù)、文件及一切中間介質(zhì)；p破舊區(qū)：一般不會(huì)有大的修改或者集成下來(lái)后比較平穩(wěn)的功能片段。全局探索式測(cè)試法第15頁(yè)一一二二三三四四五五過(guò) 程 管 理過(guò) 程 管 理概概 述述測(cè) 試 設(shè) 計(jì)測(cè) 試 設(shè) 計(jì)測(cè) 試 工 具測(cè) 試 工 具工 作 產(chǎn) 品工 作 產(chǎn) 品三三測(cè) 試 工 具測(cè) 試 工 具第16頁(yè) 可以給測(cè)試數(shù)據(jù)產(chǎn)生、測(cè)試執(zhí)行、狀態(tài)監(jiān)視、數(shù)據(jù)收集、統(tǒng)計(jì)分析等帶來(lái)幫助的各種軟硬件、設(shè)備等，都是測(cè)試人員可以利用的測(cè)試工具。例如：p專(zhuān)門(mén)測(cè)試工具：性能、功能、

7、單元、代碼分析、安全等商用和第三方測(cè)試軟件；信令儀、頻譜儀、邏輯分析儀等儀表設(shè)備p開(kāi)發(fā)調(diào)試工具：IDE、版本比較等軟件，仿真器等硬件p被測(cè)系統(tǒng)自帶的維護(hù)管理程序：日志、信令跟蹤、動(dòng)態(tài)控制、網(wǎng)管、操作維護(hù)設(shè)備、特殊診斷和測(cè)試模式等p運(yùn)行平臺(tái)的監(jiān)控軟件：OS、數(shù)據(jù)庫(kù)、web服務(wù)器的性能監(jiān)控、內(nèi)存監(jiān)視、磁盤(pán)工具等p腳本程序、辦公軟件：excel、perl、SQL、VBA宏等(數(shù)據(jù)分析、準(zhǔn)備)p畫(huà)圖軟件：Mindject、Freemind等軟件（測(cè)試分析設(shè)計(jì)）p抓包軟件：不同接口協(xié)議的抓包和發(fā)包；數(shù)據(jù)包準(zhǔn)備p其他軟件、設(shè)備：秒表、計(jì)時(shí)軟件；錄像、鼠標(biāo)跟蹤軟件（故障重現(xiàn)）等第17頁(yè) 目的：更好地完成測(cè)試

8、使命。因此，不能代替測(cè)試設(shè)計(jì)，而是提供完成手段、提高工作效率，而不是降低成本 測(cè)試自動(dòng)化：是一種重要投資，類(lèi)似軟件開(kāi)發(fā)過(guò)程，測(cè)試自動(dòng)化需要關(guān)注成本 長(zhǎng)處與限制：與手工測(cè)試比較自動(dòng)化測(cè)試的適用場(chǎng)合。不能完全替代手工測(cè)試。 自動(dòng)化測(cè)試：a) 數(shù)據(jù)驅(qū)動(dòng)： 測(cè)試輸入的只是數(shù)據(jù)b) 關(guān)鍵字驅(qū)動(dòng)：在數(shù)據(jù)驅(qū)動(dòng)基礎(chǔ)上，輸入除數(shù)據(jù)還有指令 腳本開(kāi)發(fā)注意點(diǎn)a) 測(cè)試腳本最好與測(cè)試數(shù)據(jù)分開(kāi)b) 使用標(biāo)準(zhǔn)腳本語(yǔ)言（如perl、python）第18頁(yè)可測(cè)試性往往是比測(cè)試自動(dòng)化更好地投資！第19頁(yè) 可測(cè)試性是可視性和控制，有助于此的就是可測(cè)試性設(shè)計(jì)。例如：p提供查看源代碼及其變更記錄p日志p診斷：提供斷言，錯(cuò)誤警告和調(diào)試

9、模式支持p錯(cuò)誤模擬：例如提供底層模擬錯(cuò)誤狀態(tài)觸發(fā)：測(cè)試異常等很有用p測(cè)試點(diǎn)：系統(tǒng)提供不同的控制點(diǎn)檢查和修改數(shù)據(jù)：各種有用p事件觸發(fā)器：事件開(kāi)始和結(jié)束時(shí)提供通知：性能測(cè)試等很有用p數(shù)據(jù)格式轉(zhuǎn)換：新老版本數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)格式編解碼器：接口測(cè)試等很有用p測(cè)試接口：例如JTAG等：實(shí)時(shí)性測(cè)試、嵌入式系統(tǒng)等很有用p定制控件支持：私有控件開(kāi)放給GUI測(cè)試工具？：界面測(cè)試等很有用p允許多實(shí)例：性能測(cè)試等很有用第20頁(yè)一一二二三三四四五五過(guò) 程 管 理過(guò) 程 管 理概概 述述測(cè) 試 設(shè) 計(jì)測(cè) 試 設(shè) 計(jì)測(cè) 試 工 具測(cè) 試 工 具工 作 產(chǎn) 品工 作 產(chǎn) 品四四過(guò) 程 管 理過(guò) 程 管 理第21頁(yè)P(yáng)H0 項(xiàng)目準(zhǔn)

10、備 PH1 項(xiàng)目方案 PH2 測(cè)試設(shè)計(jì)PH3 測(cè)試執(zhí)行PH4 項(xiàng)目驗(yàn)收立項(xiàng)管理項(xiàng)目計(jì)劃項(xiàng)目監(jiān)控 風(fēng)險(xiǎn)管理 需求管理結(jié)項(xiàng)管理測(cè)試需求分析配置管理 質(zhì)量保證 外包與采購(gòu)管理 培訓(xùn)管理 服務(wù)與維護(hù)項(xiàng)目管理過(guò)程項(xiàng)目過(guò)程機(jī)構(gòu)支撐過(guò)程測(cè)試評(píng)審測(cè)試評(píng)審根據(jù)項(xiàng)目特征確定最合適的測(cè)試模型，以線性順序?yàn)橹?，以并行、迭代為輔。測(cè)試說(shuō)明測(cè)試就緒首輪測(cè)試回歸測(cè)試測(cè)評(píng)總結(jié)評(píng)審 其它： 人力資源管理 財(cái)務(wù)管理 行政管理 市場(chǎng)營(yíng)銷(xiāo) 測(cè)評(píng)大綱評(píng)審回歸測(cè)試（第n輪）第22頁(yè)第23頁(yè)SBTM 2000年，Jonathan Bach和James Bach提出了基于測(cè)程的測(cè)試管理（Session-Based Test Manageme

11、nt，簡(jiǎn)稱(chēng)SBTM）。SBTM的重要特征是將過(guò)程管理分解為一組測(cè)程，從而提高整個(gè)測(cè)試項(xiàng)目的可說(shuō)明性。p 主題（主題（CharterCharter）：）：是一個(gè)測(cè)程需要完成的任務(wù)。該任務(wù)應(yīng)該是清晰且具體的，可以在一段時(shí)間內(nèi)完成，并提供有價(jià)值的簡(jiǎn)報(bào)。主題通常用一段簡(jiǎn)練的文字描述，其內(nèi)容可以是測(cè)試一個(gè)功能、檢查一個(gè)風(fēng)險(xiǎn)、測(cè)試一組用戶(hù)情景（User Scenario）等。p 時(shí)間盒（時(shí)間盒（Time BoxTime Box）：）：是一段不受打擾的測(cè)試時(shí)間，其長(zhǎng)度一般在60120分鐘，以90分鐘較為常見(jiàn)。p 可評(píng)審的結(jié)果（可評(píng)審的結(jié)果（Reviewable ResultsReviewable Resul

12、ts）是測(cè)程的產(chǎn)出，常見(jiàn)的形式是測(cè)程表（Session Sheet）。p 簡(jiǎn)報(bào)（簡(jiǎn)報(bào)（DebriefingDebriefing）：）：通過(guò)面對(duì)面的交流將測(cè)試情況傳遞給測(cè)試領(lǐng)導(dǎo)。第24頁(yè)一一二二三三四四五五過(guò) 程 管 理過(guò) 程 管 理概概 述述測(cè) 試 設(shè) 計(jì)測(cè) 試 設(shè) 計(jì)測(cè) 試 工 具測(cè) 試 工 具工 作 產(chǎn) 品工 作 產(chǎn) 品五五工 作 產(chǎn) 品工 作 產(chǎn) 品第25頁(yè) 測(cè)試技術(shù)文檔記錄 測(cè)試報(bào)告 測(cè)試方案（測(cè)評(píng)大綱、測(cè)試計(jì)劃、測(cè)試需求） 問(wèn)題報(bào)告 測(cè)試說(shuō)明（測(cè)試用例、測(cè)試腳本） 測(cè)試記錄（測(cè)試結(jié)果、抓包記錄、分析截圖等） 測(cè)試項(xiàng)目質(zhì)量記錄 測(cè)試工作總結(jié) 測(cè)試評(píng)審報(bào)告 接收單、計(jì)劃、跟蹤表、質(zhì)量監(jiān)督表、環(huán)境建立、會(huì)議紀(jì)要等第26頁(yè) 務(wù)必先分析測(cè)試文檔需求，再編寫(xiě)測(cè)試文檔。這也同樣適用務(wù)必先分析測(cè)試文檔需求，再編寫(xiě)測(cè)試文檔。這也同樣適用于測(cè)試中使用的各類(lèi)模板。于測(cè)試中使用的各類(lèi)模板。 文檔編寫(xiě)、維護(hù)、交互的工作量可能很大，甚至占大頭 根據(jù)實(shí)際輸出文檔，不同場(chǎng)合需要的文檔類(lèi)型和數(shù)量，文檔遵循的模板、格式、內(nèi)容要求等是不同的。 關(guān)鍵的測(cè)試文檔 測(cè)試報(bào)告