《測試管理》資料課件

測試管理TTCP質(zhì)量管理通道分會2005.5測試管理TTCP質(zhì)量管理通道分會1自我介紹張輝Hosea無線產(chǎn)品部-〉質(zhì)量管理組自我介紹張輝2概述測試過程管理成功的測試測試階段的有效性CMMI定義階段重點測試資源管理統(tǒng)計分析和決策支持概述3測試管理的目的對產(chǎn)品的整個測試流程進行控制和管理提高公司軟件開發(fā)尤其是產(chǎn)品測試的管理水平灌輸和強化企業(yè)的管理理念確保公司開發(fā)產(chǎn)品的質(zhì)量進一步提高公司的市場競爭能力。測試管理的目的對產(chǎn)品的整個測試流程進行控制和管理4測試管理的內(nèi)容測試流程控制和管理測試資源的管理測試產(chǎn)出，包括所有的過程文檔，缺陷等測試資源[人、工具/環(huán)境]統(tǒng)計分析和決策支持產(chǎn)品開發(fā)和測試的進度產(chǎn)品設(shè)計、開發(fā)和測試的質(zhì)量對PMM、DE、TE的工作能力和工作效果進行考核測試管理的內(nèi)容測試流程控制和管理5概述測試過程管理成功的測試測試階段的有效性CMMI定義階段重點測試資源管理統(tǒng)計分析和決策支持概述6軟件測試失效分析圖測試失效How?單元測試技術(shù)性能測試技術(shù)功能測試技術(shù)回歸測試技術(shù)問題分析能力缺少工具支持缺陷管理技術(shù)復(fù)用測試用力少Build后測試介入項目規(guī)劃不合理when項目組習慣開發(fā)測試時間太少缺少測試規(guī)范不協(xié)調(diào)測試與開發(fā)測試階段不清資源緊張公司測試人力What?與用戶缺少溝通測試范圍不清質(zhì)量目標不清缺少測試標準測試對象模糊測試需求不明對用戶使用環(huán)境Where?統(tǒng)一的支持平臺開發(fā)測試缺乏缺乏了解了解開發(fā)環(huán)境缺乏按時到位測試資源不能測試開發(fā)共用公司資源緊張Who?與開發(fā)敵對與開發(fā)交流不暢同開發(fā)接口不明與QA交流不暢人員變更開發(fā)經(jīng)驗不足測試團隊協(xié)作測試職責不清測試經(jīng)驗不足測試“全才”人員不足軟件測試失效分析圖測試How?單元測試技術(shù)性能測試技術(shù)功能測7改善和提高測試成功率參與測試的人員需要什么測試技能？怎樣提高測試人員的溝通能力？提升測試的團隊協(xié)作能力？各類型軟件的測試特點質(zhì)量特性測試技術(shù)測試工具問題分析技術(shù)合理整合測試的資源/技術(shù)/流程/工具等合理規(guī)劃軟件測試、過程的實施指南等怎樣改善過程？人技術(shù)過程質(zhì)量目標改善和提高測試成功率參與測試的人員需要什么測試技能？各類型8成功測試的定義成功的測試＝{有效的測試，高效的測試}有效的測試：能夠發(fā)現(xiàn)大量有效問題，并準確定位高效的測試：一定時間和資源下，發(fā)現(xiàn)的有效問題多決定測試成功的因素：『質(zhì)量目標、測試需求、測試策略、測試技術(shù)、測試人員、測試過程、測試環(huán)境』成功測試的定義成功的測試＝{有效的測試，高效的測試}9測試成功因素的分析影響測試因素優(yōu)先級質(zhì)量目標（測試要達到什么目的）？測試需求（測試些什么？）？測試策略（怎樣測？）？測試工具技術(shù)（怎樣實施？）？測試過程（測試規(guī)程與測試過程跟蹤）？測試人員？測試環(huán)境（測試軟硬件環(huán)境）？測試成功因素的分析影響測試因素優(yōu)先級質(zhì)量目標（測試要達到什么10明確的質(zhì)量目標質(zhì)量目標：項目產(chǎn)品要求達到的質(zhì)量要求測試停止的標準，測試通過的依據(jù)PM、DE、TE要有一致的質(zhì)量目標質(zhì)量目標要具備：明確性一致性優(yōu)先級的定義明確的質(zhì)量目標質(zhì)量目標：項目產(chǎn)品要求達到的質(zhì)量要求11明確的質(zhì)量目標輸入SOWSRS“銀聯(lián)”規(guī)范1.SOW已得到認證2.相關(guān)人員到位1.確定質(zhì)量指標2.明確質(zhì)量規(guī)范和標準1.質(zhì)量指標通過有效性檢查2.質(zhì)量指標得到認可1.可度量質(zhì)量目標信息2.明確質(zhì)量目標的活動狀態(tài)的信息質(zhì)量指標輸出質(zhì)量目標的有效性準則：1.明確性：確定的、可操作的、可跟蹤的、無二義性的、能量化的就量化2.一致性：質(zhì)量目標是得到所有相關(guān)人員認可的3.優(yōu)先級（可選）：在質(zhì)量目標中給出優(yōu)先級排序，明確給出重點，這可根據(jù)項目實際情況靈活應(yīng)用。質(zhì)量目標（銀聯(lián)項目事例）：1.性能：優(yōu)先級－高。最大每秒處理量大于“XXX”；”YYY”交易量情況下交易相應(yīng)時間小于“XXX”；并發(fā)處理用戶數(shù)不低于“XXX”；異地交易每秒處理交易量大于“XXX”等等；2.可靠性：優(yōu)先級－高。具體的質(zhì)量目標可以是對隊列阻塞具有恢復(fù)能力；對通訊故障有恢復(fù)能力；系統(tǒng)硬件故障有數(shù)據(jù)安全管理和及數(shù)據(jù)恢復(fù)能力；系統(tǒng)持續(xù)正常工作時間大于“XXX”,系統(tǒng)在“YYY”交易量的情況下的持續(xù)正常工作時間大于“YYY”等；3.功能：系統(tǒng)具有“XXX”級的系統(tǒng)安全能力；系統(tǒng)具有“XXX”級的數(shù)據(jù)安全能力；系統(tǒng)功能100％運轉(zhuǎn)等；4.可移植性：新老系統(tǒng)具有數(shù)據(jù)轉(zhuǎn)換能力。系統(tǒng)的可用性（滿足性能和可靠性前提的正常功能）是首要質(zhì)量目標明確的質(zhì)量目標輸入SOW1.SOW已得到認證1.確定質(zhì)量指標12有效的測試需求測試需求：明確測試需求，測試內(nèi)容『體現(xiàn)為軟件測試大綱，是一切測試工作的基礎(chǔ)，可以包括在測試計劃中』項目需求——系統(tǒng)能作什么測試需求——系統(tǒng)能做什么&不能做什么獲取不同層次的“測試需求”1.質(zhì)量要求：功能、性能、可靠性、安全性、操作性和維護2.用戶使用場景：驗證軟件是正確的3.系統(tǒng)使用場景：綜合負載的系統(tǒng)表現(xiàn)有效的測試需求測試需求：明確測試需求，測試內(nèi)容13有效的測試策略測試策略：明確測試階段，測試類型測試內(nèi)容對需求的覆蓋測試內(nèi)容的優(yōu)先等級的劃分測試內(nèi)容重要程度的確定測試類型的確定測試階段的確定有效的測試策略測試策略：明確測試階段，測試類型14概述測試過程管理成功的測試測試階段的有效性CMMI定義階段重點測試資源管理統(tǒng)計分析和決策支持概述15測試計劃測試計劃常見的誤區(qū)：測試工作量太傾向于功能測試不太重視配置測試把壓力測試和負載測試總是放在“最后一分鐘”通常不進行文檔測試通常不測試安裝過程過度依賴于Beta測試測試任務(wù)串行進行沒有有效識別出項目的風險區(qū)域測試計劃測試計劃常見的誤區(qū)：16測試用例資產(chǎn)管理粒度的把握『實例』設(shè)計的難點設(shè)計的原則測試用例的有效性：1.無二義性，測試用例的描述要準確，不同測試人員對其無二義性的理解。2.完整的測試步驟；3.完整的數(shù)據(jù)；4.適當?shù)牧６?，根?jù)情況決定測試用例力度的粗細，過粗的測試用例易流于形式，過細的測試用例對于一定場景的測試組合太復(fù)雜，而且不易復(fù)用。5.可重復(fù)性，在后續(xù)測試中可復(fù)用。測試用例資產(chǎn)管理粒度的把握設(shè)計的難點設(shè)計的原則測試用例的有效17概述測試過程管理成功的測試測試階段的有效性CMMI的定義階段重點測試資源管理統(tǒng)計分析和決策支持概述18CMM中的測試過程約定：項目遵循組織方針實施軟件產(chǎn)品工程活動前提條件： 1、為實施軟件產(chǎn)品工程活動提供足夠的資源和資金 2、軟件工程技術(shù)人員接受相應(yīng)的技術(shù)培訓 3、軟件工程技術(shù)人員的接受軟件工程規(guī)范的培訓 4、項目經(jīng)理或其他管理人員接受項目技術(shù)內(nèi)容的宣介驗證： 1、高層定期評審產(chǎn)品工程活動 2、PM定期或事件驅(qū)動評審軟件產(chǎn)品工程活動 3、QA組評審軟件產(chǎn)品工程活動、審核軟件產(chǎn)品工程產(chǎn)品、 報告質(zhì)量保證結(jié)果度量與分析： 1、應(yīng)用度量反映產(chǎn)品工程活動的狀態(tài)CMM中的測試過程約定：項目遵循組織方針實施軟件產(chǎn)品工程活動194、（評審測試標準，以及系統(tǒng)達到的各個層次可測試狀態(tài)，測試計劃/規(guī)程/測試用例同行評審）3、（評審設(shè)計，評審和測試代碼單元）2、（評審設(shè)計標準，評審需求，評審體系結(jié)構(gòu)，設(shè)計同行評審）CMM中的測試過程1、（評審軟件需求，評審軟件需求問題，需求規(guī)格說明進行同行評審?？蛻?用戶評審需求）7、（文檔用戶評審文檔，同行評審，最終文檔評審）6、（用戶評審驗收測試的測試用例）5、（評審測試用例和測試規(guī)程）活動：1、需求分析2、系統(tǒng)設(shè)計3、編碼/構(gòu)造系統(tǒng)4、測試5、計劃和執(zhí)行集成測試6、計劃和執(zhí)行系統(tǒng)測試和驗收測試7、編寫相關(guān)文檔4、（評審測試標準，以及系統(tǒng)達到的各個層次可測試狀態(tài)，3、（20CMMI中的測試內(nèi)容確定測試的產(chǎn)品建立測試環(huán)境測試環(huán)境測試規(guī)程和指標測試的產(chǎn)品列表準備測試建立測試規(guī)程和指標CMMI中的測試內(nèi)容確定測試建立測測試環(huán)境準備測試建立測21CMMI中的測試內(nèi)容實施測試分析測試結(jié)果測試報告測試結(jié)果交叉索引矩陣運行日志操作演示缺陷報告變更請求測試產(chǎn)品和產(chǎn)品部件CMMI中的測試內(nèi)容實施分析測測試報告缺陷報告測試產(chǎn)品和產(chǎn)品22實用軟件的測試過程設(shè)計測試測試跟蹤與監(jiān)督明確質(zhì)量目標計劃測試解決問題評價測試執(zhí)行測試實現(xiàn)測試測試技術(shù)內(nèi)容測試管理內(nèi)容實用軟件的測試過程設(shè)計測試測試跟蹤與監(jiān)督明確質(zhì)量目標計劃測試23概述測試過程管理成功的測試測試階段的有效性CMMI的定義階段重點測試資源管理統(tǒng)計分析和決策支持概述24計劃測試－明確測試過程輸入項目計劃項目生命周期模型項目狀態(tài)報告項目質(zhì)量目標1.項目生命周期模型得到認可2.模型選擇理由明確1.根據(jù)項目生命周期模型選擇測試過程模型1.測試過程通過有效性檢查2.質(zhì)量指標得到認可1.測試過程活動數(shù)量（WBS）;2.擬定測試過程的狀態(tài)；項目測試過程輸出質(zhì)量目標的有效性準則：1.可操作性，在項目資源等約束條件下可操作。2.可跟蹤性，實際測試過程中的所有活動都應(yīng)該可以追溯到測試過程中來3.一致性：測試過程內(nèi)部的前后一致，各個測試迭代過程的一致：測試過程與其他項目過程的接口一致。不同項目模型下的測試過程：1.瀑布模型下：測試過程具有明顯的單向性，需要測試前期準備，往往執(zhí)行測試和分析測試結(jié)果兩個過程階段持續(xù)的時間長，在測試過程的管理上更應(yīng)注重測試后期各種資源的跟蹤；2.螺旋模型下：后期測試重點是性能測試，而且是在廣泛復(fù)用前期測試用例的基礎(chǔ)上。3.迭代/增量模型下：增量測試主要體現(xiàn)在功能上，對于性能和可靠性是整體系統(tǒng)的行為，必須是在整體系統(tǒng)或某個相對獨立的子系統(tǒng)完成后才能進行計劃測試－明確測試過程輸入項目計劃1.項目生命周期模型得到認25項目計劃項目需求項目質(zhì)量目標項目測試過程測試計劃的有效性準則：1.測試類型的完整性，軟件測試、環(huán)境測試和失效測試滿足“可用性”的質(zhì)量目標。2.測試內(nèi)容的合理性，給出測試內(nèi)容的優(yōu)先級排序；3.測試技術(shù)的可行性：關(guān)鍵的測試技術(shù)、測試方法和測試工具要有充分的可行性試驗數(shù)據(jù)或歷史證據(jù)4.測試資源可獲取測試大綱：1.測試的內(nèi)容。測試大綱是測試組通過對項目需求規(guī)格說明書的評審，以及業(yè)務(wù)人員、開發(fā)人員和測試人員共同討論，從業(yè)務(wù)、技術(shù)、集成、測試、切換等多個角度來得到的。測試組一定要參與對需求的評審，不僅從測試的角度評審項目需求的可測試性，而且整理出測試大綱。。。測試計劃：1.測試策略/2.資源分配計劃測試－－制定測試計劃輸入1.項目測試過程已定義2.項目需求已認可1.界定測試工作范圍2.制定測試策略3.制定測試大綱4.估計/5.風險分析6.確定測試角色和職責7.編寫并制定測試計劃1.測試計劃通過有效性檢查2.測試哦計劃通過組內(nèi)和組間的評審1.測試范圍估計、工作量估計、資源估計和進度；2.制定測試計劃過程的狀態(tài)測試計劃測試大綱輸出項目計劃測試計劃的有效性準則：測試大綱：計劃測試－－制定測試26跟蹤與監(jiān)督測試測試計劃變更請求測試過程狀態(tài)的有效性準則：1.及時性，及時反映測試過程中的狀態(tài)，不要滯后2.測試過程狀態(tài)的準確性，避免上報的測試狀態(tài)信息不真，可以結(jié)合問題庫中的客觀內(nèi)容與測試組員匯報的主觀信息綜合分析測試跟蹤對象：1.所有測試活動的狀態(tài)和測試產(chǎn)物的狀態(tài)；2.測試估計和重新估計（規(guī)模、工作量、人員、資源、成本、進度－覆蓋）；3.測試過程中的問題狀態(tài)；4.測試風險輸入1.測試計劃基線化2.變更有記錄1.跟蹤并記錄項目數(shù)據(jù)2.測試過程信息溝通3.測試問題管理4.測試過程評價與改進6.更新測試計劃1.測試狀態(tài)通過有效性檢查1.測試實際工作量、資源和進度的信息2.跟蹤測試過程的管理活動狀態(tài)測試計劃測試狀態(tài)測試變更輸出跟蹤與監(jiān)督測試測試計劃測試過程狀態(tài)的有效性準則：測試跟蹤對象27設(shè)計測試測試計劃測試大綱項目設(shè)計關(guān)鍵技術(shù)：1.覆蓋分析法(分析測試用例對測試大綱的覆蓋情況)/邊界值分析/等價類劃分/結(jié)構(gòu)覆蓋分析/接口覆蓋分析工具支持：1.測試用例設(shè)計工具，QARun/Load,WinRunner/LoadRunner2.測試用例管理工具，QADirector/TestDirector測試用例的有效性準則：1.無二義性，測試用例的描述要準確，不同測試人員對其無二義性的理解；2.完整的測試步驟；3.完整的數(shù)據(jù)；4.適當?shù)牧６?，根?jù)情況決定測試用例粒度的粗細，過粗的測試用例易流于形式，過細的測試用例對于一定場景的測試組合太復(fù)雜，而且不易復(fù)用。5.可重復(fù)性，在后續(xù)測試中可復(fù)用輸入1.測試計劃基線化2.測試大綱基線化3.設(shè)計通過評審1.設(shè)計測試用例2.設(shè)計測試用例執(zhí)行規(guī)程和步驟3.設(shè)定測試完成的覆蓋指標1.測試用例通過有效性檢查1.測試用例的數(shù)量2.跟蹤測試用例設(shè)計的狀態(tài)測試用例輸出設(shè)計測試測試計劃關(guān)鍵技術(shù)：測試用例的有效性準則：輸入1.測試28實現(xiàn)測試（測試開發(fā)）測試大綱測試用例工具支持（舉例）：QARun/Load,WinRunner/LoadRunner都有二次開發(fā)能力，QALoad開發(fā)更是有2種方法，一種是基于錄制、回放原理進行，通過編輯測試代碼，配置數(shù)據(jù)池的方式完成性能測試；另一種是基于QAload提供的庫函數(shù)進行開發(fā)，測試人員自行編寫測試腳本，并配置符合業(yè)務(wù)實際情況的數(shù)據(jù)池。前一種方式比較簡單，但無法完成對系統(tǒng)的深層測試：后者有大量的開發(fā)工作，技術(shù)難度高，但是非常靈活，能夠?qū)ο到y(tǒng)進行深層的測試測試部件、腳本的有效性準則：1.支持部件的正確性和覆蓋性，部件本身應(yīng)該正確，無異常錯誤，并且覆蓋被測對象所有的接口狀態(tài)。2.腳本的高效性，腳本執(zhí)行效率應(yīng)該高，而且結(jié)果明確。輸入1.測試用例相對測試大綱通過冗余檢查1.生成測試腳本2.設(shè)計測試支持部件3.實現(xiàn)測試支持部件4.測試工具開發(fā)設(shè)計1.測試部件通過有效性檢查2.測試腳本通過有效性檢查1.測試部件的數(shù)量、狀態(tài)。測試腳本測試部件輸出實現(xiàn)測試（測試開發(fā)）測試大綱工具支持（舉例）：測試部件、腳本29執(zhí)行測試確認測試、驗收測試、α測試、β測試等回歸測試功能域測試接收測試系統(tǒng)測試集成測試執(zhí)行測試確認測試、驗收測試、α測試、β測試等回歸測試功能域測30評價測試問題報告結(jié)果報告軟件問題分析（舉例）：1.軟件問題密度分布，給出軟件問題相對軟件問題所在的區(qū)域、軟件問題產(chǎn)生的過程階段的分布情況。80/20表現(xiàn)2.軟件問題修改率/3.軟件問題發(fā)現(xiàn)率4.列出延期的軟件問題5.列出處于“打開”狀態(tài)和“待驗”狀態(tài)的軟件問題6.嚴重問題的生命周期分析/7.漏出的軟件問題分布分析報告、評價報告有效性準則：可追溯性1.分析結(jié)果可回溯，記錄分析的前提條件及相關(guān)假設(shè)，可以重現(xiàn)分析結(jié)果；2.評價結(jié)果可根據(jù)評價的依據(jù)重現(xiàn)。輸入1.所有問題已入庫2.測試結(jié)果報告已通過測試負責人的審查1.統(tǒng)計分析軟件結(jié)果報告和問題報告2.分析系統(tǒng)問題3.評價測試結(jié)果4.評價測試過程5.提交評價報告1.分析結(jié)果通過有效性檢查2.評價結(jié)果通過有效性檢查1.問題的數(shù)量、狀態(tài)/2.測試投入問題統(tǒng)計問題分析評價報告輸出評價測試問題報告軟件問題分析（舉例）：分析報告、評價報告有效31項目中測試過程的里程碑項目里程碑測試過程里程碑備注項目啟動測試負責人角色到位需求里程碑測試計劃里程碑完成測試大綱和測試計劃設(shè)計里程碑測試設(shè)計里程碑完成測試用例構(gòu)造和集成里程碑實現(xiàn)測試進行集成測試或子系統(tǒng)測試測試和交互執(zhí)行測試：功能凍結(jié)執(zhí)行測試：代碼凍結(jié)主要進行系統(tǒng)測試和回歸測試等項目結(jié)束測試評價對系統(tǒng)或產(chǎn)品進行質(zhì)量評價對測試過程進行評價或改善項目中測試過程的里程碑項目里程碑測試過程里程碑備注項目啟動測32概述測試過程管理成功的測試測試階段的有效性CMMI的定義階段重點測試資源管理統(tǒng)計分析和決策支持概述33測試人員的工作績效的評價誤區(qū)：僅從提交的問題單數(shù)量、測試執(zhí)行用例數(shù)量來判斷測試人員的好壞對測試人員發(fā)現(xiàn)的問題的價值沒有進行評估不重視測試文檔的質(zhì)量不重視測試人員的綜合能力[必須本著以測試質(zhì)量為重、對測試負責的角度對測試人員績效進行客觀評價。通過合理的績效評價，讓測試人員以積極的心態(tài)投入的測試工作中]測試人員的工作績效的評價誤區(qū)：34例子：模塊A很不穩(wěn)定，潛在的問題數(shù)可能有100個，由測試人員甲負責測試，他一個月執(zhí)行300個用例，提交50個問題單，發(fā)現(xiàn)30個有效問題，有10個嚴重問題；

模塊B比較穩(wěn)定，潛在的問題數(shù)可能有20個，由測試人員乙負責測試，他一個月執(zhí)行100個用例，提交20個問題單，發(fā)現(xiàn)18個有效問題，有8個嚴重問題；

分析：甲提交的問題單數(shù)量和執(zhí)行用例數(shù)量都要遠遠高于乙模塊B的遺留問題顯然少于模塊A甲執(zhí)行測試的充分性顯然不如乙甲提交的問題單雖然很多，但近半數(shù)是非問題，做了無用功，還影響到開發(fā)人員對問題的定位所消耗的時間。

例子：模塊A很不穩(wěn)定，潛在的問題數(shù)可能有100個，由測試人員35考核例子類型評定參數(shù)類型評定參數(shù)問題單提交的無效問題單比率用例執(zhí)行用例數(shù)問題單的描述的規(guī)范性用例評審次數(shù)問題單中嚴重問題所占比例新創(chuàng)建的用例數(shù)問題的質(zhì)量新增用例的價值需求設(shè)計等評審提出問題數(shù)需要評審的用例文檔測試報告的質(zhì)量修改刪除的用例數(shù)內(nèi)部測試經(jīng)驗的文檔培訓培訓考核考核例子類型評定參數(shù)類型評定參數(shù)問題單提交的無效問題單比率用36測試文檔管理測試文檔包括：測試計劃測試大綱/測試用例測試開發(fā)的設(shè)計文檔缺陷列表、測試記錄測試報告。。。文檔的版本要與開發(fā)的版本保持一致對于測試用例要求盡量可復(fù)用測試報告中的數(shù)據(jù)需要進行積累測試文檔管理測試文檔包括：37缺陷管理－－工具『你們用什么來進行缺陷管理？』缺陷管理－－工具『你們用什么來進行缺陷管理？』38缺陷管理－－工具缺陷管理的可用的方法：Word、Excel專門的缺陷管理工具『ClearQuest/TestDriector/Bugzilla/Mantis/…』Outlook里面的電子流Web頁面的管理系統(tǒng)『無論何種工具他們的基礎(chǔ)屬性都是一致。。?！蝗毕莨芾恚ぞ呷毕莨芾淼目捎玫姆椒ǎ?9缺陷管理－－問題屬性標識問題記錄時間項目名字狀態(tài)優(yōu)先級詳細描述注入階段作者質(zhì)量工程師/發(fā)現(xiàn)者測試用例發(fā)現(xiàn)日期簡單描述功能區(qū)域子狀態(tài)嚴重程度對應(yīng)版本或Build發(fā)現(xiàn)階段開發(fā)人員環(huán)境信息問題歷史缺陷管理－－問題屬性標識發(fā)現(xiàn)日期40缺陷管理－－問題狀態(tài)OpenFixedTMRejectedReopenClosedWaitTEDEDETMDETETEDENewTETETE缺陷管理－－問題狀態(tài)OpenFixedTMRejectedR41缺陷管理－－問題類型錯誤類型類型說明用戶界面錯誤界面顯示的普通文