測試執(zhí)行策略

1、組員：組長：第四組測試執(zhí)行策略T est execution strategy多周期系統(tǒng)測試策略第一節(jié)測試周期特性第二節(jié)首次測試周期的準備最終測試周期的測試用例選擇第三節(jié)第四節(jié)目錄Contents測試用例優(yōu)先級順序第五節(jié)三個測試周期的細節(jié)第六節(jié)引言要解決的問題測試用例執(zhí)行多少次及何時執(zhí)行？怎么處理失敗的測試用例？當有太多測試用例失敗時將發(fā)生什么情況？測試用例按照什么順序結束？就在系統(tǒng)測試階段結束前，那些測試用例將被執(zhí)行？多周期系統(tǒng)測試策略舉例：一個三周期的多周期測試執(zhí)行策略1三周期測試執(zhí)行策略圖 1 有三個周期的多周期測試執(zhí)行策略產品的質量將從一個周期到另一個周期不斷提高測試周期特性目標、假設

2、、測試執(zhí)行、重做和延長標準、行動、退出條件2六個參數(shù)測試執(zhí)行通過使用測試優(yōu)先級的概念，測試用例在多個測試環(huán)境中同時測試。假設系統(tǒng)測試組記錄下他們自己關于何時為系統(tǒng)測試選擇版本的假設行動失敗測試用例的數(shù)量達到了事先定義的等級，或新測試用例的總數(shù)超過一個特定的閾值時，系統(tǒng) 測試團隊啟動一次RCA;重做和延長標準失敗用例過多可能會導致測試周期重做，而新增用例過多會導致測試周期延長。目標系統(tǒng)測試團隊在每一個測試周期中設置自己要實現(xiàn)的目標。退出條件通過應用一個退出條件，我們可以知道測試周期什么時候完成首次測試周期的準備需要理解的概念：1.已知缺陷的生命周期的不同狀態(tài)，從生成到關閉2.給測試工程師分配測試

3、用例3.何時開始首次測試周期的進入標準3首次測試周期的準備缺陷的生命周期狀態(tài)轉移圖包括生成，指派，開啟，解決，關閉（單個測試周期內）缺陷的生命周期測試用例分配首次測試周期的進入標準測試用例分配給測試工程師分配測試用例。所有的測試用例不會僅由一個工程師全部執(zhí)行首次測試周期的進入標準進入標準涉及5個功能交叉組：一、營銷：營銷團隊為提議的產品及其需求提供商業(yè)判定依據二、硬件：關于軟件系統(tǒng)使用的任何新硬件系統(tǒng)或子系統(tǒng)的充分測試三、軟件：關于軟件開發(fā)組的開發(fā)與測試工作的完成。包括7個標準，它們提供依據來評定系統(tǒng)是否足夠穩(wěn)定，以承受系統(tǒng)測試的嚴格性四、技術發(fā)布：關注技術文檔撰寫人所編寫的用戶手冊的完成狀態(tài)

4、五、系統(tǒng)測試：與系統(tǒng)測試計劃有關。在系統(tǒng)測試開始之前，系統(tǒng)測試計劃必須由軟件，硬件，營銷，技術發(fā)布組等評審，并且審核通過。最終測試周期的測試用例選擇應用回歸測試的三步走4分類測試套件至少失敗過一次的用例來自測試組的測試用例來自壓力、可擴展性、負載和穩(wěn)定性測試組的測試用例來自性能測試組的測試用例與紅色相似可跳過不執(zhí)行剩余的測試用例三個步驟NO.1NO.2NO.3將測試套件分到紅色、黃色、綠色和白色4個桶中為回歸測試從色桶和色桶中選用例為最終測試周期從紅色桶選出的所有測試用例為最終測試周期從黃色桶選出的測試用例，這取決于進度安排、上市時間和客戶需求。修改軟件后將白色桶中用例移到其它桶中映射到一個以

5、上軟件組件用例移到桶；映射到一個軟件組件用例移到桶；沒有映射到軟件組件用例移到桶篩檢白色桶選取測試用例分類測試用例優(yōu)先級排序按照一定測試目標對測試用例的執(zhí)行進行排序。5第一個測試周期的測試優(yōu)先級排序原理對測試用例進行排序，允許最大數(shù)量的測試用例完全執(zhí)行而不被堵塞。排序依據基礎性、功能性測試組的測試用例分配高優(yōu)先級；健壯性、互操作性測試組的測試用例分配中優(yōu)先級；文檔、性能、壓力、可擴展性、負載和穩(wěn)定性的測試用例分配低優(yōu)先級。第二個測試周期的測試優(yōu)先級排序原理前一次測試中失敗的測試用例在本次測試周期中要盡早執(zhí)行。排序依據高優(yōu)先級：紅桶中的測試用例；中優(yōu)先級；黃桶中的測試用例；低優(yōu)先級：綠桶中的測試

6、用例。第三個測試周期的測試優(yōu)先級排序原理與二類似，用于回歸測試選出的測試用例子集。排序依據高優(yōu)先級：紅桶中的測試用例；中優(yōu)先級；黃桶中的測試用例；說明：最終測試周期，不執(zhí)行綠色桶中的測試用例。三個測試周期的細節(jié)隨著測試周期的更替，新的測試用例包含進來，重做標準和退出標準更加嚴格，系統(tǒng)質量會不斷改進。6第一個測試周期目標試圖通過執(zhí)行所有的測試用例來檢測缺陷執(zhí)行測試套件中的所有測試用例，并且使通過的測試用例數(shù)量最大化。假設前四周，該系統(tǒng)測試組接受每周一次的軟件鏡像，之后每隔兩周一次。測試執(zhí)行測試用例按照優(yōu)先級策略執(zhí)行。重做和延長標準如果失敗的測試用例數(shù)量達到要被執(zhí)行測試用例總數(shù)的20%，則系統(tǒng)測試

7、團隊應放棄這個測試周期。如果新增用例數(shù)量達到了系統(tǒng)測試用例的10%,則測試周期需要延長來記錄增加的測試用例。行動如果測試用例的總數(shù)達到某個預設值，軟件開發(fā)組需要在這個測試周期中啟動一次RCA。退出條件如下斷言成立，將認為測試周期完成：（1）當缺陷無法被現(xiàn)有測試用例檢測出而需要設計并記錄新的測試用例時，這種情況稱為測試用例泄露；（2）所有測試用例至少執(zhí)行一次；（3）95%的測試用例已通過；（4）所有已知的缺陷已經處于關閉狀態(tài)。第二個測試周期目標第一個周期發(fā)現(xiàn)的缺陷的修復在第二個周期里進行驗證所有測試用例需要重新執(zhí)行一次，以確保沒有由于對第一個測試周期應用修復后的附帶破壞。假設系統(tǒng)測試組每兩周接受

8、一次軟件鏡像，這是因為在經過第一個測試周期后，系統(tǒng)已經相當穩(wěn)定。測試執(zhí)行測試用例按照優(yōu)先級策略執(zhí)行。重做和延長標準如果失敗的測試用例數(shù)量達到要被執(zhí)行測試用例總數(shù)的10%，則系統(tǒng)測試團隊應放棄這個測試周期。如果新增用例數(shù)量達到了系統(tǒng)測試用例的5%，則測試周期需要延長來記錄增加的測試用例。行動如果測試用例的總數(shù)達到某個預設值，軟件開發(fā)組需要在這個測試周期中啟動一次RCA。退出條件如下斷言成立，將認為測試周期完成：（1）當缺陷無法被現(xiàn)有測試用例檢測出而需要設計并記錄新的測試用例時；（2）所有測試用例至少執(zhí)行一次；（3）98%的測試用例已通過；（4）所有已知的缺陷已經處于關閉狀態(tài)。第三個測試周期目標執(zhí)

9、行所有選定的測試用例確保發(fā)布時是可靠的測試套件中的測試用例的一個選定子集講重新執(zhí)行，測試用例必須100%通過。假設系統(tǒng)測試組只在這個測試周期開始時接受一次軟件鏡像。測試執(zhí)行測試用例按照優(yōu)先級策略執(zhí)行。重做和延長標準如果失敗的測試用例數(shù)量達到要被執(zhí)行測試用例總數(shù)的5%，則系統(tǒng)測試團隊應放棄這個測試周期。這個測試周期將會一次次地終止并重啟，但不會延長。退出條件所有斷言成立時，將認為最后一個測試周期已經完成：（1）所有選定的測試用例已執(zhí)行（2）所有的測試結果都是可用的（3）98%的測試用例已通過；（4）剩余的2%的失敗測試用例不能是壓力、性能、可擴展性及負載和穩(wěn)定性測試組的；（5）系統(tǒng)在最后三周的測試中沒有再奔潰；