和自動化測試課件

軟件產(chǎn)品質(zhì)量度量軟件產(chǎn)品質(zhì)量度量2主要議程為什么軟件質(zhì)量需要有度量？（必要性）使用軟件測試的質(zhì)量度量的挑戰(zhàn)評價軟件質(zhì)量的優(yōu)秀度量的特征制定軟件質(zhì)量度量時注意事項微軟軟件質(zhì)量測試常用度量使用軟件質(zhì)量度量的注意事項 問題解答2主要議程為什么軟件質(zhì)量需要有度量？（必要性）3一為什么軟件質(zhì)量需要有度量？有效產(chǎn)品質(zhì)量管理改進(jìn)用戶滿意度改進(jìn)產(chǎn)品質(zhì)量減少產(chǎn)品開發(fā)和售后服務(wù)支持費用沒有質(zhì)量度量，等于沒有質(zhì)量標(biāo)準(zhǔn)！3一為什么軟件質(zhì)量需要有度量？有效產(chǎn)品質(zhì)量管理4軟件測試的質(zhì)量需要有度量有效實行測試質(zhì)量分析和管理可及時檢查測試進(jìn)度和質(zhì)量幫助發(fā)現(xiàn)測試漏洞比較測試質(zhì)量變化趨勢，風(fēng)險分析幫助找出最佳實踐4軟件測試的質(zhì)量需要有度量有效實行測試質(zhì)量分析和管理5二使用軟件產(chǎn)品質(zhì)量度量的挑戰(zhàn)無公認(rèn)準(zhǔn)確和科學(xué)的度量產(chǎn)品性質(zhì)不同，很難有通用的度量最佳實踐實際上是經(jīng)驗積累總結(jié)涉及不定因素和人為因素片面理解和使用可以造成負(fù)面影響和效果5二使用軟件產(chǎn)品質(zhì)量度量的挑戰(zhàn)無公認(rèn)準(zhǔn)確和科學(xué)的度量6三評價軟件質(zhì)量的優(yōu)秀度量的特征

準(zhǔn)確性穩(wěn)定性可驗證性有針對性有說服力重復(fù)使用性可追蹤性簡單實用性6三評價軟件質(zhì)量的優(yōu)秀度量的特征準(zhǔn)確性7四制定軟件質(zhì)量度量時注意事項跟蹤度量的變化的一致性提供基礎(chǔ)數(shù)據(jù)以便杜絕濫用數(shù)據(jù)討論會或所有有關(guān)方面認(rèn)可體現(xiàn)產(chǎn)品質(zhì)量結(jié)果是否滿足質(zhì)量標(biāo)準(zhǔn)明確誰是使用者7四制定軟件質(zhì)量度量時注意事項跟蹤度量的變化的一致性8五微軟軟件質(zhì)量測試常用度量產(chǎn)品設(shè)計規(guī)范(Spec或設(shè)計文檔)質(zhì)量狀態(tài)缺陷（bug）數(shù)據(jù)有關(guān)度量測試案例度量測試規(guī)范度量測試過的系統(tǒng)數(shù)量自動化測試度量CodeCoverage（代碼覆蓋）單一功能測試驗收質(zhì)量度量8五微軟軟件質(zhì)量測試常用度量產(chǎn)品設(shè)計規(guī)范(Spec或設(shè)計文91.產(chǎn)品設(shè)計規(guī)范質(zhì)量狀態(tài)分類常用的五種狀態(tài)一頁(Onepage)–用于安排時間和分配人員草稿(Draft)–用于提出疑問和初步設(shè)想以供討論審閱(Review)–有所有的設(shè)計技術(shù)細(xì)節(jié)，可以供審閱提交審核會(Inspection)–所有的設(shè)計技術(shù)細(xì)節(jié)到位、沒有明顯遺留疑問、漏洞等開始編碼(Coding)–開發(fā)人員可以開始便寫代碼來實現(xiàn)該設(shè)計功能規(guī)范91.產(chǎn)品設(shè)計規(guī)范質(zhì)量狀態(tài)分類常用的五種狀態(tài)10產(chǎn)品設(shè)計規(guī)范質(zhì)量到位狀況五種狀態(tài)中各占的%是多少?按事先計劃日程完成的比例是多少？多少%開發(fā)人員至少有一個指派給他的功能可以進(jìn)行編碼？10產(chǎn)品設(shè)計規(guī)范質(zhì)量到位狀況五種狀態(tài)中各占的%是多少?112.缺陷統(tǒng)計數(shù)據(jù)的度量(I)所有缺陷數(shù)量的時間走勢或趨勢統(tǒng)計(BugTrendsByTime)未被處理的缺陷按照嚴(yán)重程度的統(tǒng)計(ActiveBugsBySeverity)

未被處理的缺陷按照優(yōu)先程度的統(tǒng)計(ActiveBugsByPriority)未被處理的缺陷數(shù)量的時間走勢或趨勢統(tǒng)計

（ActiveBugsOverTime）所有的缺陷按照嚴(yán)重程度的統(tǒng)計(AllBugsBySeverity)新被發(fā)現(xiàn)的缺陷按嚴(yán)重程度的統(tǒng)計(OpenedBugsBySeverity)

已處理的缺陷按照嚴(yán)重程度的統(tǒng)計(ResolvedBugsBySeverity)

被修復(fù)的缺陷按照嚴(yán)重程度的統(tǒng)計

(FixedBySeverity)112.缺陷統(tǒng)計數(shù)據(jù)的度量(I)所有缺陷數(shù)量的時間走勢或趨勢12時間缺陷數(shù)量所有的缺陷按照嚴(yán)重程度的統(tǒng)計(AllBugsBySeverity)12時間缺陷數(shù)量所有的缺陷按照嚴(yán)重程度的統(tǒng)計(AllBug132.缺陷統(tǒng)計數(shù)據(jù)的度量(II)已發(fā)現(xiàn)缺陷的數(shù)量和已修復(fù)的缺陷的數(shù)量的比率

(Fixed/Found)。也被稱為修改率或糾錯率(FixRate)

未處理的缺陷數(shù)量和已處理的的缺陷數(shù)量的比率

(active/resolved)已處理的被修復(fù)的缺陷數(shù)量和已處理的缺陷數(shù)量的比率（ResolvedasFixed/resolved）重新被激活的已修復(fù)的缺陷數(shù)量(Bugre-activationrate)通過測試找到的缺陷的統(tǒng)計(Bugsopenedbytestingactivity)132.缺陷統(tǒng)計數(shù)據(jù)的度量(II)已發(fā)現(xiàn)缺陷的數(shù)量和已修復(fù)的142.缺陷統(tǒng)計數(shù)據(jù)的度量(III)不同語言版本缺陷數(shù)量的統(tǒng)計(BugsopenedbyLanguageversion)被報告存在缺陷的各功能統(tǒng)計(Whereyourbugswerefound)處理缺陷的平均時間的統(tǒng)計(AverageTimetoResolve)關(guān)閉缺陷的平均時間的統(tǒng)計(AverageTimetoClose)被處理缺陷的不同結(jié)論統(tǒng)計(ResolvedBugsByResolution)142.缺陷統(tǒng)計數(shù)據(jù)的度量(III)不同語言版本缺陷數(shù)量的統(tǒng)15里程碑編程階段缺陷變化趨勢15里程碑編程階段缺陷變化趨勢163.測試案例度量運行測試案例數(shù)量和通過測試的案例數(shù)量之比不同產(chǎn)品開發(fā)階段該比率變化測試案例包括的范圍運行測試案例的頻率有測試案例的功能數(shù)量163.測試案例度量運行測試案例數(shù)量和通過測試的案例數(shù)量之比174.測試規(guī)范度量測試規(guī)范數(shù)量和所有功能數(shù)量之比滿足撰寫要求的測試規(guī)范數(shù)量和所有測試規(guī)范數(shù)量之比必要的內(nèi)容遺漏的比率測試規(guī)范:

微軟把針對怎樣測試某功能的，有細(xì)分功能后的具體測試條例等細(xì)節(jié)的測試文檔叫做測試規(guī)范（TestDesignSpecification或簡稱TDS）。174.測試規(guī)范度量測試規(guī)范數(shù)量和所有功能數(shù)量之比測試規(guī)范:185.測試過的系統(tǒng)數(shù)量所支持的不同語言系統(tǒng)的總數(shù)與測試過的語言系統(tǒng)數(shù)量所支持系統(tǒng)的總數(shù)與測試過的系統(tǒng)數(shù)量Windows2000(SPx)WindowsXP(SPx)Windows2003Server(SPx)TabletPC新的系統(tǒng)平臺185.測試過的系統(tǒng)數(shù)量所支持的不同語言系統(tǒng)的總數(shù)與測試過的196.自動化測試度量測試的可自動化程度能自動化的和實現(xiàn)自動化的比率運行通過的自動化腳本比率不同產(chǎn)品開發(fā)階段該比率變化196.自動化測試度量測試的可自動化程度207.CodeCoverage（代碼覆蓋）代碼覆蓋度量定義和目的代碼覆蓋種類代碼覆蓋的有效使用開發(fā)人員：單元測試(unittesting)測試人員：系統(tǒng)測試(systemtesting)和自動化測試207.CodeCoverage（代碼覆蓋）代碼覆蓋度量定21代碼覆蓋是什么？動態(tài)白盒測試評價技術(shù)已經(jīng)執(zhí)行（測試）了什么（whathasbeenexecuted）沒有執(zhí)行的（測試）有什么whathasnotbeenexecutedandstillremainstobetested.需要有源代碼內(nèi)部輔助工具21代碼覆蓋是什么？動態(tài)白盒測試評價技術(shù)22使用代碼覆蓋度量的目地經(jīng)驗總結(jié)：大約的20%代碼囊括缺陷總數(shù)的80%目的不是要達(dá)到某個神奇的數(shù)字，而是要發(fā)現(xiàn)測試中的漏洞達(dá)到比較廣泛的覆蓋率相對容易，但要達(dá)到100%覆蓋常需要多得多的成本平均目標(biāo)65%理想目標(biāo)75%22使用代碼覆蓋度量的目地經(jīng)驗總結(jié)：大約的20%代碼囊括缺陷23代碼覆蓋度量種類代碼函數(shù)覆蓋數(shù)量代碼運行使用到的功能覆蓋數(shù)量代碼數(shù)據(jù)種類覆蓋數(shù)量代碼函數(shù)條件覆蓋數(shù)量代碼通路(path)覆蓋數(shù)量23代碼覆蓋度量種類代碼函數(shù)覆蓋數(shù)量24代碼覆蓋結(jié)果分析24代碼覆蓋結(jié)果分析25使用代碼覆蓋度量改進(jìn)測試代碼覆蓋度量只能揭示測試的漏洞，并不能直接改進(jìn)測試為什么有些代碼沒有執(zhí)行到？腳本運行時執(zhí)行到了代碼不意味著測試的深度和全面性先查功能代碼覆蓋率，再計劃寫自動化腳本的優(yōu)先順序撰寫測試用例已覆蓋所有要測試的功能行為，然后編寫自動化腳本加以驗證添加新自動化腳本覆蓋找到的漏洞25使用代碼覆蓋度量改進(jìn)測試代碼覆蓋度量只能揭示測試的漏洞，26使用代碼覆蓋度量結(jié)果分析沒有覆蓋代碼的可能原因和改進(jìn)措施：遺漏的功能行為：追加測試程序中有‘死角’代碼，沒有功能行為可以執(zhí)行該代碼：刪除？很難模擬的出錯條件：可否有其他方法？過時的功能規(guī)范？--更新功能規(guī)范26使用代碼覆蓋度量結(jié)果分析沒有覆蓋代碼的可能原因和改進(jìn)措施278.單一功能測試驗收質(zhì)量度量預(yù)先計劃的詳細(xì)測試：100%完成？自動化測試覆蓋率：≥65%？自動化測試運行結(jié)果：0%失敗率？發(fā)現(xiàn)缺陷的難易程度：4小時發(fā)現(xiàn)缺陷≤2缺陷嚴(yán)重度和數(shù)量變化趨勢：近期無高嚴(yán)重度缺陷功能穩(wěn)定程度：近期代碼無需改變、自動化運行一直保持100%通過278.單一功能測試驗收質(zhì)量度量預(yù)先計劃的詳細(xì)測試：100%28六使用軟件質(zhì)量度量的注意事項和建議應(yīng)當(dāng)加以分析后挑選適當(dāng)度量不應(yīng)作為唯一的測試質(zhì)量衡量標(biāo)準(zhǔn)考慮人為因素和不定性因素的影響同一產(chǎn)品不同功能也應(yīng)使用統(tǒng)一衡量標(biāo)準(zhǔn)分析度量結(jié)果以指導(dǎo)測試和開發(fā)過程研發(fā)適合自己產(chǎn)品使用的質(zhì)量度量28六使用軟件質(zhì)量度量的注意事項和建議應(yīng)當(dāng)加以分析后挑選適29問題解答？謝謝大家！歡迎交流！29問題解答？3030軟件產(chǎn)品質(zhì)量度量軟件產(chǎn)品質(zhì)量度量32主要議程為什么軟件質(zhì)量需要有度量？（必要性）使用軟件測試的質(zhì)量度量的挑戰(zhàn)評價軟件質(zhì)量的優(yōu)秀度量的特征制定軟件質(zhì)量度量時注意事項微軟軟件質(zhì)量測試常用度量使用軟件質(zhì)量度量的注意事項 問題解答2主要議程為什么軟件質(zhì)量需要有度量？（必要性）33一為什么軟件質(zhì)量需要有度量？有效產(chǎn)品質(zhì)量管理改進(jìn)用戶滿意度改進(jìn)產(chǎn)品質(zhì)量減少產(chǎn)品開發(fā)和售后服務(wù)支持費用沒有質(zhì)量度量，等于沒有質(zhì)量標(biāo)準(zhǔn)！3一為什么軟件質(zhì)量需要有度量？有效產(chǎn)品質(zhì)量管理34軟件測試的質(zhì)量需要有度量有效實行測試質(zhì)量分析和管理可及時檢查測試進(jìn)度和質(zhì)量幫助發(fā)現(xiàn)測試漏洞比較測試質(zhì)量變化趨勢，風(fēng)險分析幫助找出最佳實踐4軟件測試的質(zhì)量需要有度量有效實行測試質(zhì)量分析和管理35二使用軟件產(chǎn)品質(zhì)量度量的挑戰(zhàn)無公認(rèn)準(zhǔn)確和科學(xué)的度量產(chǎn)品性質(zhì)不同，很難有通用的度量最佳實踐實際上是經(jīng)驗積累總結(jié)涉及不定因素和人為因素片面理解和使用可以造成負(fù)面影響和效果5二使用軟件產(chǎn)品質(zhì)量度量的挑戰(zhàn)無公認(rèn)準(zhǔn)確和科學(xué)的度量36三評價軟件質(zhì)量的優(yōu)秀度量的特征

準(zhǔn)確性穩(wěn)定性可驗證性有針對性有說服力重復(fù)使用性可追蹤性簡單實用性6三評價軟件質(zhì)量的優(yōu)秀度量的特征準(zhǔn)確性37四制定軟件質(zhì)量度量時注意事項跟蹤度量的變化的一致性提供基礎(chǔ)數(shù)據(jù)以便杜絕濫用數(shù)據(jù)討論會或所有有關(guān)方面認(rèn)可體現(xiàn)產(chǎn)品質(zhì)量結(jié)果是否滿足質(zhì)量標(biāo)準(zhǔn)明確誰是使用者7四制定軟件質(zhì)量度量時注意事項跟蹤度量的變化的一致性38五微軟軟件質(zhì)量測試常用度量產(chǎn)品設(shè)計規(guī)范(Spec或設(shè)計文檔)質(zhì)量狀態(tài)缺陷（bug）數(shù)據(jù)有關(guān)度量測試案例度量測試規(guī)范度量測試過的系統(tǒng)數(shù)量自動化測試度量CodeCoverage（代碼覆蓋）單一功能測試驗收質(zhì)量度量8五微軟軟件質(zhì)量測試常用度量產(chǎn)品設(shè)計規(guī)范(Spec或設(shè)計文391.產(chǎn)品設(shè)計規(guī)范質(zhì)量狀態(tài)分類常用的五種狀態(tài)一頁(Onepage)–用于安排時間和分配人員草稿(Draft)–用于提出疑問和初步設(shè)想以供討論審閱(Review)–有所有的設(shè)計技術(shù)細(xì)節(jié)，可以供審閱提交審核會(Inspection)–所有的設(shè)計技術(shù)細(xì)節(jié)到位、沒有明顯遺留疑問、漏洞等開始編碼(Coding)–開發(fā)人員可以開始便寫代碼來實現(xiàn)該設(shè)計功能規(guī)范91.產(chǎn)品設(shè)計規(guī)范質(zhì)量狀態(tài)分類常用的五種狀態(tài)40產(chǎn)品設(shè)計規(guī)范質(zhì)量到位狀況五種狀態(tài)中各占的%是多少?按事先計劃日程完成的比例是多少？多少%開發(fā)人員至少有一個指派給他的功能可以進(jìn)行編碼？10產(chǎn)品設(shè)計規(guī)范質(zhì)量到位狀況五種狀態(tài)中各占的%是多少?412.缺陷統(tǒng)計數(shù)據(jù)的度量(I)所有缺陷數(shù)量的時間走勢或趨勢統(tǒng)計(BugTrendsByTime)未被處理的缺陷按照嚴(yán)重程度的統(tǒng)計(ActiveBugsBySeverity)

未被處理的缺陷按照優(yōu)先程度的統(tǒng)計(ActiveBugsByPriority)未被處理的缺陷數(shù)量的時間走勢或趨勢統(tǒng)計

（ActiveBugsOverTime）所有的缺陷按照嚴(yán)重程度的統(tǒng)計(AllBugsBySeverity)新被發(fā)現(xiàn)的缺陷按嚴(yán)重程度的統(tǒng)計(OpenedBugsBySeverity)

已處理的缺陷按照嚴(yán)重程度的統(tǒng)計(ResolvedBugsBySeverity)

被修復(fù)的缺陷按照嚴(yán)重程度的統(tǒng)計

(FixedBySeverity)112.缺陷統(tǒng)計數(shù)據(jù)的度量(I)所有缺陷數(shù)量的時間走勢或趨勢42時間缺陷數(shù)量所有的缺陷按照嚴(yán)重程度的統(tǒng)計(AllBugsBySeverity)12時間缺陷數(shù)量所有的缺陷按照嚴(yán)重程度的統(tǒng)計(AllBug432.缺陷統(tǒng)計數(shù)據(jù)的度量(II)已發(fā)現(xiàn)缺陷的數(shù)量和已修復(fù)的缺陷的數(shù)量的比率

(Fixed/Found)。也被稱為修改率或糾錯率(FixRate)

未處理的缺陷數(shù)量和已處理的的缺陷數(shù)量的比率

(active/resolved)已處理的被修復(fù)的缺陷數(shù)量和已處理的缺陷數(shù)量的比率（ResolvedasFixed/resolved）重新被激活的已修復(fù)的缺陷數(shù)量(Bugre-activationrate)通過測試找到的缺陷的統(tǒng)計(Bugsopenedbytestingactivity)132.缺陷統(tǒng)計數(shù)據(jù)的度量(II)已發(fā)現(xiàn)缺陷的數(shù)量和已修復(fù)的442.缺陷統(tǒng)計數(shù)據(jù)的度量(III)不同語言版本缺陷數(shù)量的統(tǒng)計(BugsopenedbyLanguageversion)被報告存在缺陷的各功能統(tǒng)計(Whereyourbugswerefound)處理缺陷的平均時間的統(tǒng)計(AverageTimetoResolve)關(guān)閉缺陷的平均時間的統(tǒng)計(AverageTimetoClose)被處理缺陷的不同結(jié)論統(tǒng)計(ResolvedBugsByResolution)142.缺陷統(tǒng)計數(shù)據(jù)的度量(III)不同語言版本缺陷數(shù)量的統(tǒng)45里程碑編程階段缺陷變化趨勢15里程碑編程階段缺陷變化趨勢463.測試案例度量運行測試案例數(shù)量和通過測試的案例數(shù)量之比不同產(chǎn)品開發(fā)階段該比率變化測試案例包括的范圍運行測試案例的頻率有測試案例的功能數(shù)量163.測試案例度量運行測試案例數(shù)量和通過測試的案例數(shù)量之比474.測試規(guī)范度量測試規(guī)范數(shù)量和所有功能數(shù)量之比滿足撰寫要求的測試規(guī)范數(shù)量和所有測試規(guī)范數(shù)量之比必要的內(nèi)容遺漏的比率測試規(guī)范:

微軟把針對怎樣測試某功能的，有細(xì)分功能后的具體測試條例等細(xì)節(jié)的測試文檔叫做測試規(guī)范（TestDesignSpecification或簡稱TDS）。174.測試規(guī)范度量測試規(guī)范數(shù)量和所有功能數(shù)量之比測試規(guī)范:485.測試過的系統(tǒng)數(shù)量所支持的不同語言系統(tǒng)的總數(shù)與測試過的語言系統(tǒng)數(shù)量所支持系統(tǒng)的總數(shù)與測試過的系統(tǒng)數(shù)量Windows2000(SPx)WindowsXP(SPx)Windows2003Server(SPx)TabletPC新的系統(tǒng)平臺185.測試過的系統(tǒng)數(shù)量所支持的不同語言系統(tǒng)的總數(shù)與測試過的496.自動化測試度量測試的可自動化程度能自動化的和實現(xiàn)自動化的比率運行通過的自動化腳本比率不同產(chǎn)品開發(fā)階段該比率變化196.自動化測試度量測試的可自動化程度507.CodeCoverage（代碼覆蓋）代碼覆蓋度量定義和目的代碼覆蓋種類代碼覆蓋的有效使用開發(fā)人員：單元測試(unittesting)測試人員：系統(tǒng)測試(systemtesting)和自動化測試207.CodeCoverage（代碼覆蓋）代碼覆蓋度量定51代碼覆蓋是什么？動態(tài)白盒測試評價技術(shù)已經(jīng)執(zhí)行（測試）了什么（whathasbeenexecuted）沒有執(zhí)行的（測試）有什么whathasnotbeenexecutedandstillremainstobetested.需要有源代碼內(nèi)部輔助工具21代碼覆蓋是什么？動態(tài)白盒測試評價技術(shù)52使用代碼覆蓋度量的目地經(jīng)驗總結(jié)：大約的20%代碼囊括缺陷總數(shù)的80%目的不是要達(dá)到某個神奇的數(shù)字，而是要發(fā)現(xiàn)測試中的漏洞達(dá)到比較廣泛的覆蓋率相對容易，但要達(dá)到100%覆蓋常需要多得多的成本平均目標(biāo)65%理想目標(biāo)75%22使用代碼覆蓋度量的目地經(jīng)驗總結(jié)：大約的20%代碼囊括缺陷53代碼覆蓋度量種類