軟件測試綜述

1、軟件軟件測試測試技術(shù)技術(shù)Te s t i n g AND Developing軟件測試技術(shù)廣東嶺南職業(yè)技術(shù)學(xué)院軟件技術(shù)教研室李文彪機(jī)遇和挑戰(zhàn)并存機(jī)遇和挑戰(zhàn)并存Test Engineer目前國內(nèi)軟件業(yè)的弱點(diǎn)正是發(fā)展的前沿目前國內(nèi)軟件業(yè)的弱點(diǎn)正是發(fā)展的前沿QA/SupervisorProject/Quality ManagerSenior Engineer21世紀(jì)什么最貴世紀(jì)什么最貴軟件測試工程師軟件測試工程師 軟件測試工程師，目前IT行業(yè)極端短缺的金貴人才，未來5年IT行業(yè)最炙手可熱的高薪職位。中國軟件業(yè)每年新增約20萬測試崗位就業(yè)機(jī)會，而企業(yè)、學(xué)校培養(yǎng)出的測試人才卻不足需求量的1/10，這種測

2、試人才需求與供給間的差距仍在拉大。l 軟件測試軟件測試產(chǎn)品質(zhì)量的保證產(chǎn)品質(zhì)量的保證l 軟件測試軟件測試控制成本的關(guān)鍵控制成本的關(guān)鍵l 軟件測試軟件測試軟件可靠性確認(rèn)軟件可靠性確認(rèn)l 軟件測試軟件測試讓企業(yè)具備國際競爭的實(shí)力讓企業(yè)具備國際競爭的實(shí)力軟件測試綜述 正確理解軟件測試的背景、軟件缺陷和故障的概念 正確理解軟件測試的意義 正確理解軟件質(zhì)量的概念及質(zhì)量保證體系 了解軟件測試職業(yè)與素質(zhì)的要求 1.1 軟件測試背景1.1.1 軟件可靠性問題 因軟件設(shè)計(jì)故障與因計(jì)算機(jī)硬件設(shè)計(jì)故障而引發(fā)的系統(tǒng) 失效的比例大約是：10:1 運(yùn)行軟件的駐留故障密度（每千行代碼的故障數(shù)目）： 要求很高的關(guān)鍵財(cái)務(wù)或財(cái)產(chǎn)軟

3、件為：每千行代碼 110個故障 關(guān)鍵的生命軟件為：每千行代碼0.011個故障 IEEE將軟件可靠性定義為：系統(tǒng)在特定環(huán)境下，在給定系統(tǒng)在特定環(huán)境下，在給定的時間內(nèi)無故障運(yùn)行的概率。的時間內(nèi)無故障運(yùn)行的概率。 軟件可靠性是對軟件在設(shè)計(jì)、開發(fā)以及所預(yù)定的環(huán)境下具有能力的置信度的一個度量，是衡量軟件質(zhì)量的主要參數(shù)之一。而軟件測試則是保證軟件質(zhì)量、提高軟件可靠性的最重要手段。 1.1.2軟件測試的必要性 迪斯尼并不總是帶來笑聲 一個缺陷造成了數(shù)億美元損失 火星探測飛船墜毀 更多的悲劇迪斯尼并不總是帶來笑聲迪斯尼并不總是帶來笑聲 1994年圣誕節(jié)前夕，迪斯尼公司發(fā)布了第一個面向兒童的多媒體光盤游戲“獅子

4、王童話” 圣誕節(jié)后的第一天，迪斯尼客戶支持部電話開始響個不停，不斷有人咨詢、抱怨為什么游戲總是安裝不成功，或沒法正常使用 這個游戲軟件只能在少數(shù)系統(tǒng)中正常運(yùn)行一個缺陷造成了數(shù)億美元損失一個缺陷造成了數(shù)億美元損失（41958353145727）3145727- 4195835 = ?最后最后 Intel公司付出很大代價，回收公司付出很大代價，回收CPU，造成，造成4億美元損失億美元損失火星探測飛船墜毀火星探測飛船墜毀 機(jī)械震動在大多數(shù)情況下也會觸發(fā)著地開關(guān)，設(shè)置錯誤的數(shù)據(jù)位。設(shè)想飛船開始著陸時，計(jì)算機(jī)極有可能關(guān)閉推進(jìn)器，而火星登陸飛船下墜1800米之后沒有反推進(jìn)器的幫助，沖向地面，必然會撞成碎片

5、 兩個小組本身的工作都沒什么問題，就是沒有合在一起測試，其接口沒有被測，而問題就在這里更多的悲劇更多的悲劇 放射性治療儀Therac-25中的軟件存在缺陷，導(dǎo)致幾個癌癥病人受到非常嚴(yán)重的過量放射性治療，其中4個人因此死亡 當(dāng)愛國者導(dǎo)彈防御系統(tǒng)的時鐘累計(jì)運(yùn)行超過14小時后，系統(tǒng)的跟蹤系統(tǒng)就不準(zhǔn)確。從而導(dǎo)致攔截伊拉克飛毛腿導(dǎo)彈的幾次失敗，其中一枚在沙特阿拉伯的多哈爆炸的飛毛腿導(dǎo)彈造成28名美國士兵死亡WORD中的幾個小BUG體驗(yàn) 1，輸入此致，回車看看 2，輸入=rand(9,200) 看看結(jié)果 3，“胡”字中有字12/351.1.3 軟件缺陷與故障 上述所有實(shí)例中的軟件問題在軟件上述所有實(shí)例中的

6、軟件問題在軟件工程或軟件測試中都被稱為工程或軟件測試中都被稱為軟件缺軟件缺陷或軟件故障陷或軟件故障。 缺陷是質(zhì)量的對立面缺陷是質(zhì)量的對立面要了解什么是缺陷(defect)，就必須清楚“質(zhì)量(Quality)”概念，因?yàn)槿毕菔窍鄬|(zhì)量而存在的，違背了質(zhì)量、違背了客戶的意愿，不能滿足客戶的要求，就會引起缺陷或產(chǎn)生缺陷 2、軟件缺陷的定義 （1）軟件未達(dá)到產(chǎn)品說明書中已經(jīng)標(biāo)明的功能； （2）軟件出現(xiàn)了產(chǎn)品說明書中指明不會出現(xiàn)的錯誤； （3）軟件未達(dá)到產(chǎn)品說明書中雖未指出但應(yīng)當(dāng)達(dá)到的目標(biāo)； （4）軟件功能超出了產(chǎn)品說明書中指明的范圍； （5）軟件測試人員認(rèn)為軟件難以理解、不易使用， 或者最終用戶認(rèn)為該

7、軟件使用效果不良。計(jì)算器的例子 按下+號，沒有任何反應(yīng)或出現(xiàn)錯誤答案 按任何鍵 都沒有反應(yīng) 多出了求平方根的功能 電池沒電導(dǎo)致計(jì)算錯誤 測試人員或最終用戶認(rèn)為不好用缺點(diǎn)（defect） 偏差 （variance）謬誤（fault） 失敗 （failure）問題（problem） 矛盾（inconsistency）錯誤（error ） 毛病 （incident ）異常（anomy）缺陷缺陷 Defect, Bug3、軟件缺陷的特征 “看不到” 軟件的特殊性決定了缺陷不易看到 “看到但是抓不到” 發(fā)現(xiàn)了缺陷，但不易找到問題發(fā)生的原因所在 技術(shù)問題技術(shù)問題算法錯誤，語法錯誤，計(jì)算和精度問題，接口參數(shù)

8、傳遞不匹配 團(tuán)隊(duì)工作團(tuán)隊(duì)工作誤解、溝通不充分 軟件本身軟件本身文檔錯誤、用戶使用場合(user scenario)，時間上不協(xié)調(diào)、或不一致性所帶來的問題系統(tǒng)的自我恢復(fù)或數(shù)據(jù)的異地備份、災(zāi)難性恢復(fù)等問題1.1.4 軟件缺陷產(chǎn)生的原因 圖1-1 軟件缺陷產(chǎn)生的原因分布其他其他6%軟件產(chǎn)品說明軟件產(chǎn)品說明書（需求）書（需求）54%編寫代碼編寫代碼15%設(shè)計(jì)設(shè)計(jì)25%1.1.5為什么要進(jìn)行軟件測試?n軟件總存在缺陷。只有通過測試，才可以發(fā)現(xiàn)軟件缺陷。也只有發(fā)現(xiàn)了缺陷，才可以將軟件缺陷從軟件產(chǎn)品或軟件系統(tǒng)中清理出去。n軟件中存在的缺陷給我們帶來的損失是巨大的，這也說明了軟件測試的必要性和重要性n測試是所

9、有工程學(xué)科的基本組成單元，自然也是軟件開發(fā)的重要組成部分。 n測試人員水平越高，找到軟件問題的時間就越早，軟件就越容易更正，產(chǎn)品發(fā)布之后越穩(wěn)定，公司賺的錢也越多，微軟就是一個典型的例子1.2 軟件測試基礎(chǔ)理論1.2.1 什么是軟件測試？什么是軟件測試？軟件測試的發(fā)展軟件測試的發(fā)展軟件調(diào)試獨(dú)立的軟件測試首次被定義成為專門學(xué)科與軟件開發(fā)融合 測試：測試：所謂測試的含義，首先是一項(xiàng)活動，在這項(xiàng)活動中某個系統(tǒng)或組成的部分將在特定的條件下運(yùn)行，結(jié)果將被觀察和記錄，并對系統(tǒng)或組成部分進(jìn)行評價。測試活動有兩種結(jié)果：找出缺陷和故障，或顯示軟件執(zhí)行正確。測試是一個或多個測試用例的集合。 測試用例：測試用例：所謂

10、測試用例是為特定的目的而設(shè)計(jì)的一組測試輸入、執(zhí)行條件和預(yù)期的結(jié)果；測試用例是執(zhí)行測試的最小實(shí)體。 測試步驟：測試步驟：測試步驟詳細(xì)規(guī)定了如何設(shè)置、執(zhí)行、評估特定的測試用例。幾個主要的關(guān)鍵詞n軟件測試涉及的關(guān)鍵問題包括五個方面： （1）測試由誰來執(zhí)行。 （2）測試什么。 （3）什么時候進(jìn)行測試。 （4）怎樣進(jìn)行測試。 （5）測到什么程度。1.2.2 軟件測試的基本理論軟件測試的目的（1）測試是程序的執(zhí)行過程，目的在于發(fā)現(xiàn)錯誤；不能證明程序的正確性，除非僅處理有限種情況。（2）檢查系統(tǒng)是否滿足需求也是測試的期望目標(biāo)。（3）一個好的測試用例在于發(fā)現(xiàn)了還未曾發(fā)現(xiàn)的錯誤；一次成功的測試則是發(fā)現(xiàn)了錯誤的測

11、試。 注意：測試無法說明錯誤不存在，只能說明軟件注意：測試無法說明錯誤不存在，只能說明軟件錯誤已出現(xiàn)。錯誤已出現(xiàn)。（1）盡早地和及時地測試；（2）測試用例應(yīng)當(dāng)由測試數(shù)據(jù)和與之對應(yīng)的預(yù)期結(jié)果這兩部分組成；（3）在程序提交測試后，應(yīng)當(dāng)由專門的測試人員進(jìn)行測試；（4）測試用例應(yīng)包括合理的輸入條件和不合理的輸入條件；（5）嚴(yán)格執(zhí)行測試計(jì)劃，排除測試的隨意性；（6）充分注意測試當(dāng)中的群體現(xiàn)象、殺蟲劑現(xiàn)象；（7）應(yīng)對每一個測試結(jié)果做全面的檢查；（8）保存測試計(jì)劃、測試用例、出錯統(tǒng)計(jì)和最終分析報(bào)告，為維護(hù)工作提供充分的資料。2、軟件測試的原則方法方法目標(biāo)目標(biāo)/特性特性單元測試單元測試系統(tǒng)測試系統(tǒng)測試驗(yàn)收測試

12、驗(yàn)收測試性能測試性能測試強(qiáng)壯性測試強(qiáng)壯性測試功能測試功能測試白盒測試白盒測試黑盒測試黑盒測試測試階段或?qū)哟螠y試階段或?qū)哟芜m用性測試適用性測試可靠性測試可靠性測試集成測試集成測試安全性測試安全性測試軟件測試的分類不同的分類不同的分類按測試的對象或范圍分類，如單元測試、文檔測試、系統(tǒng)測試等）按測試目的分類，如功能測試、回歸測試、性能測試、可靠性測試、安全性測試和兼容性測試等根據(jù)測試過程中被測軟件是否被執(zhí)行，分為靜態(tài)測試和動態(tài)測試根據(jù)是否針對系統(tǒng)的內(nèi)部結(jié)構(gòu)和具體實(shí)現(xiàn)算法來完成測試，可分為白盒測試和黑盒測試軟件測試的停止的標(biāo)準(zhǔn)6、測試停止的依據(jù)（標(biāo)準(zhǔn)）n第一類標(biāo)準(zhǔn)：測試超過了預(yù)定時間，則停止測試。n第

13、二類標(biāo)準(zhǔn)：執(zhí)行了所有的測試用例，但并沒有發(fā)現(xiàn)故障，則停止測試。 n第三類標(biāo)準(zhǔn)：使用特定的測試用例設(shè)計(jì)方案作為判斷測試停止的基礎(chǔ)。 n第四類標(biāo)準(zhǔn)：正面指出停止測試的具體要求，即停止測試的標(biāo)準(zhǔn)可定義為查出某一預(yù)訂數(shù)目的故障。 n第五類標(biāo)準(zhǔn)：根據(jù)單位時間內(nèi)查出故障的數(shù)量決定是否停止測試。 1.2.3 軟件測試和缺陷修復(fù)的代價 軟件在從需求、設(shè)計(jì)、編碼、測試一直到交付用戶公開使用后的過程中，都有可能產(chǎn)生和發(fā)現(xiàn)缺陷。隨著整個開發(fā)過程的時間推移，更正缺陷或修復(fù)問題的費(fèi)用呈幾何級數(shù)增長。 軟件缺陷在不同階段的分布軟件缺陷在不同階段的分布 在真正的程序測試之前，通過審查、評審會可以發(fā)現(xiàn)更多的缺陷。規(guī)格說明書的

14、缺陷會在需求分析審查、設(shè)計(jì)、編碼、測試等過程中會逐步發(fā)現(xiàn)，而不能在需求分析一個階段發(fā)現(xiàn) 缺陷修復(fù)成本缺陷修復(fù)成本1.1 1.1 軟件質(zhì)量的定義及其特性軟件質(zhì)量的定義及其特性 什么是軟件質(zhì)量 ANSI/IEEE Std 7291983 是這樣定義的：“軟件質(zhì)量是與軟件產(chǎn)品滿足規(guī)定的和隱含的需求的能力有關(guān)的特征或特性的全體?！?軟件工程學(xué)者M(jìn).J.Fisher 是這樣定義的： “軟件質(zhì)量是描述計(jì)算機(jī)軟件優(yōu)秀程度的特性的組合”。 軟件質(zhì)量特性 （1 1）正確性（功能性）：指軟件所實(shí)現(xiàn)的功能滿足用戶要求的程度，這是軟件產(chǎn)品的首選）正確性（功能性）：指軟件所實(shí)現(xiàn)的功能滿足用戶要求的程度，這是軟件產(chǎn)品的首

15、選質(zhì)量特性。質(zhì)量特性。 衡量標(biāo)準(zhǔn)是：包括易追溯性、一致性、完備性。衡量標(biāo)準(zhǔn)是：包括易追溯性、一致性、完備性。 （2 2）易用性：易用性是指用戶掌握軟件操作所要付出的時間及努力程度。）易用性：易用性是指用戶掌握軟件操作所要付出的時間及努力程度。 衡量標(biāo)準(zhǔn)是：易操作性、培訓(xùn)、易交流性、輸入和輸出量、輸入輸出速度衡量標(biāo)準(zhǔn)是：易操作性、培訓(xùn)、易交流性、輸入和輸出量、輸入輸出速度 （3 3）完整性：保護(hù)軟件不被未經(jīng)同意的存儲和使用的能力。）完整性：保護(hù)軟件不被未經(jīng)同意的存儲和使用的能力。 衡量標(biāo)準(zhǔn)是：包括存儲控制、存儲審查。衡量標(biāo)準(zhǔn)是：包括存儲控制、存儲審查。 （4 4）效率：效率是指軟件執(zhí)行某項(xiàng)功能所

16、需電腦資源（含時間）的有效程度。）效率：效率是指軟件執(zhí)行某項(xiàng)功能所需電腦資源（含時間）的有效程度。 衡量標(biāo)準(zhǔn)是：包括運(yùn)行效率、存儲效率。衡量標(biāo)準(zhǔn)是：包括運(yùn)行效率、存儲效率。 （5 5）可靠性：在給定的時間內(nèi)，特定環(huán)境下軟件正確運(yùn)行的概率?；蛘哒f，是指在規(guī)定的時）可靠性：在給定的時間內(nèi)，特定環(huán)境下軟件正確運(yùn)行的概率?；蛘哒f，是指在規(guī)定的時間和條件下，仍能維持其性能水準(zhǔn)的程度。間和條件下，仍能維持其性能水準(zhǔn)的程度。 衡量標(biāo)準(zhǔn)是：容錯性、一致性、準(zhǔn)確性、簡潔性。衡量標(biāo)準(zhǔn)是：容錯性、一致性、準(zhǔn)確性、簡潔性。 （6 6）易維護(hù)性：指當(dāng)環(huán)境改變或軟件發(fā)生錯誤時，執(zhí)行修改或恢復(fù)所做努力的程度。）易維護(hù)性：指

17、當(dāng)環(huán)境改變或軟件發(fā)生錯誤時，執(zhí)行修改或恢復(fù)所做努力的程度。 衡量標(biāo)準(zhǔn)是：一致性、簡潔性、簡明性、模塊性、自我描述性。衡量標(biāo)準(zhǔn)是：一致性、簡潔性、簡明性、模塊性、自我描述性。（7 7）靈活性：當(dāng)軟件操作環(huán)境變化時，對軟件作相應(yīng)修改的難易程度。）靈活性：當(dāng)軟件操作環(huán)境變化時，對軟件作相應(yīng)修改的難易程度。 衡量標(biāo)準(zhǔn)是：模塊性、一般性、易擴(kuò)展性、自我描述性。衡量標(biāo)準(zhǔn)是：模塊性、一般性、易擴(kuò)展性、自我描述性。（8 8）易測試性：對軟件測試以保證其無錯誤和滿足其規(guī)約的難易程度。）易測試性：對軟件測試以保證其無錯誤和滿足其規(guī)約的難易程度。 衡量標(biāo)準(zhǔn)是：簡潔性、模塊性、檢視、自我描述性。衡量標(biāo)準(zhǔn)是：簡潔性、模

18、塊性、檢視、自我描述性。（9 9）易移植性：可移植性的定義：是指將一個程序從一個電腦系統(tǒng)或環(huán)境）易移植性：可移植性的定義：是指將一個程序從一個電腦系統(tǒng)或環(huán)境移到另一電腦系統(tǒng)或環(huán)境的容易程度移到另一電腦系統(tǒng)或環(huán)境的容易程度 。 度量標(biāo)準(zhǔn)：度量標(biāo)準(zhǔn)： （1 1）目標(biāo)環(huán)境的個數(shù)。（）目標(biāo)環(huán)境的個數(shù)。（2 2）與環(huán)境相關(guān)的模塊數(shù)。）與環(huán)境相關(guān)的模塊數(shù)。（3 3）移植到目標(biāo)環(huán)境的工作量。（）移植到目標(biāo)環(huán)境的工作量。（4 4）移植目標(biāo)環(huán)境的成本。）移植目標(biāo)環(huán)境的成本。（1010）易復(fù)用性：復(fù)用一個軟件或其部分的難易程度。）易復(fù)用性：復(fù)用一個軟件或其部分的難易程度。 衡量標(biāo)準(zhǔn)是：通用性、模塊性、自我描述性、

19、硬件獨(dú)立性、軟件獨(dú)衡量標(biāo)準(zhǔn)是：通用性、模塊性、自我描述性、硬件獨(dú)立性、軟件獨(dú)立性。立性。（1111）互用性：將一個軟件系統(tǒng)和其它軟件系統(tǒng)組合在一起的難易程度。）互用性：將一個軟件系統(tǒng)和其它軟件系統(tǒng)組合在一起的難易程度。 衡量標(biāo)準(zhǔn)是：模塊性、通訊共同性、數(shù)據(jù)共同性。衡量標(biāo)準(zhǔn)是：模塊性、通訊共同性、數(shù)據(jù)共同性。高質(zhì)量軟件具備的條件 滿足軟件需求定義的功能和性能； 文檔符合事先確定的軟件開發(fā)標(biāo)準(zhǔn)； 軟件的特點(diǎn)和屬性遵守軟件工程的目標(biāo)和原則。軟件能力成熟度模型（了解知識） 軟件能力成熟度模型(CMM, Capability Maturity Model)： 是軟件行業(yè)標(biāo)準(zhǔn)模型，用來定義和評價軟件企業(yè)開

20、發(fā)過程的成熟度，提供如何做才能夠提高軟件質(zhì)量的指導(dǎo)。 CMM的基本原理： CMM將軟件組織的過程能力成熟度分為5個級別，每一個級別定義一組過程能力目標(biāo)，并描述要達(dá)到這些目標(biāo)應(yīng)該采取的各種實(shí)踐活動。 CMM的主要作用： 提供了一個軟件過程改進(jìn)的框架。根據(jù)CMM模型，軟件開發(fā)者（機(jī)構(gòu)或組織）能夠大幅度的提高按計(jì)劃、高效率、低成本的提交有質(zhì)量保證的軟件產(chǎn)品的能力。軟件能力成熟度模型（續(xù)）1、CMM的基本過程概念 過程：為達(dá)到目的而執(zhí)行的所有步驟的系列。 軟件過程：開發(fā)和維護(hù)軟件及其相關(guān)產(chǎn)品的一組活動、方法、實(shí)踐和改革。 軟件過程結(jié)構(gòu)：對組織標(biāo)準(zhǔn)軟件過程的一種高級別描述，它描述組織標(biāo)準(zhǔn)軟件過程內(nèi)部的過

21、程元素之間的順序、接口、內(nèi)部依賴等關(guān)系，以及與外部過程之間的接口和依賴關(guān)系。 軟件過程元素：用于描述軟件過程的基本元素，每一個過程元素包含一組定義的、有限的、封閉的相關(guān)任務(wù)。 軟件過程定義：CMM中過程定義的基本概念是定義組織的標(biāo)準(zhǔn)軟件過程。軟件能力成熟度模型（續(xù)） 2、CMM的5個分級標(biāo)準(zhǔn) 優(yōu)化級（5） 已管理級（4） 已定義級（3） 可重復(fù)級（2） 初始級（1） 標(biāo)準(zhǔn)一致 的過程 不斷改 進(jìn)過程 可預(yù)測 的過程 有紀(jì)律 的過程圖1-14 軟件過程成熟度的5個等級軟件能力成熟度模型（續(xù)）CMM的分級結(jié)構(gòu)和其主要特征： 初始級：其特點(diǎn)是軟件過程無秩序，有時甚至是混亂的。 可重復(fù)級：已建立了基本的項(xiàng)目管理過程，可用于對