軟件測(cè)試的背景

第四章檢查產(chǎn)品說(shuō)明書（靜態(tài)的黑盒測(cè)試）主講人：廖雪花《軟件質(zhì)量保證與測(cè)試》大綱4.1開(kāi)始測(cè)試4.2對(duì)產(chǎn)品說(shuō)明書進(jìn)行高級(jí)審查4.3產(chǎn)品說(shuō)明書的低層次測(cè)試技術(shù)本章重點(diǎn)什么是黑盒測(cè)試和白盒測(cè)試靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試有何區(qū)別審查產(chǎn)品說(shuō)明書有哪些高級(jí)技術(shù)在詳細(xì)審查產(chǎn)品說(shuō)明書時(shí)應(yīng)注意哪些特殊的問(wèn)題4.1開(kāi)始測(cè)試測(cè)試應(yīng)該貫穿軟件開(kāi)發(fā)的全過(guò)程，從產(chǎn)品說(shuō)明書開(kāi)始，我們就應(yīng)該開(kāi)始工作了?；仡櫳弦恢v“軟件開(kāi)發(fā)過(guò)程”中所介紹的4種“軟件開(kāi)發(fā)模式”：大爆炸、邊寫邊改、瀑布和螺旋模式。除大爆炸模式外，在其它每一種中，開(kāi)發(fā)小組都應(yīng)該根據(jù)需求文檔，編寫一個(gè)產(chǎn)品規(guī)格說(shuō)明，用以定義該軟件將是什么樣的。產(chǎn)品說(shuō)明書是軟件開(kāi)發(fā)小組的一個(gè)協(xié)定。它對(duì)開(kāi)發(fā)的產(chǎn)品進(jìn)行定義，給出產(chǎn)品的細(xì)節(jié)、如何做、做什么、不能做什么。編制產(chǎn)品說(shuō)明書的必要性：保證最終產(chǎn)品與預(yù)期的一致作為測(cè)試的重要依據(jù)可以提前發(fā)現(xiàn)錯(cuò)誤產(chǎn)品說(shuō)明書產(chǎn)品說(shuō)明書通常是利用文字和圖形描述產(chǎn)品的書面文檔。說(shuō)明書中對(duì)軟件功能不但要描述其實(shí)現(xiàn)的操作，還應(yīng)對(duì)其實(shí)現(xiàn)的方式、與其它功能的關(guān)系等進(jìn)行盡可能詳細(xì)的說(shuō)明。產(chǎn)品說(shuō)明書的樣例可看參考書的1、2章。例如Windows計(jì)算器程序的產(chǎn)品規(guī)格說(shuō)明中對(duì)“復(fù)制與粘貼”功能摘錄如下：計(jì)算器的功能說(shuō)明編輯菜單有兩個(gè)選項(xiàng)：復(fù)制和粘貼。復(fù)制功能是將數(shù)字輸入框中顯示的內(nèi)容復(fù)制到Windows的剪貼板中。粘貼功能是將剪貼板中存儲(chǔ)的數(shù)值粘貼到數(shù)字輸入框中。選擇的方式有三種:使用鼠標(biāo)指向并單擊菜單項(xiàng),利用熱鍵(Alt+E，然后Copy按C，粘貼按P),或利用Windows快捷鍵Ctrl+CforCopyandCtrl+VforPaste.編寫產(chǎn)品說(shuō)明書的好處確保最終產(chǎn)品符合客戶要求以及正確計(jì)劃測(cè)試投入的唯一方法是在產(chǎn)品說(shuō)明書中完整描述產(chǎn)品。編寫產(chǎn)品說(shuō)明書的另一個(gè)好處是軟件測(cè)試員可以將其作為測(cè)試項(xiàng)目的書面材料，據(jù)此可以在編寫代碼之前找出軟件缺陷。（1）軟件測(cè)試的分類：按照不同的分類方法，軟件測(cè)試可分為以下幾種類型。按照開(kāi)發(fā)階段劃分按照開(kāi)發(fā)階段劃分，軟件測(cè)試可分為單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試和驗(yàn)收測(cè)試。按照測(cè)試實(shí)施組織劃分按照測(cè)試實(shí)施組織劃分，軟件測(cè)試可分為開(kāi)發(fā)方測(cè)試、用戶測(cè)試（β測(cè)試）和第三方測(cè)試。按照測(cè)試技術(shù)劃分按照測(cè)試技術(shù)劃分，軟件測(cè)試可分為白盒測(cè)試和黑盒測(cè)試，也可分為靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試。（2）黑盒測(cè)試和白盒測(cè)試用于描述測(cè)試方式的兩個(gè)常用術(shù)語(yǔ)是黑盒測(cè)試（Black-Box）和白盒測(cè)試（White-Box）。下圖說(shuō)明它們的差別：黑盒測(cè)試—功能性測(cè)試或行為測(cè)試黑盒測(cè)試是最常用的測(cè)試策略數(shù)據(jù)驅(qū)動(dòng)的測(cè)試輸入/輸出驅(qū)動(dòng)的測(cè)試功能性測(cè)試/行為測(cè)試黑盒測(cè)試的特點(diǎn)將被測(cè)試的程序看作一個(gè)黑盒子，測(cè)試目標(biāo)與程序的內(nèi)部機(jī)制和結(jié)構(gòu)完全無(wú)關(guān)，而是將重點(diǎn)集中在發(fā)現(xiàn)程序不按其規(guī)范正確運(yùn)行的環(huán)境條件。測(cè)試數(shù)據(jù)完全來(lái)源于軟件規(guī)范，不需要了解程序的內(nèi)部結(jié)構(gòu)。白盒測(cè)試—結(jié)構(gòu)性測(cè)試白盒測(cè)試邏輯驅(qū)動(dòng)的測(cè)試結(jié)構(gòu)性測(cè)試白盒測(cè)試的特點(diǎn)白盒測(cè)試允許我們檢查程序的內(nèi)部結(jié)構(gòu)，并從邏輯結(jié)構(gòu)中獲取測(cè)試數(shù)據(jù)。使用測(cè)試用例執(zhí)行程序中所有可能的控制流路徑。注意：進(jìn)行白盒測(cè)試要冒一些風(fēng)險(xiǎn)，因?yàn)橐m應(yīng)代碼操作來(lái)定制測(cè)試，所以很容易形成偏見(jiàn)而無(wú)法進(jìn)行客觀測(cè)試。黑盒測(cè)試與白盒測(cè)試的比較完全黑盒測(cè)試通常比完全白盒測(cè)試代價(jià)要高很多（滿足所有可能執(zhí)行路徑的測(cè)試用例只是白盒測(cè)試的測(cè)試用例的子集）。白盒測(cè)試可能不會(huì)暴露數(shù)據(jù)敏感錯(cuò)誤，在該意義上講不如黑盒測(cè)試。黑盒測(cè)試在發(fā)現(xiàn)算法錯(cuò)誤、定位錯(cuò)誤方面不如白盒測(cè)試。白盒測(cè)試與黑盒測(cè)試都不能保證能發(fā)現(xiàn)軟件中的全部錯(cuò)誤。（3）動(dòng)態(tài)測(cè)試和靜態(tài)測(cè)試描述軟件是如何被測(cè)試的另外兩個(gè)術(shù)語(yǔ)是靜態(tài)測(cè)試（StaticTesting）和動(dòng)態(tài)測(cè)試（DynamicTesting）靜態(tài)測(cè)試：測(cè)試產(chǎn)品不運(yùn)行的部分—只是檢查與審核靜態(tài)黑盒測(cè)試：測(cè)試產(chǎn)品規(guī)格說(shuō)明動(dòng)態(tài)測(cè)試：通過(guò)運(yùn)行軟件進(jìn)行測(cè)試動(dòng)態(tài)白盒測(cè)試：查看代碼結(jié)構(gòu)及其實(shí)現(xiàn)方式，從而設(shè)計(jì)有針對(duì)性的測(cè)試用例并執(zhí)行測(cè)試（3）動(dòng)態(tài)測(cè)試和靜態(tài)測(cè)試靜態(tài)黑盒測(cè)試：測(cè)試產(chǎn)品規(guī)格說(shuō)明無(wú)論產(chǎn)品說(shuō)明書的格式如何，都可以利用靜態(tài)黑盒技術(shù)測(cè)試。產(chǎn)品說(shuō)明書是書面文字文檔或圖形文檔，或者兩者兼而有之。通過(guò)詢問(wèn)軟件的設(shè)計(jì)者和編制者甚至可以測(cè)試沒(méi)有寫出來(lái)的產(chǎn)品說(shuō)明書。（3）靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試靜態(tài)測(cè)試（人工測(cè)試）不運(yùn)行程序進(jìn)行測(cè)試，即檢查和審閱靜態(tài)黑盒測(cè)試——檢查產(chǎn)品說(shuō)明書靜態(tài)白盒測(cè)試——檢查代碼，在不執(zhí)行的條件下有條理地仔細(xì)審查軟件設(shè)計(jì)、體系結(jié)構(gòu)和代碼，從而找出軟件缺陷的過(guò)程，有時(shí)稱為結(jié)構(gòu)分析。動(dòng)態(tài)測(cè)試（基于計(jì)算機(jī)的測(cè)試）運(yùn)行和使用軟件以發(fā)現(xiàn)錯(cuò)誤，即通常意義上的測(cè)試（4）人工測(cè)試的好處人工測(cè)試方法的正規(guī)性、精確性不如基于計(jì)算機(jī)測(cè)試，但并不妨礙測(cè)試取得成功，相反可以提高測(cè)試的功效和可靠性錯(cuò)誤發(fā)現(xiàn)得越早，改正錯(cuò)誤成本越低，正確改正錯(cuò)誤可能性越大程序員在開(kāi)始基于計(jì)算機(jī)的測(cè)試時(shí)要經(jīng)歷一個(gè)心理上的轉(zhuǎn)變，改正早期發(fā)現(xiàn)的錯(cuò)誤比改正后期計(jì)算機(jī)執(zhí)行發(fā)現(xiàn)的錯(cuò)誤時(shí)失誤更少更容易定位以及發(fā)現(xiàn)由該錯(cuò)誤引發(fā)的其他缺陷（如連鎖錯(cuò)誤或類似錯(cuò)誤）降低調(diào)試成本通常會(huì)有效地查找出30％－70％的邏輯設(shè)計(jì)和編碼錯(cuò)誤18測(cè)試技術(shù)不實(shí)際運(yùn)行程序，而是通過(guò)檢查和閱讀等手段來(lái)發(fā)現(xiàn)錯(cuò)誤并評(píng)估代碼質(zhì)量的軟件測(cè)試技術(shù)。也稱為靜態(tài)分析技術(shù)。實(shí)際運(yùn)行程序，并通過(guò)觀察程序運(yùn)行的實(shí)際結(jié)果來(lái)發(fā)現(xiàn)錯(cuò)誤的軟件測(cè)試技術(shù)。在不知道程序內(nèi)部結(jié)構(gòu)，只知道程序規(guī)格的情況下采用的測(cè)試技術(shù)或策略。在知道程序內(nèi)部結(jié)構(gòu)的情況下采用的測(cè)試技術(shù)或策略。開(kāi)發(fā)組內(nèi)部進(jìn)行的，采用講解、討論和模擬運(yùn)行的方式進(jìn)行的查找錯(cuò)誤的活動(dòng)。開(kāi)發(fā)組內(nèi)部進(jìn)行的，采用講解、提問(wèn)并使用Checklist方式進(jìn)行的查找錯(cuò)誤的活動(dòng)。一般有正式的計(jì)劃、流程和結(jié)果報(bào)告。開(kāi)發(fā)組、測(cè)試組和相關(guān)人員(QA、產(chǎn)品經(jīng)理等)聯(lián)合進(jìn)行的，采用講解、提問(wèn)并使用Checklist方式進(jìn)行的查找錯(cuò)誤的活動(dòng)。一般有正式的計(jì)劃、流程和結(jié)果報(bào)告。針對(duì)要求的程序功能，按照規(guī)范的流程進(jìn)行的測(cè)試。針對(duì)要求的程序功能以外的其他要求，包括性能、安全、配置、負(fù)載等指標(biāo)，按照規(guī)范的流程進(jìn)行的測(cè)試。針對(duì)要求的程序功能、性能、安全、配置、負(fù)載等指標(biāo)，基于破壞目的、按照經(jīng)驗(yàn)進(jìn)行的隨機(jī)測(cè)試。程序修改或者版本更新以后，為了確保以前正確的功能和其他指標(biāo)仍舊正確，而重新進(jìn)行的測(cè)試。在測(cè)試過(guò)程中，選擇足夠的測(cè)試用例，使得每一個(gè)可執(zhí)行語(yǔ)句至少被執(zhí)行一次。在測(cè)試過(guò)程中，選擇足夠的測(cè)試用例，使得程序中的每一個(gè)分支判斷的每一種可能結(jié)果都至少被執(zhí)行一次。在測(cè)試過(guò)程中，選擇足夠的測(cè)試用例，使得程序中的每一條可能執(zhí)行的路徑都至少執(zhí)行一次。4.2對(duì)產(chǎn)品說(shuō)明書進(jìn)行高級(jí)（宏觀）審查產(chǎn)品說(shuō)明書的構(gòu)建是一個(gè)模糊的過(guò)程，難免不出問(wèn)題。不應(yīng)一開(kāi)始就陷入細(xì)節(jié)之中，而應(yīng)從宏觀的角度查找根本性的問(wèn)題、疏忽或遺漏只有深入理解了軟件應(yīng)該做什么、怎么做，才能更好地對(duì)細(xì)節(jié)進(jìn)行檢查假設(shè)自己是客戶立場(chǎng)決定你考慮問(wèn)題的角度不要憑自己的想象來(lái)推測(cè)，而是深入了解用戶的實(shí)際想法。盡量和最終用戶交流了解相關(guān)專業(yè)的知識(shí)假設(shè)自己是客戶在假設(shè)自己是客戶時(shí)不要忘記了軟件的安全性。研究現(xiàn)有的標(biāo)準(zhǔn)和規(guī)范標(biāo)準(zhǔn)和規(guī)范的差別在于程度不同，標(biāo)準(zhǔn)比規(guī)范更加嚴(yán)格。如果小組認(rèn)為很重要，則標(biāo)準(zhǔn)應(yīng)嚴(yán)格遵守；規(guī)范是可選的，但應(yīng)該遵守。小組將標(biāo)準(zhǔn)作為規(guī)范也不罕見(jiàn)，前提只要每個(gè)人都清楚就行。研究現(xiàn)有的標(biāo)準(zhǔn)和規(guī)范很多行業(yè)都有相關(guān)的規(guī)范、標(biāo)準(zhǔn)等必須要遵守的東西：公司慣用語(yǔ)和約定行業(yè)要求：醫(yī)藥、工業(yè)和金融行業(yè)政府標(biāo)準(zhǔn)：特別是軍隊(duì)圖形用戶界面標(biāo)準(zhǔn)（GUI）安全標(biāo)準(zhǔn)：軟件及其界面和協(xié)議可能需要滿足一定的安全標(biāo)準(zhǔn)或級(jí)別。也許還需要進(jìn)行獨(dú)立的認(rèn)證，以確保其滿足必要的標(biāo)準(zhǔn)。審查和測(cè)試類似軟件現(xiàn)有的經(jīng)驗(yàn)、教訓(xùn)可以給我們提供參考規(guī)模：功能越多越強(qiáng)大？復(fù)雜性：簡(jiǎn)單還是復(fù)雜，對(duì)測(cè)試會(huì)有什么影響測(cè)試性：是否有資源、時(shí)間、經(jīng)驗(yàn)來(lái)進(jìn)行測(cè)試質(zhì)量和可靠性安全性技巧：閱讀關(guān)于競(jìng)爭(zhēng)對(duì)手軟件的評(píng)價(jià)方面的文章。這對(duì)安全方面的問(wèn)題特別有幫助，因?yàn)檐浖y(cè)試員使用軟件不一定能發(fā)現(xiàn)安全方面的缺陷。然而在出版物中，這些問(wèn)題會(huì)特別引起關(guān)注。產(chǎn)品說(shuō)明書屬性檢查清單（好的產(chǎn)品說(shuō)明書應(yīng)該具備下列8個(gè)重要屬性）完整：是否有遺漏準(zhǔn)確：解決方案、目標(biāo)等是否正確精確、不含糊、清晰：易理解、無(wú)二義性一致：是否有自相矛盾、沖突之處貼切：描述與實(shí)際要求的符合程度合理：現(xiàn)有的技術(shù)、資源等能否實(shí)現(xiàn)代碼無(wú)關(guān)：定義產(chǎn)品而不是設(shè)計(jì)、架構(gòu)、代碼等可測(cè)試性：功能可否測(cè)試4.3對(duì)產(chǎn)品說(shuō)明書進(jìn)行低層（微觀）審查產(chǎn)品說(shuō)明書屬性檢查清單：完整。準(zhǔn)確。精確、不含糊、清晰。一致。貼切。合理。代碼無(wú)關(guān)?？蓽y(cè)試性。4.3對(duì)產(chǎn)品說(shuō)明書進(jìn)行低層（微觀）審查完整。是否有遺漏或丟失？完全嗎？單獨(dú)使用時(shí)是否包含所以內(nèi)容？準(zhǔn)確。既定解決方案正確嗎？目標(biāo)定義明確嗎？有沒(méi)有錯(cuò)誤？精確、不含糊、清晰。描述是否一清二楚？是否有單獨(dú)的解釋？容易看懂和理解嗎？一致。產(chǎn)品功能描述是否自相矛盾，或與其他功能有無(wú)沖突？4.3對(duì)產(chǎn)品說(shuō)明書進(jìn)行低層（微觀）審查貼切。描述功能的陳述是否必要？有沒(méi)有多余信息？功能是否符合原來(lái)的客戶要求？合理。在規(guī)定的預(yù)算和進(jìn)度下，以現(xiàn)有人力、工具和資源能否實(shí)現(xiàn)？代碼無(wú)關(guān)。產(chǎn)品說(shuō)明書是否堅(jiān)持定義產(chǎn)品，而不是定義其軟件設(shè)計(jì)、架構(gòu)和代碼？可測(cè)試性。功能能否測(cè)試？給測(cè)試員提供的建立驗(yàn)證操作的信息是否足夠？4.3對(duì)產(chǎn)品說(shuō)明書進(jìn)行低層（微觀）審查產(chǎn)品說(shuō)明書術(shù)語(yǔ)檢查清單使用可度量的描述，盡量避免下面一些含糊、有疑問(wèn)的描述：總是、每一種、所有、沒(méi)有、從不。當(dāng)然、因此、明顯、顯然、必然。某些、有時(shí)、常常、通常、經(jīng)常、大多、幾乎。等等、諸如此類、依次類推。良好、高效、小、穩(wěn)定。如果…那么…（沒(méi)有否則，條件不成立怎么辦？）4.3對(duì)產(chǎn)品說(shuō)明書進(jìn)行低層（微觀）審查本章小結(jié)產(chǎn)品說(shuō)明書的格式千變?nèi)f化，無(wú)論是從他人想