軟件測試基礎

1、軟件測試基礎一、概述 信息技術的飛速發(fā)展，使軟件產品應用到社會的各個領域，軟件產品的質量自然成了人們共同關注的焦點。不論是軟件的生產者還是軟件的使用者，均生存在競爭的環(huán)境中，軟件生產商為了占有市場，必須把產品質量作為企業(yè)的重要目標之一，以免在激烈的競爭中被淘汰出局。用戶為了保證自己業(yè)務的順利完成，當然希望選用優(yōu)秀的軟件。質量不佳的軟件產品不僅會使生產商的維護費用和用戶的使用成本大幅增加，還可能產生其他的責任風險，造成公司信譽降，進而沖擊股票市場。在一些關鍵應用 (如民航訂票系統(tǒng)、銀行結算系統(tǒng)、證券交易系統(tǒng)、自動飛行控制軟件、軍事防御和核電站安全控制系統(tǒng)等) 中使用質量有問題的軟件，還可能造成災

2、難性的后果。軟件危機曾經是軟件界甚至整個計算機界最熱門的話題。為了解決這場危機，軟件從業(yè)人員、專家和學者做出了大量的努力?，F在人們已經逐步認識到所謂的軟件危機實際上僅是一種狀況，那就是軟件中有錯誤，正是這些錯誤導致了軟件開發(fā)在成本、進度和質量上的失控。有錯是軟件的屬性，而且是無法改變的，因為軟件是由人來完成的，所有由人做的工作都不會是完美無缺的。問題在于我們如何去避免錯誤的產生和消除已經產生的錯誤，使程序中的錯誤密度達到盡可能低的程度。 給軟件帶來錯誤的原因很多，具體地說，主要有如下幾點： 、交流不夠、交流上有誤解或者根本不進行交流在應用應該做什么或不應該做什么的細節(jié) (應用的需求)不清晰的情

3、況下進行開發(fā)。 、軟件復雜性圖形用戶界面 (GUI)，客戶/服務器結構，分布式應用，數據通信，超大型關系型數據庫以及龐大的系統(tǒng)規(guī)模，使得軟件及系統(tǒng)的復雜性呈指數增長，沒有現代軟件開發(fā)經驗的人很難理解它。 、程序設計錯誤向所有的人一樣，程序員也會出錯。 、需求變化需求變化的影響是多方面的，客戶可能不了解需求變化帶來的影響，也可能知道但又不得不那么做。需求變化的后果可能是造成系統(tǒng)的重新設計，設計人員的日程的重新安排，已經完成的工作可能要重做或者完全拋棄，對其他項目產生影響，硬件需求可能要因此改變，等等。如果有許多小的改變或者一次大的變化，項目各部分之間已知或未知的依賴性可能會相互影響而導致更多問題

4、的出現，需求改變帶來的復雜性可能導致錯誤，還可能影響工程參與者的積極性。 、時間壓力軟件項目的日程表很難做到準確，很多時候需要預計和猜測。當最終期限迫近和關鍵時刻到來之際，錯誤也就跟著來了。 、自負人更喜歡說 :沒問題這事情很容易幾個小時我就能拿出來太多不切實際的沒問題，結果只能是引入錯誤。 、代碼文檔貧乏貧乏或者差勁的文檔使得代碼維護和修改變的異常艱辛，其結果是帶來許多錯誤。事實上，在許多機構并不鼓勵其程序員為代碼編寫文檔，也不鼓勵程序員將代碼寫得清晰和容易理解，相反他們認為少寫文檔可以更快的進行編碼，無法理解的代碼更易于工作的保密 (“寫得艱難必定讀的痛苦”)。 、軟件開發(fā)工具可視化工具，

5、類庫，編譯器，腳本工具，等等，它們常常會將自身的錯誤帶到應用軟件中。就象我們所知道的，沒有良好的工程化作為基礎，使用面向對象的技術只會使項目變得更復雜。 為了更好地解決這些問題，軟件界做出了各種各樣的努力。 二、軟件測試的目的 軟件測試的目的決定了如何去組織測試。如果測試的目的是為了盡可能多地找出錯誤，那么測試就應該直接針對軟件比較復雜的部分或是以前出錯比較多的位置。如果測試目的是為了給最終用戶提供具有一定可信度的質量評價，那么測試就應該直接針對在實際應用中會經常用到的商業(yè)假設。 不同的機構會有不同的測試目的；相同的機構也可能有不同測試目的，可能是測試不同區(qū)域或是對同一區(qū)域的不同層次的測試。

6、在談到軟件測試時，許多人都引用 Grenford J. Myers在The Art of Software Testing一書中的觀點： 、軟件測試是為了發(fā)現錯誤而執(zhí)行程序的過程； 、測試是為了證明程序有錯，而不是證明程序無錯誤。 、一個好的測試用例是在于它能發(fā)現至今未發(fā)現的錯誤；、一個成功的測試是發(fā)現了至今未發(fā)現的錯誤的測試。這種觀點可以提醒人們測試要以查找錯誤為中心，而不是為了演示軟件的正確功能。但是僅憑字面意思理解這一觀點可能會產生誤導，認為發(fā)現錯誤是軟件測試的唯一目，查找不出錯誤的測試就是沒有價值的，事實并非如此。 首先，測試并不僅僅是為了要找出錯誤。通過分析錯誤產生的原因和錯誤的分布

7、特征，可以幫助項目管理者發(fā)現當前所采用的軟件過程的缺陷，以便改進。同時，這種分析也能幫助我們設計出有針對性地檢測方法，改善測試的有效性。 其次，沒有發(fā)現錯誤的測試也是有價值的，完整的測試是評定測試質量的一種方法。詳細而嚴謹的可靠性增長模型可以證明這一點。例如 Bev Littlewood發(fā)現一個經過測試而正常運行了n小時的系統(tǒng)有繼續(xù)正常運行n小時的概率。 三、軟件測試的基本方法 軟件測試的方法和技術是多種多樣的。對于軟件測試技術，可以從不同的角度加以分類：從是否需要執(zhí)行被測軟件的角度，可分為靜態(tài)測試和動態(tài)測試。從測試是否針對系統(tǒng)的內部結構和具體實現算法的角度來看，可分為白盒測試和黑盒測試；1、

8、黑盒測試黑盒測試也稱功能測試或數據驅動測試，它是在已知產品所應具有的功能，通過測試來檢測每個功能是否都能正常使用，在測試時，把程序看作一個不能打開的黑盆子，在完全不考慮程序內部結構和內部特性的情況下，測試者在程序接口進行測試，它只檢查程序功能是否按照需求規(guī)格說明書的規(guī)定正常使用，程序是否能適當地接收輸入數鋸而產生正確的輸出信息，并且保持外部信息（如數據庫或文件）的完整性。黑盒測試方法主要有等價類劃分、邊值分析、因果圖、錯誤推測等，主要用于軟件確認測試。 “黑盒”法著眼于程序外部結構、不考慮內部邏輯結構、針對軟件界面和軟件功能進行測試?！昂诤小狈ㄊ歉F舉輸入測試，只有把所有可能的輸入都作為測試情況

9、使用，才能以這種方法查出程序中所有的錯誤。實際上測試情況有無窮多個，人們不僅要測試所有合法的輸入，而且還要對那些不合法但是可能的輸入進行測試。2、白盒測試白盒測試也稱結構測試或邏輯驅動測試，它是知道產品內部工作過程，可通過測試來檢測產品內部動作是否按照規(guī)格說明書的規(guī)定正常進行，按照程序內部的結構測試程序，檢驗程序中的每條通路是否都有能按預定要求正確工作，而不顧它的功能，白盒測試的主要方法有邏輯驅動、基路測試等，主要用于軟件驗證。 “白盒”法全面了解程序內部邏輯結構、對所有邏輯路徑進行測試。“白盒”法是窮舉路徑測試。在使用這一方案時，測試者必須檢查程序的內部結構，從檢查程序的邏輯著手，得出測試數

10、據。貫穿程序的獨立路徑數是天文數字。但即使每條路徑都測試了仍然可能有錯誤。第一，窮舉路徑測試決不能查出程序違反了設計規(guī)范，即程序本身是個錯誤的程序。第二，窮舉路徑測試不可能查出程序中因遺漏路徑而出錯。第三，窮舉路徑測試可能發(fā)現不了一些與數據相關的錯誤。 ALAC測試是一種基于客戶使用產品的知識開發(fā)出來的測試方法。ALAC測試是基于復雜的軟件產品有許多錯誤的原則。最大的受益者是用戶，缺陷查找和改正將針對哪些客戶最容易遇到的錯誤。 四、軟件測試的復雜性與經濟性 人們常常以為，開發(fā)一個程序是困難的，測試一個程序則比較容易。這其實是誤解。設計測試用例是一項細致并需要高度技巧的工作，稍有不慎就會顧此失彼

11、，發(fā)生不應有的疏漏。 不論是黑盒測試方法還是白盒測試方法，由于測試情況數量巨大，都不可能進行徹底的測試。所謂徹底測試，就是讓被測程序在一切可能的輸入情況下全部執(zhí)行一遍。通常也稱這種測試為“窮舉測試”。 “黑盒”法是窮舉輸入測試，只有把所有可能的輸入都作為測試情況使用，才能以這種方法查出程序中所有的錯誤。實際上測試情況有無窮多個，人們不僅要測試所有合法的輸入，而且還要對那些不合法但是可能的輸入進行測試。 “白盒”法是窮舉路徑測試，貫穿程序的獨立路徑數是天文數字，但即使每條路徑都測試了仍然可能有錯誤。第一，窮舉路徑測試決不能查出程序違反了設計規(guī)范，即程序本身是個錯誤的程序。第二，窮舉路徑測試不可能

12、查出程序中因遺漏路徑而出錯。第三，窮舉路徑測試可能發(fā)現不了一些與數據相關的錯誤。 EWDijkstra的一句名言對測試的不徹底性作了很好的注解：“程序測試只能證明錯誤的存在，但不能證明錯誤不存在”。在實際測試中，窮舉測試工作量太大，實踐上行不通，這就注定了一切實際測試都是不徹底的。當然就不能夠保證被測試程序中不存在遺留的錯誤。軟件工程的總目標是充分利用有限的人力和物力資源，高效率、高質量地完成測試。為了降低測試成本，選擇測試用例時應注意遵守“經濟性”的原則。第一，要根據程序的重要性和一旦發(fā)生故障將造成的損失來確定它的測試等級；第二，要認真研究測試策略，以便能使用盡可能少的測試用例，發(fā)現盡可能多

13、的程序錯誤。掌握好測試量是至關重要的，一位有經驗的軟件開發(fā)管理人員在談到軟件測試時曾這樣說過：“不充分的測試是愚蠢的，而過度的測試是一種罪孽”。測試不足意味著讓用戶承擔隱藏錯誤帶來的危險，過度測試則會浪費許多寶貴的資源。 測試是軟件生存期中費用消耗最大的環(huán)節(jié)。測試費用除了測試的直接消耗外，還包括其它的相關費用。能夠決定需要做多少次測試的主要影響因素如下： 、系統(tǒng)的目的系統(tǒng)的目的的差別在很大程度上影響所需要進行的測試的數量。那些可能產生嚴重后果的系統(tǒng)必須要進行更多的測試。一臺在 Boeing 757上的系統(tǒng)應該比一個用于公共圖書館中檢索資料的系統(tǒng)需要更多的測試。一個用來控制密封燃氣管道的系統(tǒng)應該

14、比一個與有毒爆炸物品無關的系統(tǒng)有更高的可信度。一個安全關鍵軟件的開發(fā)組比一個游戲軟件開發(fā)組要有苛刻得多的查找錯誤方面的要求。 、潛在的用戶數量一個系統(tǒng)的潛在用戶數量也在很大程度上影響了測試必要性的程度。這主要是由于用戶團體在經濟方面的影響。一個在全世界范圍內有幾千個用戶的系統(tǒng)肯定比一個只在辦公室中運行的有兩三個用戶的系統(tǒng)需要更多的測試。如果不能使用的話，前一個系統(tǒng)的經濟影響肯定比后一個系統(tǒng)大。除此而外，在分配處理錯誤的時候，所花的代價的差別也很大。如果在內部系統(tǒng)中發(fā)現了一個嚴重的錯誤，在處理錯誤的時候的費用就相對少一些，如果要處理一個遍布全世界的錯誤就需要花費相當大的財力和精力。 、信息的價值

15、在考慮測試的必要性時，還需要將系統(tǒng)中所包含的信息的價值考慮在內，一個支持許多家大銀行或眾多證券交易所的客戶機 /服務器系統(tǒng)中含有經濟價值非常高的內容。很顯然這一系統(tǒng)需要比一個支持鞋店的系統(tǒng)要進行更多的測試。這兩個系統(tǒng)的用戶都希望得到高質量、無錯誤的系統(tǒng)，但是前一種系統(tǒng)的影響比后一種要大得多。因此我們應該從經濟方面考慮，投入與經濟價值相對應的時間和金錢去進行測試。 、開發(fā)機構一個沒有標準和缺少經驗的開發(fā)機構很可能開發(fā)出充滿錯誤的系統(tǒng)。在一個建立了標準和有很多經驗的開發(fā)機構中開發(fā)出來的系統(tǒng)中的錯誤不會很多，因此，對于不同的開發(fā)機構來說，所需要的測試的必要性也就截然的不同。 然而，那些需要進行大幅度

16、改善的機構反而不大可能認識到自身的弱點。那些需要更加嚴格的測試過程的機構往往是最不可能進行這一活動的，在許多情況下，機構的管理部門并不能真正地理解開發(fā)一個高質量的系統(tǒng)的好處。 、測試的時機測試量會隨時間的推移發(fā)生改變。在一個竟爭很激烈的市場里，爭取時間可能是制勝的關鍵，開始可能不會在測試上花多少時間，但幾年后如果市場分配格局已經建立起來了，那么產品的質量就變得更重要了，測試量就要加大。測試量應該針對合適的目標進行調整。五、軟件測試的心理學問題 1、程序測試的過程具有破壞性人類的活動具有高度的目的性，建立適當的目標具有重要的心理作用。如果我們的目的是要證明程序中沒有錯誤，那我們就會不自覺地朝這個

17、方向去做；也就是說，我們會傾向于挑選那些使程序出錯的可能性較小的測試數據。另一方面，如果我們的目標是要證明程序中有錯，那就會選擇一些易于發(fā)現程序所含錯誤的測試數據。而后一種態(tài)度會比前者給程序增添更多的價值。 測試的定義意味著程序測試的過程是具有破壞性的，其程度甚至達到了不可容忍的地步。社會上大多數人的人生觀是建設性的，而不是破壞性的。人們傾向 于創(chuàng)造一個物品，而不是輕易毀壞個物品。因此，程序壞個物品。因此，程序 測試的破壞性的定義使人們對程序測試工作望而生畏。程序測試定義還隱含著如何設計測試情況（測過數據），以及應該由誰和不應由誰來測試一個給定程序等等觀點。 心理學研究還告訴我們，當人在干一件

18、已經知道是不合適的或不可能做到的事時，往往做得不好。例如：如果讓一個人在 15分鐘解出一個刊登在星期曰紐約時報上的交叉填字字謎，10分鐘后我們會看到這人幾乎沒一點進展，因為他會感到實際上不可能做到而放棄自已的努力。然而，如果我們要求花4小時解出這題，那也許就會看到他在開頭的10分鐘內有較大的進展了。把程序測試定義為在程序中找出錯誤的過程，就使測試成了可以做到的任務，從而克服了心理上存在的問題。另一個令人煩躁的問題是即使程序完成了預期要求，仍可能含有錯誤。也就是說，如果程序不按要求工作，它顯然有錯，但是如果程序做了不要它做的事，它也有錯。 2、程序員應避免測試自己的程序開發(fā)者被指定測試自己的代碼

19、是一件很糟糕的事。開發(fā)和測試生來就是不同的活動。開發(fā)是創(chuàng)造或者建立什么東西的行為，一個模塊或者整個系統(tǒng)。而測試的唯一目的是證明一個模塊或者系統(tǒng)工作不正常。這兩個活動之間有著本質的矛盾。一個人不太可能把兩個截然對立的角色都扮演的很好。基于這個想法，應該限制開發(fā)者在測試中的參與。給他們比較合適的任務是進行有可能的最低層的測試 -單元測試。不同當一個程序員在完成了設計，編寫程序的建設性工作后，要一夜之間突然改變他的觀點，設法對程序形成一個完全否定的態(tài)度，那是非常困難的。許多戶主都知道，揭掉糊墻紙（破壞性過程是不容易的，若糊墻紙原先是由他而不是別人貼上的，他幾平會感到難以忍受的沮喪。所以，大部分程序員

20、都由于不能使自己進入必要的精神狀態(tài)（不是抱著要揭露出自己程序中錯誤的態(tài)度），因而不能有效地測試自己的程序。除了這個心理學問題之外，還有一個重要的問題：程序中可能包含由于程序員對問題的敘述或說明的誤解而產生的錯誤。如果是這種情況，當程序員測試自己的程序時，往往還會帶著同樣的誤解致使問題難以發(fā)現。 再者，可以把測試看做是對一篇論文或本書作校對，或與寫評論相類似的工作。正如許多作者所知，校對或批評自己的著作是非常困難的。也就是說，在自已的工作中找出缺陷往往是人的心理狀態(tài)所不容的。 以上看法并不意味著程序員不可能測試自已的程序。不過相比之下如果由另外些人來進行程序測試，就會更有效、更成功。注意：這個論

21、斷并不適用于糾錯（改正已知錯誤），由原來程序的作者糾錯肯定效率更高。 3、程庫設計機構不應測試自己的程序在許多意義上來說，一項工程或一程序設計機構是個有生命的有機體，它同樣有心理學問題。再者，在大多數情況下，人們都是以在給定日期內，以一定代價編制程序的能力來衡量程序設計機構和項目管理人員的。這祥做的一個理由是時間和成本指標便于衡量，而程序的可靠性卻很難度量。要程序設計機構在測試自己的程序時持客觀態(tài)度是困難的，因為如果用正確的定義看待測試，就不大可能按預定計劃完成測試也不大可能把耗費的代價限制在要求的范圍以內。 軟件生產的三個最重要的因素是：質量、進度和費用。 計算技術的進步，意味著在經濟領域中

22、信息系統(tǒng)更新的速度更快。新的硬件技術的發(fā)展，均會使軟件過時，系統(tǒng)交付使用的時間變得日益重要，新產品在其性能和費用上被其他產品取代之前的推銷時間，即市場窗口就已經縮小了。 由于費用和進度的限制，要開發(fā)一種高質量、快速交付和低成本的軟件產品變得越來越困難，也就是說要同時達到三個目標是困難的。因此在軟件產品的開發(fā)中就要權衡它們之間的關系，使軟件的特性能滿足用戶的要求，這意味著軟件產品特性的度量和預計是必要的。 軟件測試由獨立測試機構承擔有許多好處。獨立測試是指軟件測試工作由在經濟上和管理上獨立于開發(fā)機構的組織進行。獨立測試可以避免軟件開發(fā)者測試自己開發(fā)的軟件，由于心理學上的問題，軟件開發(fā)者難以客觀、

23、有效地測試自己的軟件，而找出那些因為對問題的誤解而產生的錯誤就更加困難。獨立測試還可以避免軟件開發(fā)機構測試自己的軟件，軟件產品的開發(fā)過程受到時間、成本和質量三者的制約，時間和成本指標便于衡量，而質量卻很難度量，因此在軟件開發(fā)過程中，當時間、成本和質量三者發(fā)生矛盾時，質量最容易被忽視，如果測試組織與開發(fā)組織來自相同的機構，測試過程就會面臨來自與開發(fā)組織同一來源的管理方面的壓力，使測試過程受到干擾。 采用獨立測試方式，無論在技術上還是管理上，對提高軟件測試的有效性都具有重要意義。 、客觀性對軟件測試和軟件中的錯誤抱著客觀的態(tài)度，這種客觀的態(tài)度可以解決測試中的心理學問題，既能夠以揭露軟件中錯誤的態(tài)度

24、工作，也能不受發(fā)現的錯誤的影響。經濟上的獨立性使其工作有更充分的條件按測試要求去完成。 、專業(yè)性獨立測試作為一種專業(yè)工作，在長期的工作過程中勢必能夠積累大量實踐經驗，形成自己的專業(yè)優(yōu)勢。同時軟件測試也是技術含量很高的工作，需要有專業(yè)隊伍加以研究，并進行工程實踐。專業(yè)化分工是提高測試水平，保證測試質量，充分發(fā)揮測試效用的必然途徑。 、權威性由于專業(yè)優(yōu)勢，獨立測試工作形成的測試結果更具信服力，而測試結果常常和對軟件的質量評價聯系在一起，由專業(yè)化的獨立測試機構的評價，更客觀、公正和具有權威性。 、資源有保證獨立測試機構的主要任務是進行獨立測試工作，這使得測試工作在經費、人力和計劃方面更有保證，不會因

25、為開發(fā)的壓力減少對測試的投入，降低測試的有效性，可以避免開發(fā)單位側重軟件開發(fā)而對測試工作產生不利的影響。六、好的測試工程師應具備的素質 人是測試工作中最有價值也是最重要的資源，沒有一個合格的、積極的測試小組，測試就不可能實現。然而，在軟件開發(fā)產業(yè)中有一種非常普遍習慣，那就是讓那些經驗最少的新手、沒有效率的開發(fā)者或不適合干其他工作的人去做測試工作。這絕對是一種目光短淺的行為，對一個系統(tǒng)進行有效的測試所需要的技能絕對不比進行軟件開發(fā)需要的少，事實上，測試者將獲得極其廣泛的經驗，他們將遇到許多開發(fā)者不可能遇到的問題。、溝通能力。 一名理想的測試者必須能夠同測試涉及到的所有人進行溝通，具有與技術（開發(fā)者）和非技術人員（客戶，管理人員）的交流能力。既要可以和用戶談得來，又能同開發(fā)人員說得上話，不幸的是這兩類人沒有共同語言。和用戶談話的重點必須放在系統(tǒng)可以正確地處理什么和不可以處理什么上。而和開發(fā)者談相同的信息時，就必須將這些活重新組織以另一種方式表達出來，測試小組的成員必須能夠同等地同用戶和開發(fā)者溝通。、移情能力。 和系統(tǒng)開發(fā)有關的所有人員都處在一種既關心又擔心的狀態(tài)之中。用戶擔心將來使用一個不符合自己要求的系統(tǒng)，開發(fā)者則擔心由于系統(tǒng)要求不正確而使他不得不重新開發(fā)整個系統(tǒng)，管理部門則擔心這個系統(tǒng)突然崩潰而使它的聲譽受