《軟件測試》第10章

第10章軟件質(zhì)量和質(zhì)量保證

本章要點(diǎn)

軟件質(zhì)量的含義重要的軟件質(zhì)量模型軟件度量的含義和作用軟件度量的三個方面CMM的5個等級的含義CMM的邏輯結(jié)構(gòu)CMMI和CMM的異同點(diǎn)軟件質(zhì)量保證的目的和工作內(nèi)容軟件質(zhì)量保證和測試的區(qū)別10.1軟件質(zhì)量

10.1.1軟件質(zhì)量的含義首先來看一些關(guān)于質(zhì)量的定義。1970年，Juran和Gryna把質(zhì)量定義為“適于使用”。1979年，Crosby將質(zhì)量定義為“符合需求”。在GB/T6583-ISO8404（1994版）中，將質(zhì)量定義為“反映實(shí)體滿足明確和隱含需要的能力的特性的總和”，這里的實(shí)體是“可以單獨(dú)描述和研究的事物”，如產(chǎn)品、活動、過程、組織的體系等。在ISO9000:2000中，將質(zhì)量定義為“一組固有特性滿足要求的程度”。至于軟件質(zhì)量，很容易從上述質(zhì)量的定義中作擴(kuò)展。IEEE對軟件質(zhì)量的定義如下。軟件質(zhì)量是：系統(tǒng)、部件或過程滿足顧客或者用戶需要或期望的程度。系統(tǒng)、部件或過程滿足規(guī)定需求的程度。10.1.2軟件質(zhì)量模型為了避免軟件質(zhì)量評價(jià)的盲目性，需要制定軟件質(zhì)量模型，從多方面、客觀地、定量地對軟件質(zhì)量進(jìn)行度量和評價(jià)。比較常見的三個軟件質(zhì)量模型是McCall模型、Boehm模型和ISO9126。McCall模型是McCall和他的同事在1977年提出的，如圖10-1所示。圖10-1McCall質(zhì)量模型McCall質(zhì)量模型將軟件質(zhì)量分為3個重要的方面：操作特性（產(chǎn)品運(yùn)行）承受可改變能力（產(chǎn)品修訂）新環(huán)境適應(yīng)能力（產(chǎn)品變遷）Boehm模型是Boehm和他的同事在1978年提出的，如圖10-2所示。Boehm質(zhì)量模型是一個分層的模型，除了包含用戶的期望和需要，它還包含了McCall模型所沒有的硬件質(zhì)量特性。Boehm質(zhì)量模型關(guān)注不同類型的用戶需要。第一類用戶是初始用戶，第二類用戶是要將軟件移植到其他軟硬件系統(tǒng)中使用的用戶，第三類用戶是系統(tǒng)維護(hù)人員。也可以說，Boehm質(zhì)量模型反映了不同類型的用戶對軟件質(zhì)量的理解。圖10-2Boehm質(zhì)量模型1991年，ISO頒布了ISO9126-1991標(biāo)準(zhǔn)《軟件產(chǎn)品評價(jià)—質(zhì)量特性及其使用指南》。我國也于1996年頒布了同樣的軟件產(chǎn)品質(zhì)量評價(jià)標(biāo)準(zhǔn)GB/T16260-1996。ISO9126模型如圖10-3所示。ISO9126模型定義了6個影響軟件質(zhì)量的質(zhì)量特性，而每個質(zhì)量特性又可通過若干子特性來測量，每個子特性在評價(jià)時(shí)要進(jìn)行定義并實(shí)施若干度量。ISO9126質(zhì)量模型使得軟件最大限度地滿足用戶的明確的和潛在的需求，且從用戶、開發(fā)人員、管理者等各類人員的角度全方位地考慮軟件質(zhì)量。圖10-3ISO9126質(zhì)量模型10.2軟件度量

10.2.1軟件度量概述1．軟件度量的含義度量是指在現(xiàn)實(shí)的世界中把數(shù)字或符號指定給實(shí)體的某一屬性，以便以這種方式來根據(jù)已明確的規(guī)則來描述它們。度量關(guān)注的是獲取關(guān)于實(shí)體屬性的信息。那么什么是軟件度量呢？軟件度量（SoftwareMeasurement）是對軟件開發(fā)項(xiàng)目、過程及其產(chǎn)品進(jìn)行數(shù)據(jù)定義、收集以及分析的持續(xù)性量化過程，目的在于對項(xiàng)目質(zhì)量、過程質(zhì)量及產(chǎn)品質(zhì)量進(jìn)行理解、預(yù)測、評估、控制和改善。2．軟件度量的意義

在軟件開發(fā)中，軟件度量的根本目的是為了軟件管理的需要，利用度量來改進(jìn)軟件過程，以提高軟件開發(fā)效率和軟件質(zhì)量。通過軟件度量，使人們能夠可預(yù)測、可重復(fù)、準(zhǔn)確地控制軟件開發(fā)過程和軟件產(chǎn)品。度量使得對軟件質(zhì)量的評價(jià)從定性走向了定量，避免了軟件質(zhì)量評價(jià)的模糊性。3．軟件度量的現(xiàn)狀在軟件界，軟件度量目前的情況并不盡如人意，如下一些現(xiàn)象是時(shí)常存在的。設(shè)計(jì)和開發(fā)軟件產(chǎn)品的時(shí)候，并未制定出度量的目標(biāo)。未能對構(gòu)成軟件項(xiàng)目實(shí)際費(fèi)用的各個不同部分進(jìn)行有效的度量。由于缺乏清晰的度量目標(biāo)，使得開發(fā)人員不能使開發(fā)的產(chǎn)品質(zhì)量的各方面特性都合格，因此不能使用術(shù)語向潛在的用戶說明軟件產(chǎn)品具有很高的質(zhì)量。由于缺乏對軟件的度量，看不到清晰的實(shí)效，因而人們對所使用的軟件開發(fā)技術(shù)沒有足夠的信心。

4．軟件度量工具隨著軟件定量方法的重要性不斷增加，市場上出現(xiàn)了許多度量工具。然而，度量工具目前還是很混亂。因?yàn)闆]有統(tǒng)一的度量標(biāo)準(zhǔn)規(guī)范，每種工具發(fā)明商家都是按照他們自己的軟件度量規(guī)范。Daich等根據(jù)分類學(xué)把度量工具分成了以下幾種：通用度量工具小生境度量工具（NicheMetricsTool）靜態(tài)分析工具源代碼靜態(tài)分析工具規(guī)模度量工具10.2.2軟件度量的目標(biāo)1．對管理者

(1)需要度量軟件開發(fā)過程中的不同階段的費(fèi)用。

(2)為了決定付給不同的開發(fā)小組的費(fèi)用，需要度量不同小組職員的生產(chǎn)率。

(3)為了對不同的項(xiàng)目進(jìn)行比較、對將來的項(xiàng)目進(jìn)行預(yù)測、建立基線以及設(shè)定合理的改進(jìn)目標(biāo)等，需要度量開發(fā)的產(chǎn)品的質(zhì)量。

(4)需要決定項(xiàng)目的度量目標(biāo)。例如：應(yīng)達(dá)到多大的測試覆蓋率、系統(tǒng)最后的可靠性應(yīng)有多大等。

(5)為了找出是什么因素影響著費(fèi)用和生產(chǎn)率，需要反復(fù)測試某一特定過程和資源的屬性。

(6)需要度量和估計(jì)不同軟件工程方法和工具的效用，以便決定是否有必要把它們引入到公司中。2．對軟件工程師

(1)需要制定過程度量以監(jiān)視不斷演進(jìn)的系統(tǒng)。這包括設(shè)計(jì)過程中的改動、在不同的回顧或測試階段發(fā)現(xiàn)的錯誤等等。

(2)需使用嚴(yán)格的度量術(shù)語來指定對軟件質(zhì)量和性能的要求，以便使這些要求是可測試的。

(3)為了合格需要度量產(chǎn)品和過程的屬性。例如，看一個產(chǎn)品是否合格要看產(chǎn)品的一些可度量的特性如“β測試階段少于20個錯誤”，“每個模塊的代碼行不超過100行”，和開發(fā)過程的一些屬性如“單元測試必須覆蓋90%以上的用例”等。

(4)需要度量當(dāng)前已存在的產(chǎn)品和過程的屬性以便預(yù)測將來的產(chǎn)品。

研究上面列出的度量的目標(biāo)和活動可以發(fā)現(xiàn)，軟件度量的目標(biāo)可大致概括為兩類。使用度量來進(jìn)行估計(jì)。這使得人們可以同步地跟蹤一個特定的軟件項(xiàng)目。應(yīng)用度量來預(yù)測項(xiàng)目的一些重要的特性。但不能過分夸大這些預(yù)測的作用，因?yàn)樗鼈儾⒉皇峭耆_的。10.2.3軟件度量的三個方面軟件度量貫穿于軟件開發(fā)的整個生命周期。軟件度量包括3個方面：項(xiàng)目度量產(chǎn)品度量過程度量具體情況如表10-1所示。表10-1軟件度量的三個方面10.3軟件能力成熟度模型

10.3.1軟件能力成熟度模型概述1．起源卡內(nèi)基·梅隆大學(xué)軟件工程研究所CMU/SEI（CarnegieMellonUniversity/SoftwareEngineeringInstitute）于1987年研究發(fā)布了軟件過程成熟度框架，并提供了軟件過程評估和軟件能力評價(jià)兩種評估方法和軟件成熟度提問單。4年之后，SEI將軟件過程成熟度框架進(jìn)化為軟件能力成熟度模型（theCapabilityMaturityModelForSoftware，簡稱SW-CMM），并發(fā)布了最早的SW-CMM1.0版。經(jīng)過兩年的試用，1993年SEI正式發(fā)布了SW-CMM1.1版，這是目前使用最為廣泛的版本。2．軟件能力成熟度模型中的重要概念過程（Process）：CMM中引用了IEEE對過程的定義，即過程是“為達(dá)到目的而執(zhí)行的所有步驟的系列”。軟件過程(SoftwareProcess)：人們用于開發(fā)和維護(hù)軟件及其相關(guān)產(chǎn)品的一系列活動、方法、實(shí)踐和革新。軟件和其相關(guān)產(chǎn)品是指項(xiàng)目計(jì)劃、需求文檔、設(shè)計(jì)文檔、代碼、測試用例、用戶手冊等。軟件過程能力（SoftwareProcessCapability）：在遵循一個軟件過程后能得到的預(yù)期結(jié)果的范圍。它可用來預(yù)測一個機(jī)構(gòu)在承接一個軟件項(xiàng)目后，所能得到的最可能的結(jié)果。軟件過程性能（SoftwareProcessPerformance）：在遵循一個軟件過程后所得到的實(shí)際結(jié)果。軟件過程成熟度（SoftwareProcessMaturity）：一個具體的軟件過程被明確定義、管理、評價(jià)、控制和產(chǎn)生實(shí)效的程度。所謂成熟度，包含著能力的一種增長潛力，同時(shí)也表明了軟件機(jī)構(gòu)實(shí)施軟件過程的實(shí)際水平。3．軟件能力成熟度模型的作用企業(yè)實(shí)施CMM模型可為企業(yè)帶來如下好處：指導(dǎo)軟件機(jī)構(gòu)提高軟件開發(fā)管理能力。降低軟件承包商和采購者的風(fēng)險(xiǎn)。評估軟件承包商的軟件開發(fā)管理能力。幫助軟件企業(yè)識別開發(fā)和維護(hù)軟件的有效過程和關(guān)鍵實(shí)踐。幫助軟件企業(yè)識別為達(dá)到CMM更高成熟等級所必須的關(guān)鍵實(shí)踐。增加軟件企業(yè)的國際競爭能力。4．軟件能力成熟度模型的5個等級

CMM將軟件過程的成熟度分為5個等級，如圖10-4所示。(各等級特征詳見書）圖10-4軟件過程成熟度的5個等級各個等級的軟件機(jī)構(gòu)的特征見書中表10－4。在

CMM中，等級越高，軟件開發(fā)生產(chǎn)精度則越高，每單位工程的生產(chǎn)周期也越短。在CMM的5個等級中，除了初始級，其他4個等級均有若干個指導(dǎo)軟件機(jī)構(gòu)改進(jìn)軟件過程的要點(diǎn)，稱為關(guān)鍵過程域（KeyProcessArea，簡稱KPA）。

所謂關(guān)鍵過程域是指一系列相互關(guān)聯(lián)的操作活動，這些活動反映了一個軟件機(jī)構(gòu)改進(jìn)過程時(shí)必須集中精力改進(jìn)的幾個方面。只有一個軟件機(jī)構(gòu)的所有項(xiàng)目都達(dá)到某個關(guān)鍵過程域的目標(biāo)，該軟件機(jī)構(gòu)的以該關(guān)鍵過程域?yàn)樘卣鞯倪^程能力才是規(guī)范化了的。在CMM中一共有18個關(guān)鍵過程域，分布在2~5級中。書中表10-5列出了CMM中各等級對應(yīng)的關(guān)鍵過程域和主要活動。任何一個成熟度級別的關(guān)鍵過程域集都是本級描述的關(guān)鍵過程域集和所有下級的關(guān)鍵過程域集的并集。如第3級的關(guān)鍵過程域就應(yīng)有13個不同的域，其中7個是第3級自己包含的，6個屬于第2級，而第4級應(yīng)有15個域。5．關(guān)鍵實(shí)踐和共同特征為達(dá)到某個成熟度級別的關(guān)鍵過程域的目標(biāo)，必須實(shí)施若干關(guān)鍵實(shí)踐。關(guān)鍵實(shí)踐（Key

Practice）是指對關(guān)鍵過程域起重要作用的方針、規(guī)程、措施、活動以及相關(guān)基礎(chǔ)設(shè)施的建立。關(guān)鍵實(shí)踐涉及5個方面，分別為執(zhí)行約定、執(zhí)行能力、執(zhí)行的活動、測量和分析、驗(yàn)證實(shí)施，被稱作5個共同特征（Common

Features）。每個關(guān)鍵過程域所包含的關(guān)鍵實(shí)踐均按這5個共同特征進(jìn)行組織。6．CMM的邏輯結(jié)構(gòu)最后，可用圖10-5來概括CMM的邏輯結(jié)構(gòu)。圖10-5CMM的邏輯結(jié)構(gòu)10.3.2軟件能力成熟度模型的建立和評估

1．CMM的實(shí)施步驟

企業(yè)實(shí)施CMM，可從如下幾個步驟進(jìn)行：

①提高思想認(rèn)識，了解必要性和迫切性；②確定合理的目標(biāo)；③進(jìn)行CMM培訓(xùn)和咨詢工作；④成立工作組；⑤制定和完善軟件過程；⑥內(nèi)部評審；⑦初期評估；⑧正式評估；⑨根據(jù)評估的結(jié)果改進(jìn)軟件過程。2．CMM的評估方法CMM的評估方法為CBA－IPI(CMM-BasedAppraisalforInternalProcessImprovement，基于CMM的內(nèi)部過程改進(jìn)評估)。CMM評估包括5個等級，共計(jì)18個關(guān)鍵過程域，52個目標(biāo)，300多個關(guān)鍵實(shí)踐。每一個CMM等級評估周期約需12-30個月。每一級別的評估由CMU/SEI授權(quán)的主任評估師領(lǐng)導(dǎo)一個評審小組進(jìn)行。評估過程包括員工培訓(xùn)、問卷填寫和統(tǒng)計(jì)、文檔審查、數(shù)據(jù)分析、與企業(yè)的高層領(lǐng)導(dǎo)討論和撰寫評估報(bào)告等。3．實(shí)施CMM應(yīng)把握的原則任何軟件開發(fā)單位在提升自己的CMM等級時(shí)，只能由所處的層次向緊鄰的上一層次進(jìn)化，不可越級。通過CMM某個等級的評估并不是軟件企業(yè)最終的目的，顯然，最終目的應(yīng)是通過CMM評估來改進(jìn)企業(yè)的軟件過程，提升軟件開發(fā)的能力。10.3.3個體軟件過程PSP和群組軟件過程TSP（詳見書）10.3.4能力成熟度模型集成CMMI1．CMMI概述自從1991年SEI正式發(fā)布軟件SW-CMM以來，相繼又開發(fā)出了系統(tǒng)工程、軟件采購、人力資源管理以及集成產(chǎn)品開發(fā)方面的多個能力成熟度模型。雖然這些模型在許多組織都得到了良好的應(yīng)用，但對于一些大型軟件企業(yè)來說，可能會出現(xiàn)需要同時(shí)采用多種模型來改進(jìn)自己多方面過程能力的情況。這時(shí)他們就會發(fā)現(xiàn)存在一些問題，其中主要問題體現(xiàn)在：不能集中其不同過程改進(jìn)的能力以取得更大成績。要進(jìn)行一些重復(fù)的培訓(xùn)、評估和改進(jìn)活動，因而增加了許多成本。遇到不同模型中有一些對相同事物說法不一致，或活動不協(xié)調(diào)，甚至相抵觸。

所以，當(dāng)CMU/SEI開始開發(fā)新一代成熟度模型的時(shí)候，試圖整合不同模型中的最佳實(shí)踐，建立統(tǒng)一模型，覆蓋不同領(lǐng)域，供企業(yè)進(jìn)行整個組織的全面過程改進(jìn)。CMU/SEI于2001年12月正式發(fā)布了能力成熟度集成模型（CMMI，CapabilityMaturityModelIntegration）1.1版，這標(biāo)志著CMMI的正式使用。值得注意的是，SEI并沒有廢除CMM模型，而是以CMMI的SCAMPI（StandardCMMIAppraisalMethodforProcessImprovement）評估方法取代CMM的CBA-IPI評估方法。當(dāng)然，CMMI將最終取代CMM模型。這是因?yàn)椋啾扔贑MM，CMMI以更加系統(tǒng)和一致的框架來指導(dǎo)組織改進(jìn)軟件過程，提高產(chǎn)品和服務(wù)的開發(fā)、獲取和維護(hù)能力。

CMMI起源于三個模型（源模型），分別是：軟件能力成熟度模型（SW-CMM）v2.0draftC電子行業(yè)協(xié)會臨時(shí)標(biāo)準(zhǔn)（EIA/IS-731）集成產(chǎn)品開發(fā)能力成熟度模型（IPD-CMM）v0.98

在CMMI中除了沿用CMM的分階段表示形式外，還增加了與ISO/IEC15504TR(技術(shù)報(bào)告)類似的連續(xù)表示形式，將CMMI中的過程區(qū)域分為四大類：項(xiàng)目管理、工程活動、支持活動或者過程管理，對于每個大類中的過程區(qū)域，又進(jìn)一步分為基本的和高級的。這樣，按照連續(xù)式模型實(shí)施CMMI的時(shí)候，一個組織可以把某個大類（如項(xiàng)目管理）的實(shí)踐一直做到最好，而其他大類的實(shí)踐則完全不考慮。也就是說，如果企業(yè)只希望提高自己在項(xiàng)目管理、工程活動、支持活動或者過程管理四個大類中的某一個或幾個大類的能力，則應(yīng)使用CMMI的連續(xù)表示形式。若企業(yè)仍愿沿用CMM中成熟度級別的思路，持續(xù)地改進(jìn)過程，則可使用CMMI的分階段表示形式。CMMI模型的組成和適用范圍如表10-6所示。表10-6CMMI模型的組成和適用范圍2．CMMI的主要內(nèi)容CMMI分級式模型中的等級設(shè)置與SW-CMM模型基本相同，只是某些等級的名稱有變化。CMMI連續(xù)式模型中的等級設(shè)置則和ISO/IEC15504TR基本一致，CMMI連續(xù)式模型的第3級、第4級名稱雖然與ISO/IEC15504TR有區(qū)別，但其含義是基本一樣的。表10-7列出了CMMI、CMM、ISO/IEC15504TR模型中的等級的對應(yīng)關(guān)系。

表10-7各模型的等級對應(yīng)CMMI和CMM的關(guān)鍵過程域比較見書中表10-83．CMMI的評估方法隨著CMM過渡到CMMI，其CAF(CMMAssessmentFramework)評估框架變成評估需求（AppraisalRequirementsforCMMI，簡稱ARC），CMM的IPI-CBA評估方法則被CMMI的SCAMPI評估方法所取代。開展CMMI評估必須是SEI授權(quán)的合作機(jī)構(gòu)，評估活動由SEI授權(quán)的主任評估師進(jìn)行。CMMI的評估流程與CMM基本相同。另外，與CMM中的等級評估相同的是，CMMI（分級式模型）中的等級評估會根據(jù)被評估的成熟度級別，檢查所有不高于該級別的關(guān)鍵過程域。4．如何在CMM和CMMI之間進(jìn)行選擇到底是選擇CMM還是CMMI主要基于以下幾個方面進(jìn)行考慮：實(shí)施企業(yè)的業(yè)務(wù)特點(diǎn)實(shí)施企業(yè)對過程改進(jìn)的熟悉程度軟件過程改進(jìn)的目標(biāo)10.3.5SPCA評估體系我國信息產(chǎn)業(yè)部會同國家認(rèn)證認(rèn)可監(jiān)督委員會，在研究國際軟件評估體制尤其是CMMI的基礎(chǔ)上，考慮國內(nèi)軟件產(chǎn)業(yè)實(shí)際情況，于2001年建立了SPCA（軟件過程及能力成熟度評估，又稱“雙模認(rèn)證”）評估體系。

SPCA是軟件過程能力評估和軟件能力成熟度評估的統(tǒng)稱。SPCA所依據(jù)的評估標(biāo)準(zhǔn)是我國制定的SJ/T11234《軟件過程能力評估模型》和SJ/T11235《軟件能力成熟度模型》。10.4其他軟件管理體系除了CMM/CMMI外，應(yīng)用較廣泛的軟件管理體系還有ISO9000質(zhì)量標(biāo)準(zhǔn)體系和ISO/IEC15504標(biāo)準(zhǔn)。10.5軟件質(zhì)量保證

10.5.1軟件質(zhì)量保證概述軟件質(zhì)量保證，即SQA（SoftwareQualityAssurance），是CMM第2級中的一個關(guān)鍵過程域，它是貫穿整個軟件過程的第三方獨(dú)立審查活動，出現(xiàn)在大多數(shù)關(guān)鍵過程域的檢查與驗(yàn)證的公共特性中。

1．軟件質(zhì)量保證的目的

SQA的目的是向管理者提供對軟件過程進(jìn)行全面監(jiān)控的手段，包括評審和審計(jì)軟件產(chǎn)品和活動，驗(yàn)證它們是否符合相應(yīng)的規(guī)程和標(biāo)準(zhǔn)，同時(shí)給項(xiàng)目管理者提供這些評審和審計(jì)的結(jié)果，以反映產(chǎn)品和過程質(zhì)量，提高項(xiàng)目透明度。

2．SQA組織的主要工作

包括以下兩方面：監(jiān)控軟件的開發(fā)過程，保證軟件開發(fā)過程符合相應(yīng)的標(biāo)準(zhǔn)與規(guī)程。保證軟件產(chǎn)品、軟件過程中存在的不符合問題得到處理，必要時(shí)將問題反映給高級管理者。軟件工程過程小組SEPG的職責(zé)是提供軟件過程的指導(dǎo)，幫助項(xiàng)目組制定項(xiàng)目過程，實(shí)施過程改進(jìn)。如果項(xiàng)目組和SQA對過程的理解不一致，SEPG作為最終仲裁者?？捎昧⒎ㄕ吆蛨?zhí)法者形容SEPG和SQA之間的關(guān)系。

SQA的主要作用是給管理者提供實(shí)現(xiàn)軟件過程的保證，因此SQA組織要保證如下幾點(diǎn):選定的開發(fā)方法被采用。選定的標(biāo)準(zhǔn)和規(guī)程得到采用和遵循。進(jìn)行獨(dú)立的審查。偏離標(biāo)準(zhǔn)和規(guī)程的問題得到及時(shí)地反映和處理。項(xiàng)目定義的每個軟件任務(wù)得到實(shí)際的執(zhí)行。10.5.2軟件質(zhì)量保證的工作內(nèi)容1．計(jì)劃2.審計(jì)/證實(shí)3．處理不符合問題10.5.3軟件質(zhì)量保證的實(shí)施軟件質(zhì)量保證的實(shí)施過程中需要注意如下幾方面的問題。企業(yè)的高級管理者必須重視軟件質(zhì)量保證活動。要考慮SQA人員的素質(zhì)。某項(xiàng)目的SQA人員不能是該項(xiàng)目組的開發(fā)人員、配置管理人員或測試人員.SQA人員在工作過程中一定要抓住問題的重點(diǎn)與本質(zhì)，不要陷入對細(xì)節(jié)的爭論之中。SQA人員要客觀、有責(zé)任心。SQA人員要能應(yīng)對繁雜的工作。1