軟件系統(tǒng)效能評估技術(shù)

軟件系統(tǒng)效能評估技術(shù)

引言目前，國內(nèi)外的項目管理人員都十分重視對軟件系統(tǒng)的評估技術(shù)研究，西方國家的一些機構(gòu)有一批人長期從事這方面的研究工作，在一些核心期刊上時?？梢钥吹竭@方面的材料，國內(nèi)也有一批專家進行這方面的研究工作。由于大家的努力，已經(jīng)取得了不少的研究成果。本文在總結(jié)這些研究成果的基礎(chǔ)上，主要討論了軟件系統(tǒng)的評估理論問題，提出了軟件系統(tǒng)評估的基本概念、分類、主要任務、應掌握的原則、注意的問題、存在的問題以及評估的步驟。一.軟件系統(tǒng)評估的基本概念1、評估要素評估具有五大要素：評估主體、評估對象、評估目標、評估手段(準則、方法、工具)、評估實施。2、評估要求評估應具有實用價值，這就要求評估的準則、評估的方法、評估的效能指標要面向用途，以評估目標為導向，考慮到不同層次評估主體的不同需求。3、評估質(zhì)量指評估結(jié)果的可信度衡量，可通過可用性和可靠性來描述，可用性：指評估結(jié)果的可用性和一定有效性基礎(chǔ)上的評估效率；可靠性：是指一定可利用性基礎(chǔ)上的評估結(jié)果的正確性。4、評估時效性評估結(jié)果具有時效性，指應從發(fā)展的觀點看待評估。由于情況條件的變化，認識的深入，評估結(jié)果有一定的變化，因此，評估應在實踐中反復檢驗。5、效能指標限定性效能指標是在一定條件下得出的，具有一定的適應范圍，使命任務和系統(tǒng)的配置不同，其評估對象的效能指標也不盡相同，效能指標值總體構(gòu)成約束條件空間內(nèi)的動態(tài)曲線。二.軟件系統(tǒng)評估的分類為了能夠?qū)浖到y(tǒng)作出科學的評估，需要綜合考慮軟件系統(tǒng)的各個方面的特性，對軟件系統(tǒng)進行全方位的評估，我們根據(jù)軟件系統(tǒng)的性能、效能、經(jīng)濟性三個方面，把對軟件系統(tǒng)的評估分為三類：1、經(jīng)濟性評估經(jīng)濟評估主要從研制軟件系統(tǒng)的科技投資效益的角度來考慮的。從投資學角度來講，建設(shè)這樣的軟件系統(tǒng)，將花費多少費用，是否符合需求方的支撐能力？在追求系統(tǒng)高效能的同時，投資費用卻要受到限制，不能超出需求方的經(jīng)濟水平，故只能采取折中的辦法。在投資前對多個被選方案分別進行經(jīng)濟性能評估，然后由決策者從中選擇認為是最為可行的一種。經(jīng)濟性評估的主要內(nèi)容就是費用預測。2、效能評估系統(tǒng)效能，是預期一個系統(tǒng)滿足一組特定任務的程度的量度。它是系統(tǒng)的綜合性能的反映，是系統(tǒng)的整體屬性。效能評估，就是要對系統(tǒng)進行綜合分析，把系統(tǒng)的各項性能與任務要求綜合比較，最終得到表示系統(tǒng)的優(yōu)劣程度的結(jié)果。軟件系統(tǒng)的效能，可以細分為軟件系統(tǒng)的自身效能和應用效能。自身效能是軟件系統(tǒng)本身固有的性能，它體現(xiàn)了軟件系統(tǒng)本身的完備性；應用效能是軟件系統(tǒng)在應用過程中的體現(xiàn)的效能，是對社會的貢獻。3、性能評估系統(tǒng)性能評估是對系統(tǒng)的單項指標的評估，與效能相比，系統(tǒng)性能是絕對的，針對于產(chǎn)品。而效能是比較抽象的，針對于用戶的。對于復雜的軟件系統(tǒng)，系統(tǒng)的性能指標包擴很多內(nèi)容，有關(guān)文獻把其分為三個層次：第一，用戶層次；第二，系統(tǒng)負責人層次；第三，子系統(tǒng)設(shè)計者層次；不同層次的工作人員，對系統(tǒng)性能指標的側(cè)重程度是不一樣的。三.軟件系統(tǒng)評價的主要任務、應掌握的原則、注意的問題1、評價的主要任務有以下方面：分析論證軟件系統(tǒng)的組成規(guī)模和方案優(yōu)劣檢驗軟件系統(tǒng)的完備性、一致性和正確性論證軟件系統(tǒng)內(nèi)部要素的相互關(guān)系和對系統(tǒng)總體效能的影響軟件系統(tǒng)結(jié)構(gòu)合理性分析軟件系統(tǒng)效能指標的靈敏度分析2、應掌握的原則和觀點系統(tǒng)的觀點軟件系統(tǒng)的效能不是系統(tǒng)各個子系統(tǒng)效能的簡單總和而是有機綜合滿意的觀點軟件系統(tǒng)是一個復雜的信息系統(tǒng)，嚴格數(shù)學意義上的系統(tǒng)最優(yōu)概念是不存在的，只能求得滿意的系統(tǒng)和可行的解目標和準則的觀點系統(tǒng)的優(yōu)劣是相對目標和準則而言的3、要注意的問題：所闡述的問題是否為實際性的問題評估過程中所作假定的合理性問題效能度量與任務目標的相稱性問題[NextPage]評估方案的合理性問題評估模型正確性及敏感性問題評估的可信度問題四.軟件系統(tǒng)評估存在的問題對軟件系統(tǒng)評估理論和研究現(xiàn)狀的認識是我們研究的起點，從中可以確定提高的方向，目前對軟件系統(tǒng)的評估普遍存在以下幾個方面的問題：1、多元化的評估標準這是指評估的觀點不一致，標準不統(tǒng)一，各種評估結(jié)果之間缺乏對比性。這種非制度化、非標準化、非規(guī)范化的狀態(tài)造成了評估權(quán)威性的失落，使得相當多的人對評估抱有一種“怎么都行”的態(tài)度。2、效能指標的無限定性這是指效能指標或者不與使命任務相聯(lián)系，或者不和具體的應用環(huán)境相依存，脫離了約束條件而抽象存在。這種指標對于指導具體使用是空泛無力的。3、向技術(shù)指標傾斜存這是用若干技術(shù)指標構(gòu)造效能指標，甚至直接用用技術(shù)指標代替效能指標的做法，即把效能指標建立在技術(shù)指標之上。這樣的評估要么不能綜合地反映系統(tǒng)效能，要么不能可靠地反映出復雜多變的系統(tǒng)行為效果。4、評估過程的不可重復性如果評估過程不具有可重復性，就會使評估結(jié)果失去必然性。目前的評估方法和模型紛繁不一，其中影響較大的有SEA方法、系統(tǒng)動力學方法、Petri分析法、試驗床法、影響圖方法、步驟化指控評估結(jié)構(gòu)模型和層次分析法等方法和模型，這些方法和模型以評價目的為中心，從不同的角度探討了軟件系統(tǒng)的評價問題，在實際的應用中得到了許多的積極成果，但也同時暴露出了需要繼續(xù)完善和進一步發(fā)展的地方。因此，我們有必要對對這種理論現(xiàn)狀進行分析研究，指明一些問題，在評估的思想和方法上闡明自己的觀點。五.軟件系統(tǒng)評估的步驟通常的軟件系統(tǒng)評估由七個步驟組成，即：問題定義、確定系統(tǒng)邊界、過程定義、靜態(tài)與動態(tài)集成、評估指標確定、數(shù)據(jù)產(chǎn)生、指標綜合。1、問題定義（ProblemFormulation）：就是針對特定的問題提出決策者的需求和目標。這一步驟的輸出就是對問題的一個更精確的說明和描述，而且這一說明和描述可以翻譯成系統(tǒng)要達到的目標。這個目標又應進一步具體化為系統(tǒng)的實際目標而且是可操作的。在這一步驟中，評價過程中涉及到許多的概念、想定及其它假定等。2、確定系統(tǒng)邊界（SystemBounding）：這一步驟就是確定與問題有關(guān)的各種要素，包括：物理實體（設(shè)備、軟件、人員等）；結(jié)構(gòu)（組織、應用環(huán)境、步驟、過程、協(xié)議、信息流和模式等）；系統(tǒng)的功能說明；邊界定義：子系統(tǒng)、系統(tǒng)、環(huán)境等。3、過程定義（ProcessDefinition）：這一步驟就是在給定系統(tǒng)設(shè)置，運行環(huán)境想定和任務的情況下，來定義完成任務所需的各種過程，如信息收集過程、數(shù)據(jù)處理過程和通信過程等。4、動態(tài)與靜態(tài)集成（IntegrationofStaticsandDynamics）：這一步驟的作用就是把數(shù)據(jù)流、信息流以及過程功能與系統(tǒng)組織結(jié)構(gòu)聯(lián)系起來，同時將系統(tǒng)中的物理實體也與上述過程功能聯(lián)系起來。這里動態(tài)與靜態(tài)分別表示不同的系統(tǒng)框架。靜態(tài)表示系統(tǒng)的物理實體及其結(jié)構(gòu)，這是因為結(jié)構(gòu)變化隨時間變化是很慢的。而動態(tài)則可以與過程實現(xiàn)的功能相比較，這些功能變化很快，通常過程模型中的動態(tài)流可以用Petri網(wǎng)、數(shù)據(jù)結(jié)構(gòu)圖（DSD）或數(shù)據(jù)流圖（DFD）表示。5、度量指標的確定（Specificationofmeasures）：確定系統(tǒng)的度量指標或準則，貫穿于前述四個步驟。6、數(shù)據(jù)產(chǎn)生步驟（DataGeneration）：本步驟就是通過演習、仿真、試驗或主觀判斷來完成軟件系統(tǒng)評價數(shù)據(jù)的收集工作。對于某一特定問題和運行環(huán)境想定，關(guān)于步驟5中說明的各種指標的數(shù)據(jù)可以直接獲得，也可間接推出的。7、度量指標的綜合（Aggregationofmeasures）：這是一個指標的綜合評價和解析步驟。這一步驟的分析結(jié)果是直接用來回答在問題定義（步驟1）中由決策者提出的問題。通常，該步驟可以用來評價軟件系統(tǒng)方案的改進程度、多方案的優(yōu)劣程度等。小結(jié)本文在總結(jié)目前有關(guān)軟件系統(tǒng)效能評估研究成果的基礎(chǔ)上，討論了軟