持續(xù)集成與測(cè)試自動(dòng)化-51Testing

1、持續(xù)集成與測(cè)試自動(dòng)化一、背景我從畢業(yè)到現(xiàn)在，曾在大小不同的三個(gè)公司就職：有民營(yíng)的、有外資的、也有上市公司。但以前大多都是做項(xiàng)目，從事軟件開(kāi)發(fā)工作，絕大部分公司對(duì)測(cè)試都不重視，即使有也沒(méi)有成規(guī)模，更談不上建立測(cè)試體系?？傊?，重開(kāi)發(fā)輕測(cè)試的管理思想在中國(guó)延續(xù)了幾十年、并且還要繼續(xù)，看看他們給測(cè)試工程師開(kāi)的低工資和老師在課堂上講到測(cè)試時(shí)一筆帶過(guò)就知道測(cè)試被中國(guó)的老板所忽略。最近兩年，我從事CRM軟件產(chǎn)品的測(cè)試、項(xiàng)目管理工作。由于公司對(duì)軟件的質(zhì)量要求特別高，這必然引起了大家對(duì)測(cè)試工作的重視，不但要求有強(qiáng)大的測(cè)試團(tuán)隊(duì)，該團(tuán)隊(duì)必須具備在業(yè)務(wù)方面、測(cè)試技能方面的專業(yè)水平，而且在軟件開(kāi)發(fā)過(guò)程方面經(jīng)常由于測(cè)試而

2、作持續(xù)不斷地調(diào)整。幸運(yùn)的是，隨著軟件開(kāi)發(fā)技術(shù)和工具的提高，軟件工程和軟件過(guò)程實(shí)踐的推廣，軟件測(cè)試日益得到重視和專業(yè)化。我從事測(cè)試工作期間，一直研究CMM、測(cè)試?yán)碚摗⒆詣?dòng)化測(cè)試工具，并建立了一套完整的測(cè)試體系。在此并不介紹整個(gè)測(cè)試體系，而是介紹測(cè)試方面最值得探討的部分：持續(xù)集成與測(cè)試自動(dòng)化。目的是與大家共同進(jìn)步。當(dāng)然已經(jīng)有很多關(guān)于持續(xù)集成和自動(dòng)化測(cè)試方面的介紹，但我要介紹的不只是持續(xù)集成，也不只是自動(dòng)化測(cè)試，而是測(cè)試如何的自動(dòng)化.二、測(cè)試自動(dòng)化自動(dòng)化測(cè)試就是希望能夠通過(guò)自動(dòng)化測(cè)試工具或其他手段，按照測(cè)試工程師的預(yù)定計(jì)劃進(jìn)行自動(dòng)的測(cè)試，目的是減輕手工測(cè)試的勞動(dòng)量，從而達(dá)到提高軟件質(zhì)量的目的。自動(dòng)化

3、測(cè)試的目的在于發(fā)現(xiàn)老缺陷。而手工測(cè)試的目的在于發(fā)現(xiàn)新缺陷。測(cè)試自動(dòng)化涉及到測(cè)試流程、測(cè)試體系、自動(dòng)化化編譯、持續(xù)集成、自動(dòng)發(fā)布測(cè)試系統(tǒng)以及自動(dòng)化測(cè)試等方面整合。也就是說(shuō)要讓測(cè)試能夠自動(dòng)化，不僅是技術(shù)、工具的問(wèn)題，更是一個(gè)公司和組織的文化問(wèn)題。首先公司從資金、管理上支持您，其次要有專門的測(cè)試團(tuán)隊(duì)去建立適合自動(dòng)化測(cè)試的測(cè)試流程、測(cè)試體系；其次就是把原代碼從受控庫(kù)中取出、編譯、集成、發(fā)布可運(yùn)行系統(tǒng)、進(jìn)行自動(dòng)化的單元測(cè)試和自動(dòng)化的功能測(cè)試的過(guò)程。（一）、自動(dòng)化測(cè)試的好處1、對(duì)新版本執(zhí)行回歸測(cè)試-測(cè)試每個(gè)特征對(duì)于產(chǎn)品型的軟件，每發(fā)布一個(gè)新的版本，其中大部分功能和界面都和上一個(gè)版本相似或完全相同，這部分功

4、能特別適合于自動(dòng)化測(cè)試，從而可以讓測(cè)試達(dá)到測(cè)試每個(gè)特征的目的。2、更多更頻繁的測(cè)試一一沉悶、耗時(shí)我們的產(chǎn)品向市場(chǎng)的發(fā)布周期是3個(gè)月，也就是我們的開(kāi)發(fā)周期只有短短的3個(gè)月，而在測(cè)試期間是每天/每2天都要發(fā)布一個(gè)版本供測(cè)試人員測(cè)試，一個(gè)系統(tǒng)的功能點(diǎn)有幾千個(gè)上萬(wàn)個(gè)，人工測(cè)試是非常的耗時(shí)和繁瑣，這樣必然會(huì)使測(cè)試效率低下。3、替代手工測(cè)試的困難-300個(gè)用戶有些非功能性方面的測(cè)試：壓力測(cè)試、并發(fā)測(cè)試、大數(shù)據(jù)量測(cè)試、崩潰性測(cè)試，用人來(lái)測(cè)試是不可能達(dá)到的。在沒(méi)有引入自動(dòng)化測(cè)試工具之前，為了測(cè)試并發(fā)，研發(fā)中心的一、兩百號(hào)人在研發(fā)經(jīng)理的口令：1、2、3!,大家同時(shí)按下同一個(gè)按鈕?；叵肫疬@中情景也蠻有意思的。4、

5、具有一致性和可重復(fù)性由于每次自動(dòng)化測(cè)試運(yùn)行的腳本是相同的，所以每次執(zhí)行的測(cè)試具有一致性，人是很難做到的.由于自動(dòng)化測(cè)試的一致性，很容易發(fā)現(xiàn)被測(cè)軟件的任何改變。5、更好的利用資源一一周未/晚上理想的自動(dòng)化測(cè)試能夠按計(jì)劃完全自動(dòng)的運(yùn)行，在開(kāi)發(fā)人員和測(cè)試人員不可能實(shí)行三班倒的情況下，自動(dòng)化測(cè)試可以勝任這個(gè)任務(wù)，完全可以在周末和晚上執(zhí)行測(cè)試.這樣充分的利用了公司的資源，也避免了開(kāi)發(fā)和測(cè)試之間的等待.6、解決測(cè)試與開(kāi)發(fā)之間的矛盾通常在開(kāi)發(fā)的末期，進(jìn)入集成測(cè)試階段，由于每發(fā)布一個(gè)版本的初期，測(cè)試系統(tǒng)的錯(cuò)誤比較少，這時(shí)開(kāi)發(fā)人員有等待測(cè)試人員測(cè)試出錯(cuò)誤的時(shí)間.事實(shí)上在疊代周期很短的開(kāi)發(fā)模式中，存在更多的矛盾，

6、但自動(dòng)化測(cè)試可以解決其中的主要矛盾。7、增加軟件信任度總之，自動(dòng)化測(cè)試的好處和收益是很明顯的，但也只有順利事實(shí)了自動(dòng)化測(cè)試才能從中獲得它的益處。（二卜自動(dòng)化測(cè)試-誤區(qū)、限制自動(dòng)化化測(cè)試好處很多，但也有很多的局限，也正因?yàn)楹芏嗬习鍖?duì)自動(dòng)化測(cè)試的期望太高，所以有很多執(zhí)行自動(dòng)化測(cè)試失敗的例子。1、期望自動(dòng)化測(cè)試能取代手工測(cè)試不能期望自動(dòng)化測(cè)試來(lái)取代手工測(cè)試，測(cè)試主要還是要靠人工的。2、期望自動(dòng)測(cè)試發(fā)現(xiàn)大量新缺陷同樣不能期望自動(dòng)化測(cè)試去發(fā)現(xiàn)更多新的缺陷，事實(shí)證明新缺陷越多，自動(dòng)化測(cè)試失敗的幾率就越大。發(fā)現(xiàn)更多的新缺陷應(yīng)該是手工測(cè)試的主要目的。測(cè)試專家JamesBach總結(jié)得85%的缺陷靠手工發(fā)現(xiàn)，而自

7、動(dòng)化測(cè)試只能發(fā)現(xiàn)15%的缺陷。其實(shí)我認(rèn)為自動(dòng)化測(cè)試能夠很好的發(fā)現(xiàn)老缺陷。3、工具本身不具有想象力工具畢竟是工具，出現(xiàn)一些需要思考、體驗(yàn)、界面美觀方面的測(cè)試，自動(dòng)化測(cè)試工具無(wú)能為力。4、技術(shù)問(wèn)題、組織問(wèn)題、腳本維護(hù)自動(dòng)化測(cè)試的推行，有很多阻力，比如組織是否重視，是否成立這樣的測(cè)試團(tuán)隊(duì)，是否有這樣的技術(shù)水平，對(duì)于測(cè)試腳本的維護(hù)工作量也挺大的，是否值得維護(hù)等等問(wèn)題都必須考慮。（三卜不適合自動(dòng)化測(cè)試情況自動(dòng)化測(cè)試不是適合所有的公司、所有的項(xiàng)目。1、定制型項(xiàng)目（一次性的）為客戶定制的項(xiàng)目，維護(hù)期由客戶方承擔(dān)的，甚至采用的開(kāi)發(fā)語(yǔ)言、運(yùn)行環(huán)境也是客戶特別要求的，即公司在這方面的測(cè)試積累就少，這樣的項(xiàng)目不適合

8、作自動(dòng)化化測(cè)試。2、項(xiàng)目周期很短的項(xiàng)目項(xiàng)目周期很短，測(cè)試周期很短，就不值得花精力去投資自動(dòng)化測(cè)試，好不容易建立起的測(cè)試腳本，不能得到重復(fù)的利用是不現(xiàn)實(shí)的。3、業(yè)務(wù)規(guī)則復(fù)雜的對(duì)象業(yè)務(wù)規(guī)則復(fù)雜的對(duì)象，有很多的邏輯關(guān)系、運(yùn)算關(guān)系，工具就很難測(cè)試。4、美觀、聲音、易用性測(cè)試人的感觀方面的：界面的美觀、聲音的體驗(yàn)、易用性的測(cè)試，也只有人來(lái)測(cè)試5、測(cè)試很少運(yùn)行：一個(gè)月只運(yùn)行一次測(cè)試很少運(yùn)行，對(duì)自動(dòng)化測(cè)試就是一種浪費(fèi)。自動(dòng)化測(cè)試就是讓它不厭其煩的、反反復(fù)復(fù)的運(yùn)行才有效率。6、軟件不穩(wěn)定軟件不穩(wěn)定，則會(huì)由于這些不穩(wěn)定因素導(dǎo)致自動(dòng)化測(cè)試失敗。只有當(dāng)軟件達(dá)到相對(duì)的穩(wěn)定，沒(méi)有界面性嚴(yán)重錯(cuò)誤和中斷錯(cuò)誤才能開(kāi)始自動(dòng)化測(cè)

9、試。7、涉及物理交互工具很難完成與物理設(shè)備的交互，比如刷卡的測(cè)試等。（四）、什么樣的情況適合自動(dòng)化測(cè)試自動(dòng)化測(cè)試之所以能在很多大公司實(shí)施起來(lái)，就是有它適合自動(dòng)化測(cè)試的特點(diǎn)和高的投資回報(bào)率。1、產(chǎn)品型項(xiàng)目產(chǎn)品型的項(xiàng)目，每個(gè)項(xiàng)目只改進(jìn)少量的功能，但每個(gè)項(xiàng)目必須反反復(fù)復(fù)的測(cè)試那些沒(méi)有改動(dòng)過(guò)的功能。這部分測(cè)試完全可以讓自動(dòng)化測(cè)試來(lái)承擔(dān)，同時(shí)可以把新加入的功能的測(cè)試也慢慢地加入到自動(dòng)化測(cè)試當(dāng)中。2、增量式開(kāi)發(fā)、持續(xù)集成項(xiàng)目由于這種開(kāi)發(fā)模式是頻繁的發(fā)布新版本進(jìn)行測(cè)試，也就需要自動(dòng)化測(cè)試來(lái)頻繁的測(cè)試，以便把人從中解脫出來(lái)測(cè)試新的功能。3、能夠自動(dòng)編譯、自動(dòng)發(fā)布的系統(tǒng)要能夠完全實(shí)現(xiàn)自動(dòng)化測(cè)試，必須能夠具有自動(dòng)

10、化編譯，自動(dòng)化發(fā)布系統(tǒng)進(jìn)行測(cè)試的功能。當(dāng)然，不能達(dá)到這個(gè)要求也可以在手工干預(yù)下進(jìn)行自動(dòng)化測(cè)試。4、回歸測(cè)試回歸測(cè)試試自動(dòng)化測(cè)試的強(qiáng)項(xiàng)，它能夠很好的確保你是否引入了新的缺陷，老的缺陷是否修改過(guò)來(lái)了。在某種程度上可以把自動(dòng)化測(cè)試工具叫做回歸測(cè)試工具。5、多次重復(fù)、機(jī)械性動(dòng)作自動(dòng)化測(cè)試最喜歡測(cè)試：多次重復(fù)、機(jī)械性動(dòng)作，這樣的測(cè)試對(duì)它來(lái)說(shuō)從不會(huì)失敗。比如要向系統(tǒng)輸入大量的相似數(shù)據(jù)來(lái)測(cè)試壓力和報(bào)表。6、需要頻繁運(yùn)行測(cè)試在一個(gè)項(xiàng)目中需要頻繁的運(yùn)行測(cè)試，測(cè)試周期按天算，就能最大限度的利用測(cè)試腳本，提高工作效率。7、將煩瑣的任務(wù)轉(zhuǎn)化為自動(dòng)化測(cè)試三、持續(xù)集成及其自動(dòng)化編譯持續(xù)集成（ContinuousInteg

11、ration）”的概念來(lái)自于XP（極限編程）的一個(gè)實(shí)踐，我們的開(kāi)發(fā)模式是建立在CMM的基礎(chǔ)之上，引入了某些XP的概念，所以我們的思想是取各方面的精華來(lái)適合自己。持續(xù)集成是指能夠自動(dòng)的集成已經(jīng)提交（Check-in）的代碼，直至發(fā)布到測(cè)試服務(wù)器供測(cè)試的整個(gè)過(guò)程。1、實(shí)現(xiàn)自動(dòng)化日構(gòu)建需要做以下幾部分的工作：2、將所有的源代碼保存在單一的開(kāi)發(fā)服務(wù)器，讓所有人都能從這里獲取最新的源代碼（需要用配置管理工具存放源代碼：如VSS/CVS/ClearCase）。3、使創(chuàng)建過(guò)程完全自動(dòng)化，讓任何人都可以只輸入一條命令就完成系統(tǒng)的創(chuàng)建。4、使測(cè)試完全自動(dòng)化，讓任何人都可以只輸入一條命令就運(yùn)行一套完整的系統(tǒng)測(cè)試。

12、5、確保所有人都可以得到最新、最好的可執(zhí)行文件。6、自動(dòng)化編譯：為了能夠提供自動(dòng)化測(cè)試，所以所有的代碼必須能夠?qū)崿F(xiàn)自動(dòng)化編譯。其實(shí)很多在做持續(xù)集成的公司都實(shí)現(xiàn)了改功能：如java程序可以采用在Ant+Junit的基礎(chǔ)之上添加自己的功能既可以實(shí)現(xiàn)持續(xù)集成我們把這個(gè)工具叫：日構(gòu)建但很多公司并沒(méi)有實(shí)現(xiàn)對(duì)JSP的自動(dòng)編譯，對(duì)于采用jsp編寫的web頁(yè)面，它是編譯執(zhí)行語(yǔ)言，由于第一次執(zhí)行要先編譯，即第一次的速度稍慢，如果要采用自動(dòng)化測(cè)試工具winrunner進(jìn)行功能測(cè)試時(shí)，則會(huì)失敗。因?yàn)樽詣?dòng)化測(cè)試工具最基本的要求是：進(jìn)入條件和出口條件必須在錄制與回放時(shí)完全相同。2、持續(xù)集成最的好處：完全可以取代人工的發(fā)

13、布，在J2EE中有個(gè)角色叫deployer.,它的主要工作就是經(jīng)常發(fā)布新的系統(tǒng)供開(kāi)發(fā)、測(cè)試，一般每發(fā)布一次至少要一個(gè)小時(shí)，如遇到一些問(wèn)題一個(gè)上午就耗費(fèi)掉了，但使用“日構(gòu)建”后就可以完全實(shí)現(xiàn)自動(dòng)化，時(shí)間幾乎只等于編譯時(shí)間。它完全避免了開(kāi)發(fā)者們的“除蟲(chóng)會(huì)議-以前開(kāi)發(fā)者們經(jīng)常需要開(kāi)這樣的會(huì)，因?yàn)槟硞€(gè)人在工作的時(shí)候踩進(jìn)了別人的領(lǐng)域、影響了別人的代碼，而被影響的人還不知道發(fā)生了什么，于是bug就出現(xiàn)了。這樣的bug絕大多數(shù)都可以在引入的同一天就被發(fā)現(xiàn)。由于一天之中發(fā)生變動(dòng)的部分并不多，所以可以很快找到出錯(cuò)的位置。持續(xù)集成可以把發(fā)現(xiàn)的錯(cuò)誤根據(jù)源代碼的作者，以郵件和日志的方式分發(fā)給作者，第二天一上班的第一件

14、事就是先修改錯(cuò)誤。持續(xù)集成可以減少集成階段捉蟲(chóng)”消耗的時(shí)間、頻繁發(fā)布新版本的時(shí)間，從而最終提高生產(chǎn)力和軟件質(zhì)量。3、理想的持續(xù)集成的實(shí)現(xiàn)方法：A）、同一個(gè)軟件產(chǎn)品要有集中的同一臺(tái)開(kāi)發(fā)服務(wù)器，即所有人的最新的、各自編譯通過(guò)的源代碼都在配置管理工具如VSS中。B）、有一臺(tái)運(yùn)行主創(chuàng)建的機(jī)器，有計(jì)劃的運(yùn)行日構(gòu)建，日構(gòu)建中有一個(gè)創(chuàng)建進(jìn)程，該創(chuàng)建進(jìn)程是在一個(gè)隨時(shí)保持運(yùn)行的Java類中進(jìn)行的，如果沒(méi)有創(chuàng)建任務(wù)，創(chuàng)建進(jìn)程就一直循環(huán)等待。C）、守護(hù)進(jìn)程將全部代碼（包括原程序和配置文件，數(shù)據(jù)庫(kù)腳本等）提取到創(chuàng)建機(jī)器的一個(gè)目錄中。提取完成之后，守護(hù)進(jìn)程就會(huì)在這個(gè)目錄里調(diào)用Ant腳本。D）、Ant會(huì)接管整個(gè)創(chuàng)建過(guò)程，

15、對(duì)所有源代碼做一次完整的創(chuàng)建。Ant腳本會(huì)負(fù)責(zé)整個(gè)編譯過(guò)程，并把得到的class文件放進(jìn)六個(gè)jar包里，發(fā)布到EJB服務(wù)器上。創(chuàng)建結(jié)束之后，創(chuàng)建守護(hù)進(jìn)程會(huì)給所有向最新一次創(chuàng)建歸還了代碼的開(kāi)發(fā)者發(fā)一個(gè)e-mail,匯報(bào)創(chuàng)建的情況。E）、當(dāng)Ant完成了編譯和發(fā)布的工作之后，創(chuàng)建守護(hù)進(jìn)程就會(huì)在EJB服務(wù)器上開(kāi)始運(yùn)行新的jar,同時(shí)開(kāi)始運(yùn)行BVT測(cè)試套件：即利用Junit進(jìn)行單元測(cè)試。單元測(cè)試完成后，日構(gòu)建會(huì)把單元測(cè)試報(bào)告發(fā)給有錯(cuò)誤的開(kāi)發(fā)人員。F）、為了利用自動(dòng)化工具（WINRUNNER）進(jìn)行功能測(cè)試，必須對(duì)JSP編譯，利用jspc命令進(jìn)行包裝一層，就可以自動(dòng)的對(duì)所有的jsp文件進(jìn)行編譯，但由于編譯j

16、sp的時(shí)間非常長(zhǎng)（越比編譯java代碼時(shí)間長(zhǎng)），所以一般利用單獨(dú)的編譯服務(wù)器進(jìn)行編譯。發(fā)布編譯好的jsp文件進(jìn)行自動(dòng)化測(cè)試的成功率高（因?yàn)榈谝淮芜\(yùn)行jsp文件非常慢，而自動(dòng)化測(cè)試最忌諱運(yùn)行時(shí)和錄制時(shí)等待得時(shí)間不一樣）。而功能性自動(dòng)化測(cè)試也需要按計(jì)劃有順序的執(zhí)行，這需要TestDirector測(cè)試管理系統(tǒng)來(lái)調(diào)度Winrunner進(jìn)行測(cè)試。讓所有的重復(fù)的繁瑣的事情都完全自動(dòng)化，并且要經(jīng)常進(jìn)行集成，讓重復(fù)的測(cè)試自動(dòng)化。四、測(cè)試套件實(shí)現(xiàn)測(cè)試流程.當(dāng)具備持續(xù)集成和測(cè)試自動(dòng)化的能力后，需要一套測(cè)試體系來(lái)支持和維護(hù)您的測(cè)試流程，確保測(cè)試過(guò)程是符合流程、標(biāo)準(zhǔn)，而且是持續(xù)改進(jìn)的。（一）、為什么需要一個(gè)流程？很多

17、公司投入了大量的測(cè)試經(jīng)費(fèi)，然而還是沒(méi)有收到預(yù)期的收益。這可能是因?yàn)椋喝狈ψ銐虻臏y(cè)試計(jì)劃、缺乏測(cè)試的優(yōu)先次序、工作的重復(fù)、沒(méi)有利用工具來(lái)配合人工測(cè)試、沒(méi)有利用測(cè)試自動(dòng)化工具、測(cè)試自動(dòng)化運(yùn)用不夠或者運(yùn)用的不恰當(dāng)?shù)鹊?。所以需要有測(cè)試套件的實(shí)施流程。（二）、為什么需要工具？工具能夠加快測(cè)試的進(jìn)度，可以把控制和管理引入整個(gè)測(cè)試過(guò)程，比如MI公司的TestDirector就是一個(gè)很好使用的測(cè)試管理系統(tǒng)，而且是web版的。測(cè)試管理系統(tǒng)有很多的作用：測(cè)試管理和報(bào)告：測(cè)試管理系統(tǒng)能夠保證系統(tǒng)開(kāi)發(fā)和測(cè)試流程你不的問(wèn)題盡快得到解決。審核跟蹤的憑據(jù)：TestDirector存貯了所有的測(cè)試結(jié)果，全部修改被寫進(jìn)一個(gè)審核

18、跟蹤器里，如：時(shí)間、日期、修改人、錯(cuò)誤授權(quán)，能夠很清晰的看到把錯(cuò)誤當(dāng)皮球踢不負(fù)責(zé)人的整個(gè)過(guò)程。提高測(cè)試覆蓋率：通過(guò)自動(dòng)化測(cè)試工具的數(shù)據(jù)驅(qū)動(dòng)來(lái)測(cè)試功能，可以提高測(cè)試覆蓋率。（四）、測(cè)試套件-測(cè)試體系的主要目標(biāo)（5W3H）測(cè)試體系的建立是為了確保軟件測(cè)試的全部活動(dòng)按計(jì)劃、按標(biāo)準(zhǔn)的進(jìn)行，是測(cè)試人員的行動(dòng)綱領(lǐng)和職責(zé)指導(dǎo)。也就是有這樣的一個(gè)體系、流程來(lái)指導(dǎo)他們的工作，培養(yǎng)了他們的主人翁責(zé)任感。讓測(cè)試工作開(kāi)展得有條不紊。主要的內(nèi)容有：測(cè)試流程，測(cè)試方針、測(cè)試規(guī)程、文檔模版、質(zhì)量標(biāo)準(zhǔn)、測(cè)試工具、測(cè)試技術(shù)和方法等內(nèi)容。測(cè)試體系的主要目標(biāo)（5W3H）:目的是告訴與測(cè)試活動(dòng)相關(guān)的人員在什么樣的時(shí)間，什么樣的地點(diǎn)，

19、由誰(shuí)來(lái)做，做什么樣的事情，為什么做，如何做，怎么樣才算完成，缺陷任何分析和預(yù)防等。可以簡(jiǎn)稱：5W3H.1、為什么要測(cè)試系統(tǒng)（Why）?測(cè)試新功能：每發(fā)布一個(gè)新的版本，首先要去測(cè)試它的新功能。創(chuàng)建回歸測(cè)試的測(cè)試套件驗(yàn)證缺陷修改：在這個(gè)測(cè)試周期中要驗(yàn)證上個(gè)測(cè)試周期的缺陷修改情況。驗(yàn)證系統(tǒng)性能檢測(cè)新硬件2、如何測(cè)試系統(tǒng)（How）?系統(tǒng)測(cè)試：檢查系統(tǒng)總體功能壓力測(cè)試：在反復(fù)相同的操作下、或其他壓力條件下，比如：低內(nèi)存空間/低磁盤空間等，檢測(cè)軟件的反應(yīng)。安裝測(cè)試：檢驗(yàn)系統(tǒng)安裝得是否正確，而且與已安裝的軟件不發(fā)生沖突。安全測(cè)試：測(cè)試系統(tǒng)存取權(quán)限和授權(quán)的級(jí)別邊界測(cè)試：利用數(shù)據(jù)邊界和系統(tǒng)邊界檢驗(yàn)程序3、什么時(shí)

20、候進(jìn)行測(cè)試（When）?在開(kāi)發(fā)流程的哪個(gè)階段開(kāi)始測(cè)試？在需求規(guī)格說(shuō)明書一出來(lái)，或項(xiàng)目管理計(jì)劃一出來(lái)，測(cè)試人員就開(kāi)始有事做：寫測(cè)試計(jì)劃、編寫測(cè)試用例、執(zhí)行測(cè)試、測(cè)試報(bào)告和缺陷分析。很多老板以為要編碼結(jié)束后才開(kāi)始測(cè)試工作，所以不肯有專職的測(cè)試人員，怕他們?cè)陧?xiàng)目前期沒(méi)有事做。前提條件和附屬條件是什么？多長(zhǎng)時(shí)間需要進(jìn)行一次測(cè)試？交貨的時(shí)間表是什么？什么時(shí)候停止測(cè)試？什么時(shí)候停止測(cè)試是很有學(xué)問(wèn)的，很多公司多半是在沒(méi)有時(shí)間、沒(méi)有資金是，老板或項(xiàng)目經(jīng)理說(shuō)了停止就停止。事實(shí)上根據(jù)bug預(yù)測(cè)、bug發(fā)現(xiàn)率與錯(cuò)誤修正率的時(shí)間曲線來(lái)決定的。只有當(dāng)這個(gè)曲線達(dá)到水平線后方才可以停止。4、誰(shuí)來(lái)實(shí)施測(cè)試（Who）?硬件：具

21、備什么樣的服務(wù)器、客戶端及其網(wǎng)絡(luò)環(huán)境。軟件：安裝什么樣的軟件環(huán)境最適合作這些測(cè)試。體系架構(gòu)：測(cè)試的類別有很多，不同的人進(jìn)行不同的測(cè)試，比如開(kāi)發(fā)人員做單元測(cè)試，測(cè)試人員作功能測(cè)試、集成測(cè)試、非功能性測(cè)試，而讓市場(chǎng)、需求人員、客戶去做驗(yàn)收測(cè)試數(shù)據(jù)：需要什么樣的測(cè)試數(shù)據(jù)來(lái)實(shí)施這一次的測(cè)試，這些測(cè)試數(shù)據(jù)的設(shè)計(jì)。人力資源：按測(cè)試計(jì)劃的要求安排相關(guān)的人力資源。5、在哪里進(jìn)行測(cè)試（Where）?在開(kāi)發(fā)服務(wù)器上測(cè)試？開(kāi)發(fā)人員可能會(huì)叫你在測(cè)試服務(wù)器上測(cè)試，事實(shí)上這樣對(duì)測(cè)試效率和測(cè)試人員的情緒影響是很大的，因?yàn)殚_(kāi)發(fā)服務(wù)器是一個(gè)極不穩(wěn)定的環(huán)境。而且也沒(méi)明顯的測(cè)試階段。建立一個(gè)測(cè)試實(shí)驗(yàn)室？對(duì)于有很多項(xiàng)目的公司，建立一個(gè)測(cè)試實(shí)驗(yàn)室是很必要的，主要用來(lái)做環(huán)境的兼容性測(cè)試，壓力、性能測(cè)試，驗(yàn)收測(cè)試等等。為了減輕測(cè)試者本地機(jī)器的負(fù)荷，使之在進(jìn)行測(cè)試的同時(shí)可以做其他測(cè)試，遠(yuǎn)程定時(shí)執(zhí)行測(cè)試的機(jī)制。6、測(cè)試什么（What）?自動(dòng)測(cè)試中應(yīng)用程序的主要特點(diǎn)是什么？按重要性將這些特點(diǎn)排序？自動(dòng)測(cè)試各部分的相對(duì)重要性？總體質(zhì)量目標(biāo)是什么（可用性，功能，可靠性，性能等等）？7、怎么樣才算完成（How）？要定義測(cè)試的完成條件和完成標(biāo)準(zhǔn)，以便達(dá)到這些條件和