第06課黑盒測試5-正交法與比較選擇

正交試驗(yàn)設(shè)計(jì)方法正交試驗(yàn)設(shè)計(jì)方法是從大量的試驗(yàn)數(shù)據(jù)中挑選適量的、有代表性的點(diǎn)，從而合理地安排測試的一種科學(xué)的試驗(yàn)設(shè)計(jì)方法使用已經(jīng)造好了的表格——正交表來安排試驗(yàn)并進(jìn)行數(shù)據(jù)分析。正交實(shí)驗(yàn)?zāi)康模河行У亍⒑侠淼販p少需進(jìn)行的實(shí)驗(yàn)數(shù)量相關(guān)概念：因子：有可能影響實(shí)驗(yàn)指標(biāo)的條件因子的水平（或狀態(tài)）：影響實(shí)驗(yàn)因子的因素正交表：記為L次數(shù)（水平數(shù)因子數(shù)），例如L8（41×24）表示實(shí)驗(yàn)次數(shù)為8，1個(gè)4水平的因子，4個(gè)2水平的因子。正交實(shí)驗(yàn)法案例分析為提高某化工產(chǎn)品的轉(zhuǎn)化率，選擇了三個(gè)有關(guān)因素進(jìn)行條件試驗(yàn)，反應(yīng)溫度（A），反應(yīng)時(shí)間（B），用堿量（C），并確定了它們的試驗(yàn)范圍如下：A：80℃

~90℃B：90分鐘~150分鐘C：5%~7%試驗(yàn)的目的是搞清楚因子A、B、C對轉(zhuǎn)化率有什么影響，哪些是主要的，哪些是次要的，從而確定最適生產(chǎn)條件，即溫度、時(shí)間及用堿量各為多少才能使轉(zhuǎn)化率最高。在試驗(yàn)范圍內(nèi)都選了三個(gè)水平（即各因素的不同狀態(tài)），如下所示：A：A1=80℃，A2=85℃，A3=90℃；B：B1=90分鐘，B2=120分鐘，B3=150分鐘；C：C1=5%，C2=6%，C3=7%。（1）全面試驗(yàn)法：取三因子所有水平之間的組合，即A1B1C1、A1B1C2、A1B1C3、……、A3B3C3，共有33＝27次試驗(yàn)。用左圖表示立方體的27個(gè)節(jié)點(diǎn)。

A1A2A3B1B2B3C1C2C3全面試驗(yàn)法對各因子與指標(biāo)間的關(guān)系剖析的比較清楚。但試驗(yàn)次數(shù)太多。特別是當(dāng)因子數(shù)目多，每個(gè)因子的水平數(shù)目也很多時(shí)，試驗(yàn)量非常大。如選6個(gè)因子，每個(gè)因子取5個(gè)水平時(shí)，全面試驗(yàn)法需56

＝15625次試驗(yàn)，這實(shí)際上是不可能實(shí)現(xiàn)的。如果應(yīng)用下面的方法，則只需做25次試驗(yàn)就行了。而且在某種意義上講，這25次試驗(yàn)就代表了15625次試驗(yàn)。（2）簡單對比法：即變化一個(gè)因素而固定其他因素，如首先固定B、C于B1、C1，使A變化。

B1C1A1A2A3（好結(jié)果）A3C1B1B2（好結(jié)果）B3A3B2C1C2（好結(jié)果）C3如得出A3結(jié)果最好，則固定A于A3，C還是C1，使B變化。得出結(jié)果以B2為最好，則固定B于B2，A于A3，使C變化。試驗(yàn)結(jié)果以C2最好。于是就認(rèn)為最好的工藝條件是A3B2C2。這種方法也有一定的效果，但缺點(diǎn)很多。首先這種方法的選點(diǎn)代表性很差，如按上述方法進(jìn)行試驗(yàn)，試驗(yàn)點(diǎn)完全分布在一個(gè)角上，而在一個(gè)很大的范圍內(nèi)沒有選點(diǎn)，因此這種試驗(yàn)法不全面，所選的工藝條件A3B2C2不一定是27個(gè)組合中最好的。其次，用這種方法比較條件好壞時(shí)，是把單個(gè)的試驗(yàn)數(shù)據(jù)拿來，進(jìn)行數(shù)值上的簡單比較，而試驗(yàn)數(shù)據(jù)中必然包含著誤差成分，所以單個(gè)數(shù)據(jù)的簡單比較不能剔除誤差，必然造成結(jié)論的不穩(wěn)定。簡單對比法的最大優(yōu)點(diǎn)就是試驗(yàn)次數(shù)少，例如，6因子5水平試驗(yàn)，在不重復(fù)時(shí)，只用5＋（6－1）×（5－1）＝25次試驗(yàn)就可以了。A1A2A3B3B2B1C1C2C3考慮兼顧以上兩種方法的優(yōu)點(diǎn)，從全面試驗(yàn)的點(diǎn)中選擇具有典型性、代表性的點(diǎn)，使試驗(yàn)點(diǎn)在試驗(yàn)范圍內(nèi)分布的很均勻，能反映全面情況。但我們又希望試驗(yàn)點(diǎn)盡量的少，為此還要具體考慮一些問題。如上例，對應(yīng)于A有A1、A2、A3三個(gè)平面，對應(yīng)于B、C也各有三個(gè)平面，共9個(gè)平面。則這9個(gè)平面上的點(diǎn)都應(yīng)當(dāng)一樣多，即對每個(gè)因子的每個(gè)水平都要同等看待。具體來說，每個(gè)平面上都有3行、3列，要求在每行、每列上的點(diǎn)一樣多。（3）正交試驗(yàn)法

9個(gè)平面中每個(gè)平面上恰好有3個(gè)點(diǎn)，而每個(gè)平面的每行每列都有且僅有1個(gè)點(diǎn)，總共9個(gè)點(diǎn)。這樣的試驗(yàn)方案，試驗(yàn)點(diǎn)分布均勻，試驗(yàn)次數(shù)也不多。A1A2A3B1B2B3C1C2C3147396825實(shí)驗(yàn)號(hào)水平組合實(shí)驗(yàn)條件溫度時(shí)間加堿量123456789A1B1C1A1B2C2A1B3C3A2B1C2A2B2C3A2B3C1A3B1C3A3B2C1A3B3C2808080858585909090901201509012015090120150567675756正交試驗(yàn)法當(dāng)因子數(shù)和水平數(shù)都不太大時(shí)，尚可通過作圖的辦法來選擇分布很均勻的試驗(yàn)點(diǎn)。但是，因子數(shù)和水平數(shù)多了，作圖的方法就不行了。按照正交表來安排試驗(yàn)，既能使試驗(yàn)點(diǎn)分布得很均勻，又能減少試驗(yàn)次數(shù)，而且計(jì)算分析簡單，能夠清晰地闡明試驗(yàn)條件與指標(biāo)之間的關(guān)系。常用的正交表用L代表正交表，常用的有L8(27)、L9(34)、L16(45)、L8(4×24)等。L8(27)7表示正交表的列數(shù)，2為因子的水平數(shù)，8表示正交表的行數(shù)。L16(2×37),有7列是3水平的，有1列是2水平的——做16個(gè)試驗(yàn)最多可以考察1個(gè)2水平的因子和7個(gè)3水平的因子。行數(shù)(即試驗(yàn)次數(shù))=∑(每列水平數(shù)-1)+1常用的正交表——L4（23）列號(hào)123試驗(yàn)號(hào)1111212232124221常用的正交表——L8(27)列號(hào)1234567試驗(yàn)號(hào)1111111121112222312211224122221152121212621221217221122182212112常用的正交表——L8(2441)0000000112010110110310013101011100211110常用的正交表——L18(3661)常用的正交表——L12(211)列號(hào)1234567891011試驗(yàn)號(hào)111111111111211111222222311222111222412122122112512212212121612221221211721221122121821212221112921122212211102221111221211221212111221222112121221常用的正交表——L16（45）列號(hào)12345試驗(yàn)號(hào)1111112122223133334144445212346221437234128243219313421032431113312412342131341423144231415432411644132正交表性質(zhì)：1）每一列中各數(shù)字出現(xiàn)的次數(shù)都一樣多；2）任何兩列所構(gòu)成的各有序數(shù)對出現(xiàn)的次數(shù)都一樣多。正交表的選擇5個(gè)3水平因子及1個(gè)2水平因子，需要哪一種正交表？起碼的實(shí)驗(yàn)次數(shù)為：5*(3-1)+1*(2-1)+1=12次即在正交表行數(shù)不小于12行，既有2水平列又有3水平列的正交表中選擇，L18（2*37）適合。選擇正交表已經(jīng)公布了很多正交表，可以從下面的渠道獲得正交表因特網(wǎng)數(shù)理統(tǒng)計(jì)書籍相關(guān)軟件——例如：正交設(shè)計(jì)助手Ⅱ由正交表導(dǎo)出測試用例示例有5個(gè)因子A,B,C,D,E,其中A因子的水平數(shù)為4，其水平分別為（A1、A2、A3、A4）,另外四個(gè)因子的水平數(shù)為2，其中B因子的水平為（B1、B2），C因子的水平為（C1、C2），D因子的水平為（D1、D2），E因子的水平為（E1、E2），因此選用正交表為：L8（41×24）正交實(shí)驗(yàn)法測試思想正交表可分為統(tǒng)一水平數(shù)正交表：表中各個(gè)因子的水平數(shù)是一樣的混合水平數(shù)正交表：表中的各個(gè)因子數(shù)的水平數(shù)不同測試思想根據(jù)被測軟件的規(guī)格說明書找出影響其功能實(shí)現(xiàn)的操作對象和外部因素，把它們當(dāng)作因子，而把各個(gè)因子的取值當(dāng)作狀態(tài)，構(gòu)造出二元的因素分析表；然后，利用正交表進(jìn)行各因子的狀態(tài)組合，構(gòu)造有效的測試輸入數(shù)據(jù)集正交表的因子對應(yīng)被測對象的測試因素因子的水平可以看成是各測試因素的取值。正交實(shí)驗(yàn)法設(shè)計(jì)步驟設(shè)計(jì)步驟依據(jù)被測對象說明構(gòu)造因子—狀態(tài)表加權(quán)篩選，生成因素分析表選取合適的正交表，生成測試數(shù)據(jù)集根據(jù)被測對象的特征，補(bǔ)充由正交表無法得到的測試用例選擇正交表時(shí)可能遇到的兩種情況根據(jù)前面獲得的因子數(shù)和狀態(tài)數(shù)選擇正交表，選擇正交表可能遇到下面的情況因子數(shù)和水平數(shù)與正交表相吻合因子數(shù)和水平數(shù)與正交表不吻合，可以遵循下面的原則正交表的列數(shù)不能小于因子數(shù)；正交表的水平數(shù)不能小于因子的最大狀態(tài)數(shù)。正交表的行數(shù)取最小值實(shí)例1：因子數(shù)與水平數(shù)剛好符合正交表

個(gè)人信息查詢系統(tǒng)中的一個(gè)窗口要測試的控件有3個(gè)，也就是要考慮的因素有三個(gè)；姓名身份證號(hào)碼手機(jī)號(hào)碼每個(gè)因素里的狀態(tài)有兩個(gè)：填與不填。表中的因素?cái)?shù)>=3；表中至少有3個(gè)因素?cái)?shù)的水平數(shù)>=2行數(shù)取最少的一個(gè)。從正交表公式中開始查找，結(jié)果為：

L4(23)

測試用例如下：1：填寫姓名、填寫身份證號(hào)、填寫手機(jī)號(hào)2：填寫姓名、不填身份證號(hào)、不填手機(jī)號(hào)3：不填姓名、填寫身份證號(hào)、不填手機(jī)號(hào)4：不填姓名、不填身份證號(hào)、填寫手機(jī)號(hào)增補(bǔ)測試用例5：不填姓名、不填身份證號(hào)、不填手機(jī)號(hào)測試用例可以看出：如果按每個(gè)因素兩個(gè)水平數(shù)來考慮的話，需要8個(gè)測試用例，而通過正交實(shí)驗(yàn)法進(jìn)行的測試用例只有5個(gè)，大大減少了測試用例數(shù)。用最小的測試用例集合去獲取最大的測試覆蓋率。實(shí)例2：因子數(shù)水平數(shù)與正交表不相同的情況微軟Powerpoint程序的打印測試，也需要考慮4個(gè)因素，每個(gè)因素也有多個(gè)選項(xiàng)打印范圍分：全部、當(dāng)前幻燈片、給定范圍打印內(nèi)容分：幻燈片、講義、備注頁、大綱視圖打印顏色/灰度分:彩色、灰度、黑白打印效果分：幻燈片加框和幻燈片不加框。實(shí)例2：因子數(shù)水平數(shù)與正交表不相同的情況微軟Powerpoint打印測試，有4個(gè)因子，水平數(shù)（從2到4

）是不相等的。由于水平數(shù)不等，采用包含和組合的方法選取合適的正交表公式

表中的因子數(shù)>=4表中至少有4個(gè)因子的水平數(shù)>=2行數(shù)取最少的一個(gè)最后選中正交表公式：L16(45)

實(shí)例2（續(xù)）123451000002011113022224033335101236110327123018132109202311021320112201312231021330312143120315321301633021123451A1B1C1D102A1B2C2D213A1B3C3224A1B43335A2B1C2236A2B2C1327A2B33D118A2B4C3D209A3B1C33110A3B232011A3B3C1D2312A3B4C2D12133B13D22143B2C3D13153B3C230163B4C121123451A1B1C1D102A1B2C2D21