軟件測試中機(jī)器學(xué)習(xí)的運(yùn)用探討

軟件測試中機(jī)器學(xué)習(xí)的運(yùn)用探討1.2.1關(guān)于軟件安全可靠性的研究在軟件安全可靠性研究的30篇文獻(xiàn)中，多數(shù)是針對移動應(yīng)用軟件的安全性和可靠性的檢測和預(yù)測，少數(shù)文獻(xiàn)是針對Window和Linux應(yīng)用軟件［3,14,19］。對于Window和Linux應(yīng)用軟件的安全性和可靠性檢測和預(yù)測，通常是對API分類和API調(diào)用序列進(jìn)行分析、利用工具從源碼中提取信息、監(jiān)控并記錄軟件行為等方法提取信息作為模型的輸入特征，利用支持向量機(jī)、邏輯回歸、隨機(jī)森林等常用的機(jī)器學(xué)習(xí)模型在虛擬機(jī)或沙箱中進(jìn)行實驗和分析。對于Android應(yīng)用程序［6,8,12］,主要是利用AAPT提取APK的元信息，同時結(jié)合應(yīng)用程序的性能數(shù)據(jù)、網(wǎng)絡(luò)流量、軟件行為等信息對應(yīng)用程序進(jìn)行靜態(tài)和動態(tài)分析，提取特征集，利用常用的機(jī)器學(xué)習(xí)算法進(jìn)行模型構(gòu)建、訓(xùn)練、預(yù)測和評估，實驗結(jié)果表明在檢測新軟件是否是惡意軟件，利用機(jī)器學(xué)習(xí)方法對軟件安全性和可靠性的檢測和預(yù)測相對于傳統(tǒng)的殺毒軟件更快速且更高效。1.2.2、關(guān)于軟件缺陷的研究軟件缺陷是計算機(jī)軟件或程序中存在的某種破壞正常運(yùn)行能力的問題、錯誤或者隱藏的功能缺陷。在軟件缺陷方面，所閱讀的部分研究文獻(xiàn)針對缺陷預(yù)測、缺陷定位和缺陷分類進(jìn)行了研究。軟件缺陷預(yù)測軟件缺陷預(yù)測是用已有的歷史數(shù)據(jù)來預(yù)測軟件中是否存在缺陷。研究文獻(xiàn)中主要以靜態(tài)分析為主，動態(tài)分析為輔，利用機(jī)器學(xué)習(xí)算法進(jìn)行模型構(gòu)建、訓(xùn)練和評估，其中靜態(tài)分析中提取的特征主要包括:面向?qū)ο鬁?zhǔn)則、繼承準(zhǔn)則、代碼準(zhǔn)則等特征。由于靜態(tài)分析所得到的特征較多，且不同的特征對預(yù)測缺陷的權(quán)重不同，且分類類別不平衡，因此，在將這些特征進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練時，需要對數(shù)據(jù)進(jìn)行清洗后才能用于學(xué)習(xí)和訓(xùn)練，以避免產(chǎn)生較大的誤差。隨著軟件測試領(lǐng)域逐漸發(fā)展，軟件缺陷數(shù)據(jù)的積累越來越多，充分利用已積累的缺陷數(shù)據(jù)，可以減少開發(fā)人員和測試人員的工作量，提高軟件測試的效率。軟件缺陷定位軟件缺陷定位在軟件測試領(lǐng)域是一個較為困難的問題。目前，大多數(shù)的缺陷需要人為查找和排除，代碼走查和審查成為了查找和排除缺陷的重要手段和方法，但是此方法會耗費(fèi)大量的人力和時間，因此，如何快速有效地定位軟件缺陷成為了亟待解決的問題。在研究文獻(xiàn)中，軟件缺陷定位的方法分為兩類，一類是Li等［1］基于模糊理論進(jìn)行定位，即把歷史數(shù)據(jù)中產(chǎn)生的軟件缺陷進(jìn)行抽象和概括;另一類類似于軟件缺陷預(yù)測的方法，Jonsson等［17］和Le等［19］以靜態(tài)分析進(jìn)行模型構(gòu)建、訓(xùn)練和評估。軟件缺陷分類軟件缺陷分類主要是判別提交的缺陷是否是真正的缺陷。在研究文獻(xiàn)電不同的學(xué)者對缺陷的提取特征不同。例如:在開源的項目中，Pandey等提取JIRA和BUGZILLA中的缺陷描述、發(fā)現(xiàn)缺陷的步驟、缺陷隸屬的項目等信息作為特征;在眾包測試中，Wang等提取交叉領(lǐng)域的歷史測試數(shù)據(jù)作為特征;在軟件開發(fā)項目中，提出軟件的靜態(tài)分析準(zhǔn)則作為特征。在缺陷管理平臺的眾多缺陷中，準(zhǔn)確地判斷缺陷可以較少開發(fā)人員和測試人員的工作量。但是，隨著眾包測試和開源工具的增多，檢測缺陷的重復(fù)提交還需更進(jìn)一步研究。缺陷復(fù)現(xiàn)在缺陷管理平臺中，不同的缺陷復(fù)現(xiàn)的難易程度是不一樣的，如閃退或崩潰類型的缺陷。Gu等通過對軟件歷史版本的缺陷復(fù)現(xiàn)的路徑分析來預(yù)測新缺陷復(fù)現(xiàn)的難易程度在缺陷修復(fù)的過程中，給開發(fā)人員提供幫助。1.2.3、基于源碼的研究基于源碼的研究主要是對源碼進(jìn)行靜態(tài)分析找出源碼中的缺陷。此研究主題最重要的是對源碼進(jìn)行抽象語法數(shù)、函數(shù)調(diào)用圖、符號執(zhí)行等方法的靜態(tài)代碼分析提取有效的特征進(jìn)行模型構(gòu)建、訓(xùn)練和評估。基于源碼的研究大致可分為代碼重用、代碼相似度的檢測、代碼審查、緩沖區(qū)溢出檢測。代碼重用和代碼相似度檢測類似，即檢測源碼中的相似的代碼，對相似的代碼進(jìn)行封裝，減少開發(fā)的工作量和代碼維護(hù)成本。在有源碼的基礎(chǔ)下，對源碼進(jìn)行分析可為軟件質(zhì)量提供更好的保障。1.2.4、其他測試用例優(yōu)化回歸測試在整個軟件測試過程中占有較大的比重軟件開發(fā)的各個階段都會進(jìn)行多次回歸測試。在回歸測試過程中，測試用例優(yōu)化是用來解決如何在巨大的測試用例庫中選擇較少的測試用例以達(dá)到較大的代碼覆蓋率和功能覆蓋率的問題。在研究文獻(xiàn)中，不同的研究者對測試用例優(yōu)化問題進(jìn)行了研究，以整個測試用例庫作為特征集，通過對用例自然語言處理、執(zhí)行用例后的代碼覆蓋率、變異得分等對測試用例庫進(jìn)行降維，去除冗余的測試用例，再將得到的數(shù)據(jù)進(jìn)行模型構(gòu)建、訓(xùn)練和評估。自動化測試自動化測試在軟件測試過程中有極其重要的作用，自動化測試能減少測試人員的工作量,提高測試效率。Rosenfeld等利用機(jī)器學(xué)習(xí)基于預(yù)定義的activity類別對activity進(jìn)行分類后，根據(jù)不同的分類進(jìn)行自動化測試，以提高自動化測試的缺陷檢測率。對測試質(zhì)量評價評價軟件或項目測試質(zhì)量的好壞對提高測試效率和質(zhì)量有重要作用。Zhou等通過對軟件或項目涉及相關(guān)人員、測試流程、軟件或項目屬性等特征進(jìn)行模型選擇、構(gòu)建和評估以此來評估軟件或項目的測試質(zhì)量。一個軟件或項目的測試質(zhì)量的影響因素是多方面且是不穩(wěn)定的，因此，文獻(xiàn)中實驗結(jié)果還有待考證。軟件質(zhì)量軟件測試最終目的是提高軟件的質(zhì)量。在研究文獻(xiàn)中，通過對歷史軟件版本的靜態(tài)分析和動態(tài)分析，預(yù)測下一版本軟件的改變趨勢，使得測試人員對軟件有更好的了解和測試，以此提高軟件的質(zhì)量。蛻變測試蛻變測試是利用一些成功的測試用例來產(chǎn)生后續(xù)測試用例的一種技術(shù)。在研究文獻(xiàn)中，主要是利用機(jī)器學(xué)習(xí)技術(shù)去除冗余或相似的蛻變規(guī)則以產(chǎn)生有效的蛻變測試用例，達(dá)到找到軟件缺陷的目的。同時，Nakajima等在測試機(jī)器學(xué)習(xí)程序和軟件方面基于蛻變測試為后面的研究者提供了一些思路。2、文獻(xiàn)中的核心技術(shù)機(jī)器學(xué)習(xí)的一般流程是數(shù)據(jù)收集、數(shù)據(jù)特征提取和選擇、不平衡數(shù)據(jù)的處理、模型選擇與訓(xùn)練、模型預(yù)測與評估。在軟件測試的過程中，會產(chǎn)生過程數(shù)據(jù)，同時，軟件本身所具有的屬性及軟件運(yùn)行過程中會產(chǎn)生大量的數(shù)據(jù)，因此，可以利用機(jī)器學(xué)習(xí)技術(shù)對這些數(shù)據(jù)進(jìn)行處理。通過對上述文獻(xiàn)的細(xì)致分析和研究，可以發(fā)現(xiàn)利用機(jī)器學(xué)習(xí)技術(shù)對軟件測試過程的貢獻(xiàn)和進(jìn)一步研究的可能性。2.1、實驗數(shù)據(jù)集的選擇文獻(xiàn)研究發(fā)現(xiàn)數(shù)據(jù)來源分為兩類，分別是開源數(shù)據(jù)集和未開源數(shù)據(jù)集。部分文獻(xiàn)的實驗數(shù)據(jù)來自多個數(shù)據(jù)集。開源數(shù)據(jù)集是可以免費(fèi)獲取到的，同時，在開源數(shù)據(jù)集上的實驗是可重復(fù)性的，使得文獻(xiàn)中的結(jié)果更具有可信度。未開源數(shù)據(jù)集主要是來自于商業(yè)項目的數(shù)據(jù)或作者提供的數(shù)據(jù)集，在此類數(shù)據(jù)集上的實驗不可重復(fù)，實驗結(jié)果可信度不高。圖2開源數(shù)據(jù)集柱狀圖是對開源數(shù)據(jù)集的分類及每個分類的簡要說明。圖2開源數(shù)據(jù)集柱狀圖Fig.2HistogramofopensourcedatasetsNASANASA數(shù)據(jù)集是由美國國家航空航天局測量程序所提供的，并且是公開的。在研究文獻(xiàn)中,相對于開源數(shù)據(jù)集，占比10%。PROMISEPROMISE數(shù)據(jù)集是免費(fèi)且公開的，可以從PROMISE倉庫中獲得。在研究文獻(xiàn)中，相對于開源數(shù)據(jù)集，占比大約13%(PROMISE倉庫：。常用軟件源碼常用的軟件源碼數(shù)據(jù)集可從代碼倉庫Github或常用軟件的官網(wǎng)上獲得，這些常用的軟件包括A-pache,Eclipse,ANT,JEdit等。但是，需要獲得這些常用軟件源碼的測量數(shù)據(jù)集時，需要有更高的權(quán)限。在研究文獻(xiàn)中，相對于開源數(shù)據(jù)集，占比大約23%。Android軟件Android軟件數(shù)據(jù)集可從代碼倉庫Github和Android開源項目(獲得。部分Android項目是比較常用且迭代版本較多的軟件，如①!^^,SMS,Mozilla。在研究文獻(xiàn)中，相對于開源數(shù)據(jù)集，占比大約10%。Window軟件使用Window軟件數(shù)據(jù)集的有2篇文獻(xiàn)，且數(shù)據(jù)集都是用于惡意軟件研究的文獻(xiàn)，占比大約3%。其他在研究文獻(xiàn)中，其他類數(shù)據(jù)集使用較多。這些數(shù)據(jù)集都來自免費(fèi)且公開的數(shù)據(jù)源如：檢測僵尸網(wǎng)絡(luò)的數(shù)據(jù)集來自http:部分檢測惡意軟件的數(shù)據(jù)集來自Defects4JDataset,部分檢測惡意程序的數(shù)據(jù)集來自KDDCup99。在研究文獻(xiàn)中，相對于開源數(shù)據(jù)集，占比為40%。綜上所述，研究文獻(xiàn)中大多數(shù)的實驗數(shù)據(jù)集是開源的，因此，在實驗中應(yīng)選擇開源且被實驗頻率較多的數(shù)據(jù)集進(jìn)行研究和實驗，以避免偶然性誤差，確保實驗的可重復(fù)性。2.2、特征提取與選擇方法特征提取與選擇是機(jī)器學(xué)習(xí)流程中的重要階段有效的特征提取和選擇技術(shù)能提高機(jī)器學(xué)習(xí)模型的預(yù)測精度。特征提取和選擇技術(shù)一般分為兩大類，一類是特征降維或特征提取，即組合不同的屬性得到新的屬性，改變原始特征數(shù)據(jù)集的特征空間;一類是特征選擇，即從原始特征數(shù)據(jù)集中選擇出子集，沒有更改原始特征數(shù)據(jù)集的特征空間。其中特征選擇又分為三大類:一類是Filter方法，即對每一維特征賦予權(quán)重，然后再依據(jù)權(quán)重排序，取TopK維特征;一類是Wrapper方法，即將特征子集的選擇看作是一個優(yōu)化問題;一類是Eembedded方法，即在模型確定的情況下學(xué)習(xí)出對提高模型準(zhǔn)確性最好的屬性。表1詳細(xì)列出了80篇文獻(xiàn)中采取的特征提取和特征選擇技術(shù)統(tǒng)計。其中，在所研究的文獻(xiàn)中沒有使用Eembedded方法，部分文獻(xiàn)中使用了多種特征提取和特征選擇技術(shù)。表1特征提取和特征選擇技術(shù)統(tǒng)計Table1Technicalstatisticsoffeatureextractionandfeatureselection由表1可知，在研究文獻(xiàn)中，在特征降維和特征選擇的方法中，使用較多的是特征選擇方法，特征選擇中使用較多的方法是信息增益(IG)和基于相關(guān)性特征選擇(CFS)。2.3、類別不平衡處理方法類別不平衡的處理方法大致可分為三類，一類是過采樣，即增加類別較少的樣本;一類是欠采樣，即減少類別較多的樣本;一類是再縮放，即為不同類別賦予不同權(quán)重的方式。部分文獻(xiàn)采用過采樣方式處理類別不平衡問題，過采樣中最常用的工具是SMOTE;有的文獻(xiàn)采用欠采樣方式處理類別不平衡問題;沒有文獻(xiàn)采用再縮放方式。除此之外，有的文獻(xiàn)在利用數(shù)據(jù)集進(jìn)行訓(xùn)練時，選擇的是類別相對平衡的數(shù)據(jù)集。其余研究文獻(xiàn)未進(jìn)行類別不平衡處理或文獻(xiàn)中未提及是否進(jìn)行類別不平衡處理。2.4、機(jī)器學(xué)習(xí)算法機(jī)器學(xué)習(xí)算法可分為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，不同的場景需要使用不同類別的方法。表2詳細(xì)列出了機(jī)器學(xué)習(xí)算法以及所研究文獻(xiàn)在軟件測試領(lǐng)域中所用到的機(jī)器學(xué)習(xí)算法的對比信息。其中，百分比1表示涉及到此算法的文獻(xiàn)數(shù)/涉及到機(jī)器學(xué)習(xí)算法每個分類中總數(shù)，百分比2表示涉及到此算法的文獻(xiàn)數(shù)/所有機(jī)器學(xué)習(xí)算法分類的總數(shù)。表2機(jī)器學(xué)習(xí)算法詳細(xì)信息Table2Algorithmdetailsformachinelearning由表2可知，從機(jī)器學(xué)習(xí)算法分類上看，在統(tǒng)計分類中使用較多的算法是邏輯回歸(LR)和樸素貝葉斯(NB);在神經(jīng)網(wǎng)絡(luò)中使用最多的是多層感知器(MLP);在基于支持向量的方法中使用最多的是支持向量機(jī)(SVM);在決策樹的方法中使用最多的是C4.5;在集成學(xué)習(xí)中使用最多的是隨機(jī)森林(RF);在混雜學(xué)習(xí)中使用最多的是K近鄰(KNN)。從整體上看，在研究文獻(xiàn)中，使用最多的機(jī)器學(xué)習(xí)算法是基于支持向量算法中支持向量機(jī)(SVM),隨后是集成學(xué)習(xí)中的隨機(jī)森林算法(RF),神經(jīng)網(wǎng)絡(luò)中的多層感知器(MLP)與隨機(jī)森林(RF)使用的百分比差別不大。支持向量機(jī)(SVM)、邏輯回歸(LR)、C4.5,樸素貝葉斯(NB)和隨機(jī)森林(RF)在數(shù)據(jù)樣本較少時也能具有較好的泛化能力，但是當(dāng)數(shù)據(jù)樣本過大時，訓(xùn)練時長會明顯增大。其中樸素貝葉斯(NB)可以較為容易地處理多分類問題;隨機(jī)森林(RF)可應(yīng)用在大部分分類器上，無需參數(shù)調(diào)整，但是對離群點較為敏感。神經(jīng)網(wǎng)絡(luò)算法雖然能較好擬合數(shù)據(jù)，但是易造成過學(xué)習(xí)、欠學(xué)習(xí)或局部收斂問題。2.5、評估準(zhǔn)則評估準(zhǔn)則是用來評估機(jī)器學(xué)習(xí)算法的預(yù)測精度和泛化能力。預(yù)測精度是指利用機(jī)器學(xué)習(xí)算法對某一數(shù)據(jù)集預(yù)測結(jié)果的正確率或錯誤率，泛化能力是用來表征學(xué)習(xí)系統(tǒng)對新數(shù)據(jù)的適用性，提高泛化能力是機(jī)器學(xué)習(xí)的目標(biāo)。表3詳細(xì)描述了軟件測試領(lǐng)域中對所用到機(jī)器學(xué)習(xí)技術(shù)的性能評估準(zhǔn)則。表3性能評估準(zhǔn)則使用總結(jié)Table3Summaryofperformanceevaluationcriteria由表3可知，在研究文獻(xiàn)中，在評估機(jī)器學(xué)習(xí)算法的預(yù)測精度方面使用較多的是Accuracy,Precision,Recall;在評估機(jī)器學(xué)習(xí)算法的泛化能力方面使用較多的是F-measure及AUC。部分文獻(xiàn)對機(jī)器學(xué)習(xí)算法的訓(xùn)練和預(yù)測所耗費(fèi)的時間進(jìn)行了評估，以證明利用機(jī)器學(xué)習(xí)算法在解決軟件測試問題方面的可行性。3、總結(jié)由于作者搜索的側(cè)重點不同，因此可能有少數(shù)利用機(jī)器學(xué)習(xí)技術(shù)在軟件測試領(lǐng)域的相關(guān)文獻(xiàn)被遺漏，但是，從本文對機(jī)器學(xué)習(xí)技術(shù)在軟件測試領(lǐng)域的應(yīng)用總結(jié)來看本文仍可反映機(jī)器學(xué)習(xí)技術(shù)在軟件測試領(lǐng)域的應(yīng)用趨勢情況。本文總結(jié)了近幾年研究者利用機(jī)器學(xué)習(xí)在軟件測試領(lǐng)域的研究和應(yīng)用進(jìn)展同時，對基于機(jī)器學(xué)習(xí)在軟件測試領(lǐng)域的研究進(jìn)行了分類。根據(jù)本文對80余篇文獻(xiàn)的總結(jié)與概述，目前機(jī)器學(xué)習(xí)技術(shù)在軟件測試領(lǐng)域的研究熱點主要是關(guān)于軟件安全可靠性的研究和關(guān)于軟件缺陷的研究，其中在關(guān)于軟件缺陷的研究中，又以軟件缺陷預(yù)測為主。通過對機(jī)器學(xué)習(xí)在軟件測試領(lǐng)域的主要技術(shù)的分析和討論，發(fā)現(xiàn)在特征提取、選擇技術(shù)和機(jī)器學(xué)習(xí)算法等方面仍存在問題，因此，在未來的工作中，應(yīng)著重關(guān)注如何優(yōu)化特征提取、選擇技術(shù)和機(jī)器學(xué)習(xí)算法以提高預(yù)測的精度。參考文獻(xiàn)：BISIOF,GASTALDOP,MEDAC,etal.MachineLearningBasedSystemforDetectingUnseenMaliciousSoftware[M].ApplicationsinElectronicsPervadingIndustry,EnvironmentandSociety.SpringerInternationalPublishing,2016:9-15.JAISWALA,MALHOTRAR.Softwarereliabilitypredictionusingmachinelearningtechniques[J].InternationalJournalofSystemAssuranceEngineeringManagement,2017,1(3):1-15.KUMARN,BANERJEES.MeasuringSoftwareSundarkumarGG,RaviV,NwoguI,etal.MalwaredetectionviaAPIcalls,topicmodelsandmachinelearning[J].2015:1212-1217.ESMALIFALAK虬LIUL,NGUYENN,etal.Detectingstealthyfalsedatainjectionusingmachinelearninginsmartgrid[J].IEEESystemsJournal,2014,(99):1-9.GAOS,THAMILARASUG.Machine-LearningClassifiersforSecurityinConnectedMedicalDevices[C]//InternationalConferenceonComputerCommunicationandNetworks.2017:1-5.BANT,TAKAHASHIT,GUOS,etal.IntegrationofMulti-modalFeaturesforAndroidMalwareDetectionUsingLinearSVM[C]//InformationSecurity.IEEE,2016:141-146.XUZ,RAYS,SUBRAMANYANP,etal.Malwaredetectionusingmachinelearningbasedanalysisofvirtualmemoryaccesspatterns[C]//Design,AutomationTestinEuropeConferenceExhibition.IEEE,2017:169-174.SHALAGINOVA,FRANKEK.Automatedintelligentmultinomialclassificationofmalwarespeciesusingdynamicbehaviouralanalysis[C]//Privacy,SecurityandTrust.IEEE,2017:70-77.KHANMS,SIDDIQUIS,MCLEODRD,etal.Fractalbasedadaptiveboostingalgorithmforcognitivedetectionofcomputermalware[C]//IEEE,InternationalConferenceonCognitiveInformaticsCognitiveComputing.IEEE,2017:50-59.LIJ,HEP,ZHUJ,etal.SoftwareDefectPredictionviaConvolutionalNeuralNetwork[C]//IEEEInternationalConferenceonSoftwareQuality,ReliabilityandSecurity.IEEE,2017:318-328.ALVESH,FONSECAB,ANTUNESN.ExperimentingMachineLearningTechniquestoPredictVulnerabilities[C]//DependableComputing.IEEE,2016:151-156.QINF,ZHENGZ,BAIC,etal.Cross-ProjectAgingRelatedBugPrediction[C]//IEEEInternationalConferenceonSoftwareQuality,ReliabilityandSecurity.IEEE,2015:43-48.NISAIU,AHSANSN.Faultpredictionmodelforsoftwareusingsoftcomputingtechniques[C]//InternationalConferenceonOpenSourceSystemsTechnologies.IEEE,2016:78-83.LIZ,LIM,LIUY,etal.IdentifyCoincidentalCorrectTestCasesBasedonFuzzyClassification[C]//InternationalConferenceonSoftwareAnalysis,Tes