無源碼的白盒化測(cè)試標(biāo)準(zhǔn)

1CCS團(tuán)體標(biāo)準(zhǔn)T/CIXXX-20232前言 3無源碼的白盒化測(cè)試標(biāo)準(zhǔn) 41適用范圍 42規(guī)范性引用文件 43術(shù)語和定義 44無源碼的白盒化測(cè)試概述 55無源碼的白盒化測(cè)試過程 66無源碼的白盒化測(cè)試需求模型 87無源碼的白盒化測(cè)試類型 8 3前言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件由中國國際科技促進(jìn)會(huì)標(biāo)準(zhǔn)化工作委員會(huì)提出。本文件由中國國際科技促進(jìn)會(huì)歸口。本文件的發(fā)布機(jī)構(gòu)提請(qǐng)注意，聲明符合本文件時(shí)，可能涉及到ZL201710766422.3、ZL201810501975.0、ZL201910819271.2和ZL202011267313.5相關(guān)的專利的使用。本文件的發(fā)布機(jī)構(gòu)對(duì)于該專利的真實(shí)性、有效性和范圍無任何立場(chǎng)。該專利持有人已向本文件的發(fā)布機(jī)構(gòu)保證，他愿意同任何申請(qǐng)人在合理且無歧視的條款和條件下，就專利授權(quán)許可進(jìn)行談判。該專利持有人的聲明已在本文件的發(fā)布機(jī)構(gòu)備案。相關(guān)信息可以通過以下聯(lián)系方式獲得：專利持有人姓名：華南理工大學(xué)地址：廣東省廣州市請(qǐng)注意除上述專利外，本文件的某些內(nèi)容仍可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。本文件起草單位：華南理工大學(xué)、微科智檢(佛山市)科技有限公司、北明軟件有限公司。本文件主要起草人：黃翰、曹捷、劉方青、向毅、徐楊。本文件是首次發(fā)布。4無源碼的白盒化測(cè)試標(biāo)準(zhǔn)1.適用范圍本文件規(guī)定了無源碼的白盒化測(cè)試標(biāo)準(zhǔn)的測(cè)試流程、需求模型、測(cè)試類型等要求。本文件適用于軟件系統(tǒng)的無源碼的白盒化測(cè)試以及相應(yīng)的測(cè)試技術(shù)人員。2.規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件。不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T25000.23-2019系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求與評(píng)價(jià)(SQuaRE)第23部分系統(tǒng)與軟件產(chǎn)品質(zhì)量測(cè)量GB/T25000.51-2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaRE)第51部分就緒可用軟件產(chǎn)品(RUSP)的質(zhì)量要求和測(cè)試細(xì)則GB/T15532-2008計(jì)算機(jī)軟件測(cè)試規(guī)范GB/T39788-2021系統(tǒng)與軟件工程性能測(cè)試方法GB/T30279-2020信息安全技術(shù)網(wǎng)絡(luò)安全漏洞分類分級(jí)指南3.術(shù)語和定義下列術(shù)語和定義適用于本文件。m可執(zhí)行的無源代碼二進(jìn)制程序文件。一個(gè)系統(tǒng)或布局，它的輸入、輸出和通用功能是已知的，但它的內(nèi)容或?qū)崿F(xiàn)是未知的或無關(guān)的。3.3黑盒測(cè)試black-boxtesting忽略系統(tǒng)或部件的內(nèi)部機(jī)制只集中于響應(yīng)所選擇輸入和執(zhí)行條件產(chǎn)生的輸出的一種測(cè)試。53.4白盒g(shù)lassbox一個(gè)系統(tǒng)或布局，它的實(shí)現(xiàn)內(nèi)容是已知的。3.5白盒測(cè)試glass-boxtesting側(cè)重于系統(tǒng)或部件內(nèi)部機(jī)制的測(cè)試。類型包括分支測(cè)試、路徑測(cè)試、語句測(cè)試。3.6插樁instrument在軟件或系統(tǒng)測(cè)試中，將某些器件或指令安裝或插入至硬件或軟件中，以監(jiān)控系統(tǒng)或部件的操作。3.7程序插樁programinstrumentation插入到計(jì)算機(jī)程序中的探頭。如指令或斷言，以利于執(zhí)行監(jiān)控、正確性證明、資源監(jiān)控或其他活動(dòng)。一個(gè)模型，當(dāng)提供一組控制輸入時(shí)，他的行為或操作像一給定的系統(tǒng)。3.9傅里葉網(wǎng)絡(luò)fourierneuralnetwork以一組傅立葉基函數(shù)作為三層前向神經(jīng)網(wǎng)絡(luò)各隱含層單元的輸出特性，再以其加權(quán)和作為網(wǎng)絡(luò)的非線性輸出，構(gòu)成的一種神經(jīng)網(wǎng)絡(luò)模型。3.10訓(xùn)練集trainset在機(jī)器學(xué)習(xí)中，一般將樣本分成獨(dú)立的三部分訓(xùn)練集，驗(yàn)證集和測(cè)試集。其中，訓(xùn)練集用于建立模型。3.11可執(zhí)行程序executableprogram可在操作系統(tǒng)存儲(chǔ)空間中浮動(dòng)定位的二進(jìn)制可執(zhí)行程序。它可以加載到內(nèi)存中，由操作系統(tǒng)加載并執(zhí)行。4.無源碼的白盒化測(cè)試概述無源碼的白盒化測(cè)試用于軟件開發(fā)商自行軟件質(zhì)量風(fēng)險(xiǎn)評(píng)估及第三方質(zhì)量風(fēng)險(xiǎn)評(píng)估，用于軟件正式交付用戶使用前，進(jìn)行軟件質(zhì)量風(fēng)險(xiǎn)分析、判定等，同時(shí)，對(duì)已使用中的軟件可能出現(xiàn)的風(fēng)險(xiǎn)進(jìn)行評(píng)估，以及針對(duì)已發(fā)生問題的軟件進(jìn)行責(zé)任判定。無源碼的白盒化測(cè)試規(guī)定軟件質(zhì)量風(fēng)險(xiǎn)快速評(píng)估的操作規(guī)范，具備技術(shù)通用性及一致性，可以更好的進(jìn)行軟件發(fā)布前使用中的質(zhì)量風(fēng)險(xiǎn)評(píng)估，及出現(xiàn)事故后6的軟件質(zhì)量風(fēng)險(xiǎn)的問題鑒定，能給軟件開發(fā)方及第三方提供科學(xué)有效的操作規(guī)范和指南。5.無源碼的白盒化測(cè)試過程5.1概述無源碼的白盒化測(cè)試過程包括黑盒程序內(nèi)部機(jī)制還原、黑盒程序插樁、黑盒程序白盒化測(cè)試執(zhí)行和白盒化測(cè)試總結(jié)四個(gè)過程。圖1給出了無源碼的白盒化測(cè)試過程。圖1無源碼的白盒化測(cè)試過程5.2黑盒程序內(nèi)部機(jī)制還原黑盒程序內(nèi)部機(jī)制還原包括下列活動(dòng)：a)獲取黑盒程序?qū)?yīng)的輸入和輸出形成訓(xùn)練集。b)根據(jù)獲取的黑盒程序?qū)?yīng)的訓(xùn)練集訓(xùn)練傅里葉網(wǎng)絡(luò)，得到黑盒程序內(nèi)部機(jī)制還原的仿真模型。c)在訓(xùn)練的初始階段需要對(duì)訓(xùn)練集的輸入和輸出做二進(jìn)制處理，得到符合傅里葉網(wǎng)絡(luò)輸入的數(shù)據(jù)。根據(jù)黑盒程序的輸出需要對(duì)仿真模型的二進(jìn)制輸出做還原處理，得到符合黑7盒程序的輸出。5.3黑盒程序插樁黑盒程序插樁通過插入各種類型的樁節(jié)點(diǎn)，動(dòng)態(tài)地監(jiān)測(cè)程序執(zhí)行的整個(gè)過程。插樁的過程如圖2所示，相關(guān)的活動(dòng)包括：a)讀取黑盒程序內(nèi)部機(jī)制還原后的中間程序信息。b)解析黑盒程序的控制流程圖。c)在程序中的分支前后插入樁節(jié)點(diǎn)。樁節(jié)點(diǎn)不改變程序原有功能，只用于記錄程序運(yùn)行時(shí)的執(zhí)行情況。d)輸出插樁后的可執(zhí)行文件。執(zhí)行該插樁后的程序，得到響應(yīng)的樁節(jié)點(diǎn)序列即為程序執(zhí)行過程的路徑信息。圖2黑盒程序插樁過程5.4黑盒程序白盒化測(cè)試執(zhí)行黑盒程序白盒化測(cè)試執(zhí)行包括下列活動(dòng)：a)自動(dòng)部署測(cè)試環(huán)境。b)根據(jù)被測(cè)軟件的需求設(shè)定測(cè)試目標(biāo)，如可要求測(cè)試用例滿足語句覆蓋、分支覆蓋或路徑覆蓋等要求。c)設(shè)定算法并自動(dòng)生成測(cè)試用例。d)根據(jù)測(cè)試約束，在測(cè)試用例用中自動(dòng)進(jìn)行斷言檢測(cè)。e)輸出符合測(cè)試目標(biāo)的測(cè)試用例集。f)繼續(xù)執(zhí)行缺陷檢測(cè)，功能性檢測(cè)及性能效率檢測(cè)。5.5白盒化測(cè)試總結(jié)8白盒化測(cè)試總結(jié)包括下列活動(dòng)：a)整理白盒化測(cè)試結(jié)果。白盒化測(cè)試結(jié)果應(yīng)根據(jù)不同的測(cè)試類型進(jìn)行綜合分析，測(cè)試類型包括：?jiǎn)卧獪y(cè)試、缺陷檢測(cè)、功能性檢測(cè)、性能效率檢測(cè)。采用數(shù)學(xué)和統(tǒng)計(jì)方法進(jìn)行數(shù)據(jù)綜合分析考慮。b)編寫黑盒程序白盒化測(cè)試報(bào)告，內(nèi)容應(yīng)包括：測(cè)試結(jié)果分析、測(cè)試用例統(tǒng)計(jì)、測(cè)試覆蓋率統(tǒng)計(jì)、對(duì)軟件的評(píng)價(jià)和建議。c)根據(jù)測(cè)試結(jié)果和測(cè)試報(bào)告內(nèi)容，輸出風(fēng)險(xiǎn)分析報(bào)告單，內(nèi)容應(yīng)包括風(fēng)險(xiǎn)等級(jí)、風(fēng)險(xiǎn)概率、風(fēng)險(xiǎn)修復(fù)建議。6.無源碼白盒化測(cè)試的技術(shù)要求6.1概述無源碼白盒化測(cè)試技術(shù)要求應(yīng)考慮環(huán)境、數(shù)據(jù)、輸入輸出參數(shù)等因素。6.2環(huán)境需求針對(duì)不同類型的黑盒軟件，應(yīng)考慮測(cè)試環(huán)境對(duì)白盒化測(cè)試的影響，推薦使用系統(tǒng)或軟件的實(shí)際生產(chǎn)環(huán)境作為白盒化測(cè)試環(huán)境。在進(jìn)行白盒化測(cè)試環(huán)境規(guī)劃和設(shè)計(jì)時(shí)，應(yīng)考慮以下因素：a)獨(dú)立性：測(cè)試環(huán)境應(yīng)使用全新純凈的虛擬化容器以防止與其他系統(tǒng)或軟件產(chǎn)生沖突造成測(cè)試結(jié)果失真。b)可控制性：測(cè)試環(huán)境中的所有設(shè)備和資源應(yīng)可被監(jiān)控或控制。c)性能：測(cè)試環(huán)境應(yīng)支持黑盒仿真算法以及用例自動(dòng)生成算法的性能需求。6.3數(shù)據(jù)需求無源碼的白盒化測(cè)試所需數(shù)據(jù)包含一下需求：a)測(cè)試數(shù)據(jù)應(yīng)根據(jù)實(shí)際需求變更，與軟件的業(yè)務(wù)需求相匹配。b)無源碼被測(cè)試程序的接口已知、可調(diào)用。6.4輸入輸出參數(shù)需求a)無源碼被測(cè)試程序的輸入輸出參數(shù)清晰、無隱藏參數(shù)；輸出參數(shù)可獲取。b)無源碼被測(cè)試程序的輸入?yún)?shù)維度可控(10維以內(nèi))。7.無源碼的白盒化測(cè)試類型7.1應(yīng)用場(chǎng)景白盒化技術(shù)主要能夠應(yīng)用于以下五類場(chǎng)景：9a)我方軟件缺陷檢測(cè)。白盒化技術(shù)是基于生成大量復(fù)雜黑盒系統(tǒng)的輸入-輸出數(shù)據(jù)進(jìn)行仿真的，在此過程中會(huì)生成大量的測(cè)試用例，相關(guān)技術(shù)會(huì)記錄用例的運(yùn)行狀態(tài)與日志，若輸入測(cè)試用例觸發(fā)了我方軟件存在的缺陷漏洞，本技術(shù)能夠?qū)⒂|發(fā)用例與對(duì)應(yīng)軟件的代碼位置返回，方便我方軟件開發(fā)人員對(duì)軟件潛在缺陷進(jìn)行修復(fù)。b)敵方軟件缺陷檢測(cè)。與我方軟件缺陷檢測(cè)技術(shù)類似，在獲取了觸發(fā)敵方軟件缺陷的用例與信息后，可根據(jù)實(shí)際需要對(duì)敵方軟件進(jìn)行攻擊，癱瘓敵方軟件系統(tǒng)。c)(離線的)口令生成器仿真。在軍事應(yīng)用場(chǎng)景中存在口令生成器來進(jìn)行敵我識(shí)別辨認(rèn)的場(chǎng)景。而白盒化技術(shù)能夠針對(duì)該場(chǎng)景仿真出實(shí)際情況下對(duì)敵方口令生成器的對(duì)應(yīng)口令，從而使我軍戰(zhàn)士潛入需要敵方口令才能進(jìn)入的區(qū)域。d)注入木馬/病毒前后程序版本對(duì)比。存在木馬或病毒注入的程序可能對(duì)我方軟件系統(tǒng)造成巨大的破壞，白盒化系統(tǒng)具備對(duì)程序的版本對(duì)比功能，對(duì)于注入木馬/病毒的程序，系統(tǒng)能夠檢測(cè)出異常程序的存在，并提供相應(yīng)修改代碼段信息。e)卡脖子算法白盒化與仿制。本技術(shù)能夠?qū)ν鈬浖a(chǎn)品的核心算法進(jìn)行仿制，為提升國產(chǎn)算法的設(shè)計(jì)水平提供思路。7.2基本要求7.2.1應(yīng)能夠?qū)Τ绦虻妮斎胼敵鲞M(jìn)行抓取。7.2.2軟件在使用過程中存在的任何問題都叫軟件缺陷。7.2.3應(yīng)在最低的功能/參數(shù)上進(jìn)行缺陷檢測(cè)。7.2.4缺陷檢測(cè)應(yīng)能檢測(cè)出程序的內(nèi)存泄漏、功能錯(cuò)誤、程序閃退等問題。7.2.5缺陷檢測(cè)過后，機(jī)器狀態(tài)保持不變。7.2.6應(yīng)保證在超時(shí)限制內(nèi)完成缺陷檢測(cè)，超時(shí)則自動(dòng)終止。7.2.7缺陷檢測(cè)應(yīng)產(chǎn)生可重復(fù)的、一致的結(jié)果。7.2.8應(yīng)形成可閱讀的缺陷檢測(cè)報(bào)告。7.2.9應(yīng)可仿真口令生成器。7.2.10應(yīng)提供二進(jìn)制軟件對(duì)比報(bào)告。7.2.11二進(jìn)制軟件對(duì)比應(yīng)明確指出不同點(diǎn)。7.2.12應(yīng)可進(jìn)行算法的白盒化和仿制。7.3功能性7.3.1應(yīng)驗(yàn)證是否有不正確或遺漏的功能，功能實(shí)現(xiàn)是否滿足用戶需求和系統(tǒng)設(shè)計(jì)的隱藏需求，并驗(yàn)證業(yè)務(wù)流程是否正確且合理。7.3.2應(yīng)測(cè)試軟件在極限值情況下整體產(chǎn)品表現(xiàn)，具體包括以下項(xiàng)目：a)軟件本身支持的邊界值(最大值和最小值)的測(cè)試，如字符串的最大/小長度、存儲(chǔ)空間或條數(shù)的大小等；b)整體產(chǎn)品的極限值測(cè)試，比如，在宿主設(shè)備內(nèi)存、CPU等達(dá)到極限值時(shí)軟件各功能的表現(xiàn)。7.3.3應(yīng)對(duì)軟件進(jìn)行缺陷檢測(cè)，包括單元測(cè)試和整個(gè)軟件的缺陷檢測(cè)。具體包括以下項(xiàng)目：a)模塊功能的缺陷，包括內(nèi)存泄露，輸出錯(cuò)誤等問題。b)整個(gè)程序的缺陷，包括內(nèi)存泄露，輸出錯(cuò)誤等問題。c)軟件未實(shí)現(xiàn)需求說明書中明確要求的功能。d)軟件出現(xiàn)了需求說明書中指明不應(yīng)該出現(xiàn)的錯(cuò)誤。e)軟件實(shí)現(xiàn)的功能超出需求說明書指明的范圍。f)軟件未實(shí)現(xiàn)需求說明書中雖未明確指明但應(yīng)該實(shí)現(xiàn)的要求。g)軟件難以理解，不易使用，運(yùn)行緩慢，用戶體驗(yàn)不好。7.3.4應(yīng)能夠?qū)诹钌善鬟M(jìn)行仿真，包括模塊仿真和程序仿真。具體包括以下項(xiàng)目：a)在機(jī)器上正確運(yùn)行。b)獲取模塊或者程序的輸入數(shù)據(jù)。c)獲取模塊或者程序的輸出數(shù)據(jù)。d)使用輸入輸出數(shù)據(jù)對(duì)程序進(jìn)行仿真。7.3.5應(yīng)可對(duì)注入木馬/病毒前后程序版本進(jìn)行對(duì)比。具體包括以下項(xiàng)目：a)檢測(cè)出異常程序的存在。b)識(shí)別出對(duì)比程序的不同之處。c)提供程序?qū)Ρ葓?bào)告。7.3.6應(yīng)能夠?qū)λ惴ㄟM(jìn)行仿真。具體包括以下項(xiàng)目：a)在機(jī)器上正確運(yùn)行。b)獲取算法的輸入數(shù)據(jù)。c)獲取算法的輸出數(shù)據(jù)。d)使用輸入輸出數(shù)據(jù)對(duì)程序進(jìn)行仿真。7.4性能效率7.4.1根據(jù)程序特性，應(yīng)能在有限合理的時(shí)間范圍內(nèi)生成能觸發(fā)我方或敵方程序缺陷的測(cè)試用例，相關(guān)技術(shù)利用測(cè)試用例應(yīng)在有限時(shí)間內(nèi)返回程序缺陷相關(guān)信息。7.4.2應(yīng)能在生成觸發(fā)程序缺陷的測(cè)試用例的同時(shí)，不影響程序的后續(xù)使用。7.4.3根據(jù)程序特性，應(yīng)能在有限合理的時(shí)間范圍內(nèi)生成(離線的)口令生成器的大量輸入-輸出