代碼缺陷檢測(cè)探索與技術(shù)實(shí)踐

1、代碼缺陷檢測(cè)探索與技術(shù)實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)01 背景介紹代碼智能化計(jì)劃編碼打包測(cè)試部署運(yùn)維監(jiān)控代碼托管代碼搜索WebIDE代碼評(píng)審代碼圖譜AGit質(zhì)量數(shù)據(jù) 支撐智能 賦能平臺(tái) 業(yè)務(wù)缺陷檢測(cè)代碼推薦敏感信息代碼克隆代碼質(zhì)量代碼生成敏感行為智能調(diào)度效率安全運(yùn)維離線數(shù)倉(cāng)缺陷檢測(cè)挑戰(zhàn)業(yè)務(wù)種類(lèi)豐富缺陷類(lèi)型不定代碼質(zhì)量參差復(fù)雜的業(yè)務(wù)環(huán)境測(cè)試用例不全缺陷報(bào)告不足自動(dòng)打標(biāo)困難有限的輔助資源檢測(cè)過(guò)程高效誤報(bào)率足夠低提供補(bǔ)丁方案產(chǎn)品的落地要求02 缺陷檢測(cè)簡(jiǎn)介相關(guān)研究進(jìn)展缺陷定位補(bǔ)丁推薦其他應(yīng)用缺陷定位技術(shù)Fault LocalizationSpectrum-Based Fault LocalizationSt

2、ack Trace AnalysisIR-Based Fault LocalizationMutation-Based Fault LocalizationPredicate SwitchingHistory-Based Fault Localization局限性：關(guān)注特定缺陷，泛化能力不強(qiáng)誤報(bào)率較高僅能夠定位，無(wú)補(bǔ)丁信息補(bǔ)丁推薦技術(shù)Generate-and-validate Approach局限性：準(zhǔn)確率不夠高，存在假解決耗時(shí)長(zhǎng)，計(jì)算資源消耗多測(cè)試用例完備性要求高Test case failedGenerate mutationsValidateTest caseGeneratefailed

3、mutationsValidateSolvedLoop if failed其他應(yīng)用技術(shù)基于代碼克隆的補(bǔ)丁生成：SimFix, CBCDCLEVER from UbisoftBugram: Ngram on tokensInfer, Getafix, Sapfix from FacebookTricorder, Findbugs等缺陷檢測(cè)定制器03 解決方案探索Commit級(jí)缺陷檢測(cè)規(guī)模變更增加、減少的代碼行數(shù)量Mockus and Weiss (2000)變更增加、減少的代碼段數(shù)量Shihab et al. (2012)變更相關(guān)文件在變更提交前的代碼行數(shù)量Mockus and Weiss (2

4、000)代碼分布變更修改的子系統(tǒng)數(shù)量Mockus and Weiss (2000)變更修改的代碼目錄數(shù)量Kamei et al. (2013)變更修改的文件數(shù)量Mockus and Weiss (2000)修改代碼在修改文件中的分布（用信息熵計(jì)算）Hassan (2009)目的該變更是否修復(fù)缺陷Mockus and Weiss (2000)經(jīng)驗(yàn)開(kāi)發(fā)者已提交的變更數(shù)量Mockus and Weiss (2000)開(kāi)發(fā)者近期提交的變更數(shù)量Mockus and Weiss (2000)開(kāi)發(fā)者已提交變更中影響到該變更相關(guān)子系統(tǒng)的數(shù)量Mockus and Weiss (2000)文件修改對(duì)該變更相關(guān)文件

5、進(jìn)行過(guò)修改的開(kāi)發(fā)者數(shù)量Shihab et al. (2012)已提交變更中，對(duì)該變更相關(guān)文件進(jìn)行過(guò)修改的變更數(shù)量Shihab et al. (2012)修改過(guò)該變更相關(guān)文件的最近變更與該變更時(shí)間差平均值Shihab et al. (2012)行級(jí)缺陷檢測(cè)Model Input Tensor Shape:Start: (Batch Size, Tuples Size)End: (Batch Size, Tuples Size)Path: (Batch Size, Tuples Size)Code2vec (PathAttention)修復(fù)行為觀察開(kāi)發(fā)者往往在commit message中記錄了修

6、復(fù)意圖75%的修復(fù)提交包含刪除缺陷代碼和新增修復(fù)代碼的模式修復(fù)相關(guān)文件數(shù)往往少于三個(gè)，commit會(huì)引入修復(fù)無(wú)關(guān)文件常見(jiàn)的修復(fù)缺陷：故障點(diǎn)，重構(gòu)點(diǎn)，代碼風(fēng)格問(wèn)題，性能問(wèn)題PRECFIXPRECFIX：Patch Recommendation by Empirically Clustering缺陷修復(fù)對(duì)提取缺陷行源自多個(gè)文件60%47%Commit包含SZZ算法標(biāo)注 1-2個(gè)文件代碼無(wú)關(guān)缺陷25%diffsource codepublic String renameBU() +String name = null;+name = bu.fetchName();-String hqName = “

7、HQ”;+String hqName = null;+if (name.equals(headName) +hqName = name;+return hqName;12Defect slice:String hqName = “HQ”;Patch slice:String name = null; name = bu.fetchName(); String hqName = null;if (name.equals(headName) hqName = name;Distributions of the number of bug-inducing commits (BC).缺陷行源自多個(gè)文

8、件1-2個(gè)文件代碼無(wú)關(guān)缺陷60%47%25%Distribution of the number of changed files perCommkeyiwt包ord含-matched commitS(FZ/CZ). 算法標(biāo)注減少修復(fù)行為稀釋 加入文件數(shù)量限制缺陷修復(fù)對(duì)提取缺陷行源自多個(gè)文件Commit包含 1-2個(gè)文件SZZ算法標(biāo)注 代碼無(wú)關(guān)缺陷60%47%25%缺陷修復(fù)對(duì)提取缺陷修復(fù)對(duì)聚類(lèi)聚類(lèi)算法：DBSCAN，Pairwise Comparing聚類(lèi)方式：只聚缺陷片段，同時(shí)聚缺陷和補(bǔ)丁片段 優(yōu)化算法：KDTree，APISEQ，Parallel DBSCAN 比較方式：編輯距離，Jacc

9、ard，Cosine Similarity聚類(lèi)算法耗時(shí)類(lèi)簇?fù)p失率Raw DBSCAN70 hours0%KDTree16.5 hours6%APISEQ+KDTree4.5 hours8%Parallel DBSCAN4 minutes22%模板提取與匹配 sb2.deleteCharAt(sb2.length()-1);匹配模板sb2.deleteCharAt(sb2.length()-1);生成修復(fù)if (sb2.length() 1) sb2.deleteCharAt(sb2.length()-1);PRECFIX模板例子合理性檢查PRECFIX模板例子API 變更PRECFIX模板例子API 封裝PRECFIX模板例子性能優(yōu)化PRECFIX模板分類(lèi)Distribution of patches in each category.只能檢測(cè)歷史重復(fù)修正過(guò)的缺陷部分代碼時(shí)間久遠(yuǎn)，停止維護(hù) API的底層已經(jīng)修復(fù)了某個(gè)問(wèn)題本地和線上配置不同，補(bǔ)丁不適用 模板數(shù)量和誤報(bào)率需要持續(xù)維護(hù)PRECFIX效果3,000+模板提取出3,000+模板， 含有13,00