大模型原理與技術(shù)-課件 chap13 基于大模型的智能軟件研發(fā)

基于大模型的智能軟件研發(fā)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院智周萬(wàn)物?道濟(jì)天下o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

目錄23

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考o(jì)

LLM4SE（LargeLanguageModelforSoftwareEngineering）:使用具有少量標(biāo)簽的軟件工程下游任務(wù)數(shù)據(jù)，通過(guò)微調(diào)已有大模型構(gòu)建的針對(duì)軟件研發(fā)中各種編程任務(wù)的智能模型o

具體的構(gòu)建過(guò)程主要包括：

基于大模型的智能軟件研發(fā)框架4l

軟件研發(fā)任務(wù)數(shù)據(jù)集收集及處理l

基于大模型的智能方法構(gòu)建l

模型訓(xùn)練l

模型評(píng)價(jià)

基于大模型的智能軟件研發(fā)框架o

數(shù)據(jù)收集及處理l

從軟件工程倉(cāng)庫(kù)中收集所需的數(shù)據(jù)集，如源代碼倉(cāng)庫(kù)中的代碼數(shù)據(jù)、缺陷跟蹤系統(tǒng)的缺陷報(bào)告等，對(duì)數(shù)據(jù)集進(jìn)行標(biāo)記及預(yù)處理，使其符合模型輸入的要求。o

基于大模型的智能方法構(gòu)建l

根據(jù)軟件工程具體任務(wù)，從大模型池中選取合適的大模型，如CodeGeeX，CodeBERT、GPT-C，基于該大模型構(gòu)建符合需求的智能方法。o

模型微調(diào)l

使用少量標(biāo)簽數(shù)據(jù)，選擇合適的微調(diào)模式來(lái)微調(diào)大模型，從而構(gòu)建高性能的LLM4SE模型。o

模型評(píng)價(jià)l

通過(guò)性能評(píng)價(jià)指標(biāo)，評(píng)價(jià)基于大模型的智能方法在軟件研發(fā)具體任務(wù)中的性能。56

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

常用大模型o

通用大模型l

一般領(lǐng)域數(shù)據(jù)集上訓(xùn)練出的大模型，如自然語(yǔ)言處理領(lǐng)域中使用英文維基百科或普通新聞數(shù)據(jù)集訓(xùn)練出的GPT模型等，以及計(jì)算機(jī)視覺(jué)中使用ImageNet等數(shù)據(jù)集預(yù)訓(xùn)練的ResNet和VGG模型等。o

特定領(lǐng)域大模型l

軟件工程領(lǐng)域特定數(shù)據(jù)集上訓(xùn)練出的大模型。一般領(lǐng)域數(shù)據(jù)集訓(xùn)練出的大模型不能很好地適應(yīng)軟件工程領(lǐng)域的文本特性。因此，研究者收集大量的軟件工程領(lǐng)域數(shù)據(jù)集從零訓(xùn)練深度學(xué)習(xí)模型形成軟件工程特定領(lǐng)域大模型，如SeBERT、T5，進(jìn)而解決軟工領(lǐng)域任務(wù)。o

代碼大模型l

在源代碼數(shù)據(jù)集上訓(xùn)練出的大模型。為了能夠更好地捕獲源代碼數(shù)據(jù)中的語(yǔ)法和語(yǔ)義信息，研究者們收集大量的源代碼數(shù)據(jù)集，重新訓(xùn)練深度學(xué)信息模型形成軟工領(lǐng)域的代碼大模型，如CodeGPT、Starcoder、CodeT5等。7

8

常用大模型目前流行的27個(gè)源代碼大模型9

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

預(yù)訓(xùn)練—特征表示

預(yù)訓(xùn)練—微調(diào)

預(yù)訓(xùn)練范式o

軟件工程領(lǐng)域研究者以在大規(guī)模數(shù)據(jù)集上訓(xùn)練的大模型為基礎(chǔ)，構(gòu)建包含下游任務(wù)的智能模型，然后通過(guò)少量下游任務(wù)數(shù)據(jù)集對(duì)構(gòu)建的智能模型進(jìn)行微調(diào)訓(xùn)練，最終構(gòu)建適應(yīng)下游任務(wù)的智能模型。這種模式避免了針對(duì)不同任務(wù)需要大量數(shù)據(jù)集從頭訓(xùn)練模型。o

預(yù)訓(xùn)練–微調(diào)范式中根據(jù)微調(diào)的范圍又可分為只微調(diào)任務(wù)層和微調(diào)整個(gè)智能模型兩類。l

微調(diào)任務(wù)層是凍結(jié)大模型的特征表示層，通過(guò)少量的下游任務(wù)數(shù)據(jù)，只微調(diào)模型的任務(wù)層參數(shù)。l

微調(diào)整個(gè)智能模型是使用下游任務(wù)數(shù)據(jù)集微調(diào)基于大模型的智能模型，包括大模型的參數(shù)，得到最終的智能模型。o

軟件工程領(lǐng)域研究者直接使用在大規(guī)模數(shù)據(jù)集上訓(xùn)練的大模型，對(duì)軟工領(lǐng)域的任務(wù)數(shù)據(jù)集進(jìn)行編碼特征表征，然后通過(guò)編碼的特征表征，構(gòu)建較好的分類器等模型，以實(shí)現(xiàn)軟件工程領(lǐng)域任務(wù)。10數(shù)據(jù)集分類編碼模型訓(xùn)練BERT大模型11

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

12

預(yù)訓(xùn)練模型任務(wù)分類o

根據(jù)輸入數(shù)據(jù)類型，智能軟件研發(fā)領(lǐng)域的下游任務(wù)可以分為程序語(yǔ)言(ProgramLan_x0002_guage：PL)相關(guān)任務(wù)、軟件工程領(lǐng)域自然語(yǔ)言(NaturalLanguage：NL)相關(guān)任務(wù)、程序語(yǔ)言與自然語(yǔ)言交互任務(wù)、軟件工程領(lǐng)域圖像相關(guān)任務(wù)。

程序語(yǔ)言PL相關(guān)任務(wù)

o

代碼片段分類(CodeSnippetsClassification):通過(guò)基于大模型的智能方法捕獲代碼片段中豐富的語(yǔ)法和語(yǔ)義信息

，以預(yù)測(cè)代碼片段的類型，為開(kāi)發(fā)者提供有用的分類信息，幫助開(kāi)發(fā)者更好地理解代碼。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：Accuracy、Precision、Recall、F1-Measure、AUC、MCC(MatthewsCorrelationCoefficientscore)大模型

13AccuracyPrecisionRecallF1-MeasureAUCMCC代碼片段代碼片段代碼片段代碼片段

缺陷類型分類技術(shù)債務(wù)分類算法類型分類

漏洞分類分類

程序語(yǔ)言PL相關(guān)任務(wù)

o

程序修復(fù)(ProgramRepair):采用不同的技術(shù)自動(dòng)生成修復(fù)缺陷代碼片段。為了提高程序修復(fù)的性能，軟件工程領(lǐng)域部分研究者利用大模型來(lái)學(xué)習(xí)成對(duì)的代碼片段的語(yǔ)法與語(yǔ)義信息，并將該信息應(yīng)用到程序修復(fù)任務(wù)中。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：ExactMatch(EM)、Numberoffixedbugs、BLEU(BilingualEvaluationUnderstudy)等。

14l

EM用來(lái)衡量生成的修復(fù)代碼是否與開(kāi)發(fā)人員實(shí)際實(shí)現(xiàn)的修復(fù)代碼完全相同。l

Numberoffixedbugs是通過(guò)運(yùn)行測(cè)試用例來(lái)查看生成的補(bǔ)丁是否通過(guò)測(cè)試,進(jìn)而得到修復(fù)的bugs的個(gè)數(shù)。l

BLEU用來(lái)計(jì)算預(yù)測(cè)和正確答案之間的n-gram相似度，為n-gram匹配精度分?jǐn)?shù)的幾何平均值。l

EM、BLEU和Numberoffixedbugs越大，模型越好。

程序語(yǔ)言PL相關(guān)任務(wù)

o

代碼補(bǔ)全(CodeCompletion):基于上下文代碼信息實(shí)時(shí)建議下一個(gè)可能的符號(hào)，例如類名、方法名等，用以補(bǔ)全代碼片段，加速軟件的開(kāi)發(fā)。大模型技術(shù)可以通過(guò)上下文代碼規(guī)律解決代碼補(bǔ)全任務(wù)。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：EditSIM(EditSimilarity)、ExactMatch(EM)、Perplexity等。

15l

Perplexity是token-level代碼補(bǔ)全的評(píng)估指標(biāo)，用來(lái)度量模型預(yù)測(cè)樣本的好壞程度，即下一個(gè)詞時(shí)的平均可選擇數(shù)量。l

EM和EditSIM是Line-level代碼補(bǔ)全的評(píng)估指標(biāo)。l

EditSIM是兩個(gè)單詞之間Levenshtein距離，即將一個(gè)單詞更改為另一個(gè)單詞所需的最小單字符編輯次數(shù)，包括插入、刪除或替換。l

EM用來(lái)評(píng)估模型預(yù)測(cè)中匹配到正確答案的百分比。l

通常是Perplexity和EditSIM越小，模型越好。Accuracy和EM越大，模型越好。

程序語(yǔ)言PL相關(guān)任務(wù)

o

程序語(yǔ)言遷移(ProgramTranslation):即程序語(yǔ)言翻譯任務(wù)，是利用模型將源語(yǔ)言編寫(xiě)的代碼作為輸入翻譯為等效的目標(biāo)語(yǔ)言編寫(xiě)的代碼，翻譯后的代碼語(yǔ)義應(yīng)該與輸入的代碼完全匹配。因此，將大模型引入到程序語(yǔ)言遷移任務(wù)中，提升程序語(yǔ)言遷移任務(wù)的性能。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：BLEU、ExactMatch(EM)、CodeBLEU等。

16l

CodeBLEU是除了n-gram匹配之外，還考慮了基于代碼結(jié)構(gòu)的句法和語(yǔ)義匹配的評(píng)價(jià)指標(biāo)。l

BLEU、EM和CodeBLEU越大，模型越好。o

API推薦(APIRecommendation):是根據(jù)開(kāi)發(fā)人員實(shí)際需要來(lái)自動(dòng)化地推薦給開(kāi)發(fā)人員合適的API序列,滿足開(kāi)發(fā)人員實(shí)際需求。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：Precision、Recall等。17

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

自然語(yǔ)言NL相關(guān)任務(wù)

o

軟件工程相關(guān)文本分類(SoftwareEngineering-RelatedTextClassification):采是通過(guò)基于大模型的智能方法，捕獲軟件工程相關(guān)文本（如問(wèn)題報(bào)告、代碼提交及評(píng)論等）的編碼表示來(lái)預(yù)測(cè)文本的類型，如問(wèn)題報(bào)告的分類、APP評(píng)論分類和文本情感分類等，為開(kāi)發(fā)者提供有用的分類信息，幫助開(kāi)發(fā)者更好的理解軟件工程領(lǐng)域的文本信息。

18l

問(wèn)題報(bào)告分類任務(wù)是利用不同技術(shù)對(duì)問(wèn)題跟蹤系統(tǒng)問(wèn)題報(bào)告的類型和優(yōu)先級(jí)進(jìn)行分類。問(wèn)題報(bào)告是用戶在使用軟件系統(tǒng)過(guò)程中發(fā)現(xiàn)問(wèn)題的自然語(yǔ)言描述。l

APP評(píng)論分類任務(wù)是采用不同技術(shù)對(duì)應(yīng)用程序(如GooglePlayStore、AppleAppStore、Twitterdata)中的評(píng)論進(jìn)行分類(如問(wèn)題報(bào)告、功能需求等)，這些信息可以應(yīng)用在軟件工程諸多領(lǐng)域(如需求工程、測(cè)試等)。l

文本情感分類任務(wù)是對(duì)軟件工程領(lǐng)域相關(guān)文本(e.g.,StackOverflow中的帖子，代碼評(píng)審評(píng)語(yǔ)等)的情感進(jìn)行分類，是開(kāi)發(fā)者或用戶對(duì)軟件系統(tǒng)工件的觀點(diǎn)、態(tài)度或情緒。

自然語(yǔ)言NL相關(guān)任務(wù)

o

軟件工程相關(guān)文本分類(SoftwareEngineering-RelatedTextClassification):采是通過(guò)基于大模型的智能方法，捕獲軟件工程相關(guān)文本（如問(wèn)題報(bào)告、代碼提交及評(píng)論等）的編碼表示來(lái)預(yù)測(cè)文本的類型，如問(wèn)題報(bào)告的分類、APP評(píng)論分類和文本情感分類等，為開(kāi)發(fā)者提供有用的分類信息，幫助開(kāi)發(fā)者更好的理解軟件工程領(lǐng)域的文本信息。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)主要有Recall、F1-score、Accuracy、precision、MCC、AUC、BLEU、MAP(MeanAveragePrecision)等。大模型

19AccuracyPrecisionRecallBLEUAUCMCCMAP問(wèn)題報(bào)告應(yīng)用程序評(píng)論帖子代碼評(píng)審評(píng)語(yǔ)

APP評(píng)論分類問(wèn)題報(bào)告分類文本情感分類文本分類

自然語(yǔ)言NL相關(guān)任務(wù)

o

評(píng)論回復(fù)自動(dòng)生成(ReviewResponseGeneration):是針對(duì)用戶對(duì)應(yīng)用程序的評(píng)論準(zhǔn)確自動(dòng)化地給出相應(yīng)回復(fù)文本的任務(wù)。準(zhǔn)確的回復(fù)應(yīng)用程序評(píng)論是緩解用戶的擔(dān)憂，改善用戶體驗(yàn)的方法之一。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：BLEU等。

20o

跟蹤鏈接發(fā)現(xiàn)(TraceabilityLinksDiscovery):是通過(guò)不同的技術(shù)發(fā)現(xiàn)軟件工件之間的關(guān)聯(lián)關(guān)系，如問(wèn)題報(bào)告與修復(fù)問(wèn)題報(bào)告的提交之間的鏈接。準(zhǔn)確地發(fā)現(xiàn)軟件工件間的關(guān)聯(lián)為后續(xù)挖掘軟件開(kāi)發(fā)過(guò)程有效信息、挖掘漏洞等提供了有利保障。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：F1-scores、Mean

AveragePrecision(MAP)等21

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)

o

代碼摘要(CodeSummarization):即是為了幫助開(kāi)發(fā)者更便捷地理解成程序語(yǔ)言代碼，依據(jù)上下文代碼，采用不同技術(shù)對(duì)代碼生成自然語(yǔ)言的總結(jié)文本，即PL-To-NL任務(wù)，如代碼注釋生成、代碼提交摘要生成等。可以通過(guò)引入不同的大模型來(lái)深入挖掘程序語(yǔ)言與自然語(yǔ)言之間的關(guān)系，進(jìn)而產(chǎn)生高質(zhì)量代碼摘要。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：BLEU、ROUGE、METEOR等。

22l

ROUGE通過(guò)將模型生成的摘要與正確答案按N-gram拆分后，計(jì)算召回率來(lái)衡量生成摘要與正確答案的匹配程度。l

METEOR用來(lái)測(cè)量基于單精度的加權(quán)調(diào)和平均數(shù)和單字召回率，其可以解決BLEU標(biāo)準(zhǔn)中單純基于精度的問(wèn)題。同時(shí)與BLEU比較，基于召回率的ROUGE和METEOR和人工判斷的結(jié)果更相關(guān)。l

BLEU、ROUGE和METEOR越大，模型越好。o

代碼生成(CodeGeneration):是與代碼摘要完全相反的任務(wù)，是從其自然語(yǔ)言描述中生成一個(gè)程序源代碼(在目標(biāo)程序語(yǔ)言中)的任務(wù)，即NL-To-PL任務(wù)。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：BLEU、CodeBLEU、EM和Pass@k(k=1,10,100)等。l

Pass@k是給定生成的n(??≥??)個(gè)樣本，計(jì)算通過(guò)單元測(cè)試的樣本的數(shù)量，并計(jì)算無(wú)偏估計(jì)量。

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)

o

代碼審查(CodeReview):即是開(kāi)源和工業(yè)項(xiàng)目中廣泛采用保障軟件質(zhì)量的一種實(shí)踐過(guò)程。考慮到這一過(guò)程不可忽視的成本，研究者已研究通過(guò)大模型技術(shù)自動(dòng)化特定代碼審查任務(wù)?？梢苑譃榇a更改質(zhì)量評(píng)估，根據(jù)提交審查的代碼生成評(píng)審人評(píng)審(即PL-To-NL任務(wù))和根據(jù)提交審查代碼審查人評(píng)論生成評(píng)審人所要求的更改(PL+NL-To-PL)。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：Accuracy、precision、recall、F1、BLEU、EM等。

23l

Accuracy、precision、recall、F1用于評(píng)估代碼更改質(zhì)量，BLEU和EM用于評(píng)價(jià)審查評(píng)論生成。o

代碼搜索(CodeSearch):是給定一種自然語(yǔ)言作為輸入，從一組程序源代碼中找到語(yǔ)義上最相關(guān)的代碼，即NL-To-PL任務(wù)。o

該任務(wù)常用的性能評(píng)價(jià)指標(biāo)有：MRR(MeanReciprocalRank)等。l

MRR用來(lái)評(píng)估搜索算法的統(tǒng)計(jì)量指標(biāo)，為搜索N次代碼結(jié)果倒數(shù)排名的平均值。l

倒數(shù)排名為搜索N次的第一正確答案排名的倒數(shù)乘積，MRR表明了搜到的代碼是否擺在用戶更明顯的位置。l

MRR越大，模型越好。24

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

預(yù)訓(xùn)練數(shù)據(jù)集o

以Java和Python為主o

以英語(yǔ)為主o

大多針對(duì)一種程序語(yǔ)言的代碼進(jìn)行訓(xùn)練o

具訓(xùn)練集的大小跨度較大

25目前常用的大量軟件工程領(lǐng)域數(shù)據(jù)集包括SE文本數(shù)據(jù)集、源代碼數(shù)據(jù)集和SE文本和源代碼的混合數(shù)據(jù)集。26

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o

智能軟件研發(fā)的下游任務(wù)l

程序語(yǔ)言PL相關(guān)任務(wù)l

自然語(yǔ)言NL相關(guān)任務(wù)l

程序語(yǔ)言與自然語(yǔ)言交互任務(wù)o

常用數(shù)據(jù)集l

預(yù)訓(xùn)練數(shù)據(jù)集l

下游任務(wù)數(shù)據(jù)集o

思考

下游任務(wù)數(shù)據(jù)集o

針對(duì)SE的各任務(wù)已有豐富的公開(kāi)的數(shù)據(jù)集供研究者使用o

在NL和PL交互任務(wù)中主要以Python語(yǔ)言為主o

在PL的代碼片段分類任務(wù)中，特別是漏洞檢測(cè)任務(wù)中主要是以C/C++語(yǔ)言為主o

在程序修復(fù)任務(wù)中，以Java和JavaScript程序語(yǔ)言為主

27根據(jù)任務(wù)的不同，下游任務(wù)數(shù)據(jù)集可以分為SE文本數(shù)據(jù)集(NL)、源代碼數(shù)據(jù)集(PL)、源代碼和文本混合數(shù)據(jù)集以及圖片數(shù)據(jù)集等。28

目錄o

基于大模型的智能軟件研發(fā)框架o

智能軟件研發(fā)中的大模型及預(yù)訓(xùn)練范式l

常用大模型l

預(yù)訓(xùn)練范式o