大模型時(shí)代軟件測試技術(shù)方向與趨勢

2024/8/23大模型時(shí)代大模型時(shí)代軟件測試技術(shù)方向與趨勢朱少民，同濟(jì)大學(xué)1CONTENTS1.從圖靈測試說起2.大模型時(shí)代軟件測試的新范式3.大模型時(shí)代軟件測試的技術(shù)方向4.大模型時(shí)代軟件測試實(shí)踐5.軟件測試的未來展望22024/8/23342024/8/23世60周年紀(jì)念日。這一天，在靈測試”大會(huì)上，聊天程序EugeneGoostman首次“通過”5642024/8/23生成內(nèi)容（寫文章、作畫、作曲、編寫程序）生成內(nèi)容（寫文章、作畫、作曲、編寫程序）理解文字、理解圖片、理解代碼7許多地方超過人類平均水平前10%)無無無82024/8/23“正好Transformer把這么多知識(shí)壓縮在一起，這是它的最大突破”9LLM開始認(rèn)知現(xiàn)實(shí)世界2024/8/23LLM正在改變每一個(gè)行業(yè)——微軟CEOSatyaNadella——吳恩達(dá)2024/8/23不寫一行代碼完成小程序開發(fā)GitHubCEOGitHubCEOThomasDohmke挑戰(zhàn)：用AI18分鐘完成一生成代碼、代碼解釋與評(píng)審等如GitHubCopilotinVSCode，基本不改變?cè)芯幊谭绞?，但?024/8/23通過人機(jī)交互引導(dǎo)、細(xì)化，今天的計(jì)算機(jī)可以理解業(yè)務(wù)，克服了智能軟件工程道路上的最大瓶頸通過人機(jī)交互引導(dǎo)、細(xì)化，今天的計(jì)算機(jī)可以理解業(yè)務(wù)，克服了智能軟件工程道路上的最大瓶頸生成驗(yàn)收標(biāo)準(zhǔn)、測試用例、測試腳本生成驗(yàn)收標(biāo)準(zhǔn)、測試用例、測試腳本…2024/8/23模型驅(qū)動(dòng)開發(fā)、模型驅(qū)動(dòng)運(yùn)維模型驅(qū)動(dòng)開發(fā)、模型驅(qū)動(dòng)運(yùn)維人機(jī)結(jié)對(duì)測試成為常態(tài)2024/8/23客戶洞察客戶反饋分析測試需求分析測試用例生成客戶洞察客戶反饋分析測試需求分析測試用例生成系統(tǒng)UI測試生成20222024/8/23技術(shù)方向：學(xué)者角度/document23技術(shù)方向：工業(yè)界角度242024/8/23構(gòu)建測試領(lǐng)域大模型?在開源LLM基礎(chǔ)上，用自己的測試數(shù)據(jù)（testcases、testscripts、bugreports）進(jìn)行微調(diào)（fine-tuning），形成測試大模型?Embedding測試知識(shí)庫，形成知識(shí)增強(qiáng)型、檢索增強(qiáng)型LLM（RAG）251.APIexplorer識(shí)別被測函數(shù)，輸出訪問路徑、簽名和定義描述1.APIexplorer識(shí)別被測函數(shù)，輸出訪問路徑、簽名和定義描述3.提示生成器、測試驗(yàn)證器和提示細(xì)化器協(xié)同構(gòu)建用于生成測試的提LLM的響應(yīng)中集成完整的測試，運(yùn)行測試以檢驗(yàn)其是否通262024/8/23提示工程大語言模型的“特征工程”圍繞提示展開：提示工程大語言模型的“特征工程”圍繞提示展開：提示工程循序漸進(jìn)，不斷引導(dǎo)大模型、及時(shí)糾錯(cuò)、優(yōu)化輸出27282024/8/2331全生命周期引入LLM322024/8/23全生命周期引入LLM-續(xù)33從測試計(jì)劃生成開始342024/8/2335362024/8/2337382024/8/23明確上下文、增加輸出格式要求明確上下文、增加輸出格式要求39402024/8/23①實(shí)現(xiàn)準(zhǔn)確的生成結(jié)果②實(shí)現(xiàn)高覆蓋率的挑戰(zhàn)③測試預(yù)言的挑戰(zhàn)④精準(zhǔn)評(píng)估性能的挑戰(zhàn)⑤用于現(xiàn)實(shí)業(yè)務(wù)項(xiàng)目的挑戰(zhàn)41未來有更多基于LLM的測試助理開源42