【2024AI研發(fā)數(shù)字峰會(huì)AiDD北京站】崔宸-AI生成checklistQUNAR測試域結(jié)合AIGC提效實(shí)踐

Al驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效崔宸去哪兒旅行科技生態(tài)圈峰會(huì)+深度研習(xí)—1000+技術(shù)團(tuán)隊(duì)的共同選擇K+峰會(huì)上海站K+峰會(huì)敦煌站K+思考周研習(xí)社K+峰會(huì)香港站K+思考周研習(xí)社K+峰會(huì)詳情Al+研發(fā)數(shù)字峰會(huì)A/驅(qū)動(dòng)研發(fā)變革促進(jìn)企業(yè)降本增效2024深圳站-議題設(shè)置掃描右側(cè)二維碼掃描右側(cè)二維碼￥3680早鳥票￥2800學(xué)生票Al+工程線(LLM￥3680早鳥票￥2800學(xué)生票2022年加入去哪兒旅行基礎(chǔ)架構(gòu)-基礎(chǔ)平臺(tái)團(tuán)隊(duì)，主要負(fù)責(zé)測試域工具的研發(fā)。參與過自動(dòng)化測試、聯(lián)調(diào)平臺(tái)、寫壓測等項(xiàng)目，對錄制回放場景有深入了解。熟悉Al大模型通識(shí)，23年開始主攻AI大模型應(yīng)用方向，完成Al在測試域、需求域提效的應(yīng)用落地。在去哪兒AIGCHACKATHON大賽獲得冠軍。Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu通過Al生成代碼流程圖Al生成測試點(diǎn)列表運(yùn)維域需求域開發(fā)域測試域運(yùn)維域Alagent智能體平臺(tái)AIIDE插件根因分析。工單自動(dòng)化Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsuAl+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu需求溝通效率低平均耗時(shí)30min-1h自測自發(fā)不寫case機(jī)票自測自發(fā)比例86%25pd機(jī)票自測自發(fā)比例86%25pd以上需求3-5h4需求文檔質(zhì)量參差不齊4無評估標(biāo)準(zhǔn)，只能憑感覺提升QA寫checklist的效率提升自測自發(fā)需求質(zhì)量可以檢查需求文檔的質(zhì)量?設(shè)計(jì)關(guān)鍵點(diǎn)Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu需求文檔需求文檔門檻高、成本高、需要數(shù)據(jù)積累有遷移、整理成本門檻高、成本高、需要數(shù)據(jù)積累輔助(靈活):智能體多輪問答需求文檔預(yù)處理需求點(diǎn)提取工程+Al拆分需求點(diǎn)Al輔助(靈活):智能體多輪問答需求文檔預(yù)處理需求點(diǎn)提取工程+Al拆分需求點(diǎn)Al生成checklist測試點(diǎn)：1.測試售后新開接口是否能正確按航變原因返回乘機(jī)人維度的可退數(shù)據(jù)。3.檢驗(yàn)當(dāng)沒有乘機(jī)人可以退款時(shí)系統(tǒng)是否給出正確的文案。示例：對于一個(gè)沒有任何可退乘機(jī)人的訂單執(zhí)行流程，系統(tǒng)應(yīng)4.測試在乘機(jī)人可以退款的不同情境下(個(gè)數(shù)=0,1,>1),系統(tǒng)5.檢查售后接口調(diào)用時(shí)，不同退款金額情況(待核算/有具體金額)下系統(tǒng)是否展示準(zhǔn)確的文案。將為您未出行航段提交退款：退款乘機(jī)人及航段：用戶選擇的乘機(jī)人姓名(提退航程)項(xiàng)目流程集成用戶交互層系統(tǒng)功能層基礎(chǔ)組件用戶交互層系統(tǒng)功能層基礎(chǔ)組件88效果評估checklist生成效果評估checklist生成思維導(dǎo)圖轉(zhuǎn)換需求文檔1.獲取需求文檔，對文本進(jìn)行拆分2.結(jié)構(gòu)化文檔+prompt向大模型提問安全性校驗(yàn)3.將Al返回的測試點(diǎn)進(jìn)行轉(zhuǎn)換，渲染為腦圖安全性校驗(yàn)4.歸檔Al生成與手動(dòng)修改完的case,分析數(shù)據(jù)外部APIAIGCAIGC基建效果數(shù)據(jù)報(bào)告原因分析：·需求文檔無固定模板，規(guī)范性較低·需求文檔中的無關(guān)內(nèi)容影響生成效果目錄【需求正文】二級標(biāo)題改動(dòng)范圍正文需求點(diǎn)1:三級標(biāo)題正文需求點(diǎn)2:三級標(biāo)題正文需求點(diǎn)3:三級標(biāo)題正文Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu解決方案：·需求文檔預(yù)處理，提取需求正文·拆分需求正文，獲得結(jié)構(gòu)化需求點(diǎn)【需求正文】改動(dòng)范圍登錄頁面需求點(diǎn)1:前端增加用戶名和密碼的輸入框。密碼最少為6位，格式為大小寫字母+數(shù)字，并且前端展示為加密字符。用戶名或密碼格式不符合的情況提示用戶"用戶名或密碼格式不正確"。需求點(diǎn)2:后端用戶名入庫時(shí)校驗(yàn)，格式為大小寫字母+數(shù)字。密碼入庫時(shí)校驗(yàn)，格式為大小寫字母+數(shù)字，最少6位，入庫后需要加密。用戶名或密碼格式不符合的情況向前端返回"用戶名或密碼格式不正確" Al+研發(fā)數(shù)字峰會(huì) Al+研發(fā)數(shù)字峰會(huì) Al+DevelopmentDigitalsum是是否否是·生成準(zhǔn)確率高是·對產(chǎn)品角色要求變高【需求正文】改動(dòng)范圍否否分段需求點(diǎn)1:三級標(biāo)題分段分段后的需求點(diǎn)2:三級標(biāo)題分段后的需求點(diǎn)3:三級標(biāo)題Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsuAl+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu是是需求文檔圈定需求正文：否·預(yù)處理成本低是xxxx(忽略)是2.工時(shí)否xxxx(忽略)否分段分段分段后的需求文檔文本 Al+研發(fā)數(shù)字峰會(huì) Al+研發(fā)數(shù)字峰會(huì)是是需求文檔完全無格式：否否否分段分段后的需求文檔文本keyMessage:需求點(diǎn)關(guān)鍵信息keyMessage:需求點(diǎn)關(guān)鍵信息12456789{+數(shù)字，密碼為大小寫字母+數(shù)字且最少6位","輸入符合要求的用戶名和密碼，入庫成功并加密存儲(chǔ)","example":"入?yún)ⅲ河脩裘篴bc123,密碼：Aa1234,輸出：{"example":"入?yún)ⅲ河脩裘篅#$%,密碼：a1b2c3,輸出：{"example":"入?yún)ⅲ河脩裘篴bcd1234,密碼：abc,}]}Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu角色&1,提取需求點(diǎn)文本的關(guān)鍵信息2,給出測試點(diǎn)列表和示例規(guī)則采納率(采納case數(shù)/生成case數(shù))召回率(采納case數(shù)/終版case數(shù))成本0TARSTARS自動(dòng)化ChecklistCaseBugreviewreview完成，生成case自動(dòng)生成case名插入下級主題插入上級主題●定時(shí)掃描第二天進(jìn)入開發(fā)中的需求，觸發(fā)自動(dòng)生成checklist零成本接入 Al+研發(fā)數(shù)字峰會(huì)回歸自動(dòng)化eeee0田123456789{{"輸入符合要求的用戶名和密碼，入庫成功并加密存儲(chǔ)","example":"入?yún)ⅲ河脩裘篴bc123,密碼：Aa1234,輸出：{"example":"入?yún)ⅲ河脩裘篅#$%,密碼：a1b2c3,輸出：{"example":"入?yún)ⅲ河脩裘篴bcd1234,密碼：abc,]}登錄頁面增加用戶名和密碼的輸入框。用戶名限定格式為大小寫字母+數(shù)字。密碼最少為6位，格式為大小寫字母+數(shù)字，并且前端展示為加密字符。用戶名或密碼格式不符合的情況提示用戶"用戶名或密碼格式不正確"。用戶名入庫時(shí)校驗(yàn)，格式為大小寫字母+數(shù)字。密碼入庫時(shí)校驗(yàn)，格式為大小寫字母+數(shù)字，最少6位，入庫后需要加密。用戶名或密碼格式不符合的情況向前端返回"用戶名或密碼格式不正確" 前端增加用戶名和密碼的輸入框.日輸入不符合要求的用戶名和符合要求的密碼日輸入符合要求的用戶名和不符合要求的密碼后端用戶名入庫時(shí)校驗(yàn)，格式為大小寫字母+數(shù)字…-輸入符合格式要求的用戶名和密碼，入庫成功入?yún)ⅲ河脩裘篴bc123,密碼：Abc123456,輸出：入庫成功日輸入不符合格式要求的用戶名，入庫失敗入?yún)ⅲ河脩裘篴bc,密碼：Abc123456,輸出：用戶名或密碼格式不正確一輸入不符合格式要求的密碼，入庫失敗入?yún)ⅲ河脩裘篴bc123,密碼：abc,輸出：用戶名或密碼格式不正確一輸入符合要求的用戶名和密碼白輸入不符合要求的用戶名和密碼F改動(dòng)點(diǎn)登錄頁面前端eAl+研發(fā)數(shù)字峰會(huì)Al+研發(fā)數(shù)字峰會(huì)自動(dòng)生成checklist日改動(dòng)點(diǎn)田Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu用戶點(diǎn)擊反饋?zhàn)址ヅ淠Ｐ推ヅ鋵?shí)現(xiàn)簡單，無需另外設(shè)計(jì)會(huì)增加額外的流程，提高同上。并且巧妙利用了用戶修改checklist的使用習(xí)前期需要人工評估一些case,建立一套合理的閾值和權(quán)值模型。如果使用外部的embedding模型接備注·可能影響項(xiàng)目覆蓋率·可能影響統(tǒng)計(jì)效果Case1:密碼正確時(shí)彈窗Case2:密碼不正確時(shí)彈窗字符串匹配：87.5%Case1:彈窗不能關(guān)閉Case2:彈窗不可以關(guān)閉中文文本embedding模型是一種將文本轉(zhuǎn)換為向量表示的技術(shù)，它能夠捕捉文本的語義和語法信息，并將其轉(zhuǎn)換為連續(xù)的向量空間中的點(diǎn)。這種表示方式在自然語言處理領(lǐng)域被廣泛應(yīng)用于各種任務(wù)，如文本分類、情感分析、命名實(shí)體識(shí)別等。原始節(jié)點(diǎn)歸一化向量原始節(jié)點(diǎn)歸一化向量經(jīng)過用戶經(jīng)過用戶歸一化向量embedding向量歸一化向量Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu語義相似度自動(dòng)生成節(jié)點(diǎn)數(shù)：5終版checklist節(jié)點(diǎn)數(shù)：6回A0自動(dòng)生成總節(jié)點(diǎn)數(shù)=5A1終版checklist節(jié)點(diǎn)數(shù)=6A0自動(dòng)生成總節(jié)點(diǎn)數(shù)=5A1終版checklist節(jié)點(diǎn)數(shù)=6含義(T)完全可采納(P)部分可采納采納率：(2*100%+1*50%)/5=50.0%召回率：(2*100%+1*50%)/6=41.7%Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu落地范圍每月500+個(gè)項(xiàng)目使用產(chǎn)品需求覆蓋率60%-70%準(zhǔn)確率采納率x需求文檔邏輯清晰程度召回率召回率x需求文檔需求點(diǎn)拆分細(xì)致程度Al+DevelopmentDigitalsu提效成果·年化可節(jié)省約200pd填補(bǔ)自測自發(fā)不寫checklist的缺口?未來計(jì)劃涉及核心私密數(shù)據(jù)的需求，可以走內(nèi)部大模型生成業(yè)務(wù)知識(shí)庫：公司內(nèi)部概念，黑話，歷史資料等技術(shù)知識(shí)庫：系統(tǒng)調(diào)用關(guān)系，業(yè)務(wù)代碼資料等Al+研發(fā)數(shù)字峰會(huì)Al+DevelopmentDigitalsu科技生態(tài)圈峰會(huì)+深度研習(xí)—1000+技術(shù)團(tuán)隊(duì)的共同選擇K+峰會(huì)