測試用例智能生成-大模型在優(yōu)酷質(zhì)量保障工作中的應(yīng)用實(shí)踐

必msup測試用例智能生成－－大模型賦能質(zhì)量領(lǐng)域提效優(yōu)酷高級測試開發(fā)專家／李潔（慕鴻）大家都All in Al了，

測試做什么？ms

upo巨 科ChalGPT（全名：

ChatGeneratl灼

Pre-lralned

T啦

stormer)

，是

OpenAI研發(fā)的一款即天機(jī)器人程序』于2O22年11

月30

日發(fā)布．ChatGPT是人工扭

起技術(shù)驅(qū)動的自然詔宮處理工具，它徒夠基于在預(yù)．，更．多）一一人

工

智

能新浪潮

－

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－Chat

GPT

上線2個月，月活突破國內(nèi)

大模型產(chǎn)業(yè)化快速推進(jìn)優(yōu)酷站內(nèi)各業(yè)務(wù)尋找切入點(diǎn)1

個億1”！習(xí)孕...,魯一，':'·＂，位霾重田

燈豹＂影視膩塌．設(shè)習(xí)以售喳于干貫坎廿空扣次元，為

1l憂售神影視只百馨秀．..，刊吶·

U看比硒

·｀響干嚇人納嚷胃只．琶A心詈3擘陽"..

一·白．霞酮比崎．illElII

易比衄．歸心r

罵”“ 1'｀安片廳 l

(ll

ll

｀巴

DJIII歡霪哪．

王

飯畸神｀

了文芒

為突寬善生不情刪勸太子出ii

.

咸屯贏闈札平井為享1：!1氣

嚷7

ll

廳灼篇事．長．子言為

3

氣

71'!12日．增．全邸

,“

｀日尸蚐外1

壹

裹1

電望十臼1!11'1人

個J

iillllll汪f

一位女芒丑伍了人生片它ll!i.

憑儒怎切扣璣籍咒馨壓l壤曠

．曰攀直葛畸 并鐸常曝休"2·

兩村經(jīng)歷辱饌氏"飲

.`.11六

7

g

.II

口僵

仗亢

代女釘

干；瞰.伍·于六刀壇？日1了B牖霪．｀霄霉不陽..(l!I匾儀拓廿11元Ill氐重

1:

1H111ff認(rèn)了

口麒

餃公王渣賚了-

lft合11釣與蕾執(zhí)歡．魏邑II!塵．四人婦嚇斗．二．泗糾霉巳抒干千天改蠡灼比idleaT

ALK－質(zhì)詈 保障角度的切入

點(diǎn)loNi

兇b

矗心ro

oG"剛

0AWS

心“

m

plcOP刺占

心置CO測試領(lǐng)域?qū)＜疑米款D空

C>.....陶

寶g只＿出K_1J6`;

。咘

心

如

＿8KOGPT4_T叩

沁＿12

職OG盯

屯鄧

ion_Pr酌

l的測試智能

助手多瞿巴

i墨多3個）" 解釋問題解決問題（

滬

歸心

也) ....潭寶正 4K..屯.．心虹心

lo_4尺四0

GPT4_Tur切＿12

8Ki Chat

GPTSo

lv

eGPT。ViisionJ如4_GPT

如廖·可QGPTi5_Tutbo_1106O

GPT3.5_Tu心QGPT3

5_16K矗｀;.,

11-----------------------------------------------I＆摻I必ms

upo如何用小成本構(gòu)建領(lǐng)域?qū)Ｓ写竽Ｐ停縄必目錄ms

upo測試用例智能生成The part one大模型重塑交付變更流程The part two通用化Agent智能體方案The part t

h「

e

eI必ms

upo01第一部分測試用例智能生成PART

01必AIGC用例生成：

V1.0架構(gòu)ms

upo業(yè)務(wù)切入效果優(yōu)化提示詞工程

Promp_t

模板

傳參定義

金

會 基座大模型 Chatgpt

4.

0 (128K)

/ Chatgpt

4.

0 (BK)

/ Chatgpt3.

5＿優(yōu)酷垂域知識庫＿(RAG檢索增強(qiáng)：優(yōu)酷語雀文檔歷史需求原文描述I用戶自定義上傳知識數(shù)據(jù)處理數(shù)據(jù)清洗／結(jié)構(gòu)化向量化／向量化存儲L---------------..預(yù)訓(xùn)練＿ ＿杖墜儂調(diào)＿實(shí)時反饋Owe勹14B模

犁I必優(yōu)酷本地知識庫＋測試間答助手構(gòu)建：

RAG

檢索增強(qiáng)ms

upo------------------------------------------------、、，，

叩

月喔ll陬＂五

寸冒卞”“r,..“.“111`..r．. m遽衛(wèi)

凸艾吁重..重,,嚷食皇．盲，＂旯>!'I賈

-,r.“l(fā)

1”

嘈I■盲I

界l

守”“"

..憾R”“,.噱"'"鼠四阿嗣匣，＇佩量”吵·四冒

·噱m...下,.“

血胃....，心雪戍加

江l

，??．g

"己．,，1

．”“`...-血”，4,

虞怎”“”蘭 ··

U曰｀”，m

,.

.Ii

II心．配

叮....

'－熄l..n.“.'“'｀'”

“暇圍臚

叭山呻『m...I呵·配1，如＂咖t

口_』...頁權(quán)廳喝一．H.a＂.

＂小喊喟仗－..

.

六節(jié)喇卡一塌心”一r

心.“'圃基···胃崎個4.星"

■

II,\星望

量．上．嘈量`?....啊..

..

平舅令漫伴之蠡讓”“

m..書片嘈尸喊，..

Pl-

耄工諶｀飄宴仔民氣”圃雪，平T==:""Ig.....．

斗葉，I'霞｀”“尸｀”

“`"

mII”皇域

U

L．暑盲玉匾星斗雪詹夏..偏－蠡上畛＝優(yōu)酷歷史沉淀的用例集

優(yōu)酷語料知識集

--＿`、-－－－－－－－－-－－－-

－-

-－

-J1

數(shù)據(jù)設(shè)計思考

｝,'-

-----------------、｀畛”“”.L“

'

rEmbedding

Vectors、內(nèi)容檢回量化

采用Embedding方式將業(yè)務(wù)垂域知識容轉(zhuǎn)換成向量表征，

為后面的模型訓(xùn)練索做數(shù)據(jù)基礎(chǔ)圖譜存儲

按照用例內(nèi)容和標(biāo)簽還原優(yōu)酷場景結(jié)構(gòu)和產(chǎn)品模塊之間的關(guān)聯(lián)關(guān)系，

增強(qiáng)基座模型對優(yōu)酷產(chǎn)品架構(gòu)的理解向量化Vector

Database”“t

印L.“＼/

．

3

-

＇,

／圖結(jié)構(gòu)存儲，．測試用例產(chǎn)品關(guān)系圖譜化．～一

一＿....．＿恤．

卜........... ._

.．．-

衾乒二·

…`

?

．一．．-·年~..7疹一......_．

—一．．．·．一－

－－一．

｀一｀-.“

今

·-

!.

石

.-

：．一－:

．蘭七·三千=-·

·

-:.:

:·.'..

.~:.”.....一．疇·．

二七

壬千·一仁.-

-····｀一令．-一··??刁

..3..-....-·...．·-．一

-氣=F..｀'｀?。?.

.一—千

－．

．—七氣之于占·

~

．夕-·上下文補(bǔ)充

(

ICL

)

＋知識學(xué)習(xí)混合

撿索F

巳卻~

`

廣己

心

va..l

/e.o.r-chv...t

o尸七叢乙===-=｀了三｀｀：巳土＇J

己

l'

斗

n...I必算法服務(wù)：l

I

I

*l

I

I

I

*有效實(shí)體詞提取黑白名單／自定義增補(bǔ)／實(shí)時推薦相關(guān)詞I

l

l

*知識庫、

特征、

Prom

pt、模型全面升級語雀文檔庫批量抓取解析／清晰／規(guī)整結(jié)構(gòu)／入庫提示詞工程PromptEngineeringl

I

I

*Prompt模板升級結(jié)構(gòu)清晰／指令精準(zhǔn)I

I

I

*核心邏輯補(bǔ)充提取OCR圖

片識別用戶自定義文檔上傳新業(yè)務(wù)場景可自補(bǔ)充ms

upoI

l

I.參數(shù)動態(tài)填充核心要素參數(shù)化I

l

I

I.升級至ChatGPT

4

.

0無限長文本處理I

I

I

申流式響應(yīng)輸出用戶體驗(yàn)提升補(bǔ)充多模態(tài)能力、RAG檢

索增強(qiáng)，構(gòu)

建豐富且清晰的提程，多節(jié)點(diǎn)能力抽象化形成算法通用化能力示詞工-ll

l

w算法能力碎片化Prompt通用訓(xùn)練師I必｀？影響用例生成效果的3大技術(shù)難題ms

upo基座模型對優(yōu)酷業(yè)務(wù)的理解瓶頸 :

\大模型的幻覺”病理”;;大模型在質(zhì)量領(lǐng)域”發(fā)育遲緩"心I必AIGC用例生成：

V2.0架構(gòu)ms

upo業(yè)務(wù)切入效果優(yōu)化基座大模型提示詞工程

合Chatgpt優(yōu)酷語雀文檔歷史需求原文描述用戶自定義上傳知識數(shù)據(jù)處理數(shù)據(jù)清洗／結(jié)構(gòu)化向量化／向量化存儲＿＿優(yōu)酷垂域知識庫『-－-

－－－－－－－－－－'－－(RAG檢索增強(qiáng)＿Pr

e

-

Tra

i

ni

ng" 【 】＿＿預(yù)訓(xùn)練模型微調(diào)實(shí)時反饋r------------------------------------------1＿＿歷史需求－用例集合圖文數(shù)據(jù)識別 ］L 數(shù)據(jù)增強(qiáng)歷史回歸數(shù)據(jù)集［數(shù)據(jù)打標(biāo)自學(xué)習(xí)尋找最優(yōu)優(yōu)酷知滬庫LoRA微調(diào)優(yōu)酷測試模型，數(shù)據(jù)處理用例設(shè)計更人性效果驗(yàn)證需求－用例映射關(guān)系多模態(tài)數(shù)據(jù)L

-＿:.::.＿本地訓(xùn)練_Owen

14B

模型4.

0 (1

28K)

/ Chatgpt

4.

0 (BK)

/Chatgpt3.

5

Promp_t

模板

傳參定義

I必本地模型：預(yù)訓(xùn)

練

＋L

o

RA微調(diào)ms

upo原始需求沉淀數(shù)據(jù)集數(shù)據(jù)清洗產(chǎn)品需求文檔用例設(shè)計模板畸ChatGPT4

.

0..模型生成用例數(shù)據(jù)用戶歸檔用例數(shù)據(jù)重合數(shù)據(jù)差異數(shù)據(jù)＿，產(chǎn)品需求測試用例｝數(shù)據(jù)增強(qiáng)訓(xùn)練數(shù)據(jù)集LoRA微調(diào)l預(yù)訓(xùn)練數(shù)據(jù)集合歷史迭代產(chǎn)品需求歷史測試用例集合畸數(shù)據(jù)處理映射關(guān)系數(shù)據(jù)結(jié)構(gòu)化h

1..1國t I

Fine-rune,＇，x

IPre-training

夕I通義千問

(LLM)沉淀數(shù)據(jù)集強(qiáng)化學(xué)習(xí)l

_用例－需求測

試用例設(shè)計標(biāo)準(zhǔn)IIl：L- -

-

-

-

-

-

-

-

-

-

-

-

-

-

-

』成本計算

可控數(shù)據(jù)隱私

安全通識知識：

豐富優(yōu)酷垂域測試模型提升準(zhǔn)確度降低幻覺合理發(fā)散I必AIGC用例生成－平臺流程更快、更準(zhǔn)、更全ms

upo（測試同學(xué)J迭代需求、提測單列表／自定義上傳／優(yōu)酷知識庫構(gòu)建Step1可回溯------------------r可沉淀、可復(fù)用可回溯一一S一一一t一e一一p一一2一歹一＼＼Step3一一一一一一一一一一一一一一一一一一一一一 一一一一一一一一一一一一 一一一一一一一一一一一一一一一一一一一一一一一一，（實(shí)體識別規(guī)則提取J：用例智能生成回歸用例推薦 ］

（排序去重用例融合）在線獲取需求原文Al生成用例自動排序去重Xm

ind結(jié)構(gòu)化展示產(chǎn)品關(guān)鍵詞／描述數(shù)據(jù)自動融合推薦回歸用例用戶篩選用例操作增加／刪除／修改需求核心邏輯／規(guī)則，

一

操作操作增加／刪除／修改關(guān)鍵詞保存／分享鏈接Prompt動態(tài)調(diào)優(yōu)模型在線切換L—向前回溯推薦關(guān)鍵詞篩選|重新生成效果調(diào)優(yōu)用例評分／反饋|在線導(dǎo)出I4-pet-S-.l』（用例歸檔］指定歸屬業(yè)務(wù)用例標(biāo)簽推薦業(yè)務(wù)標(biāo)簽引導(dǎo)同步用例庫歸檔知識圖譜I必II需求理解：實(shí)體識別規(guī)則提取迭代需求列表ms

upo用戶自定義上傳需求（實(shí)體識別規(guī)則提?。涸诰€獲取需求原文產(chǎn)品關(guān)鍵詞／描述需求核心邏輯／規(guī)則操作增加／刪除／修改關(guān)鍵詞推薦關(guān)鍵詞篩選"＇l

l

:

.

,.

..－喜仁'L.'＂

＇I

,l........”·lm'

｀扈牛．＂

恤．｀＇．一·muiil-I.“'

－···...引，l

··，

l

,

＿.,刁..-七

-4H已,.,`且'Lm..

...5一一..己一

尸·~”··.

"＇····m一··l.·ll

·曰"

····l刁邕＿．｀己一＂．-·O需求理

蔚關(guān)鍵詞O2

用例詩選巴門＿-

1-.......',

l,,;····胃·畸沁”

“,II...，“”心貯戈....?“比U

i

??????- l,

l衛(wèi)L..

巨雪

·

T..瞿「b..

，四“，”“

...... l.

叩

....，一·C=－－-－儼．贊霄一蘆.,..I.....,．“.'..“....,

....言重嚷凰．甕疊下置．·曼m霞售啊崎芯'僅蛐蛉可』_......“中斗m

·九口嶺吐

扣義

E............J重......｀｀

誣妯：． ，如．們,._

,,3 用例生成..,“蠼，一.....哪..．·｀·“＂..“d

..勹.

..蠕血嚕'

..早心·蛐··“.-

-

- ”

“'叫匾王．汗··上｀”

“ 3

”“圃........叩」4 用例歸檔個人中心優(yōu)區(qū)app的個人信息貞夕一I''一· 伽一·會員夕 一優(yōu)把a(bǔ)pp內(nèi)對vip用戶提供使多史好的影視資泗，包括更多片昂、更好的西質(zhì)等十新增關(guān)詛詞邏輯分析0針對連包人群．希登在個人中心投放觸達(dá)累酪促進(jìn)回簽和加．簽因此．l!I要基于已有滿天盡和Cmm打通的鏈路．滿天呈新增項(xiàng)目并在crm場景碼下關(guān)聯(lián)．項(xiàng)目類型；

210

流量－會員類型－crm會員轉(zhuǎn)化－會員連包挽留I必陽景看著令蟾，

II存五歸旯例CPT矗

0-

T,置汪

叩翼鬻褫式用例生成：智能生成回歸推薦!I

麓共逵中..,.瞿以用鬟叩ir,

名禱ns

upo－－－－，II

試抄·■凜麓：個人中心會員蒼包找．重嚕融沾峻伍嘈置疊件：畔尸巳量掌憂．＂'P,

撲灶十會員定巴民麓日攸人懺中.（用例智能生成回歸用例推薦J必Al生成用例推薦回歸用例用例篩選用例操作人工篩選自動排序去重相關(guān)性分?jǐn)?shù)倒排Prompt

預(yù)覽X>Promp

tlll(文v

Prompt參數(shù)需求原文點(diǎn)否下萬內(nèi)喜恒可罐霪一、需求背景https://aliyuque.anf/g/yanfei.gyf/yra5c6/vgdg216izksoOo5b/collaboratorno1n?token=

nm4y9vni30ruwuxv&s

ource=doc_collaboratorll（連包

站內(nèi)觸達(dá)項(xiàng)目匯總》針對連包人桿，希望在個人中心投放觸達(dá)策略促進(jìn)回簽和加簽．因此，需雯基于已胥滿天星和crm打通的鏈路，滿天星新11項(xiàng)目并在crm場景碼下關(guān)聯(lián)．本次新增頂目鏈路需在研發(fā)環(huán)壤驗(yàn)收，鏈路飽通后，后續(xù)新增訴求即可直挾線上配置．二、需求捂述滿天星新增項(xiàng)目項(xiàng)目類型：2.0流量

會員類型-crm會員轉(zhuǎn)化．會員連包挽留默認(rèn)人樣

110857單燧解約召回測試人樣crm場景碼下新增項(xiàng)目映射id:

待補(bǔ)充＠胃樹

(036346)

＠渭磊(321580)預(yù)發(fā)項(xiàng)目

Id

:

6841

("_member_606":684】1線上項(xiàng)目

Id

:

符補(bǔ)充實(shí)時在線調(diào)優(yōu)能力用例合并xmind結(jié)構(gòu)組合關(guān)鍵詞措述個人中心：優(yōu)酷

ap

p的

個人信息頁會員

：優(yōu)愿app內(nèi)

對vip用戶提供更多更好的影視資源，包括更多片潭、更好的面質(zhì)等點(diǎn)擊下方內(nèi)喜但

可編鑲可持續(xù)回溯修正能力在線調(diào)優(yōu)邏輯規(guī)劓針對注包人材，希望在個人中心投放觸達(dá)策略促進(jìn)回簽和加簽．因此，需要基于已有滿天星和crm打通的鏈路，滿天星新增項(xiàng)目井在crm場景碼下關(guān)聯(lián)．Prompt動態(tài)調(diào)優(yōu)重新生成模型在線切換用例評分反饋項(xiàng)目類型

2.0流量

會員類型－crm會員轉(zhuǎn)化－會員連包挽留>可供參考的

case濂謚寸暈冢重彖悍亨霎Lf惶.

,.0

.,,，中旦

角

丈切幔吊中長

11羲式、胄少年守護(hù)、兒．守鏟人0點(diǎn)擊下方內(nèi)喜但可編糟內(nèi)言不可罐鑲用例融合用例歸檔ms

upo一一一一氣———Xmind結(jié)構(gòu)化展示數(shù)據(jù)自動融合操作增加／刪除／修改保存／分享鏈接r----------------------------向前回溯在線導(dǎo)出用例保存：（ 排序去重用例融合

J （I

一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一用例歸檔 ］指定歸屬業(yè)務(wù)用例標(biāo)簽推薦業(yè)務(wù)標(biāo)簽引導(dǎo)同步用例數(shù)據(jù)庫QQ回井二己e

百用戶自定義干預(yù)結(jié)果斗

l

置鈕

咖蟻＿，“＇正“'扣＂撐旦薹鞠事oo.....“..1.!f暈1｀t脊眉：

曾還

饑篇＂平謁偷攫景片侔魯峓日書

萼＂識百冥峰逸l'堿

噓

兒

吧

野：＂

舊

和

，＂

酗

祁

予如

，也謚止r

t!予

婦

，－藕嘈l(wèi)逾．已

邃1111111偏．－嗣

e"

詛

陽

＇節(jié)

嘿

預(yù)

鈕

叩

嘈

．”“刪邕女”．值漕霪霍坎蠹們正罩工作狀．玉．誦盲ill

雷準(zhǔn)牖空魯壹；

II

書霾名擒釴．＂

一高覆.,.,.llllf'II漕仆置雪豐豆機(jī)氓：阿． ..,,.

11.?1昌肛刊?。呃邸＃?/p>

印

：

打開啞

嚴(yán)

．｀”

“

凜邸

護(hù)霜曬

也

＜年

立．

隍圃飽

凰：1

量重岍中直莊只刪■矗畿人

情．帛I

ll

江革U的．宜邕眉＿．

雪“

'

氣．

己：

a｀＇．冒宜巾．．江猛出其II．個干稠貳·

,.口名霪．闊《

三生：：：

II寧:

霪偏iD

.“

長安十二肘Il

l—

愕彝隔胃

．節(jié)皇"

[

匾．汛尺莊蟲于阿

配雹嗖節(jié)11名搏．升分氪凜了正．們筐童111秉

＆--叩·婦l,Jl`'“'嚇．覲"

l!I配

t

刪

比

幾個“

'

”

“

基隍霞t111Li．1

尾＇.萬丘育瞿曦．，飲腿＂午叩匱扯為謐鞠奄識霆蘭暹．值從岡昆覆，，ll

l!

W.

II

星

IF,111.!li們?nèi)酌蟪?/p>

：

管

四■遍認(rèn)工嘈菁方JIO

■tlll

．女刪社行圈盂回胃們更，，看II．色聘．'

酬

Illm

.

過

llU

II

衄

扭

"

n■I]..m言餐黜

哼

嗣

漏

蹋

｀＂

II

視

．五

垃

蜘－雪茄

哪

·

社m

m

m

.＂

灌置瞿，正在四＂

m叩

噸

礦礦

~

，出可

礦

魯鼠嘈

t1111J:5

｀衛(wèi)IT11■1!1ffJ.

Ul

U!i

泗

JI了“｀

嚴(yán)叩“'、“”“`口

＿＿＿ J 霄求讒靴＿

歸石是

11霄夏曙隅可Ill

SJ11惘霞，

丘

環(huán)霄嚇為..

忙曾j

旺■矗雹．為T．

升踐圃漕看fl

,

哪糟大嗣倉嘈五11嚷露們爪網(wǎng)曰星霸由必歸檔知識圖譜JIii．

重量，丙Ill

厥堇，J

用例請選用憚王缸O晌

嗎撞個兒沁 ；3會員

。數(shù)據(jù)保存歸檔AIGC用例生成案例：

效果評測diff_rate120ms

upo10080604020。全郢版本全部業(yè)務(wù)線葦

I"

斗個g310句側(cè)P.歸Ei83.2

"258

個陽儼

ii't

巾37

個 11.94

,-.用，在15

個4.84

%11)

好了,..,歹

l960

.00

? 11.43

"Ai

智能生成用例時間對比整體打分不足之處需求業(yè)務(wù)用戶設(shè)計功能點(diǎn)覆蓋功能點(diǎn)覆蓋度結(jié)論播放器1

多語言內(nèi)容支持播放覆蓋多端（包含折疊

·

多端切換的效果一致性需求功能點(diǎn)覆蓋度可達(dá)90%+cma

f

（源端等全音效切換）．：；切換支持cam

f

C:=;？:：:

:：

：文音

：換?::J

::：；

:

:

:

:：

操：：：疊屏?xí)怀?.5分未考慮到緩存視頻的測試場景后期優(yōu)化·實(shí)體或者邏情加權(quán)重分?jǐn)?shù)．

播放器多音效切換質(zhì) 狀態(tài)無干擾量及效果保障 ．

不同切換狀態(tài)的音效連貫性驗(yàn)證場景包含在線和緩存

．

不同播放狀態(tài)時的音效切換功能無異常不足·

緩存場景被忽視功能側(cè)重點(diǎn)突出全屏視頻齒停支持聲音控－制

商業(yè)化移動端全屏齒停廣告加聲音邏錢全屏廣告潘放服務(wù)端下發(fā)邏轄I

.

聲音漸變功能默認(rèn)聲音配置功能驗(yàn)證．

服務(wù)端下發(fā)客戶端默認(rèn)無聲

·

用戶關(guān)聲音邏轄 用戶關(guān)閉聲音邏輻I.

廣告播放和翟停切換 ．

數(shù)據(jù)埋點(diǎn)關(guān)閉聲音的按鈕攢索I

I角色桿聊1

多tab等交

搜索互細(xì)節(jié)優(yōu)化Tab改為3Tab

'對話／群聊／技能左滑切換Tab．

群聊角色的“正在輸入“中等待交互．

對話式搜索Tab的切換，每個Tab對應(yīng)的功能驗(yàn)證瞳場信號的下發(fā)優(yōu)化用戶輸入過程中的暖場下發(fā)邏環(huán)瞳場開關(guān)的驗(yàn)證．

瞳場優(yōu)化

一次對話最多3次諼場．

用戶蕩入階段不觸發(fā)瞳場．

晤場下發(fā)時機(jī)／限／制用戶諭入階段等規(guī)則功能覆蓋度超過85%+核心功能均涉及20min5min75%8.5分冗余的話有點(diǎn)多不足：埋點(diǎn)未涉及業(yè)務(wù)細(xì)節(jié)延展性好部分細(xì)節(jié)有混淆，可容忍鬻求功能點(diǎn)覆薹度70%+ 30min

15min

50%

7分．

基礎(chǔ)的Tab切換和頁面功能驗(yàn)證很準(zhǔn)確：：：

驗(yàn)證

比人工想的闔全

親斤i

湯；畏3史背女詐圭{角性罹5璣場理解不到位，邏刊有些混淆試聽單Tab的補(bǔ)充功能，例如新增聊天群少：年歌行聊天材等沒識別出來暖場新場景無法理舷靠后的prd內(nèi)容理解的準(zhǔn)確度會降低（人工感覺）I必不止千此：自動化case生成ms

upo1自然語言樣例 I1 抽取

動作類型 I

1抽取動作目標(biāo)1I目標(biāo)定位方式I1前置條件I登陸 '

VIP賬

號

”打

開“xx頁面”登陸Schema

跳轉(zhuǎn)VIP賬

號xx頁面I執(zhí)行步驟I點(diǎn)擊搜索框"輸入“墨雨云間＇點(diǎn)擊輸入文本點(diǎn)擊搜索按鈕＇點(diǎn)擊—

搜索框墨雨云間搜索按鈕1Os等待

10

秒＂滑動屏幕滑動直到找到＇廣告坑位”跳轉(zhuǎn)到墨雨云間第1集＂等待滑動滑動schema跳轉(zhuǎn)墨雨云間第1集gaTt測檢標(biāo)目MicRiOraj PssmI預(yù)期結(jié)果I預(yù)期出現(xiàn)“雙f列ee

d"預(yù)期不出現(xiàn)'xx文案”出現(xiàn)不出現(xiàn)雙列fee

dxx文案I必不止千此：

自

動化case生成ms

upo令 優(yōu)酷質(zhì) 量Al平臺

首頁用例生成 代碼生成測試任務(wù)石Al對話

[8] 2023-09-1815:47

:57凸Al助手

2023-09·1815:47:57庭涵

歡迎使用優(yōu)酷測試

Al平臺，我是您的專屬Al助手對話數(shù)：1＋新建對話[

ltami、

．vO

新手引導(dǎo)：三意見反饋-I》發(fā)送I必不止千此：

自

動化case生成ms

upo令 優(yōu)酷質(zhì) 量

Al平臺

首頁用例生成 代碼生成測試任務(wù)石Al對話

[11] 2023-09-18

17:19:42i Al助手

2023-09一18

17:19:42庭婚

歡

迎使用優(yōu)酷測試Al平臺，我是您的專屬Al助手對話數(shù)

：1＋新建對話Iltami1

切換為 It

ami模式1V

]新手引導(dǎo)三

意見反饋》發(fā)送I必ms

upo02第二部分大模型重塑交付變更流程PART02I必用大模型重構(gòu)服務(wù)端變更交付ms

upo開發(fā)同學(xué)需要考慮的事情r----------------------------------,測試同學(xué)需要考慮的事情-----------------------------------------,開發(fā)完成：影晌風(fēng)險 代碼評審 完備自測戶少提測：影晌 風(fēng)險 變更內(nèi)容 測試數(shù)據(jù) 覆蓋率：

報告＆交付三：

D D D D :

`D D D D D / 二．一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一. '------------------------------------------;：一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一；

傳

統(tǒng)

平臺能力 1

影晌的 入口 I I變更風(fēng)險

等級 I I

影響的熱 度鏈路 I I變更

方法的 耦合

度

I I變更

方法的 復(fù)

雜度 II

流雖回放

＆全息自動化:＿＿

＿

＿＿＿＿＿

＿＿

＿

＿＿

＿＿_(dá)＿

＿＿

＿_(dá)＿

＿

＿＿_(dá)＿

＿＿＿＿＿＿

＿＿＿

＿＿＿＿＿

＿＿

＿

＿＿＿

＿_(dá)＿

＿

＿

＿

＿＿

＿....－－－

-

－－－－－－－－－－－-

-

－－－－－－－－－－－－－－-－-

-－－－－－－－－－－－－-

－－－－-－－-－能力分散、無標(biāo)準(zhǔn)化流程畸代碼評審太麻煩了，不評

審

了l測試過程都需要干什么？變更影響了哪些入口？新的保障方案如何落地？大模型如何助力？更高效 智能化交付流程更低門檻 代碼理解輔助更小成本

新的保障能力落地應(yīng)用I讓Al作為＂粘合＂劑，

標(biāo)準(zhǔn)化、智能化交付流程流程引導(dǎo)＆控制 變更相關(guān)信息問答＂測試助手”,

＂測試專家”代碼理解變更行為分析新增的質(zhì)量保障能力評審 提測

報告要點(diǎn)I必用大模型重構(gòu)服務(wù)端變更交付ms

upo線下持續(xù)集成安全生產(chǎn)保障Aone發(fā)布流程線上穩(wěn)定性治理,---------------------------------------------------------------------------------------------------------------------------------------------------II I I II

II

II I— 一 ，研發(fā)流程基礎(chǔ)能力 ！自動化測試＇智能回放！安全生產(chǎn)：線上穩(wěn)定性質(zhì)量度量測出胚

1 1

-，昌三口置一-- 昌口3— 一 一 口曰日日昌曰日國一

一一一一覃一一匡l- - - - --

－－-－－－－－-－－－－－－－－－－－i－－－

-－－－－－－－－－－－－－－－－－－－－－－

－－－－－－

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－--－－－－－－－－－－－－

－－－－－－－－－上＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿， 歸 能4服務(wù)端基 礎(chǔ)能力智能回放』變更感鄭管控』一一．．．一一一一一一．．．一一一一一一．．．一一一一一一．．．一一一一-

．-．·-

-

-

-

-

．-．

?

-

-

-一-

．-．

?

-

-

-一-

-

-一-

-一-

．-．

?

-

-

-一一．．·-

-

-

-一一．．

?

-

-

-

-一一．．

?

-

-

-

-一一．．

?

-

-

-

-一一．．

?

-

-一一一一．．

?

-

-

-

-一一．．

?

-

-

-

-一一．．

臚一-

-

-

．-．·------．．

?-

-一-

-

．-．

?-

-

-

-

．．·------．．·------基礎(chǔ)能力中心，基礎(chǔ)數(shù)據(jù)中心 ，流噩采集引擎＇測試框架 (Arsenal)-－瞿三豆眉巨霆皿冒匡霆霆，＿＿，噩口冒瞿己蠲＿匱霆巴，一一·曰z.

rm嘈雪冒廳儼．匡雪霪匡曰雪，皿

l

-－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－-

-

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－戶集團(tuán)能力l-－－－--－－－－--－－-－－－－－－-－-－-----－－－－-－--－-－-－-－－－－－-－－－－－－－－－－--－-－－－－-－－--－－-－－－－－-－－－-

-－－』-

一一一一一一一一一一一一一一一一一一一一一一一一一一一一一：一一一一一一一一一一一一l—

—

畫畫—

l—

1- －

,-I

—

'

--l

』1＿＿

＿匱＿

＿

＿

＿

＿

＿I必用大模型重構(gòu)服務(wù)端變更交付ms

upo從流程起點(diǎn)切入Al對話2024-

06

-03

16:19:54對話數(shù)：2＋新建對話倉工作臺

X2024-06-0316:19:64r，，

a

I我的[;

-諸給出與我有關(guān)的變更倌息；丿4全部變更全部提測凸應(yīng)用名稱提測時間變更ID風(fēng)險狀態(tài)發(fā)起人接收人操作Al

助手

2024-06-0316:19:54

耗時；0

秒已查

詢到雖近7天內(nèi)全部的變更信息．查詢環(huán)境：gz，巨五，

刁控

呂

規(guī)則迭代2024-06-0316:13:14低開始分析ykad-biz-plat25396929待測試烹圭吞提滬？流程引導(dǎo) 我的提測【短劇】批．．．ykcop-web2024-06-0314:44:41高開始分析25200375測試中0612

1

追劇．．．columbus-home2024-06-0311:oa:22盡開始分析25308277中瀏試中電影暢享卡．．．

xpc2024-06-0310:00:5

2中開始分析25302237測試中電影卡導(dǎo)購．．．xgou2024-06-0309

:55:5325356479低開始分析瀏試中I必用大模型重構(gòu)服務(wù)端變更交付ms

upo主流程智能化引導(dǎo)2 優(yōu)

酌陡量

Al

平臺·,．｀·

'％,．＇，服”

急

雯更交付'.,．t··.

，l.A.

l對話20

2

牛

O2·21

10:31:“妒的-I-刁

飛沁

I

夕

l.

，叩I

2?220,

5111:

？,

兇對這以6＋新＂對話中交更概暨.．，．.

,，`

“.[55己已［

三五已i

二］．

大方法藕臺11影晌業(yè)務(wù)人口陬量影響熱霪代碼數(shù)量交更熱霞方法數(shù)量34484122O2小

02·21

億

·5t:21—．一尸'|

夕影晌囡賈更類型圈翼R虞

囑合度

愚責(zé)排名風(fēng)險萼級操作a夕 、分析方式業(yè)鼻入口熱11鏈脆團(tuán)箱戳皇Al肋手202小02,2,,,,o,2,

印':0鈔, -.

－－－－~…

IC

叩

可

t

PcSl1eDTO“石52非熱貫依幻分析226中＂絡(luò)分析即土.J

?1r

....心I”

“

兇

51

1”

“

Xl本次變更

為中岫

空更，

共變更了41妎

萬法，斷增27改188個乃法，發(fā)現(xiàn)高風(fēng)險Igat傅改16231印夏壓廿

析2？乓缸組分析O沁1

11'1

如Vo

心

ion仰凸l3扎熱霪伈鴨廿析24中鏈路分析歸

se

mb芯h伴凸2,47重檀分析23r僅蹺分析一個0

，詳匾

內(nèi)召調(diào)在右側(cè)

工作區(qū)置.

.,O2”“

'，飛蘭」”

“

mb伽l

Idm

Vi.

wLI認(rèn)膺改32152口，i廿析。2牛U

隱分析not氐幛改25。｀h熱置依灼

分

析23中包閉分析

、

q

u侖＂問改12201岱夏棧分析。？亡句腸分析凸Al助手

2024-0

2-21,

o,:,14·

1

M

2砂帕.L刁

·r

o

l．叩

1

2心2兇

511

J357211忐火影童．計情巳

lquryAIISi1,,,;中imLI”悖改10231"

熱喧伍問分析。 ？中江路分析你已進(jìn)行過代屑汗雷，請在右側(cè)工作區(qū)雪．廿憎．it

It

一．t[ ”

“

que"ByRootTarge

Lld儺改1114120直隍分析24中柱閉分析胃暑．

代罰理簦

：

J JIJe"tSho·BSh

m心Ii氓5非扭貫依析2s乓江隘分析I必用大模型重構(gòu)服務(wù)端變更交付輔助代碼ms

upo閱讀Al對話 2024

-

06

-

03

16

:33:42

對話數(shù)：16凸

Al助手2024·06-0315:40:40耗時：0秒當(dāng)前主題：y

k-ssp

I

changeI

25275865I

407030＋新建對話O變更概要

XO變更影晌

XO變更風(fēng)險

X倉代碼理解

X去火影查看詳憤巳本次變更為高風(fēng)險變更，共變更了 99

個方法，新增

88

個方法，修改

11個方法，發(fā)現(xiàn)高風(fēng)險方法2個，詳細(xì)內(nèi)容請在右側(cè)工作區(qū)查看．接下來推薦你執(zhí)行／提問猜你想問Rpc

Negative

Fee

d

backSe

rv

ice

.java

Al

gpt-3.5-16K-1106該代碼變更意圖為

1

新增了負(fù)反饋服務(wù)接口RpcNegative

FeedbackService2

接口包括負(fù)反饋上報和獲o取ss

簽名兩個方法3支持的隘自定義上傳文件大小限制凸

02024-06-0316:40:46i Al助手

2024-06-0316:40:49

耗時：2秒y

k-ssp

I

change

I

252758651407030變更文件：9

6Cl

pom.xml．巳

yk-ssp-client/.../cliente,hsf/negativefeedback＿當(dāng)前文件

Rpc

Negative

Feed

backSe

rv

ice

.

javaAl

分析(】33l

(vRpcNegativeFeedbackService.jav

a“Kssp.clienusrc/ma;n,ava/com”ouku/ssp/cIient/t,sf/negativefe

edback/l+pack9aecom.youku.ssp.client.hsf.negativefee

dback,e,

modelCJ

common2

.根據(jù)變更分析的代碼來源分支為mas

te

r,

最大方法圈復(fù)雜度為9

4

的方法是co

m.youku.ss

p.se

rvice.conve

rt.YouKuAdxCo

nve

rto

r中的convertToAd

xReq

uest

方法．當(dāng)前變更的代碼理解已完成，請在右側(cè)工作區(qū)查看詳情～接下來推薦你執(zhí)行／提問流程引導(dǎo)

杳肴飛F甲

聆誹＂CJnegativefeedbac

kCJ

yk-ssp-serviceCJyk-ssp-

starVsrc/main?

1肌port

c..

，yo,

k,

.

ss,

.cUent

...

del

,CO誡0`

,

n.

Co...

onRes,1tOTO,·“por

tCO戴，yo,k,.ssp.client.?..el.negati,efe..back.Ne9.tiveFe..baekUpl

oadOTO;s.江imr

tCO帆

，yo,k,

.ssp.cli

ent.?..

el,

ne9m

ivefe

..

back,0ssSecurit

ySi9natur

..

TO;·“mrtc...youku.ssp.client...·?1.n?gat........ack,OssSig

nR?q,est

OTO;2024-06-0315:42:117+a

Al助手2024-06-0315:42:14耗時：2秒當(dāng)前主題yk-ss

p

I

changeI

25275865I

407030去火影查氣看8令

／本9

＋

＊

冬片s

crlpti

oac

負(fù)反饋服務(wù)1. +?@ate:

2.24/5/22ll +?eAuthor:zhen92ai,M212

?

?I13+

pub11cinterface即叩e.ativeFeedbackService

(霆霆雪14?15+/**16十＊負(fù)反饌上報17+@paca

ouplo

adOTO18+*eret

urn19+*/2.+C...ooRe'"ltDTOoegativef<edbackUpload(Negativef<edbackUplo

adOTO必用大模型重構(gòu)服務(wù)端變更交付猜你想問＋自由問ms

upo答>優(yōu)酷質(zhì)量

Al

平臺首頁 客戶端－用例寫，曰曰：日：：＇

蘇據(jù)它！里A|廿|

也奪幣合同智配分析風(fēng)格化客服必Al對話2024-06-03

16:33:42

對話數(shù)：82024-06-03

16:34:28i Al

助手

2024-06-03

16:34:31

耗時：2秒當(dāng)前主題：yk-sspI

change

I25275865

I

407030＋新建對話去火影查看詳憤己本次變更影晌的上游應(yīng)用入口包括：play-ups,

youku-ucd,

columbus-pgc,columbus-uc,youku-search,columbus-ycp,columbus-engine-detail,

columbus-home,

fireworks,

tvsearch。本次變更影響了5個入口，

10

個上游應(yīng)用，

79

條熱度代碼鏈路 ，詳細(xì)內(nèi)容請在右側(cè)工作區(qū)查看。1

些？凸Al

助手2024-06-0316:37:52

耗時：1秒當(dāng)前主題 yk-sspI

change

I

25275865

I

407030去火影查吞詳情匕根據(jù)變更影晌的業(yè)務(wù)入口分析詳情，QPS最高的入口是com.youku.ssp.client.hsf.ups.UpsAdService:1.0.0@adFlow-U,QPS為7654。本次變更影響了

5個入口，10個上游應(yīng)用，

79條熱度代碼鏈路，詳細(xì)內(nèi)容謂在右側(cè)工作區(qū)查看。接下來推薦你執(zhí)行序里問：猜你想間

本次奪鉅中影晌到上游應(yīng)用的入口有哪些？猜你想間

QPS箭高的入口導(dǎo)什么？它變更概要

X?變更影晌

X影晌入口數(shù)量影晌上游應(yīng)用510入口名稱com.youku.ssp.service.conver.tDeviceAdRequestConver:trequestTypeAdaptercom.youku.vider.device.DeviceAdServicelmpl:

adFlowcom.youku.vider.dot.DotAdServicelmpl:

adFlowcom.youku.ssp.service.convert.DeviceAdRequestConvert:requestOttStartAdaptercom.youku.ssp.service .biz.adSource.impl.AdxRtbAdServicelmpl:executecom.youku..adSource.impl.AdxAdServicelmpl:

execute'"

''霆 com.youku.ssp.client.hsf.ups.UpsAdSrevice:1.0.0@adFlow~Ucom.youku.ssp.service.service.impl.TripartiteServicelmp:l

getUtdidByDeviceldMd5com.youku.vider.cms.CmsAdrSveicelmpl:

adFlowByUC匡 /ui匡 /dot/video霆/uts/v1/videol!D com.vouku.sso.client.hsf.device.DeviceAdSeircve:1.0.0(a)adFlow~D影響熱度鏈路79上游應(yīng)用熱度鏈路:2823play-ups666522oooyouku-ucdcolumbus-pgccolumbus-ucyouku-search。用大模型重構(gòu)服務(wù)端變更交付新質(zhì)量保障能力落ms

upo地>優(yōu)酷質(zhì)益Al平臺n頁 客戶；沿用例生成

'::：：：亙：;燈居該理Ali!II芍師合同和能分析風(fēng)格化客服Al對話2024-06-03

16:24:31

對話數(shù)：4＋新建對話它變更概要

Xt11測

試

覆

蓋

X2024-06-03

16:24:31優(yōu)酷預(yù)發(fā)I Al助手

2024-06-03

16:24:31

耗時：0

秒當(dāng)前主題:tvpublic

I

change

I25422622

I

407064本次變更共涉

及3文件，

詳細(xì)內(nèi)容請在右側(cè)工作區(qū)查看。

如果你不知道接下來該做什么，可以參考下面“流程引導(dǎo)＂的推薦．接下來推薦你執(zhí)行／提問：ID狀態(tài)開始時間Al對話2024-01-16

17:44:58對話數(shù)：28＋新建對話i Al助手

2024-01-1617:50:59

耗時：0

秒當(dāng)前主題：xpromotionI

commit

I

23872700

I

311616去

火影查看詳憤匕覆蓋率報告生成中，請耐心等待

～變更

23872700在預(yù)發(fā)環(huán)境的代碼覆蓋率報告生成中，預(yù)計完成時間

1

分鐘接下來推薦你執(zhí)行／提問流程引導(dǎo) 杳看”測試報告”倉變更概要

XW變更風(fēng)險

XO變更驗(yàn)證

XW測試

覆蓋

x全量代碼行覆羞率86%23480

/27251方法覆釐率凸

Al

助手

2024疇

01-1617:51:09

耗時：0

秒方法名100%1972

/

1972meet16:24:33熱度代碼行覆羞率89%2423/

2705方法覆羞辜100%97

/97流量類型28332%53%58%未知流量第1-1

條／總共1

條流量推薦 刪除巨

l變更代碼行覆羞辜75%162/

214亡操作方法覆釐辜100%5/5是否變更甲是否熱度否是接下來推薦你執(zhí)行限問·流程引導(dǎo) 杳石”測試報告

堿必否否服務(wù)端變更交付－平臺流程及業(yè)務(wù)落地ms

upo業(yè)務(wù)收益流程引導(dǎo)對話主題、流程定義靈活問答-“一猜你想問、點(diǎn)對點(diǎn)信息獲取服務(wù)100

＋開發(fā)測試同學(xué)，覆蓋優(yōu)酷及影業(yè)共計接入服務(wù)端60＋線

上核心應(yīng)用輔助300＋次代碼變更上線平均服務(wù)端單次變更時長降低30-%

50%代碼理解一二－『三x

竺 ·

三竺竺單文件變更、總體變更押覃"．偏．- 工

r...

畸＂霪』要點(diǎn)提煉曜＂令走

臼'

“'

..

歸，曾

..

日寅盲嚷吐皇....叩

E匾

憾諶八..

.葉

＾、掘崎·汕'.

I云..

氣九

·

平仕．一

胤口．·

1··4．．岫

嶺

......羹圃,.．個t舅蓄育

F.？

江灌tr

，睿、永．岫豐更良1．l諤估評審要點(diǎn)總結(jié)雪歹....

一可匾霆，鼠禺.暑..,

.．良曙一～飛矗.

,...,..`

＇···口屠琴．具天.

...

..

”．尸J,警量歹里r··'匾.l-l..＇"值，

貳

，汕蔓考.....干....遍..｀..令嘈t.................“.

亢贏巍粵．酬暴

嘀．膩桑咖,

...

.

人q,.....簪...

I必ms

upo03第三部分通用化Agent智能體方案PART03I必更加通用化的智能體方案ms

upoShort-term

memoryLong-term

memory-－-－－，1一一一一一一一一一一一一

，II問題

描述：

怎么打開4戲B沒直音啊，4k沒寰音聯(lián)系方式：

1234567890YTID:

1190252108地區(qū)

蕭山區(qū)運(yùn)營商．移動網(wǎng)絡(luò)出現(xiàn)問題的視頻名稱和集數(shù)

電影（我們一起搖太陽）出現(xiàn)問題的時

間：2024/05/2712:55:09 r

-

-

-

-

-

-

-

-

-

-

-

-

--

-

-

-

-

-

-

-