鄭巖-華為云客服AI助手的大模型實(shí)踐與思考

鄭巖@華為云此圖片為AI生成Aboutme–鄭巖，from華為云BP&IT團(tuán)隊(duì)2通過(guò)本次分享，你可以了解到：?華為云客服AI“養(yǎng)成之路”?華為云客服AI落地過(guò)程中，遇到的“三道坎”及解題方法?在企業(yè)中應(yīng)用AI大模型的“避坑指南”1.探路篇：華為云客服AI助手工作復(fù)盤(pán)2.避坑篇：在企業(yè)內(nèi)部應(yīng)用AI大模型的思考痛點(diǎn)1客戶(hù)官網(wǎng)智能客服華為云客服業(yè)務(wù)背景：最重要的客戶(hù)觸點(diǎn)之一，如何持續(xù)提升用戶(hù)體驗(yàn)和問(wèn)題閉環(huán)效率？痛點(diǎn)1客戶(hù)官網(wǎng)智能客服客服坐席痛點(diǎn)2痛點(diǎn)25客服業(yè)務(wù)的技術(shù)演進(jìn)歷程：期待能夠面向客戶(hù)和坐席，提供更“有用”的客服AI助手作業(yè)數(shù)字化6客服AI助手的“養(yǎng)成之路”：跨過(guò)“三道坎”，依然還在路上…NOW：最新模型NOW：最新模型，客服AI助手方案沉淀，孵化AICore，復(fù)制到SRE、營(yíng)銷(xiāo)、SMB輔銷(xiāo)?覆蓋客服全員，組建客服AI運(yùn)營(yíng)團(tuán)隊(duì)?落地DataGrounding、多模態(tài)解析，探索語(yǔ)音場(chǎng)景階段⑤：盤(pán)古38B階段⑤：盤(pán)古38B+提示詞工程+RAG+人工標(biāo)注+SFT微調(diào)+作業(yè)即標(biāo)注Plus+AI萃取經(jīng)驗(yàn)知識(shí)+持續(xù)運(yùn)營(yíng)問(wèn)題：日調(diào)用超100w次，資源和性能瓶頸凸顯，如何高效使用資源？如何解決復(fù)雜問(wèn)題？?客服AI助手融入作業(yè)流程，AI萃取歷史工單經(jīng)驗(yàn)第③道坎：階段④：盤(pán)古11B+提示詞工程+RAG+人工標(biāo)注+SFT微調(diào)+作業(yè)即標(biāo)注+AI萃取經(jīng)驗(yàn)知識(shí)問(wèn)題：部分產(chǎn)品存量知識(shí)不夠，冷啟動(dòng)效果差、周期長(zhǎng)?客服AI插件版上線，試點(diǎn)團(tuán)隊(duì)推廣第②道坎：?認(rèn)證AI訓(xùn)練師第②道坎：階段③：盤(pán)古11B+提示詞工程+階段③：盤(pán)古11B+提示詞工程+RAG（向量索引）+人工標(biāo)注+SFT微調(diào)問(wèn)題：人工標(biāo)注效率低、標(biāo)注質(zhì)量差，誰(shuí)來(lái)標(biāo)、誰(shuí)來(lái)檢？?聯(lián)合EI服務(wù)，早期試用CSS向量索引及盤(pán)古大模型SFT能力階段②：盤(pán)古11B+提示詞工程+RAG問(wèn)題：模型能力不足、上下文過(guò)短、關(guān)鍵詞檢索不準(zhǔn)?聯(lián)合EI服務(wù)，早期試用盤(pán)古大模型階段①：POC階段①：POC，盤(pán)古11B內(nèi)測(cè)，直接作答問(wèn)題：通用大模型不理解垂域知識(shí)、信息安全如何保障？72023.112023.032023.052023.072023.092024.Q172023.11①讓AI大模型能“做事”，當(dāng)前僅靠簡(jiǎn)單的R+A+G還遠(yuǎn)遠(yuǎn)不夠，還需要3個(gè)關(guān)鍵配套本質(zhì)上是一種工程化“代償”方案Source:codeconductor.ai8難，還需要幾個(gè)關(guān)鍵配套?配套1：工程化實(shí)現(xiàn)?配套2：企業(yè)知識(shí)管理?配套3：全鏈路監(jiān)控/評(píng)估附：RAG工程化實(shí)現(xiàn)方案，初看是搜索，越做越是Agent/wiki/wiki…+盤(pán)古+盤(pán)古+盤(pán)古+盤(pán)古Y：輸出標(biāo)準(zhǔn)答案+盤(pán)古+盤(pán)古Y：輸出標(biāo)準(zhǔn)答案+盤(pán)古9②只有讓AI飛輪“低功耗”轉(zhuǎn)起來(lái)，才能讓“AI養(yǎng)成”這個(gè)游戲持續(xù)的玩下去?企業(yè)場(chǎng)景用戶(hù)量有限（k級(jí)反饋率極低（<5%拿不到足夠的反饋，就無(wú)法支撐AI持續(xù)迭代，怎么破？我們的解題思路：“作業(yè)即標(biāo)注”，重新設(shè)計(jì)作業(yè)過(guò)程，將AI反饋流程與作業(yè)流程融合，以驅(qū)動(dòng)AI飛輪作業(yè)循環(huán)作業(yè)循環(huán)AI答的差×AI答的好√經(jīng)驗(yàn)經(jīng)驗(yàn)③持續(xù)提升領(lǐng)域AI大模型能力的“秘方”是什么？?如何讓AI大模型的能力提升符合預(yù)期：理解垂域知識(shí)，執(zhí)行垂域任務(wù)，有更多數(shù)據(jù)和算力來(lái)持續(xù)投入訓(xùn)練我們的解題思路：1、一套企業(yè)級(jí)的L1大模型?集中資源和精力，打磨一個(gè)“懂行”的企業(yè)級(jí)L1基模型（也可能是開(kāi)源的行業(yè)大模型）↓↓↓練練2、深刻理解數(shù)據(jù)，才能持續(xù)提升數(shù)據(jù)質(zhì)量?對(duì)訓(xùn)練數(shù)據(jù)集建模，本質(zhì)上是在對(duì)業(yè)務(wù)任務(wù)建模（嘗試弄清楚AI到底缺啥數(shù)據(jù)？缺多少？--“實(shí)習(xí)生測(cè)試”）?持續(xù)改進(jìn)訓(xùn)練數(shù)據(jù)和提示詞（多看數(shù)據(jù)+評(píng)測(cè)體系）?不斷research（當(dāng)然，得先做search）客服AI應(yīng)用試點(diǎn)情況：過(guò)去一年時(shí)間，在AI輔助下，工單平均處理時(shí)長(zhǎng)下降35.11%最終，你會(huì)發(fā)現(xiàn)：AI大模型落地不僅僅是IT挑戰(zhàn)，還是一場(chǎng)業(yè)務(wù)變革…第一階：場(chǎng)景第二階：流程層一重新定義第一階：場(chǎng)景第二階：流程層一重新定義智能業(yè)務(wù)要到第四階：數(shù)據(jù)層二交付第四階：數(shù)據(jù)層二交付第五階：IT層三持續(xù)運(yùn)營(yíng)智能應(yīng)用1.探路篇：23年AI輔助華為云業(yè)務(wù)工作復(fù)盤(pán)2.避坑篇：在企業(yè)內(nèi)部應(yīng)用AI大模型的思考思考：在企業(yè)中應(yīng)用AI大模型的幾個(gè)“坑”1.AI大模型的“代償”一時(shí)爽，一直“代償”能一直爽嗎？2.我的IT團(tuán)隊(duì)能“適應(yīng)”AI大模型應(yīng)用時(shí)代嗎？應(yīng)該從哪兒開(kāi)始搞起？沿著AI大模型的第一性原理，一切才剛剛開(kāi)始，別在AI大模型前進(jìn)的車(chē)輪下“繡花”O(jiān)penAIGPTGoogleGeminiAnthropicClaude思考：AI技術(shù)“大變局”下，哪些是不變的？--更快、更準(zhǔn)、更長(zhǎng)、更便宜、更多模態(tài)因地制宜，選擇合適的“游戲模式”，組建GenAI應(yīng)用團(tuán)隊(duì)，與AI大模型共同成長(zhǎng) 1思考：與傳統(tǒng)IT團(tuán)隊(duì)人員配置差異很大；從應(yīng)用角度，用好ICL，輔以SFT，按需做增量預(yù)訓(xùn)練，是不錯(cuò)的選擇以終為始，用“AI+”思想設(shè)計(jì)，以“+AI”來(lái)逐步改變，當(dāng)下正是“春耕時(shí)節(jié)”Source:SpaceX-Missions:Ma思考：當(dāng)下是與業(yè)務(wù)建立統(tǒng)一認(rèn)知、組建團(tuán)隊(duì)、練兵的好時(shí)機(jī)；應(yīng)當(dāng)甄選“好”場(chǎng)景，小處著手，低垂的果子先摘?我們的“探路”報(bào)告①為了讓AI大模型能“做事”，RAG有用，但遠(yuǎn)遠(yuǎn)不夠，需要三個(gè)配套（工程化實(shí)現(xiàn)、企業(yè)知識(shí)管理、全鏈路評(píng)測(cè)）②為了讓AI飛輪“低功耗”轉(zhuǎn)起來(lái)，重新設(shè)計(jì)業(yè)務(wù)流程和IT交互，讓AI大模型融入作業(yè)（“作業(yè)即標(biāo)注”）③為了持續(xù)提升領(lǐng)域AI大模型能力，需要建立企業(yè)級(jí)L1，并對(duì)訓(xùn)練數(shù)據(jù)建模，以改進(jìn)數(shù)據(jù)質(zhì)量④加餐：企業(yè)AI變革的“三層五階八步”方法