曾禹飛：增強(qiáng)AI能力的Agent實(shí)踐RAG與Tool Use的協(xié)同效應(yīng)

增強(qiáng)AI能力的Agent實(shí)踐曾禹飛58同城AILabAlAl應(yīng)用智能對話平臺智能體平臺靈犀大語言模型大語言模型平臺推理Al計(jì)算平臺訓(xùn)練D總結(jié)與展望58同城平臺業(yè)務(wù)背景介紹58同城生活服務(wù)平臺介紹●房產(chǎn)、招聘、汽車、黃頁四大業(yè)務(wù)找工作附近兼職租房二手房二手車本地服務(wù)家政新房家政公司平臺銷售售賣會員●第二曲線～產(chǎn)業(yè)化(交易業(yè)務(wù))●產(chǎn)業(yè)化就是把整個(gè)鏈條所有的信息流程全部在線化、數(shù)字化，并且能夠無縫地將上下游協(xié)同起來?！裥枰峁┛蛻粜枰乃蟹?wù)，讓客戶在房產(chǎn)、<Q搜索家電維修◎熱門商家，現(xiàn)場實(shí)測實(shí)拍，選他!四擁查看全部>北京百惠家電維修·家電維修北京誠順君越空調(diào)維修管道疏通·家電大山子中央空調(diào)加藏清洗假日不休快速上門日服務(wù)于大山子>◎朝陽-安貞-安貞醫(yī)院中央空調(diào)維修定頻掛機(jī)維修空調(diào)拆卸移機(jī)空調(diào)清洗安裝空調(diào)中央空調(diào)維修加氟空調(diào)不制冷你好，在嗎?您好，在的，很高興為您服務(wù)~請問您的具體位置是在哪里?酒仙橋您留下聯(lián)系方式，我讓師傅先給您報(bào)個(gè)價(jià)你們在哪里您好，目前商家告訴小助手，本公司詳細(xì)地址是：安貞醫(yī)院朝陽安貞，若未滿足您的需求，麻煩聯(lián)系買家咨詢哦常用語發(fā)送帖子發(fā)送手機(jī)號想對他說點(diǎn)什么呢?構(gòu)建模型領(lǐng)先、敏捷易用的Al平臺，加速AI應(yīng)用落地銷售客服產(chǎn)品運(yùn)營辦公在房產(chǎn)、招聘、汽車、黃頁各業(yè)務(wù)線廣泛落地AI應(yīng)用平臺智能對話VR/ARAIGC數(shù)字人Agent語音對話文本對話拼接建模漫游渲染圖片生成視頻生成形象克隆實(shí)時(shí)互動插件知識庫建設(shè)敏捷易用的Al應(yīng)用平臺，提供各類解決方案，助力Al應(yīng)用快速落地Al基礎(chǔ)平臺圖像算法語音算法NLP算法3D建模大語言模型多模態(tài)大模型Al平臺是連接Al算力和AI算法模型預(yù)訓(xùn)練微調(diào)應(yīng)用的重要橋梁，有效彌合對齊評測了兩者之間的鴻溝計(jì)算引擎算力管理集群調(diào)度離線訓(xùn)練在線推理離在線混部應(yīng)用數(shù)70+Al應(yīng)用銷售客服產(chǎn)品體驗(yàn)內(nèi)部辦公銷售客服Al應(yīng)用層Al平臺層Al平臺層靈犀大語言模型ChatLing商用大模型靈犀大語言模型ChatLing開源通用大語言模型微調(diào)AIAgent智能體概述·AlAgent是以大語言模型為大腦驅(qū)動，具有自主理解、感知、規(guī)劃、記憶和使ChainofChainofGraphofMore..Reasngfom·業(yè)界各大廠商推出的AlAgent是一個(gè)一站式AI開發(fā)平臺，用戶無需編程，只需要通過簡單配置即可快捷創(chuàng)建Al機(jī)器人，代表性的平臺有GPTs(OpenAl)、扣子(字節(jié))、文心智能體平臺(百度)等?；糜X知識覆蓋數(shù)據(jù)安全幻覺知識覆蓋數(shù)據(jù)安全時(shí)效性AlAl應(yīng)用生成生成創(chuàng)建機(jī)器人工作流ChatLing領(lǐng)域大模型基座升回答能力輸入輸入輸出#12三數(shù)據(jù)庫重排后片段&分段相似片段√ToolUse能力建設(shè)：工具調(diào)用，基于大輸入輸入多輪對話解析API參數(shù)獲得結(jié)果U:北京文本數(shù)據(jù)關(guān)鍵詞元數(shù)據(jù)拆解字符級遞歸字符級五險(xiǎn)一金文檔級多模態(tài)…索引h小重排DataFun.RAG檢索-FLARERetrieverRetriever茗茗92Searchresults:Dxi[1]:...s?'JoeBiden(bornNovemberts3|JoeBidenannouncedhiscandidacyfor25,2019.Retriever正確句子q2低置信度WhatuniversitydidJoeJoeBidenattended"和"whereheearActiveRetrievalAugmentedGeneration,EMNLP,2023,CarnegieRAG檢索-DRAGINBelowaretheexternalBelowaretheexternalexternalknowledge:UniversityofZurich,wherehebegantoleadingphysicist.DuringhistimeattheUniversityofZurich××1ALlSRIND<θAnySRIND>θModuleQuery.Einstein1RetrievedExternalKnowX×0X0××1sLHDRAGN:DynamicRetrievalAugmentedGenACL,2024,DepartmentofComputerScienceandTechnology,TsinghuaUniversity多輪對話API元信息√ToolUse能力建設(shè)：工具調(diào)用，基U:明天我穿什么衣服?A:你在哪個(gè)城市?[需調(diào)用查詢天氣API,缺乏地點(diǎn)參數(shù)]A:明天北京晴天，氣溫6~19度，建議別穿太多。[調(diào)用API,查詢北京天氣，查詢結(jié)果交給大模型組織答案]ToolUse調(diào)用方式ToolUse實(shí)現(xiàn)方式英偉達(dá)股價(jià)蘋果股價(jià)2024年英偉達(dá)股價(jià)蘋果股價(jià)當(dāng)前英偉達(dá)和蘋果的股價(jià)是多少?當(dāng)前英偉達(dá)和蘋果的股價(jià)是多少?冠軍是誰?英偉達(dá)財(cái)報(bào)英偉達(dá)財(cái)報(bào)蘋果財(cái)報(bào)繪制圖表查詢?nèi)ツ暧ミ_(dá)和查詢?nèi)ツ暧ミ_(dá)和查詢?nèi)ツ暧ミ_(dá)和公司cancontrolthepdesignedtointeractw Answer:iPod Answer:iPoddiscontinuedmediacenterbystep.AppleRemotewasbyiPhone,iPad,andiPod (1d)ReAct(Reason+Act)October2005byApple..originallyThought2:AppleRemotheFrontRowmediacenterprogram.IneedtosearchSeattoEarth','FrontRowMotorsports','FroAct3:Search[FrontRow(softwareAct3:Search[FrontRow(software)]Obs3:FrontRowisaRemoteorthekeyboardAct4:Finish[keyboardfunSingle-Step…請概括/p/46990010和/Anooyman/article/deta1:不能提供幻覺數(shù)據(jù)?；糜X數(shù)據(jù)：不在客戶提供的內(nèi)容里，屬于模型自己生成的數(shù)據(jù)。2:需要用戶意圖，調(diào)用對應(yīng)的工具(不限制調(diào)用一次),且給出工具所需的參數(shù)5-defget_from_chatgpt(GPT_MODEL,me6completion=openai,不要假設(shè)函數(shù)中需要的值，如果用戶請求不明確，應(yīng)該要求澄清。"}19{"role":"user","content":"20/Anooyman/article/details/135729372"}22res=get_from_chatgpt(GPT{"description":"根據(jù)user輸入的link或者h(yuǎn)tml網(wǎng)頁來網(wǎng)獲取信息","description":"user輸入的網(wǎng)頁url、link、html鏈接""description":"檢索語句，當(dāng)search_type為search時(shí)有效""content":"不要假設(shè)函數(shù)中需要的值，如果用戶請求不明確，應(yīng)該要求澄清。""content":"請概括https://zhuanla/Anooyman/article/details/13572{"id":"call_ytZbFgJBjZsF{"id":"call_AtT8NOfpL5pF"arguments":"{"url":"/p/46990010"arguments":"{"url":"/Anooyman/article/de"search_type":"full",}"content":"不要假設(shè)函數(shù)中需要的值，如果用戶請求不明確，應(yīng)該要求澄"content":"請概括https://zhuanlan.zhihu.co/Anooyman/article/details/13572關(guān)鍵信息。這樣我才能更好地幫助你概括網(wǎng)頁."{"arguments":"{\n\"url\":\"/p/46990}\"/Anooyman/article/details/135729372ToolUse數(shù)據(jù)構(gòu)造業(yè)務(wù)指令數(shù)據(jù)：合成工具：種子指令+模版合成微調(diào)數(shù)據(jù)方式1:根據(jù)問題和工具，生成輸出·Self-QA:直接根據(jù)工具，生成輸入問題，以及與問題和工具相符的輸出。過濾和后處理·去除輸入輸出完全相同、或者輸入相同輸出不同的數(shù)據(jù)；>每輪對話會給到1到3個(gè)工具>每個(gè)工具的參數(shù)在3個(gè)以內(nèi)>每輪對話會給到1到3個(gè)工具>每個(gè)工具的參數(shù)在3個(gè)以內(nèi)>每輪對話給到1到4個(gè)工具>工具的參數(shù)量分布在1到12個(gè)。調(diào)用(并行調(diào)用的數(shù)據(jù)量只有50條)測試集版本-0.14%-14.12%模型模型>每輪對話包含多個(gè)工具，需要多次并行調(diào)用單個(gè)工具才能完成任務(wù)。比如輸入兩個(gè)鏈接，總結(jié)兩個(gè)鏈接的內(nèi)容>工具參數(shù)分布在1到7之間>每輪對話包含多個(gè)工具，需要并行調(diào)用多個(gè)工具才能完成任務(wù)。比如查詢英偉達(dá)公司去年的財(cái)務(wù)報(bào)表，并繪制成圖表。>工具參數(shù)分布在1到7個(gè)之間-1.12%>每輪對話包含多個(gè)工具，模型根據(jù)用戶的輸入選擇調(diào)用單個(gè)工具>工具參數(shù)分布在1到7個(gè)之間Agent方案設(shè)計(jì)相關(guān)文檔相關(guān)文檔檢索片段1:結(jié)局1:天命人戴上金箍，繼承了大圣意志…向量化智能解析文檔，支持圖片、表格等多種形式向量化片段2:第二個(gè)結(jié)局是在二周目中，玩家再次對戰(zhàn)二郎神…否否索引效果優(yōu)化否是是否有足夠自信是是否有足夠自信片段2:..請參考以上信息，回答下面的問題：黑神話悟空有幾個(gè)結(jié)局?輸入問題黑神話結(jié)局?改寫輸入問題黑神話結(jié)局?改寫、拆解…黑神話悟空有幾個(gè)結(jié)局?根據(jù)資料，黑神話悟空有提到2個(gè)結(jié)局的，也有說3個(gè)結(jié)局的。但較為一致的說法內(nèi)置多種RAG強(qiáng)化模型，提供自定義工作流、溯源能力強(qiáng)是游戲有2個(gè)主要結(jié)局…AgentAgent插件和工具便捷使用·支持用戶自定義插件·提供內(nèi)置插件選項(xiàng)AgentAgent流程編排·提供自定義工作流，思考過程可視化·響應(yīng)過程可追溯且可控支持多輪會話以及向量檢索支持多輪會話以及向量檢索·通過多輪對話和向量數(shù)據(jù)庫實(shí)現(xiàn)全鏈路記憶管理請輸入插件名稱Header列表⑦+新增創(chuàng)建日結(jié)束直據(jù)中>直據(jù)中>無套路網(wǎng)約司機(jī)自提免押10000-15000元/月薪資參考回跑車政策回跑車政策租賃模式電話聊一聊申請職位無套路網(wǎng)約司機(jī)自提…10000-15000元/月您具備哪些駕駛優(yōu)勢?你們公司在哪里北京順義佳聯(lián)時(shí)代廣場A座是我們的主要工作地點(diǎn)。您可以點(diǎn)擊下方卡片，我們盡快與您聯(lián)系進(jìn)行詳細(xì)溝通~常用語預(yù)約看車)想對他說點(diǎn)什么呢?悅黛藍(lán)翰軒更多信息>待售住宅小型社區(qū)低容積公園配套純熟商業(yè)街已變價(jià)通知開盤通知已變價(jià)通知開盤通知致電售樓處了解更多信息致電售樓處了解更多信息樓盤時(shí)刻樓盤時(shí)刻已開盤已開盤微聊微聊致電售樓處致電售樓處新房智能客服新房智能客服837000元/m2109-237m2悅黛藍(lán)翰軒售價(jià)待定新房住宅小型社區(qū)低容積公園小區(qū)是多少層的?Q住宅的層高有6層；容積率是多少Q(mào)住宅的容積率是1.47;周邊有什么配套?Q交通配套：1km內(nèi)公交站有22個(gè)生活配套：8個(gè)學(xué)校，2個(gè)醫(yī)院，詳見樓盤評測內(nèi)容+智能聊天—招聘職位問答B(yǎng)端需求信息在結(jié)構(gòu)化(職位字段)和非結(jié)構(gòu)化(職位JD、用戶和企業(yè)聊天記錄)數(shù)據(jù)中體現(xiàn)：用戶用戶9000-14000元3日前更新管飯嗎?據(jù)非常低效，流程冗長，且不能實(shí)時(shí)化。年底雙薪交通年底雙薪交通補(bǔ)助非結(jié)構(gòu)飯補(bǔ)包住包吃加班補(bǔ)助數(shù)據(jù)挖掘標(biāo)簽建設(shè)標(biāo)技能要求：公司提供車直招，承諾面試到入職不收取任何費(fèi)用。主要配送門店3公里內(nèi)的買菜訂單，系統(tǒng)派單，不用分揀打包，只管配送。駐店配送，只送一家店訂單，不用四處搶單，不￥心找不到商家直招，承諾面試到入職不收取任何費(fèi)用。主要配送門店3公里內(nèi)的買菜訂單，系統(tǒng)派單，不用分揀打包，只管配送。駐店配送，只送一家店訂單，不用四處搶單，不￥心找不到商家JD文JD文本用戶提供住宿提供車，還可預(yù)支工資!!!新人保底6000元1,訂單多：每天保證少能送50單以上，人均能達(dá)到60單，有經(jīng)驗(yàn)的能過百單。用戶2,路途近：基本都是3公里以內(nèi)訂單，好送。電話錄音文本漕師傅…打電話①打電話①聊一聊租房家政瀏覽瀏覽潛在客戶銷售場景—智能陪練：話術(shù)對練、考試、評分通話中00:50您已進(jìn)入考試模式，請參考通話中00:50您已進(jìn)入考試模式，請參考假設(shè)我們現(xiàn)在是58同城員工小李，電話中聯(lián)系到了，沈陽市沈河區(qū)尚座料理餐飲店的張老板，我們該如何一步步引導(dǎo)張老板合作購買58招聘會員呢?你好，請問是張經(jīng)理嗎?小呃，是這樣的，你在我們。發(fā)了五八上發(fā)了一個(gè)帖子。你們招到人了嗎?小中我發(fā)的帖子有啥問題，你們這么說還不就是為了讓花錢開會員。不是的，你那個(gè)帖子那個(gè)標(biāo)題不是很好。小中那要怎么發(fā)帖呀?您已進(jìn)入陪練模式，請參考提示語和提示流程進(jìn)行作答，當(dāng)前任務(wù)的客戶畫像是：假設(shè)我們現(xiàn)在是58同城員工小李，電話中聯(lián)系到了，沈陽市沈河區(qū)尚座料理督飲店的張老板，我們該如何一步步引導(dǎo)張老板合作購買58招聘會員呢?●開場白-引出發(fā)帖存在問題你好，老板，我看你們最近在招人是最近我們有同事給您打過電話嗎?小小你們怎么老打電話。實(shí)在不好意思啊經(jīng)理，那我的同事有跟您說，咱們的帖子發(fā)布有有問題了嗎?小小我發(fā)的帖子有啥問題，你們這么說還不就是為了讓花錢開會員答案提示：咱們的標(biāo)題寫的比較簡單，對求職者是沒有什么吸引力的，本來咱們發(fā)的就是免費(fèi)帖子曝光比較低，如果標(biāo)題沒有吸引力的話肯定更沒有效果的。而且我看咱們帖子里崗位描述也不是很清晰，只是簡單的說了幾句話。曰提交練習(xí)◎點(diǎn)擊【空格】可錄入語音E退出詢問招聘崗位O詢問招聘人數(shù)O提出加微信流程提示》很遺憾，您未通過練習(xí)別灰心~繼續(xù)努力，成為下一個(gè)銷冠吧!1開場白-引出發(fā)帖存在問題◎10分銷售場景一知識查閱曰SQL解釋297(7.28%)通過自然語言對話，輔助進(jìn)行數(shù)據(jù)分析刀hdp_teu_dpd_feature_db.dwd_task_yc_query_tahdp_teu_dpd_feature_db.dwd_job_supin_resume_凸SUH(o.order_total)AStotal_orCOUNT(o.order_id)AStotal_orders,ROUND(SUM(o.order_total)/cOUNT(o.order_id),2)ASaverage_order_amoMHENSUN(o.order_total)>1880eTHBNWHENSUN(o.order_total)>=5000THEENDAScustomer_valu0.order_date>'2022-01-01'ANDo.order_datetotaL_order_amountDESCSQL生成SQL解釋應(yīng)用四：美事智能助手消息總結(jié)消息總結(jié)享、外網(wǎng)鏈接)RAG和ToolUse協(xié)同作用·支持領(lǐng)域特定的知識美事超級助手我是美事超級助手，歡迎提問如何預(yù)定會議室在美事中，你可以通過以下步驟預(yù)定會議室：1.創(chuàng)建日程時(shí)，美事會自動幫你檢測其他伙伴的時(shí)間是否有沖突，并且可以預(yù)定線下會議室。2.預(yù)定會議室時(shí)，可以查看會議室的設(shè)