大模型結(jié)合 RAG 構(gòu)建客服場(chǎng)景自動(dòng)問(wèn)答

型針對(duì)用戶的問(wèn)題作出回答。它確保模型能夠訪問(wèn)最新、可靠的事實(shí)，并且用戶能夠訪問(wèn)檢索的來(lái)源，確?？梢詸z查其聲明?開(kāi)源工具包LangChain,Llam組件:?索引(vectorDB,keyword,knowledgegraph,….)?存儲(chǔ)(vectorstore,KVstore,graphstore,….)客服場(chǎng)景自動(dòng)問(wèn)答背景介紹?已有的自動(dòng)回復(fù)系統(tǒng)?現(xiàn)有的客服自動(dòng)回復(fù)系統(tǒng)由兩個(gè)部分組成：自動(dòng)回復(fù)和人工客服?當(dāng)用戶提問(wèn)時(shí)，系統(tǒng)使用關(guān)鍵詞匹配的方法從預(yù)先準(zhǔn)備好的問(wèn)答對(duì)中尋找相關(guān)答案。如果匹配失敗，系統(tǒng)返回若干相似的問(wèn)題讓用戶進(jìn)行選擇。如果用戶不滿意，可以呼叫人工客服對(duì)話。?關(guān)鍵詞匹配的方法雖然簡(jiǎn)單但經(jīng)常失敗，因?yàn)榧幢阋粋€(gè)字不同也?借助大模型更精準(zhǔn)的回答用戶問(wèn)題，提升服務(wù)效率，降低人工成用戶用戶：登陸2，手機(jī)端如何登錄3，賬號(hào)被盜客服場(chǎng)景自動(dòng)問(wèn)答數(shù)據(jù)情況?客服部門(mén)的內(nèi)部的規(guī)則介紹和常見(jiàn)問(wèn)題，作為知識(shí)庫(kù)用來(lái)回答用戶如您開(kāi)啟登錄保護(hù)驗(yàn)證，請(qǐng)點(diǎn)擊查看登錄提示需要【登錄保護(hù)驗(yàn)證】解決辦法為了確保您的賬號(hào)安全，使用密碼登錄時(shí)，需完成短信或私信等方式驗(yàn)證，驗(yàn)證通過(guò)即可登錄。驗(yàn)證時(shí)您可以選擇接收短信驗(yàn)證面出現(xiàn)異常，建議您清除瀏覽器緩存或換個(gè)瀏覽器再進(jìn)行嘗試，如提建議關(guān)注安全中心，以免出現(xiàn)收不到私信驗(yàn)證碼的情況2、如驗(yàn)證時(shí)提示“暫不支持該手機(jī)號(hào)驗(yàn)證，請(qǐng)更換后重試”或“系統(tǒng)錯(cuò)誤，請(qǐng)稍后再您好，登錄提示【賬號(hào)長(zhǎng)期未使用，已處于保護(hù)狀態(tài)】是由于賬號(hào)長(zhǎng)期未使用，存在較大安全隱患。依據(jù)《服務(wù)使用協(xié)議》，置為保護(hù)狀態(tài)所致。建議您在登錄頁(yè)面輸入賬號(hào)密碼后，根據(jù)頁(yè)面提示進(jìn)行賬號(hào)激活，或重新注冊(cè)新賬號(hào)使用。操作流程望繼續(xù)使用該賬號(hào)1、點(diǎn)擊【激活賬號(hào)】進(jìn)行賬號(hào)激活，選擇【希望使用該賬號(hào)，申請(qǐng)激活】進(jìn)入驗(yàn)證頁(yè)面；2、您可根據(jù)頁(yè)面提示：可登錄賬號(hào)；②點(diǎn)擊【使用其他方式驗(yàn)證】進(jìn)行掃臉驗(yàn)證，通過(guò)驗(yàn)證后即可登錄賬號(hào)。如掃臉時(shí)提示“今日掃臉機(jī)會(huì)已用完，請(qǐng)明天再試”，建議您第二天零點(diǎn)之后再嘗試掃臉。③如無(wú)法通過(guò)綁定手機(jī)或掃臉驗(yàn)證，可通過(guò)申請(qǐng)激活方式進(jìn)行自助反饋，相關(guān)工作人員核實(shí)后會(huì)盡快做出回復(fù)，反饋結(jié)果您可在客服中心--服務(wù)記錄中查詢。二、不想再使用原賬號(hào)如不想再繼續(xù)使用原賬號(hào)，可點(diǎn)擊【不再使用該賬號(hào)，注冊(cè)新賬號(hào)】重新注冊(cè)賬號(hào)即可。如內(nèi)容客服場(chǎng)景自動(dòng)問(wèn)答系統(tǒng)流程Pretrain/SFTEmbeddingModelDataprocesstextchunksembeddingsPrompt+query+EmbeddingModelDataprocesstextchunksembeddingsPrompt+query+topkcontextQuery+relevantcontextsLLMembeddingyVectorSearchresponse數(shù)據(jù)處理文檔切分與問(wèn)答對(duì)提取?原始知識(shí)庫(kù)文本很長(zhǎng)，結(jié)合自動(dòng)與人工方法，按語(yǔ)義切分成段落并提取問(wèn)答對(duì)，以達(dá)到更精準(zhǔn)檢索。Question:我為什么看不到XXX功能?Question:我為什么看不到XXX功能?Question:管理/訂閱XXX功能是干什么用的Answer:訂閱屬于推送通知的功能之一，您可以通過(guò)該功能設(shè)置是否接收內(nèi)容推送及推送內(nèi)容類型。Question:我設(shè)置推送管理/訂閱XXX，為什么會(huì)設(shè)置失敗，提示達(dá)到上限？Answer:目前每個(gè)人最多可設(shè)置訂閱數(shù)量，您可以先取消訂閱其他，再訂閱新的。后續(xù)我們將會(huì)根據(jù)用戶反饋，擴(kuò)充訂閱數(shù)量上Answer:您可以通過(guò)“我”-“設(shè)置”-“推送通知設(shè)置”-“更新訂閱”進(jìn)入到訂閱列表，在該列表內(nèi)查看或管理訂閱設(shè)置…規(guī)則匹配利用LLM抽取人工處理1.我為什么看不到XX功能？答：可以檢查下您的app版本是否升屬于推送通知的功能之一，您可以通過(guò)該功能設(shè)置是否接收XXX內(nèi)容推送及推送內(nèi)容類型。3.我設(shè)置推送管理/訂閱，為什么會(huì)設(shè)以先取消訂閱其他，再訂閱新的。后續(xù)我們將會(huì)根據(jù)用戶反饋，擴(kuò)充訂閱數(shù)量上限。4.怎么能看到我設(shè)置推送管理/訂閱，集理這些設(shè)置？答：您可以通過(guò)“我”-“設(shè)置”-“推送通知設(shè)置”-“更新訂閱”進(jìn)入到訂閱列表，在該列表內(nèi)查看或管理訂閱設(shè)置；5.怎么能取消推送管理/訂閱設(shè)置？答：您可以通過(guò)“我”-“設(shè)置”-“推送通知設(shè)置”-“更新訂閱”進(jìn)入到訂閱列表，點(diǎn)擊右上角“管理”按鈕，進(jìn)現(xiàn)在變?yōu)槲丛O(shè)置/訂閱了？答：結(jié)合用戶反饋，該功能現(xiàn)已改為必須要主動(dòng)設(shè)置“推送管理”才可以訂閱。如果您還想訂閱，辛苦再手動(dòng)操作一次哦。7.設(shè)置推送管理/訂閱和特別關(guān)注有什么區(qū)別，都能及時(shí)收到推送通知嗎？答：兩種方法都可以及時(shí)收到推送通注就能收到推送通知。另外訂閱不限制每天的接收條數(shù)，特別關(guān)注則取決于“我”-“設(shè)置”-“推送通知設(shè)置”-“特別關(guān)注”開(kāi)關(guān)設(shè)置，選擇“實(shí)時(shí)通知”才會(huì)不限制每天的接收條數(shù)哦。知識(shí)庫(kù)文本樣例提取后的問(wèn)答對(duì)用于檢索?為了讓LLM更加適應(yīng)目標(biāo)客服場(chǎng)景，我們結(jié)合繼續(xù)預(yù)訓(xùn)練和SFT微調(diào)，進(jìn)一步提升數(shù)據(jù)繼續(xù)預(yù)訓(xùn)練訓(xùn)練LLM適應(yīng)客服領(lǐng)域的文本內(nèi)容知識(shí)庫(kù)文本,切分成2k–4k的文本塊。微調(diào)LLM適應(yīng)RAG根據(jù)上下文回答問(wèn)題的模式?大模型的回復(fù)準(zhǔn)確率很大程度取決于召回文本與用戶問(wèn)題的相關(guān)?向量檢索具有很高的效率，但是精度還有進(jìn)一步提高的空間，因?yàn)槊恳粭l向量的計(jì)算過(guò)程是獨(dú)立的。?我們?cè)黾恿酥嘏判騬erank的模型，更準(zhǔn)確的計(jì)算問(wèn)題與文本之間的相關(guān)度。VectorVectorSearchQuery+Context2Query+Context3…Query+ContextNLLMLLMPrompt+queryPrompt+query+{context3,context6,context1}Re-rank?提示工程(PromptEngineering)?清晰的區(qū)分context&query?在prompt中針對(duì)場(chǎng)景描述額外的需求""”""”?模型和超參數(shù)設(shè)置效果提升?在開(kāi)發(fā)過(guò)程中，我們采用人工評(píng)估的方法，測(cè)評(píng)每個(gè)方法在測(cè)試集上所帶來(lái)的精度提升。結(jié)果對(duì)比優(yōu)化后精度提升?經(jīng)過(guò)精確文檔切分，繼續(xù)預(yù)訓(xùn)練與SFT微調(diào)，添加rerank模型等優(yōu)化方法，LLM回答用戶的精度有了顯著提升。忘記密碼怎么注銷(xiāo)賬號(hào)面點(diǎn)擊“忘記密碼”鏈接。2.根據(jù)系統(tǒng)提示輸入注冊(cè)時(shí)使用的郵箱或手機(jī)號(hào)碼，驗(yàn)證通過(guò)后重置密碼。3.重新登錄您的賬戶，然后按照上述方法退出賬號(hào)。您可以嘗試以下步驟找回或重置密碼后再進(jìn)行注銷(xiāo)操作：1.在手機(jī)客戶端【我】界面，點(diǎn)擊點(diǎn)擊2.在設(shè)置中向下滑動(dòng)找到“賬號(hào)與安全”選項(xiàng)并點(diǎn)擊進(jìn)入；3.點(diǎn)擊“找回密碼”按鈕并根據(jù)頁(yè)面提示進(jìn)行操作以找回或如果您已經(jīng)成功找回或重置了密碼，請(qǐng)按照以下步驟進(jìn)行注1.在手機(jī)客戶端【我】界面，點(diǎn)擊點(diǎn)擊2.在設(shè)置中向下滑動(dòng)找到“賬號(hào)與安全”選項(xiàng)并點(diǎn)擊進(jìn)入；3.點(diǎn)擊“注銷(xiāo)賬號(hào)”按鈕并根據(jù)頁(yè)面提示進(jìn)行操作以完成注?借助docker快速部署?EmbeddingModel:e5-large-v2/NVIDIA/GenerativeAIExamples/MixtralLlama2Yi-34BRetriever試用NVIDIAAIFoundationModelsrequestwithAImodelsMixtralLlama2Yi-34BRetriever試用NVIDIAAIFoundationModelsrequestwithAImodelsomodelnameodeploymethodTextspliterochunksizeochunkoverlapEmbeddingModelomodelnameodeploymethodPromptsochattemplatesoragtemplatesllmchain-serverllm-playgroundmilvusevaluationnotebook-serverDockercompose!FaithfulnessContextFaithfulnessContextprecisionMetricsMetricsAnswerrelevance使用步驟?上傳知識(shí)庫(kù)文件?選擇基于知識(shí)庫(kù)問(wèn)答?與大模型對(duì)話NVIDIAAIFoundationModels/Mixtralo使用NVIDIATriton推理服務(wù)器部署?多種優(yōu)化手段提升問(wèn)答精度，包括數(shù)據(jù)清洗提升召回精度，預(yù)訓(xùn)練與SFT訓(xùn)練大模型，增加重排序模型等。?開(kāi)發(fā)過(guò)程中，不斷迭代測(cè)試來(lái)選定最合適的模型與參數(shù)。?NVIDIA提供了TensorRT-LLM,Triton推理服務(wù)器等軟件能加速大模型的推理和部署。您將獲得NVIDIA深度學(xué)習(xí)培訓(xùn)中心（DLI）大語(yǔ)言模型聽(tīng)取ChinaAIDay任一演講，即可獲取