大模型結(jié)合 RAG 構(gòu)建客服場景自動問答

型針對用戶的問題作出回答。它確保模型能夠訪問最新、可靠的事實，并且用戶能夠訪問檢索的來源，確?？梢詸z查其聲明?開源工具包LangChain,Llam組件:?索引(vectorDB,keyword,knowledgegraph,….)?存儲(vectorstore,KVstore,graphstore,….)客服場景自動問答背景介紹?已有的自動回復(fù)系統(tǒng)?現(xiàn)有的客服自動回復(fù)系統(tǒng)由兩個部分組成：自動回復(fù)和人工客服?當(dāng)用戶提問時，系統(tǒng)使用關(guān)鍵詞匹配的方法從預(yù)先準(zhǔn)備好的問答對中尋找相關(guān)答案。如果匹配失敗，系統(tǒng)返回若干相似的問題讓用戶進(jìn)行選擇。如果用戶不滿意，可以呼叫人工客服對話。?關(guān)鍵詞匹配的方法雖然簡單但經(jīng)常失敗，因為即便一個字不同也?借助大模型更精準(zhǔn)的回答用戶問題，提升服務(wù)效率，降低人工成用戶用戶：登陸2，手機(jī)端如何登錄3，賬號被盜客服場景自動問答數(shù)據(jù)情況?客服部門的內(nèi)部的規(guī)則介紹和常見問題，作為知識庫用來回答用戶如您開啟登錄保護(hù)驗證，請點擊查看登錄提示需要【登錄保護(hù)驗證】解決辦法為了確保您的賬號安全，使用密碼登錄時，需完成短信或私信等方式驗證，驗證通過即可登錄。驗證時您可以選擇接收短信驗證面出現(xiàn)異常，建議您清除瀏覽器緩存或換個瀏覽器再進(jìn)行嘗試，如提建議關(guān)注安全中心，以免出現(xiàn)收不到私信驗證碼的情況2、如驗證時提示“暫不支持該手機(jī)號驗證，請更換后重試”或“系統(tǒng)錯誤，請稍后再您好，登錄提示【賬號長期未使用，已處于保護(hù)狀態(tài)】是由于賬號長期未使用，存在較大安全隱患。依據(jù)《服務(wù)使用協(xié)議》，置為保護(hù)狀態(tài)所致。建議您在登錄頁面輸入賬號密碼后，根據(jù)頁面提示進(jìn)行賬號激活，或重新注冊新賬號使用。操作流程望繼續(xù)使用該賬號1、點擊【激活賬號】進(jìn)行賬號激活，選擇【希望使用該賬號，申請激活】進(jìn)入驗證頁面；2、您可根據(jù)頁面提示：可登錄賬號；②點擊【使用其他方式驗證】進(jìn)行掃臉驗證，通過驗證后即可登錄賬號。如掃臉時提示“今日掃臉機(jī)會已用完，請明天再試”，建議您第二天零點之后再嘗試掃臉。③如無法通過綁定手機(jī)或掃臉驗證，可通過申請激活方式進(jìn)行自助反饋，相關(guān)工作人員核實后會盡快做出回復(fù)，反饋結(jié)果您可在客服中心--服務(wù)記錄中查詢。二、不想再使用原賬號如不想再繼續(xù)使用原賬號，可點擊【不再使用該賬號，注冊新賬號】重新注冊賬號即可。如內(nèi)容客服場景自動問答系統(tǒng)流程Pretrain/SFTEmbeddingModelDataprocesstextchunksembeddingsPrompt+query+EmbeddingModelDataprocesstextchunksembeddingsPrompt+query+topkcontextQuery+relevantcontextsLLMembeddingyVectorSearchresponse數(shù)據(jù)處理文檔切分與問答對提取?原始知識庫文本很長，結(jié)合自動與人工方法，按語義切分成段落并提取問答對，以達(dá)到更精準(zhǔn)檢索。Question:我為什么看不到XXX功能?Question:我為什么看不到XXX功能?Question:管理/訂閱XXX功能是干什么用的Answer:訂閱屬于推送通知的功能之一，您可以通過該功能設(shè)置是否接收內(nèi)容推送及推送內(nèi)容類型。Question:我設(shè)置推送管理/訂閱XXX，為什么會設(shè)置失敗，提示達(dá)到上限？Answer:目前每個人最多可設(shè)置訂閱數(shù)量，您可以先取消訂閱其他，再訂閱新的。后續(xù)我們將會根據(jù)用戶反饋，擴(kuò)充訂閱數(shù)量上Answer:您可以通過“我”-“設(shè)置”-“推送通知設(shè)置”-“更新訂閱”進(jìn)入到訂閱列表，在該列表內(nèi)查看或管理訂閱設(shè)置…規(guī)則匹配利用LLM抽取人工處理1.我為什么看不到XX功能？答：可以檢查下您的app版本是否升屬于推送通知的功能之一，您可以通過該功能設(shè)置是否接收XXX內(nèi)容推送及推送內(nèi)容類型。3.我設(shè)置推送管理/訂閱，為什么會設(shè)以先取消訂閱其他，再訂閱新的。后續(xù)我們將會根據(jù)用戶反饋，擴(kuò)充訂閱數(shù)量上限。4.怎么能看到我設(shè)置推送管理/訂閱，集理這些設(shè)置？答：您可以通過“我”-“設(shè)置”-“推送通知設(shè)置”-“更新訂閱”進(jìn)入到訂閱列表，在該列表內(nèi)查看或管理訂閱設(shè)置；5.怎么能取消推送管理/訂閱設(shè)置？答：您可以通過“我”-“設(shè)置”-“推送通知設(shè)置”-“更新訂閱”進(jìn)入到訂閱列表，點擊右上角“管理”按鈕，進(jìn)現(xiàn)在變?yōu)槲丛O(shè)置/訂閱了？答：結(jié)合用戶反饋，該功能現(xiàn)已改為必須要主動設(shè)置“推送管理”才可以訂閱。如果您還想訂閱，辛苦再手動操作一次哦。7.設(shè)置推送管理/訂閱和特別關(guān)注有什么區(qū)別，都能及時收到推送通知嗎？答：兩種方法都可以及時收到推送通注就能收到推送通知。另外訂閱不限制每天的接收條數(shù)，特別關(guān)注則取決于“我”-“設(shè)置”-“推送通知設(shè)置”-“特別關(guān)注”開關(guān)設(shè)置，選擇“實時通知”才會不限制每天的接收條數(shù)哦。知識庫文本樣例提取后的問答對用于檢索?為了讓LLM更加適應(yīng)目標(biāo)客服場景，我們結(jié)合繼續(xù)預(yù)訓(xùn)練和SFT微調(diào)，進(jìn)一步提升數(shù)據(jù)繼續(xù)預(yù)訓(xùn)練訓(xùn)練LLM適應(yīng)客服領(lǐng)域的文本內(nèi)容知識庫文本,切分成2k–4k的文本塊。微調(diào)LLM適應(yīng)RAG根據(jù)上下文回答問題的模式?大模型的回復(fù)準(zhǔn)確率很大程度取決于召回文本與用戶問題的相關(guān)?向量檢索具有很高的效率，但是精度還有進(jìn)一步提高的空間，因為每一條向量的計算過程是獨(dú)立的。?我們增加了重排序rerank的模型，更準(zhǔn)確的計算問題與文本之間的相關(guān)度。VectorVectorSearchQuery+Context2Query+Context3…Query+ContextNLLMLLMPrompt+queryPrompt+query+{context3,context6,context1}Re-rank?提示工程(PromptEngineering)?清晰的區(qū)分context&query?在prompt中針對場景描述額外的需求""”""”?模型和超參數(shù)設(shè)置效果提升?在開發(fā)過程中，我們采用人工評估的方法，測評每個方法在測試集上所帶來的精度提升。結(jié)果對比優(yōu)化后精度提升?經(jīng)過精確文檔切分，繼續(xù)預(yù)訓(xùn)練與SFT微調(diào)，添加rerank模型等優(yōu)化方法，LLM回答用戶的精度有了顯著提升。忘記密碼怎么注銷賬號面點擊“忘記密碼”鏈接。2.根據(jù)系統(tǒng)提示輸入注冊時使用的郵箱或手機(jī)號碼，驗證通過后重置密碼。3.重新登錄您的賬戶，然后按照上述方法退出賬號。您可以嘗試以下步驟找回或重置密碼后再進(jìn)行注銷操作：1.在手機(jī)客戶端【我】界面，點擊點擊2.在設(shè)置中向下滑動找到“賬號與安全”選項并點擊進(jìn)入；3.點擊“找回密碼”按鈕并根據(jù)頁面提示進(jìn)行操作以找回或如果您已經(jīng)成功找回或重置了密碼，請按照以下步驟進(jìn)行注1.在手機(jī)客戶端【我】界面，點擊點擊2.在設(shè)置中向下滑動找到“賬號與安全”選項并點擊進(jìn)入；3.點擊“注銷賬號”按鈕并根據(jù)頁面提示進(jìn)行操作以完成注?借助docker快速部署?EmbeddingModel:e5-large-v2/NVIDIA/GenerativeAIExamples/MixtralLlama2Yi-34BRetriever試用NVIDIAAIFoundationModelsrequestwithAImodelsMixtralLlama2Yi-34BRetriever試用NVIDIAAIFoundationModelsrequestwithAImodelsomodelnameodeploymethodTextspliterochunksizeochunkoverlapEmbeddingModelomodelnameodeploymethodPromptsochattemplatesoragtemplatesllmchain-serverllm-playgroundmilvusevaluationnotebook-serverDockercompose!FaithfulnessContextFaithfulnessContextprecisionMetricsMetricsAnswerrelevance使用步驟?上傳知識庫文件?選擇基于知識庫問答?與大模型對話NVIDIAAIFoundationModels/Mixtralo使用NVIDIATriton推理服務(wù)器部署?多種優(yōu)化手段提升問答精度，包括數(shù)據(jù)清洗提升召回精度，預(yù)訓(xùn)練與SFT訓(xùn)練大模型，增加重排序模型等。?開發(fā)過程中，不斷迭代測試來選定最合適的模型與參數(shù)。?NVIDIA提供了TensorRT-LLM,Triton推理服務(wù)器等軟件能加速大模型的推理和部署。您將獲得NVIDIA深度學(xué)習(xí)培訓(xùn)中心（DLI）大語言模型聽取ChinaAIDay任一演講，即可獲取