AI原生數據應用架構與落地探討

AI原生數據應用架構與落地探討陳發(fā)強（踏天）螞蟻集團國際數據庫負責人2024/7/6目錄1

背景2

DB-GPT架構介紹3智能體應用實踐與挑戰(zhàn)4

未來規(guī)劃2背景AI給數據領域帶來的挑戰(zhàn)與機遇？01|1.1大模型出現之后，交互方式的變化大語言模型LLMS|ChatGPT、通義千問、文心一言、LLaMA

、Bard云｜基礎設施｜IAAS｜PAAS｜SAAS知識工具Assets｜

DataNLUSQLCode…領域模型Envs企業(yè)的真實數據1.結構化數據，如Excel、數據庫2.非結構化、文本、文檔數據、日志數據3.

多維關系數據，如圖、數據庫4.

離線數據，數倉、數據湖等無法通過單一的知識庫進行處理非結構化結構化半結構化1.2多維數據流取管核算轉存用融隱私靈活安全合規(guī)高效穩(wěn)定質量51.3數據的下一代交互范式6DB-GPT架構解讀AI原生數據應用架構思考、設計與實踐02|2.1項目介紹DB-GPT是一個開源的AI原生數據應用開發(fā)框架AI

Native

DataApp

DevelopmentframeworkwithAWEL(AgenticWorkflow

Expression

Language)andAgents目的是構建大模型領域的基礎設施

，通過開發(fā)多模型管理(SMMF)、Text2SQL效果優(yōu)化、

RAG框架以及優(yōu)化、

Multi-Agents框架協(xié)作、AWEL(智能體工作流編排)等多種技術能力

，讓圍繞數據庫構建大模型應用更簡單

，更方便。數據3.0時代

，基于模型、數據庫

，企業(yè)/開發(fā)者可以用更少的代碼搭建自己的專屬應用。項目優(yōu)勢1、支持AI原生數據應用開發(fā)2、智能體工作流編排3、私域問答&數據處理&RAG(Retrieval-AugmentedGeneration)4、多數據源&GBI(GenerativeBusiness

Intelligence)5、服務化多模型管理6、Text2SQL/Text2NLU微調7、數據驅動Agents框架8、私有化部署、隱私安全9、完全開源

，采用寬松的MIT協(xié)議8架構2.2架構介紹Text2SQL微調9核心特色數據洞察WorkflowAgents可視化SMMFRAG2.3

隱私安全10112.4智能體架構數據智能體應用數據智能體在實際場景中的應用與挑戰(zhàn)03|3.1數據庫專家智能體-Kevin數據庫專家智能體應用3.2效果展示-Web端Kevin-智能問答

Kevin-智能診斷3.3效果展示-移動端Kevin-數據分析助手Kevin-數據運維助手Kevin-問答助手3.4構建技術3.5知識構建3.5意圖識別3.6智能體構建流程1.資源準備(知識庫、API、算子、插件)6.SDK集成/釘釘集成4.應用調試與發(fā)布5.應用對話與使用3.Workflow編排2.Agents構建3.7診斷智能體構建領域文檔準備方案流程設計故障診斷Agents構建發(fā)布上線

知識加工處理

3.8智能體構建3.8智能體調試與發(fā)布3.8智能體評測與使用智能體的評測會從主觀打分與客觀打分兩個維度進行評測1.客觀評測需要根據領域準備具體的專業(yè)評測數據集。2.

主觀評測一般是采用專家打分、真實用戶反饋等。3.8技術挑戰(zhàn)1.意圖識別:如何準確理解用戶意圖，并匹配到對應的Agent2.Agent-Linking:多Agent如何提供一個統(tǒng)一入口，回答多個領域專業(yè)問題的同時，還可以自由

對話。3.召回準確率:如何準備高質量的問答與知識庫，結合多種RAG檢索技術，準確召回相關內容。4.多輪對話進行參數補充:比如意圖識別中，用戶單次的對話無法滿足場景的參數要求，需要智能體反問用戶達到槽位填充的目的。5.角色認定與永久記憶:在實際應用中，真正能夠長期有用的智能體需要有明確的角色認定，并且對于歷史的對話記錄行程長久的記憶，這樣才能越來越符合人類交互的范式，形成長期服務與陪伴。未來思考DB-GPT接下來的一些發(fā)展計劃04|4.1

DB-GPT存在的問題1.開發(fā)門檻高：框架本身很全面、強大。但上手開發(fā)難度大。2.默認場景效果待提升:雖然提供了六大默認場景，但因為定位是框架，所以針對具體場景的優(yōu)

化不夠深入。3.與Dify、

Coze等產品相比，產品化能力不足。4.

文檔、教程、案例較少。4.2版本計劃DB-GPT長期會深耕數據領域，目前我們看到社區(qū)的主要矛盾是更加便捷的開發(fā)使用，應用到生產環(huán)境。

所以在接下來V0.6.0的版本中，我們會重點發(fā)力端到端的產品化能力，主要有以下能力。1.更強的產品化能力，更加簡單易用，包括應用管理、AWEL開發(fā)、Agent開發(fā)、

Prompt調優(yōu)等。2.提供意圖識別、Text2NLU、Text2GQL等效果微調。