如何利用+Agent+解決企業(yè)數(shù)據(jù)分析與洞察的經(jīng)驗探索-數(shù)勢科技+李飛

如何利用Agent解決企業(yè)索數(shù)勢科技/AI技術(shù)負責人..如何設計分析與洞察Agent，以及難點和挑戰(zhàn)艱難用數(shù)的業(yè)務人員分身乏術(shù)的數(shù)據(jù)工程師20%60%20%20%60%20%數(shù)倉建設看板建設智能建設企業(yè)在持續(xù)探索的場景。而是如何響應數(shù)據(jù)的變化，快速制定策略。異常檢測算法高階預測模型了解可執(zhí)行落地的策略建議異常檢測算法高階預測模型了解可執(zhí)行落地的策略建議歸因算法歸因算法歸納總結(jié)能力數(shù)據(jù)可視化工具歸納總結(jié)能力數(shù)據(jù)可視化工具復雜復雜SQL撰寫了解數(shù)據(jù)清洗機制相關(guān)性分析相關(guān)性分析傳統(tǒng)數(shù)據(jù)分析路徑長，存在明顯人力瓶頸老板任務運營任務產(chǎn)品任務臨時需求數(shù)據(jù)+BI數(shù)據(jù)+BI數(shù)據(jù)+BI數(shù)據(jù)+BI工程開發(fā)人工繪制人工梳理人工總結(jié)數(shù)據(jù)查詢數(shù)據(jù)報表異動分析數(shù)據(jù)報告門檻高商業(yè)分析，需借助研發(fā)與BI協(xié)助效率低需求響應數(shù)小時，決策不及時能力薄只能查數(shù)，分析需要人工交互性弱以數(shù)據(jù)查詢與看板展示為主（大模型）（大模型）系統(tǒng)執(zhí)行u—給出行動（秒級響應）效率高數(shù)據(jù)查詢，報告分析任務秒級響應能力厚歸因分析、異動分析、報告總結(jié)NLP2API：基于現(xiàn)有產(chǎn)品的語義層開放出獨立的API用于擴展應用；NLP2SQL：基于SQL相對標準的數(shù)據(jù)庫查詢語言，完全由數(shù)據(jù)庫自身來解釋運行；NLP2Python：讓AI自己編寫代碼（通常是Python）然后自動在本地或者沙箱中運行后獲得分析結(jié)果1.數(shù)據(jù)邏輯封裝成語義對象，減少大模型對復雜邏輯的理解和生成錯誤；2.分析范式封裝成算子對象，擴展分析語言現(xiàn)有的邊界。3.以“搜索+填空”代替“生成”，提升結(jié)果生成的穩(wěn)定性。4.現(xiàn)有的平臺或工具可實現(xiàn)組件化的復1.大模型學到了1.大模型學到了SQL的語言邏輯，但是沒有學習API的邏輯，尤其是企業(yè)個性化開發(fā)的API。2.SQL靈活性較高。不依賴于定制化的分析擴既不能用輸出SQL的執(zhí)行結(jié)果來判斷，也不能簡單的把輸出SQL與標準答案對比來判斷/*系統(tǒng)指令*/GiventhefollowingSQLtables,yourjobistowritequeriesgivenauser’srequest./*數(shù)據(jù)庫內(nèi)表結(jié)構(gòu)*/CREATETABLEOrders(OrderIDint,CustomerIDint,OrderDatedatetime,OrderTimevarchar(8),PRIMARYKEY(OrderID)/*問題*/WriteaSQLquerywhichcomputestheaveragetotalordervalueforallorderson2023-04-01.*fromOpenAI1.在高級分析和機器學習方面擴展性較高；2.Python是第一主流語言的情況下，code的生成能力相較SQL發(fā)展更快數(shù)據(jù)對象語義邏輯表達語義示例：幫我看一下上個月的GMV，按照不同城市進行排序數(shù)據(jù)對象語義：作為一個對象，在代碼執(zhí)行時會根據(jù)定義去查詢，不需要翻譯條件和表達式，減少出錯的機會；邏輯表達語義：依靠SQL進行邏輯翻譯，避免API開發(fā)帶來的不靈活和效率低下；Agent，實現(xiàn)企業(yè)智能決策11.React-----反思反思迭代rrNNNNNN結(jié)果生成執(zhí)行結(jié)果明細返回智能問數(shù)Service（本地部署）獲取分析結(jié)果元信息和用戶Query出本地所有信息不出本地獲取元信息基礎(chǔ)取數(shù)SA_Adapter標簽指標便捷語義定義智能問數(shù)Service（本地部署）獲取分析結(jié)果元信息和用戶Query出本地所有信息不出本地獲取元信息基礎(chǔ)取數(shù)SA_Adapter標簽指標便捷語義定義統(tǒng)一數(shù)據(jù)源管理數(shù)據(jù)庫對象存儲數(shù)據(jù)湖文件數(shù)倉客戶側(cè)云端數(shù)據(jù)存儲查詢語句返回（API入?yún)ⅲ﹫?zhí)行結(jié)果明細返回獲取元信息解決方法一Step1:查詢最新時間的月累計銷Step1:查詢最新時間的月累計銷Step2:計算每天的累計值。語義割裂語義割裂銷售額相較去年對比增加了幫我看一下最近幾天的銷售銷售額相較去年對比增加了幫我看一下最近幾天的銷售額。SQLSQL仿寫3.長尾和個性化時間表達歧義沖突歧義沖突幫我查看一下6月前2天的的銷售額是多少時間推理判斷陳述模糊時間推理判斷陳述模糊槽值判斷(A)槽值判斷(A)1.自我優(yōu)化機制：動態(tài)調(diào)整Prompt1.自我優(yōu)化機制：動態(tài)調(diào)整Prompt，增強準確性和效2.通過領(lǐng)域分類模塊，靈活應對復雜對話場景。3.支持從歷史狀態(tài)`H`中提取槽值，增強信息補全能力。能self-refined4.僅對必要槽值缺失的情況觸發(fā)改寫，避免冗余操作self-refined多層次/壓縮管理多層次/壓縮管理DynamicDynamic裝StableStableFormat壓縮Shot軌跡保留ExampleExample軌跡保留ErrorErrorcode相似改寫Rephrase相似改寫會話記憶知識記憶會話記憶知識記憶 rgminm∈Masrec(q,m)+βsreI(q,m)+ysimp(m)綜合考慮最近性、相關(guān)性、重要性的記憶讀取公式[1]點3-sigma測點3-sigma測K-Means點HyDE 建立Y和X 建立Y和XY和T的模型T=m(X)+V擬合XX)的系數(shù)11.工具----->提效。2.經(jīng)驗----->決策。大模型時代經(jīng)常被比喻為馬車到汽車的演進時代形態(tài)演進。內(nèi)燃機出現(xiàn)后......雙系統(tǒng)架構(gòu)：提出“對話者-推理者”雙系統(tǒng)架構(gòu)，模擬人類思維模式，使智能體在對話和推理規(guī)劃間有效分工，提高性能和效率，說話者專注對話，推理者負責復雜推理和規(guī)劃。模塊化設計：架構(gòu)具有模塊化特點，說話者和推理者功能明確，可獨立開發(fā)和優(yōu)化，便于系統(tǒng)維護和擴展，為智能體開發(fā)提供靈活框架。信念建模與更新：推理者在多步推理規(guī)劃中顯式建模和更新信念，基于信念做出決策，為智能體理解用戶和環(huán)境提供更深入機制，增強決策合理性