從數(shù)據(jù)到知識：Data+Centric+范式大模型落地實(shí)踐

Data-Centric范式大模型落地實(shí)踐楓清科技(Fabarta)/AI負(fù)責(zé)人Data-Centric落地范式介紹如何使用如何使用Data-Centric助力大模型落地Data-Centric范式案例分享大模型大模型GPT4-01發(fā)布ChatGPT2022.112023.62023.12如何共同推進(jìn)成熟階段成熟階段大模型落地認(rèn)知與實(shí)踐大模型落地認(rèn)知與實(shí)踐），），建設(shè)階段應(yīng)對：梳理業(yè)務(wù)場景，助力降本增效建設(shè)階段痛點(diǎn)：遇到落地問題，場景選擇難，落地效果差探索階段應(yīng)對：梳理企業(yè)數(shù)據(jù)，使用成熟落地工具，助力場景驗(yàn)證探索階段痛點(diǎn)：對大模型可能有過高期望或者過低期望認(rèn)知階段對模型認(rèn)知有限，跟進(jìn)發(fā)展中認(rèn)知階段對模型認(rèn)知有限，跟進(jìn)發(fā)展中是Text2指標(biāo)?開發(fā)平臺(tái)統(tǒng)一納管開發(fā)平臺(tái)統(tǒng)一納管 租算并舉 租算并舉統(tǒng)一調(diào)度Data-Centric范式Data-CentricvsModel-CentricData-Data-Centric:核心是關(guān)注數(shù)據(jù)，使用約定模型，通過處理數(shù)據(jù)提升落地效果Model-Centric:核心是關(guān)注模型，通過調(diào)整模型架構(gòu)以及參數(shù)提升效果/abs/2301.04819選型：選型：大模型落地中的Data-Centricvs.Model-Centric越來越多的大型企業(yè)關(guān)注的重點(diǎn)選擇特定模型模型架構(gòu)相對固定越來越多的大型企業(yè)關(guān)注的重點(diǎn)選擇特定模型模型架構(gòu)相對固定指標(biāo)體系...企業(yè)數(shù)據(jù)企業(yè)數(shù)據(jù)曾經(jīng)大型企業(yè)在人工智能場景落地過程中關(guān)注的重點(diǎn)如何用Data-Centric范式落地 數(shù)據(jù)...n結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系自動(dòng)構(gòu)建n非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系構(gòu)建C凈工具...n結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系自動(dòng)構(gòu)建n非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)關(guān)系構(gòu)建C凈工具 n知識轉(zhuǎn)換的必要前置條件n利用給類文檔解析技術(shù)處理多類型文n構(gòu)建助力數(shù)據(jù)融合的統(tǒng)一語義層...SQL過程SQL/cypherSQL過程SQL/cypherFAQ問答檔解析-特定數(shù)據(jù)識知識InsightInsightArcVectorArcVector云盤云盤對象存儲(chǔ)對象存儲(chǔ)ArcGraph....ArcGraph..........n根據(jù)結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)系，構(gòu)建數(shù)據(jù)血緣鏈路nn根據(jù)結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)系，構(gòu)建數(shù)據(jù)血緣鏈路n根據(jù)非結(jié)構(gòu)化數(shù)據(jù)的關(guān)系，構(gòu)建數(shù)據(jù)血緣關(guān)系，包括分片、段落、文檔，知識庫等n基于微調(diào)大模型做實(shí)體關(guān)系抽取非結(jié)構(gòu)化數(shù)據(jù)文檔段落關(guān)系構(gòu)建結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)關(guān)系構(gòu)建 ! ! ! ! ! ↓多模態(tài)多模態(tài)智能引向量）智能應(yīng)用文檔問答和智能問數(shù)場景智能應(yīng)用文檔問答和智能問數(shù)場景問題改寫一 SQL/SQL/Cypher生SQL/Cypher執(zhí)行r------------------------------------------'r------------------------------------------' 企業(yè)數(shù)據(jù)庫（關(guān)系&圖數(shù)據(jù)庫）!統(tǒng)一語義庫結(jié)構(gòu)化數(shù)據(jù)接入 企業(yè)數(shù)據(jù)庫（關(guān)系&圖數(shù)據(jù)庫）!統(tǒng)一語義庫結(jié)構(gòu)化數(shù)據(jù)接入大模型服務(wù)（開源或商用）問數(shù)流程目數(shù)據(jù)源問數(shù)流程目數(shù)據(jù)源生成思考過程——生成語義DSL生成思考過程——生成語義DSL↓......統(tǒng)一語義層統(tǒng)一語義層元數(shù)據(jù)語義指標(biāo)語義是語義DSL轉(zhuǎn)化元數(shù)據(jù)語義指標(biāo)語義是語義DSL轉(zhuǎn)化SQL元數(shù)據(jù)血緣指標(biāo)模型語義知識對話歷史元數(shù)據(jù)血緣指標(biāo)模型語義知識對話歷史COT示例GOTCOT示例GOT示例轉(zhuǎn)化物理SQL生成語義SQLText2轉(zhuǎn)化物理SQL生成語義SQLText2SQL業(yè)務(wù)場景業(yè)務(wù)場景智能體智能體業(yè)務(wù)流程業(yè)務(wù)操作………智能問答n10+解析器解析nEmbedding，多路召回和rerank優(yōu)化n元數(shù)據(jù)關(guān)系抽取智能問數(shù)n元數(shù)據(jù)管理nSchemalinking優(yōu)化nCoT優(yōu)化機(jī)制和動(dòng)態(tài)提示詞nText2SQL鏈路優(yōu)化HybridRAGnGraphRAG+nativeRAG混合使用n特色解析器：復(fù)雜表格解析、圖片和雙列處理n多模態(tài)數(shù)據(jù)解析與知識化基于多模態(tài)基于多模態(tài)數(shù)據(jù)的智能體應(yīng)用n統(tǒng)一語義層n意圖識別與指標(biāo)解析n血緣根因分析n趨勢預(yù)測統(tǒng)一智能體（規(guī)劃、工具、工作流、執(zhí)行、記憶、節(jié)點(diǎn)思考過程可視化、版本管理等）統(tǒng)一智能體多模態(tài)智能引擎統(tǒng)一語義層多模態(tài)智能引擎統(tǒng)一語義層三方基礎(chǔ)大模型Data-Centric落地示例基于產(chǎn)品和共創(chuàng)方法論助力場景快速落地C。階段1場景梳理。。。階段1場景梳理。。階段2數(shù)據(jù)就緒。落地落地。階段4持續(xù)優(yōu)化知識通用AI應(yīng)用場景全景視圖FabartaAI能力支持342221721576624467346877781387FFFFFFFF產(chǎn)?…?…?…?…1342221721576624467346877781387FFFFFFFF產(chǎn)?…?…?…?…12?…5?…678?…334316386FFF334316386FFF?…122345檔檔問數(shù)--Text2SQL+臺(tái)融合場景--場景融合通6通6根7用根7用 nn關(guān)注業(yè)務(wù)，關(guān)注RoIn需要更深入了解業(yè)務(wù)，結(jié)合業(yè)務(wù)n多