大模型在汽車行業(yè)的落地實(shí)踐

阿里云/公共云大模型技術(shù)服務(wù)高級(jí)專家黃高攀?阿里云大模型技術(shù)服務(wù)高級(jí)專家，2012年畢業(yè)于中科院自動(dòng)化所，現(xiàn)負(fù)責(zé)阿里云汽車能源行業(yè)大模型技術(shù)服務(wù)方向，重點(diǎn)在汽車能源行業(yè)開展大模型技術(shù)的全流程場(chǎng)景落地服務(wù)。在AI/大模型技術(shù)服務(wù)領(lǐng)域有豐富的場(chǎng)景應(yīng)用與行業(yè)落地經(jīng)驗(yàn)，先后就職于國(guó)網(wǎng)江蘇省電力公司、阿里云計(jì)算有限公司，為不同部委、制造業(yè)、交通運(yùn)輸、汽車行業(yè)、電力能源等行業(yè)客戶提供過(guò)AI/大模型技術(shù)服務(wù)，獲得發(fā)明專利授權(quán)20余項(xiàng)。.......AI/大模型技術(shù)發(fā)展度網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)特征，深度學(xué)習(xí)?2017年：Transformer成為主流?2023年：ChatGPT發(fā)布，AIGC元?大語(yǔ)言模型已逐步擴(kuò)展到視覺(jué)、聽(tīng)大模型在存量業(yè)務(wù)大模型在存量業(yè)務(wù)和增量業(yè)務(wù)均有很大的推動(dòng)作用，2028年大模型產(chǎn)業(yè)規(guī)模加成30+%Miaas產(chǎn)晶?LLM?……果性?企業(yè)基于大模型技術(shù)，在單個(gè)業(yè)務(wù)場(chǎng)景落地后，如何快速無(wú)縫地?cái)U(kuò)展到其他更多的業(yè)務(wù)場(chǎng)景?平臺(tái)、方案、能力如何復(fù)用多Agent方案：從單場(chǎng)景到綜合場(chǎng)景智能座艙智能座艙企業(yè)提效企業(yè)提效意圖識(shí)別Agent核心要求核心要求?領(lǐng)域Agent動(dòng)態(tài)擴(kuò)展AIAI工具鏈的重要性chain的方式，實(shí)現(xiàn)多多模態(tài)數(shù)據(jù)的應(yīng)用LMOps：生產(chǎn)業(yè)務(wù)持續(xù)運(yùn)營(yíng)應(yīng)用觀測(cè)應(yīng)用觀測(cè)版本管理等數(shù)據(jù)回流LMOps：應(yīng)用可觀測(cè)智能問(wèn)答流程編排智能問(wèn)答流程編排LMOps：應(yīng)用可觀測(cè)智能問(wèn)答流程編排智能問(wèn)答流程編排LMOps：應(yīng)用可觀測(cè)智能問(wèn)答流程編排智能問(wèn)答流程編排圖片來(lái)源：LincanLi,etal.,Data-CentricEvolutioninAutonomousDriving:AComprehensiveSurveyofBigDataSystem,DataMining,andClosed-LoopTechnologies,2024.01場(chǎng)景需求場(chǎng)景需求關(guān)鍵問(wèn)題落地挑戰(zhàn)落地挑戰(zhàn)景/abs/2103.00020多模態(tài)VL模型編碼器，以及位置感知的視覺(jué)-語(yǔ)言適配器Qwen-VL:/abs/2308.12966??這張圖片顯示了一起發(fā)生在高速公路上的嚴(yán)重交通事故，導(dǎo)致卡車側(cè)翻的場(chǎng)景。天氣看起來(lái)陰沉，天空中沒(méi)有明顯的陽(yáng)光。道路是一條高速公路，路面狀況良好，沒(méi)有明顯的損壞。?……車身橫躺在路面上?？ㄜ嚨呢浵洳糠忠呀?jīng)打開，貨物散落在周圍?？ㄜ嚨妮喬ズ筒糠纸Y(jié)構(gòu)受損嚴(yán)重，顯示出事故的劇烈程度。?……道路上放置了幾個(gè)橙色的交通錐，以警示過(guò)往車輛注意避讓。?……可能是高速公路的出口標(biāo)志。背景中有樹木和建筑物，顯示出這是一個(gè)郊區(qū)或鄉(xiāng)村地區(qū)的高速公路。??這張圖片展示了一條正在進(jìn)行施工的道路。天氣看起來(lái)是陰天，路面濕滑，可能是剛下過(guò)雨。道路中間有一堆黑色的碎石和泥土，?在道路的左側(cè)，有一名穿著反光背心的工作人員正在設(shè)置或調(diào)整紅色的施工圍欄。圍欄?背景中可以看到一些車輛，包括一輛白色的汽車和一輛紅色的卡車，它們正在繞過(guò)施工區(qū)域。遠(yuǎn)處還有一些建筑物和路燈，表明這技術(shù)方案落地效果內(nèi)容理解構(gòu)建圖像-場(chǎng)景詳細(xì)描述Pair升Query相似邊緣場(chǎng)景圖像的召回精20%～30%的效果提升場(chǎng)景需求關(guān)鍵問(wèn)題潛在客戶線索邀約到店試駕客戶下訂?LLM對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行總結(jié)提煉，充分融合不同模態(tài)數(shù)據(jù)?LLM基于生成式預(yù)測(cè)，針對(duì)不同潛客提供個(gè)性化運(yùn)營(yíng)策略VS技術(shù)方案示例數(shù)據(jù)落地效果?具備靈活的擴(kuò)展性：基于LLM生成式預(yù)測(cè)，未來(lái)可靈未來(lái)展望Agent的落地形態(tài)Agent，隨時(shí)接入生產(chǎn)業(yè)務(wù)場(chǎng)景?汽車行業(yè)場(chǎng)景業(yè)務(wù)和流程重構(gòu)