2024年中國(guó)GenAI技術(shù)棧市場(chǎng)報(bào)告 -RAG、多代理系統(tǒng)、模型微調(diào)、模塊化、去中心化、MaaS

頭豹頭豹RAG、多代理系統(tǒng)、模型微調(diào)、模塊化、去中心化、MaaS沙利文聯(lián)合頭豹研究院謹(jǐn)此發(fā)布中國(guó)生成式式AI系列報(bào)告之《2024年中國(guó)GenAI技術(shù)棧市場(chǎng)報(bào)告》。本報(bào)告旨在梳理GenAI技術(shù)棧狀、技術(shù)棧核心組件、用戶核心需求以及相關(guān)技術(shù)洞察，明晰市場(chǎng)需求，本市場(chǎng)報(bào)告提供的GenAI技術(shù)棧發(fā)展趨勢(shì)分析反映出生成式AI行業(yè)整體的動(dòng)向。報(bào)告最終對(duì)市場(chǎng)排名、領(lǐng)袖梯隊(duì)的判斷僅適用于本年度中國(guó)本報(bào)告所有圖、表、文字中的數(shù)據(jù)均源自弗若斯特沙利文咨詢（中國(guó)）及頭豹研究院調(diào)查，數(shù)據(jù)均采用四舍五入，小數(shù)計(jì)一位。 報(bào)告提供的任何內(nèi)容（包括但不限于數(shù)據(jù)、文字、圖表、圖像等）均系弗若斯特沙利文及頭豹研究院獨(dú)有的高度機(jī)密性文件（在報(bào)告中另行標(biāo)明出處者除外）。未經(jīng)弗若斯特沙利文及頭豹研究院事先書面許可，任何人不得以任何方式擅自復(fù)制、再造、傳播、出版、引用、改編、匯編本報(bào)告內(nèi)容，若有違反上述約定的行為發(fā)生，弗若斯特沙利文及頭豹研究院保留采取法律措施、追究相關(guān)人員責(zé)任的權(quán)利。弗若斯特沙利文及頭豹研究院開展的所有商業(yè)活動(dòng)均使用“弗若斯特沙利及頭豹研究院無任何前述名稱之外的其他分支機(jī)構(gòu)，也未授權(quán)或聘用其他任何第三方代表弗若斯特沙利文或頭豹研究院開展頭豹l文頭豹LeadLeo400-072-5588567893u名詞解釋u參考文獻(xiàn)u方法論u法律聲明l文頭豹LeadLeo400-072-55884?GenAI技術(shù)棧連接了硬件設(shè)施層與終端用戶交互，集成了包括基礎(chǔ)模型、模型開發(fā)、數(shù)據(jù)處理、模型部署監(jiān)控以及應(yīng)用交互等在內(nèi)的技術(shù)和工具，提供從模型初始化到部署全過程的一站式解決方案。協(xié)助開發(fā)者高效地構(gòu)建、訓(xùn)練、微調(diào)、部署和維護(hù)棧。直至2012年AlexNet的突破，AI技術(shù)棧開始逐步建立，并在2018年開始的大模型階段，生成式AI技術(shù)棧由原本的碎片化工具格局向更具凝聚力和專業(yè)化的生棧的設(shè)計(jì)目的主要包括為開發(fā)者提供更高效的編程語言、開發(fā)框架與工具鏈以提升開發(fā)效率，給予生成式AI任務(wù)系統(tǒng)級(jí)的完善支持以及探索和滿足大規(guī)模頭豹沙利文市場(chǎng)研讀章節(jié)一行業(yè)概述GenAI技術(shù)棧連接了硬件設(shè)施層與終端用戶交互，集成了包括基礎(chǔ)模型、模型開發(fā)、數(shù)據(jù)處理、模型部署監(jiān)控以及應(yīng)用交互等在內(nèi)的技術(shù)和工具，提供從模型初始化到部署全過程oGenAI技術(shù)棧定義：指針對(duì)開發(fā)和部署生成式AI應(yīng)用的綜合環(huán)境和平臺(tái)，集成了包括基礎(chǔ)模型、數(shù)據(jù)處理、模型訓(xùn)練調(diào)優(yōu)、模型部署監(jiān)控等在內(nèi)的生成式AI技術(shù)棧是連接硬件設(shè)施與GenAI應(yīng)用的中間層，為開發(fā)者提供基礎(chǔ)模型服務(wù)，以及賦能模型調(diào)優(yōu)、監(jiān)控與維護(hù)和編排部署的一系列工具鏈，滿足開發(fā)者針對(duì)特定應(yīng)用領(lǐng)域?qū)崿F(xiàn)高效與部署與監(jiān)控?文本生成?語音生成?圖像生成?代碼生成?視頻生成?多模態(tài)應(yīng)用編排模型路由代理框架模型維護(hù)模型監(jiān)控?cái)?shù)據(jù)采集數(shù)據(jù)清洗與標(biāo)注數(shù)據(jù)存儲(chǔ)特征工程數(shù)據(jù)管道向量數(shù)據(jù)庫上下文緩存硬件設(shè)施層用戶界面UIAPI用戶體驗(yàn)UXAgentWorkflows?模型管理?模型微調(diào)FineTunning?模型推理終端用戶包括CPU、GPU、存儲(chǔ)設(shè)備等應(yīng)用層部署與監(jiān)控?文本生成?語音生成?圖像生成?代碼生成?視頻生成?多模態(tài)應(yīng)用編排模型路由代理框架模型維護(hù)模型監(jiān)控?cái)?shù)據(jù)采集數(shù)據(jù)清洗與標(biāo)注數(shù)據(jù)存儲(chǔ)特征工程數(shù)據(jù)管道向量數(shù)據(jù)庫上下文緩存硬件設(shè)施層用戶界面UIAPI用戶體驗(yàn)UXAgentWorkflows?模型管理?模型微調(diào)FineTunning?模型推理終端用戶包括CPU、GPU、存儲(chǔ)設(shè)備等應(yīng)用層來源：沙利文頭豹400-072-55886沙利文市場(chǎng)研讀章節(jié)一行業(yè)概述在早期的決策式AI時(shí)代，AI技術(shù)棧的定義較為模糊，業(yè)內(nèi)尚未出現(xiàn)確立的通用技術(shù)棧。直至2012年AlexNet的突破，AI技術(shù)棧開始逐步建立，并在2018年開始的大模型階段，生成式AI技術(shù)棧由原本的碎片化工具格局向更具凝聚力和專業(yè)化的生態(tài)?發(fā)展背景：由弱人工智能階段向統(tǒng)計(jì)機(jī)器學(xué)習(xí)階段發(fā)展，進(jìn)入1990年后，算法和模型開始向多樣化發(fā)展。?代表性技術(shù)成果:?技術(shù)棧定義:由基于專家知識(shí)和規(guī)則的系統(tǒng)向“統(tǒng)計(jì)機(jī)器學(xué)習(xí)算法+算力包”結(jié)構(gòu)轉(zhuǎn)變HMM模型HMM模型反向傳播卷積網(wǎng)絡(luò)反向傳播卷積網(wǎng)絡(luò)?發(fā)展背景：深度學(xué)習(xí)的興起標(biāo)志著AI技術(shù)進(jìn)入了全新的階段，GenAI技術(shù)棧開始建立。?代表性技術(shù)成果:?技術(shù)棧定義:深度神經(jīng)網(wǎng)絡(luò)+開發(fā)框架（TensorFlow,PyTorch）ResNetResNetAttentionTransformerAttentionTransformer?發(fā)展背景：2018年之后，大語言模型迅速崛起并高效地適用于不同地應(yīng)用場(chǎng)景。?代表性技術(shù)成果:2021年：CLIP被提出，實(shí)現(xiàn)了跨?技術(shù)棧定義:基礎(chǔ)模型+微調(diào)+開發(fā)者工具鏈+模型監(jiān)督與運(yùn)維等LLaMABERTLLaMABERTGPTGPT-4），該階段算法和模型開始向多樣化發(fā)展，以HMM、LeNet-5等模型正式被提出。該階段開發(fā)人員或團(tuán)隊(duì)已經(jīng)有首選的工具以完成特定的任務(wù)，但尚未有統(tǒng)一的技術(shù)棧。?深度學(xué)習(xí)階段（2012-2017年)，GenAI技術(shù)棧開始正式建來圖像分類的重大進(jìn)展，也引起了開發(fā)人員對(duì)于標(biāo)準(zhǔn)化工具和框架的缺失以及針對(duì)不同硬件平臺(tái)需要進(jìn)行大量調(diào)優(yōu)等局限的重視。?大模型階段（2018年–至今)，GenAI技術(shù)棧生態(tài)系統(tǒng)逐步完善：隨著第一代GPT在2018年發(fā)布，大模型時(shí)代正式來臨，人工智能領(lǐng)域的轉(zhuǎn)變使得重點(diǎn)集中于賦能開發(fā)人員快速且大規(guī)模地構(gòu)建應(yīng)用程序，現(xiàn)今的GenAI技術(shù)棧生態(tài)系統(tǒng)逐步完善且更關(guān)注于實(shí)現(xiàn)、優(yōu)化、評(píng)估和監(jiān)控應(yīng)用程序及系統(tǒng)，且生成式AI技術(shù)棧正在擴(kuò)展以支持智能體來源：沙利文頭豹400-072-55887沙利文市場(chǎng)研讀章節(jié)一行業(yè)概述作為旨在簡(jiǎn)化生成式AI應(yīng)用程序開發(fā)和管理的解決方案和組件合集，生成式AI技術(shù)棧的設(shè)計(jì)目的主要包括為開發(fā)者提供更高效的編程語言、開發(fā)框架與工具鏈以提升開發(fā)效率，給予生成式AI任務(wù)系統(tǒng)級(jí)的完善支持以及探索和滿足大規(guī)模與跨平臺(tái)部署等新需求挑戰(zhàn)。提供更強(qiáng)大和可擴(kuò)展的計(jì)算能提供更強(qiáng)大和可擴(kuò)展的計(jì)算能擴(kuò)展與部署，進(jìn)而支撐分布式計(jì)算、彈性計(jì)算，讓用戶按需更直觀的編輯、調(diào)試和實(shí)驗(yàn)工更直觀的編輯、調(diào)試和實(shí)驗(yàn)工生成式AI技術(shù)棧的設(shè)計(jì)在協(xié)助開發(fā)者提升生成式AI應(yīng)用開發(fā)效率、給予生成式AI任務(wù)系統(tǒng)級(jí)的?為開發(fā)者提供高效編程語言、開發(fā)框架和工具鏈：在生成式AI應(yīng)用快速且大規(guī)模開發(fā)構(gòu)建的需求下，生成式AI技術(shù)棧在設(shè)計(jì)之初即需考慮到為開發(fā)者提供可觀測(cè)性、可調(diào)試性以及允許自定義擴(kuò)展等支持。此外，目前AI工程化場(chǎng)景已然不是靈感一現(xiàn)和單一優(yōu)化即可迅速獲取優(yōu)勢(shì)的狀態(tài)，一套完善的全流程的生命周期管理可以大幅提升AI算法層面的生產(chǎn)力。?生成式AI任務(wù)的系統(tǒng)級(jí)支持：在多模型環(huán)境下，模型訓(xùn)練與推理任務(wù)層面產(chǎn)生了新的系統(tǒng)抽象與資源。首先針對(duì)大數(shù)據(jù)和大模型的挑戰(zhàn)，技術(shù)棧需要支持更大的模型以及更多模態(tài)的輸入，提供更強(qiáng)大和可擴(kuò)展的計(jì)算能力。其次，面對(duì)云與集群場(chǎng)景，將AI任務(wù)擴(kuò)展與部署進(jìn)而支撐分布式計(jì)算、彈性計(jì)算，讓用戶按需使用資源也是生成式AI技術(shù)棧需要考慮和支持的。?探索解決新需求挑戰(zhàn)：在AI算法發(fā)展帶來的諸多特性支持需求下，生成式AI技術(shù)棧為實(shí)現(xiàn)一系列新需求不斷演化和重設(shè)計(jì)。首先，針對(duì)多組織、多用戶共享集群資源以及迫切使用GPU資源的日益增長(zhǎng)的需求，提供公平、平穩(wěn)以及高效的環(huán)境是技術(shù)棧的首要考量因素。其次，面對(duì)割裂的邊緣側(cè)硬件與軟件棧，如何使模型通過一次訓(xùn)練即可實(shí)現(xiàn)跨平臺(tái)部署到不同軟硬件平臺(tái)也是有待解決的問題。最后，模型本身的重要信息為權(quán)重更容易產(chǎn)生安全問題，對(duì)于企業(yè)級(jí)或公有云環(huán)境，技術(shù)棧需提供更高的安全和隱私保護(hù)舉措。來源：Github、沙利文頭豹8400-072-5588頭豹8?構(gòu)建完整的端到端GenAI應(yīng)用涉及到復(fù)雜豐富的模塊組件與流程，從用戶交互至可落地應(yīng)用的結(jié)果輸出，涉及了AI模型的準(zhǔn)備、調(diào)優(yōu)、服務(wù)、以及治理等相關(guān)關(guān)鍵模塊。在支持GenAI應(yīng)用構(gòu)建過程中，用戶應(yīng)依據(jù)項(xiàng)目、業(yè)務(wù)線以及組織成熟度等因素在這些模塊組件中進(jìn)行選擇組合，并非每個(gè)應(yīng)用均涉及到所有組件模塊。頭豹構(gòu)建完整的端到端GenAI應(yīng)用涉及到復(fù)雜豐富的模塊組件與流程，從用戶交互至可落地應(yīng)用的結(jié)果輸出，涉及了AI模型的準(zhǔn)備、調(diào)優(yōu)、服務(wù)、以及治理等相關(guān)關(guān)鍵模塊。在支持GenAI應(yīng)用構(gòu)建過程中，用戶應(yīng)依據(jù)項(xiàng)目、業(yè)務(wù)線以及組織成熟度等因素在這些模塊組件模型列表、權(quán)限管理等SQL查詢、Web搜索等進(jìn)度保存、更新排序等模型列表、權(quán)限管理等SQL查詢、Web搜索等進(jìn)度保存、更新排序等輸出來源：TheGenAIReferenceArchitecture、沙利文頭豹400-072-5588頭豹在各行業(yè)領(lǐng)域?qū)Ｏ蚰Ｐ陀楷F(xiàn)的環(huán)境下，大語言模型在特定領(lǐng)域與企業(yè)知識(shí)缺失的局限性暴露，因此基于外部數(shù)據(jù)庫，可及時(shí)調(diào)用最新數(shù)據(jù)和專有領(lǐng)域知識(shí)進(jìn)行補(bǔ)充的RAG顯得至關(guān)重要。此外，基于外部權(quán)威數(shù)據(jù)信息的整合及數(shù)據(jù)源的控制，RAG可提升模型回答準(zhǔn)確性及可解釋性，數(shù)據(jù)與模型本身的分離也給予了更好的數(shù)據(jù)隱私管理。oLLM是出色的推理引擎，但隨著各行業(yè)模型的涌現(xiàn)，LLM針對(duì)特定領(lǐng)域和企業(yè)的知識(shí)仍較局限，?RAG工作原理及重要性：RAG的核心是通過從外部知識(shí)庫或文檔集合中檢索關(guān)鍵信息，并將其作為上下文輸入給大語言模型，從而提高生成答案的質(zhì)量。RAG可將大模型的知識(shí)和推理能力進(jìn)行分離，從而在處理最新的或?qū)Ｓ蓄I(lǐng)域的問題時(shí)可及時(shí)調(diào)用外部知識(shí)進(jìn)行補(bǔ)充，同時(shí)利用推理能力生成正確答案。RAG的必要性一方面體現(xiàn)在其用于解決大語言模型的局限性（如數(shù)據(jù)更新不及時(shí)、易產(chǎn)生幻覺以及缺乏專業(yè)領(lǐng)域知識(shí)洞察等另一方面，作為大模型的重要補(bǔ)充，RAG通過外部最新數(shù)據(jù)的整合，提升了模型回答生成的準(zhǔn)確性。?RAG的核心優(yōu)勢(shì)：RAG的核心優(yōu)勢(shì)主要包括準(zhǔn)確性提升、透明度與可解釋性的增強(qiáng)、數(shù)據(jù)隱私準(zhǔn)確性的提升：RAG通過外部權(quán)威數(shù)據(jù)信息的整合，可生成基于事實(shí)和透明度與可解釋性的增強(qiáng)：RAG可保持對(duì)數(shù)據(jù)及信息源的控制，通過引用來另一方面，RAG不需要將數(shù)據(jù)直接內(nèi)嵌到模型中，敏感數(shù)據(jù)與模型的分離有助于降低敏感信成本效益的提升：RAG可處理大規(guī)模數(shù)據(jù)集而無需更新所有參數(shù)和創(chuàng)建訓(xùn)練集，使其更具經(jīng)檢索相關(guān)文檔嵌入提問LLM結(jié)合問題與提示器輸出有RAG無RAG檢索相關(guān)文檔嵌入提問LLM結(jié)合問題與提示器輸出有RAG無RAG輸入向量塊01020102030405為文本數(shù)據(jù)，進(jìn)行預(yù)處理和索引本轉(zhuǎn)換為向量，并存儲(chǔ)在向量數(shù)據(jù)庫中增強(qiáng)模板生成準(zhǔn)確答案來源：騰訊云、沙利文頭豹400-072-5588頭豹多智能體系統(tǒng)是分布式AI的重要分支，其將“大而雜”的任務(wù)分解給多個(gè)互相服務(wù)的單個(gè)智能體，通過相互通信、信息與資源共享，以及協(xié)作以實(shí)現(xiàn)共同的整體目標(biāo)。在復(fù)雜任務(wù)下，多智能體系統(tǒng)彌補(bǔ)了單智能體的視角單一難點(diǎn)，在魯棒性與容錯(cuò)性、靈活性與可擴(kuò)展短期記憶短期記憶反射反射…代碼解釋器搜索合作模式…代碼解釋器搜索合作模式o在GenAI系統(tǒng)處理任務(wù)愈發(fā)復(fù)雜的背景下，通過多個(gè)Agent協(xié)作配合解決復(fù)雜難題的多代理系統(tǒng)成?多智能體系統(tǒng)（MAS）的工作原理及重要性：MAS是指由多個(gè)自治運(yùn)行的Agent組成的集體，通過多個(gè)Agent的相互協(xié)作（包含合作、競(jìng)爭(zhēng)、混合以及利己的協(xié)作模式），共同解決單個(gè)智能體無法解決的難題。目前GenAI系統(tǒng)應(yīng)用隨著各場(chǎng)景深入越發(fā)復(fù)雜，單個(gè)智能體在面對(duì)復(fù)雜任務(wù)時(shí)存在視角單一、對(duì)Contctwindow要求高等局限性，未來多智能體系統(tǒng)的重要性及應(yīng)用范圍將進(jìn)一步增長(zhǎng)。?多智能體系統(tǒng)（MAS）的核心優(yōu)勢(shì)：通過分布式智能和協(xié)作來解決復(fù)雜問題的多智能體系統(tǒng)在效率、魯棒性與容錯(cuò)性、靈活性與可擴(kuò)展性層面具備靈活性和可擴(kuò)展性：多智能體系統(tǒng)的部分個(gè)體可依據(jù)任務(wù)場(chǎng)景動(dòng)態(tài)加入或離開系統(tǒng)，使得魯棒性和容錯(cuò)性：多智能體系統(tǒng)的分布式特征驅(qū)動(dòng)系統(tǒng)可以在部分智能體發(fā)生故障的情況降低了工具選擇成本，其次職責(zé)拆分后，每個(gè)智能體甚至可使用單獨(dú)微調(diào)的LLM，進(jìn)而達(dá)到更好的生成效果。來源：華為云、沙利文頭豹400-072-5588頭豹提示工程通過提示詞的優(yōu)化設(shè)計(jì)，引導(dǎo)模型生成符合預(yù)期的回答。提示質(zhì)量直接影響語境和輸出，且具備效率提升、訓(xùn)練成本低、靈活性高等優(yōu)勢(shì)，因此對(duì)于模型尤為關(guān)鍵。但過于具體的提示也存在限制模型創(chuàng)新性的可能，因此用戶需依據(jù)平衡點(diǎn)對(duì)該模塊進(jìn)行取舍。初始提示設(shè)計(jì)?輸入問題?上下文?初始提示設(shè)計(jì)?輸入問題?上下文?輸出設(shè)置 數(shù)據(jù)集提示評(píng)價(jià)評(píng)估LLM 優(yōu)化LLM評(píng)估LLM 優(yōu)化LLM迭代循環(huán)提示更新優(yōu)化迭代循環(huán)o提示工程指通過設(shè)計(jì)和優(yōu)化AI提示詞，以提高AI模型輸出的質(zhì)量與準(zhǔn)確性，提示工程直接影響引導(dǎo)模型生成目標(biāo)輸出的優(yōu)化方式。通過有效清晰的提示，模型可以更好地理解復(fù)雜任務(wù)與用戶問題，進(jìn)而做出符合預(yù)期的反應(yīng)。此外，根據(jù)目標(biāo)模型輸出內(nèi)容與評(píng)估指標(biāo)的對(duì)齊可不斷對(duì)提示工程進(jìn)行優(yōu)化迭代。提示質(zhì)量直接影響模型輸出的準(zhǔn)確性和相關(guān)性，因此精心設(shè)計(jì)?提示工程的核心優(yōu)勢(shì)：提示工程在效率提升、控制增強(qiáng)、成本降低以及場(chǎng)景擴(kuò)展層面具備優(yōu)效率提升：通過提示的精心設(shè)計(jì)優(yōu)化，可以減少模型不相關(guān)或低質(zhì)量的輸出，減少用戶反復(fù)修改和調(diào)整，提高整體工作效率。控制增強(qiáng)：提示工程由用戶輸入端進(jìn)行調(diào)整和設(shè)置，允許用戶對(duì)于AI模型的輸出有更精確的控制，以確保輸出內(nèi)容符合特定的需求與預(yù)期。成本降低：提示工程通過提示語的直接優(yōu)化，極大地提升模型生成效果，而不必再對(duì)模型進(jìn)行頻繁調(diào)整與訓(xùn)練，減少了不必要的模型訓(xùn)練成本。場(chǎng)景擴(kuò)展：提示詞可根據(jù)不同的任務(wù)與場(chǎng)景進(jìn)行靈活調(diào)整，提升AI模型在不同場(chǎng)景下執(zhí)行任務(wù)的靈活性與適應(yīng)性，擴(kuò)展AI模型的應(yīng)用?詳細(xì)的提示工程可以為AI模型提供明確的指導(dǎo)，但過于具體的提示存在限制模型輸出靈活性和創(chuàng)造性的可能，因此用戶在使用提示工程時(shí)應(yīng)找到模型準(zhǔn)確性與靈活Prospects、沙利文來源：EvaluatingAIEvaluation:PerilsandProspects、沙利文頭豹400-072-5588頭豹防護(hù)欄?事實(shí)性錯(cuò)誤內(nèi)容?帶有偏見、不道德內(nèi)容?大模型調(diào)用病毒攻擊防護(hù)欄?事實(shí)性錯(cuò)誤內(nèi)容?帶有偏見、不道德內(nèi)容?大模型調(diào)用病毒攻擊防護(hù)欄的重要性在AI技術(shù)動(dòng)態(tài)發(fā)展中不可被低估，防護(hù)欄在防止AI技術(shù)濫用、確保內(nèi)容公平性、維持公眾信任以及遵守法規(guī)標(biāo)準(zhǔn)等層面起到核心作用。防護(hù)欄是抵御與AI技術(shù)部署相關(guān)的潛在風(fēng)險(xiǎn)的堡壘，是構(gòu)建安全可靠應(yīng)用不?個(gè)人身份信息?企業(yè)商業(yè)機(jī)密?人臉特征o防護(hù)欄有助于減少生成式AI應(yīng)用風(fēng)險(xiǎn)，用戶從格式規(guī)范、消息以及交互流層面對(duì)輸入與輸出防護(hù)欄進(jìn)行設(shè)置，進(jìn)而識(shí)別、過濾與防護(hù)輸入輸出信息中的潛在風(fēng)險(xiǎn)。防護(hù)欄在增強(qiáng)安全性方面首先，將用戶提問輸入轉(zhuǎn)換成某種格式規(guī)范，據(jù)此生成對(duì)應(yīng)的護(hù)欄，隨后生成具體的行動(dòng)步驟，以交互流指示大模型一步步完成對(duì)應(yīng)的操作。最后，根據(jù)格式規(guī)范設(shè)置生成符合條件的輸出內(nèi)容。在GenAI技術(shù)的動(dòng)態(tài)格局中，系統(tǒng)應(yīng)用變得更為自主與復(fù)雜，防護(hù)欄的重要性體現(xiàn)在防止技術(shù)的濫用，防護(hù)欄通過執(zhí)行相關(guān)政策并監(jiān)測(cè)技術(shù)濫用情況確保GenAI技術(shù)得到負(fù)責(zé)任的使用；此外，通過實(shí)施積極尋找和減輕AI決策中偏見的防護(hù)欄可以確保輸出內(nèi)容的公平性；最后，防護(hù)欄對(duì)于法律遵守和監(jiān)管標(biāo)準(zhǔn)至關(guān)重要，防護(hù)欄的有效實(shí)施可以幫助AI系統(tǒng)保持在法律邊界內(nèi)，降低風(fēng)險(xiǎn)且確保平穩(wěn)的運(yùn)行，因此防護(hù)欄為技術(shù)棧中的重要組件。?防護(hù)欄的核心優(yōu)勢(shì)：防護(hù)欄設(shè)置在安全安全性與可靠性的提升：防護(hù)欄旨在防止濫用、保護(hù)用戶隱私及相關(guān)商業(yè)機(jī)密，通過集透明度與可解釋性的提升：防護(hù)欄有助于確保AI系統(tǒng)做出的決策可被理解和解釋，透明度允許問責(zé)制，確?？梢宰R(shí)別和糾正相關(guān)錯(cuò)誤內(nèi)容或信息與技術(shù)濫用。來源：亞馬遜云科技、英偉達(dá)、沙利文頭豹400-072-5588頭豹大模型API服務(wù)提供了一種強(qiáng)大、靈活且易于集成的方式協(xié)助用戶快速將AI功能無縫集成到程序和服務(wù)中，進(jìn)而降低用戶的開發(fā)門檻，提升開發(fā)效率。API服務(wù)核心優(yōu)勢(shì)體現(xiàn)在促進(jìn)軟件集成、實(shí)現(xiàn)數(shù)據(jù)共享、提高可擴(kuò)展性以及增強(qiáng)系統(tǒng)安全性等層面。金融交通金融交通政務(wù)…文生圖對(duì)話生成函數(shù)調(diào)用LLM微調(diào)…通用語言語音合成音色定制…語音合成語音識(shí)別語音識(shí)別RAG在線搜索…特色功能助手構(gòu)建預(yù)置插件文生圖圖生圖模型微調(diào)文生圖對(duì)話生成函數(shù)調(diào)用LLM微調(diào)…通用語言語音合成音色定制…語音合成語音識(shí)別語音識(shí)別RAG在線搜索…特色功能助手構(gòu)建預(yù)置插件文生圖圖生圖模型微調(diào)…插件多模態(tài)多模態(tài)對(duì)話oAPI服務(wù)管理協(xié)助用戶實(shí)現(xiàn)AI模型與應(yīng)用的無縫集成，通過API公開其功能使應(yīng)用程序訪問和集?API服務(wù)的工作流程及重要性：API服務(wù)包含模型的選擇到API管理全流程，根據(jù)用戶的需求確定API的目標(biāo)與功能，配置應(yīng)用程序向大模型發(fā)送請(qǐng)求，在收到大模型的響應(yīng)后，用戶根據(jù)響應(yīng)內(nèi)容進(jìn)行所需信息的提取，將其集成到應(yīng)用中。最后根據(jù)初步集成后，用戶根據(jù)具體項(xiàng)目對(duì)其進(jìn)行優(yōu)化測(cè)試與監(jiān)控運(yùn)維。API服務(wù)的重要性在于提供了一種強(qiáng)大、靈活且易于集成的方式協(xié)助用戶快速地將AI功能集成到對(duì)應(yīng)的程序和服務(wù)中，進(jìn)而提升開發(fā)效率，降低開?API服務(wù)的核心優(yōu)勢(shì)：API服務(wù)協(xié)助用戶促進(jìn)軟件集成、實(shí)現(xiàn)數(shù)據(jù)共享、提高可擴(kuò)展性，并增促進(jìn)軟件集成：API可實(shí)現(xiàn)不同軟件系統(tǒng)之間的無縫集成，通過調(diào)用現(xiàn)有的API，用戶可避免重復(fù)開發(fā)功能，提高開發(fā)效率。實(shí)現(xiàn)數(shù)據(jù)共享：API可以讓不同應(yīng)用程序共享數(shù)據(jù)，從而實(shí)現(xiàn)企業(yè)或用戶數(shù)據(jù)價(jià)值最大化。提高可擴(kuò)展性：軟件系統(tǒng)通過API可以在基于現(xiàn)有系統(tǒng)架構(gòu)基礎(chǔ)上，更容易地進(jìn)行擴(kuò)展和升級(jí)，新功能可以通過添加新的API或者擴(kuò)展現(xiàn)有API實(shí)現(xiàn)。增強(qiáng)系統(tǒng)安全性：利用API可實(shí)現(xiàn)跨多云環(huán)境管理網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，并利用API提供的安全來源：商湯科技、ChallengesinDeployingMachineLearning:aSurveyofCaseStudies、百度智能云、沙利文頭豹400-072-5588MLOps整合了機(jī)器學(xué)習(xí)的應(yīng)用開發(fā)、系統(tǒng)部署與運(yùn)維，通過在整個(gè)機(jī)器學(xué)習(xí)生命周期中實(shí)現(xiàn)自動(dòng)化和標(biāo)準(zhǔn)化以實(shí)現(xiàn)更快速的產(chǎn)品開發(fā)上市，更高效的團(tuán)隊(duì)合作以及模型的持續(xù)性改進(jìn)優(yōu)化，是協(xié)助企業(yè)用戶將模型高效部署到生產(chǎn)環(huán)境中的重要組件。MLMLMLOps=MLOps=?需求工程?ML用例優(yōu)先級(jí)?數(shù)據(jù)可用性檢查?數(shù)據(jù)工程?機(jī)器學(xué)習(xí)模型工程?模型測(cè)試和驗(yàn)證?機(jī)器學(xué)習(xí)模型部署?CI/CD管道?監(jiān)控和觸發(fā)持續(xù)部署，從而實(shí)現(xiàn)快速更新優(yōu)化。MLOps在大規(guī)模生產(chǎn)環(huán)境中自動(dòng)部署機(jī)器學(xué)習(xí)和深度學(xué)習(xí)?MLOps的工作流程及重要性：MLOps是涵蓋數(shù)據(jù)管理、模型開發(fā)、部署到持續(xù)監(jiān)控一系列步驟的系統(tǒng)化框架，通過自動(dòng)化和標(biāo)準(zhǔn)化流程來加速模型的部署，并確保模型在生產(chǎn)環(huán)境中表現(xiàn)穩(wěn)定。MLOps在構(gòu)建GenAI應(yīng)用中，可極大縮短開發(fā)時(shí)間，協(xié)助企業(yè)用戶快速響應(yīng)市場(chǎng)變化，并在模型部署后進(jìn)行監(jiān)控以確保模型的最佳性能。因此，MLOps是企業(yè)用戶構(gòu)建GenAI應(yīng)用的重要模塊，且在未來將趨向更高效與自動(dòng)化的發(fā)展。?MLOps的核心優(yōu)勢(shì)：MLOps在機(jī)器學(xué)習(xí)面臨創(chuàng)新與試驗(yàn)性挑戰(zhàn)下，指引機(jī)器學(xué)習(xí)項(xiàng)目取上市時(shí)間縮短：MLOps一方面為開發(fā)組織提供了框架一更快、更高效地實(shí)現(xiàn)數(shù)據(jù)科學(xué)目標(biāo)；其次通過自動(dòng)創(chuàng)建和部署模型可縮短產(chǎn)品上市時(shí)間，降低運(yùn)協(xié)作效率提高：通過統(tǒng)一的平臺(tái)，開發(fā)團(tuán)隊(duì)可以在機(jī)器學(xué)習(xí)軟件開發(fā)全生命周期中進(jìn)行協(xié)作和協(xié)調(diào)，減少重復(fù)性工作，大幅提升工作效持續(xù)監(jiān)控和改進(jìn)：改善生產(chǎn)中的故障排除和模型管理，MLOps允許模型在部署后自動(dòng)進(jìn)行監(jiān)控，通過將模型工作流和持續(xù)交付（CI/CD）管道集成，當(dāng)模型性能下降時(shí)觸發(fā)重新訓(xùn)練，確保模型保持最佳表現(xiàn)。來源：亞馬遜云科技、沙利文頭豹400-072-5588頭豹?大模型是生成式AI應(yīng)用構(gòu)建的核心，針對(duì)不同領(lǐng)域的用戶，特定場(chǎng)景的成內(nèi)容質(zhì)量可控性為模型質(zhì)量的主要考量因素。模型適配性為用戶提供專業(yè)領(lǐng)域更具針對(duì)性的決策建議，提升相關(guān)領(lǐng)域解決方案的靈活性，質(zhì)量可控性則為用戶提升錯(cuò)誤決策等潛在風(fēng)險(xiǎn)，安全合規(guī)優(yōu)化在用戶權(quán)益與隱私保護(hù)、市場(chǎng)秩序與企業(yè)責(zé)任?模型推理是將聯(lián)結(jié)終端場(chǎng)景需求的關(guān)鍵環(huán)節(jié)，隨著生成式AI所融合的業(yè)務(wù)場(chǎng)景愈發(fā)多樣化，推理在未來市場(chǎng)的發(fā)展?jié)摿薮?，但目前AI支出的主要部分仍集中在推理?大模型發(fā)展帶來了數(shù)據(jù)架構(gòu)新需求，生成式AI應(yīng)用在用戶企業(yè)內(nèi)部落業(yè)與模型的數(shù)據(jù)協(xié)同以及數(shù)據(jù)價(jià)值的釋放成為了“數(shù)據(jù)驅(qū)動(dòng)決策”過程中的重要考量因素，數(shù)據(jù)資產(chǎn)的統(tǒng)一、自動(dòng)化工具的操作以及高校計(jì)算能力均及用戶體驗(yàn)反饋等步驟，其中生成式界面設(shè)計(jì)以及與用戶的交互方式等為最直接影響產(chǎn)品應(yīng)用反饋與迭代的因素。產(chǎn)品應(yīng)用化是推動(dòng)生成式AI技術(shù)從實(shí)驗(yàn)理論邁向?qū)嶎^豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素大模型是生成式AI應(yīng)用構(gòu)建的核心，針對(duì)不同領(lǐng)域的用戶，特定場(chǎng)景的適配性與生成內(nèi)容質(zhì)量可控性為模型質(zhì)量的主要考量因素。模型適配性為用戶提供專業(yè)領(lǐng)域更具針對(duì)性的決策建議，提升相關(guān)領(lǐng)域解決方案的靈活性，質(zhì)量可控性則為用戶提升領(lǐng)域內(nèi)容生成效率。模型復(fù)雜度模型復(fù)雜度數(shù)據(jù)規(guī)模數(shù)據(jù)多樣性數(shù)據(jù)集模型 ?更好地匹配用戶業(yè)務(wù)需求?提高用戶業(yè)務(wù)決策質(zhì)量?提升相關(guān)領(lǐng)域生成內(nèi)容效率o大模型是生成式AI應(yīng)用構(gòu)建的核心，針對(duì)不同領(lǐng)域的用戶，特定場(chǎng)景的適配性以及模型生成內(nèi)?大模型質(zhì)量的影響因素：影響大模型質(zhì)量的主要因素包含數(shù)據(jù)集質(zhì)量、參數(shù)調(diào)整、數(shù)據(jù)一致性與模型選擇等因素影響。其中數(shù)據(jù)集質(zhì)量是決定模型性能的關(guān)鍵因素，數(shù)據(jù)質(zhì)量直接影響?模型質(zhì)量的重要性：模型質(zhì)量的重要性針對(duì)不同用戶重要體現(xiàn)在模型適配與模型生成內(nèi)容可模型適配性：隨著生成式AI與各產(chǎn)業(yè)的深度結(jié)合，大模型與下游任務(wù)的適配難題成為了主要關(guān)注點(diǎn)。大模型在預(yù)訓(xùn)練階段需解決的廣泛?jiǎn)栴}與在實(shí)際應(yīng)用中所需解決問題存在一定隔閡，“隔閡”的最小化可以更好地匹配用戶業(yè)務(wù)需求，為用戶在特定領(lǐng)域的相關(guān)決策提供更具針對(duì)性的建議，進(jìn)而提升專業(yè)領(lǐng)域解決方案的靈活模型內(nèi)容質(zhì)量可控性：除了與特殊場(chǎng)景的適配性，生成質(zhì)量的可控性，即在保持生成內(nèi)容的有效性、流暢性與多樣性以外，保證模型生成內(nèi)容符合預(yù)定的控制條件，滿足用戶的切實(shí)期望，例如場(chǎng)景一致性、語言風(fēng)格等。模型內(nèi)容質(zhì)量的可控性為用戶提高相關(guān)領(lǐng)域生成內(nèi)容的效率并直接影響最終產(chǎn)品形態(tài)。來源：百度智能云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素針對(duì)不同業(yè)務(wù)場(chǎng)景的模型適配性，用戶可結(jié)合計(jì)算資源成本、效果呈現(xiàn)以及數(shù)據(jù)量級(jí)等考量因素最優(yōu)化模型專屬化路徑，較為常見的模型專屬化包含應(yīng)用層的直接調(diào)優(yōu)、外掛知識(shí)業(yè)務(wù)應(yīng)用Prompt調(diào)優(yōu)業(yè)務(wù)流程優(yōu)化基座大模型3參數(shù)高效微調(diào)業(yè)務(wù)應(yīng)用企業(yè)知識(shí)庫垂直場(chǎng)景大模型標(biāo)注數(shù)據(jù)基座大模型業(yè)務(wù)應(yīng)用Prompt調(diào)優(yōu)業(yè)務(wù)流程優(yōu)化基座大模型3參數(shù)高效微調(diào)業(yè)務(wù)應(yīng)用企業(yè)知識(shí)庫垂直場(chǎng)景大模型標(biāo)注數(shù)據(jù)基座大模型 2外掛知識(shí)庫業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用Prompt調(diào)優(yōu)Prompt調(diào)優(yōu)業(yè)務(wù)流程調(diào)優(yōu)企業(yè)知識(shí)庫基座大模型全量SFT繼續(xù)預(yù)訓(xùn)練Prompt調(diào)優(yōu)業(yè)務(wù)流程調(diào)優(yōu)全量SFT繼續(xù)預(yù)訓(xùn)練Prompt調(diào)優(yōu)業(yè)務(wù)流程調(diào)優(yōu)精標(biāo)數(shù)據(jù)應(yīng)用調(diào)優(yōu)業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用L2大模型應(yīng)用調(diào)優(yōu)業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用L2大模型模型調(diào)優(yōu)垂直場(chǎng)景企業(yè)知識(shí)庫模型調(diào)優(yōu)垂直場(chǎng)景企業(yè)知識(shí)庫垂直場(chǎng)景L1大模型垂直場(chǎng)景L1大模型無標(biāo)注數(shù)據(jù)繼續(xù)預(yù)訓(xùn)練價(jià)值對(duì)齊基座大模型全量SFT基座大模型無標(biāo)注數(shù)據(jù)繼續(xù)預(yù)訓(xùn)練價(jià)值對(duì)齊基座大模型全量SFT基座大模型?應(yīng)用層調(diào)優(yōu)：通過從應(yīng)用端的Prompt工程優(yōu)化，指引模型對(duì)用戶需求的理解，該方式所需的數(shù)據(jù)量級(jí)與開發(fā)成本均較低，但效果受限于提示工程的質(zhì)量。?外掛知識(shí)庫：基于相關(guān)領(lǐng)域外掛知識(shí)庫信息的檢索，提高模型預(yù)測(cè)適配性，該方式在信息的實(shí)時(shí)動(dòng)態(tài)性與回答相關(guān)性層面優(yōu)勢(shì)顯著，但其效果極大依賴于檢索信息的相關(guān)性和準(zhǔn)確性。?參數(shù)高效微調(diào)：在凍結(jié)與訓(xùn)練模型的大多數(shù)參數(shù)的基礎(chǔ)上，僅微調(diào)或添加少量參數(shù)以提高生成內(nèi)容的適用性，該方式在計(jì)算資源受限的條件下尤為重要。?全量SFT：通過將預(yù)訓(xùn)練模型中的參數(shù)進(jìn)行微調(diào)，使其更好地適應(yīng)目標(biāo)任務(wù)的輸入與輸出，由于全量SFT需要大量標(biāo)注數(shù)據(jù)，對(duì)于數(shù)據(jù)分布差異較大的任務(wù)下可能存在過擬合等難題?繼續(xù)預(yù)訓(xùn)練：基于大規(guī)模預(yù)訓(xùn)練語言模型，針對(duì)下游任務(wù)的特定語料對(duì)模型進(jìn)行相關(guān)領(lǐng)域的繼續(xù)訓(xùn)練，該方式效果受到預(yù)訓(xùn)練模型選擇影響且對(duì)于計(jì)算資源需求極高。來源：商湯科技、騰訊云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素模型選擇與模型評(píng)估為提升模型生成內(nèi)容質(zhì)量可控性的常用方式，模型選擇是理解問題的核心，其依據(jù)驗(yàn)證誤差最小等原則篩選出業(yè)務(wù)場(chǎng)景下的最優(yōu)模型。模型評(píng)估則通過準(zhǔn)確率等一些列評(píng)估指標(biāo)對(duì)模型性能進(jìn)行量化與優(yōu)化，決定了模型的預(yù)測(cè)精度與實(shí)用性?！坝?xùn)練+驗(yàn)證+測(cè)試”訓(xùn)練、調(diào)參、確定模型訓(xùn)練、調(diào)參、確定模型算法假設(shè)空間損失函數(shù)內(nèi)容生成可控性真相迭代優(yōu)化訓(xùn)練數(shù)據(jù)模型評(píng)估常用評(píng)估方法?數(shù)據(jù)集劃分為訓(xùn)練集算法假設(shè)空間損失函數(shù)內(nèi)容生成可控性真相迭代優(yōu)化訓(xùn)練數(shù)據(jù)模型評(píng)估常用評(píng)估方法?數(shù)據(jù)集劃分為訓(xùn)練集常用評(píng)估指標(biāo)常用評(píng)估指標(biāo)o模型選擇與模型評(píng)估為常見的用于優(yōu)化模型內(nèi)容生成質(zhì)量可控性的方式，根據(jù)具體問題和數(shù)據(jù)?模型選擇：模型選擇即在某個(gè)模型類中選擇最優(yōu)模型的決策過程，模型選擇通常包含驗(yàn)證誤差最小、過擬合與欠擬合、偏差與方差以及可解釋性等常用原則。不同模型適用于不同的數(shù)據(jù)分布和任務(wù)需求，因此選擇合適的模型對(duì)于提升模型性?模型評(píng)估：模型評(píng)估通?；谀Ｐ瓦x擇之后，正確地評(píng)估模型是迭代優(yōu)化模型的關(guān)鍵，常用的模型評(píng)估方式包括數(shù)據(jù)集劃分與交叉驗(yàn)證，根據(jù)不同場(chǎng)景，通過準(zhǔn)確率、精確率和召回率等常用指標(biāo)對(duì)模型性能進(jìn)行量化和優(yōu)化，從而提高模型的預(yù)測(cè)精度和泛化能力。來源：百度智能云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素生成式AI應(yīng)用構(gòu)建的過程涉及到數(shù)據(jù)、模型等安全合規(guī)問題，為用戶帶來隱私泄露、錯(cuò)誤決策等潛在風(fēng)險(xiǎn)，安全合規(guī)優(yōu)化在用戶權(quán)益與隱私保護(hù)、市場(chǎng)秩序與企業(yè)責(zé)任維護(hù)等方面至關(guān)重要，因此安全合規(guī)性為構(gòu)建生成式AI應(yīng)用的主?硬件兼容?硬件篡改?旁路攻擊硬件安全??硬件兼容?硬件篡改?旁路攻擊硬件安全?惡意軟件攻擊?服務(wù)拒絕攻擊?數(shù)據(jù)傳輸泄露?未授權(quán)訪問成員推斷攻擊屬性推斷攻擊模型反演模型竊取…對(duì)抗樣本投毒攻擊后門攻擊提示注入軟硬件模型保密性訓(xùn)練數(shù)據(jù)污染數(shù)據(jù)偏差數(shù)據(jù)集不一致性…數(shù)據(jù)完整性模型魯棒性數(shù)據(jù)模型魯棒性數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)隱私性模型可解釋性?敏感數(shù)據(jù)泄露?數(shù)據(jù)濫用?身份盜用?算法不透明?系統(tǒng)決策復(fù)雜?缺乏嚴(yán)格的數(shù)學(xué)證明o生成式AI應(yīng)用的構(gòu)建涉及到一系列數(shù)據(jù)與模型等安全合規(guī)性挑戰(zhàn)，為用戶帶來了隱私泄露、錯(cuò)?生成式AI應(yīng)用構(gòu)建安全合規(guī)的影響因素：生成式AI應(yīng)用構(gòu)建過程中主要受到軟硬件、數(shù)據(jù)和模型安全合規(guī)的影響，其中模型安全合規(guī)直接影響模型生成內(nèi)容，影響因素包含模型魯棒性、模型保密性以及模型可解釋性等。?安全合規(guī)優(yōu)化的重要性：首先，構(gòu)建生成式AI應(yīng)用的過程中需要處理大量的敏感數(shù)據(jù)和個(gè)人信息，安全合規(guī)的優(yōu)化將減少用戶或企業(yè)內(nèi)部隱私權(quán)益受到侵害的風(fēng)險(xiǎn)；其次，大模型的能力存在被用于惡性攻擊的風(fēng)險(xiǎn)，例如模型的對(duì)抗樣本攻擊可能導(dǎo)致誤導(dǎo)性信息的傳播，因此安全合規(guī)優(yōu)化在維護(hù)市場(chǎng)秩序?qū)用嬉仓陵P(guān)重要；最后，大模型往往涉及到社會(huì)倫理、算法歧視等問題也需要一定的安全合規(guī)措施優(yōu)化相關(guān)風(fēng)險(xiǎn)。來源：百度安全、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素在應(yīng)用構(gòu)建到業(yè)務(wù)部署過程中構(gòu)建完善的安全防御鏈路是優(yōu)化安全合規(guī)的基礎(chǔ)框架，根據(jù)已知風(fēng)險(xiǎn)攻擊、模型安全以及應(yīng)用部署架構(gòu)三個(gè)層次，可分別針對(duì)性地設(shè)計(jì)防御檢測(cè)機(jī)制，平臺(tái)可以為用戶提供全流程安全管理工具以實(shí)現(xiàn)全面的安全保障。安全率評(píng)估語料來源篩選監(jiān)督訓(xùn)練科學(xué)閾值安全率評(píng)估語料來源篩選監(jiān)督訓(xùn)練科學(xué)閾值安全策略配置…語料過濾清洗模型部署?防閃避攻擊?防藥餌攻擊?防后門攻擊安全策略配置…語料過濾清洗模型部署?防閃避攻擊?防藥餌攻擊?防后門攻擊模型推理?數(shù)據(jù)可解釋?模型可驗(yàn)證模型推理?數(shù)據(jù)可解釋?模型可驗(yàn)證?模型可解釋?隔離與檢測(cè)?冗余與熔斷?數(shù)據(jù)自恰性?隔離與檢測(cè)?冗余與熔斷?數(shù)據(jù)自恰性o從生成式AI應(yīng)用構(gòu)建到真實(shí)業(yè)務(wù)場(chǎng)景部署過程中，完善的安全合規(guī)防御架構(gòu)是優(yōu)化安全合規(guī)的?安全合規(guī)防御工作鏈可從三個(gè)層次進(jìn)行防御，首先是攻防安全設(shè)計(jì)，即針對(duì)已存在的攻擊進(jìn)行相關(guān)防御機(jī)制設(shè)計(jì)，包含防模型竊取等機(jī)制；其次模型安全層面可通過模型驗(yàn)證等防御機(jī)制提升模型健壯性；最后將相關(guān)應(yīng)用部署到實(shí)際業(yè)務(wù)場(chǎng)景中所面臨的風(fēng)險(xiǎn)，可通過隔離與檢測(cè)、冗余與熔斷等不同的安全機(jī)制保障整體的架構(gòu)安全。來源：華為、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素模型推理是將聯(lián)結(jié)終端場(chǎng)景需求的關(guān)鍵環(huán)節(jié)，隨著生成式AI所融合的業(yè)務(wù)場(chǎng)景愈發(fā)多樣化，推理在未來市場(chǎng)的發(fā)展?jié)摿薮?，但目前AI支出的主要部分仍集中在推理部分，因此推理成本的降低是助推AI技術(shù)發(fā)展、提升用戶對(duì)于生成式AI可及性的重要因素。94%芯片制造、電力消耗等成本高LLM參數(shù)越來越大，更大的模型意味著更高的計(jì)算需求硬件架構(gòu)和模型推理特性限制了推理效率50%25%0%94%芯片制造、電力消耗等成本高LLM參數(shù)越來越大，更大的模型意味著更高的計(jì)算需求硬件架構(gòu)和模型推理特性限制了推理效率50%25%0%97%96%93%90%業(yè)務(wù)場(chǎng)景愈發(fā)豐富，落地鏈路拉長(zhǎng)帶來的計(jì)算存儲(chǔ)資源501-1,000FTEs業(yè)務(wù)場(chǎng)景愈發(fā)豐富，落地鏈路拉長(zhǎng)帶來的計(jì)算存儲(chǔ)資源501-1,000FTEs5,000FTEs所有企業(yè)>26,000FTEs26,000FTEs根據(jù)MenloVentures調(diào)查數(shù)據(jù)顯示，幾乎95%的AI支出都用于推理而非訓(xùn)練，因此降低推理成本o生成式AI推理成本占據(jù)支出的主要部分，且隨著生成式AI落地場(chǎng)景愈發(fā)豐富，計(jì)算需求不斷提?生成式AI推理成本的影響因素：生成式AI推理成本主要受到生產(chǎn)資料成本、計(jì)算需求、推理效率以及落地鏈路長(zhǎng)度等多方因素影響。在生成式AI與各業(yè)務(wù)場(chǎng)景融合的顯著趨勢(shì)下，為了滿足各業(yè)務(wù)場(chǎng)景多樣復(fù)雜的需求，通常需要更高的計(jì)算資源和存儲(chǔ)資源，進(jìn)而導(dǎo)致推理過程?降低生成式AI推理成本的重要性：首先，AI推理與用戶終端場(chǎng)景需求更為緊密，是將AI技術(shù)從實(shí)驗(yàn)室搬到實(shí)際應(yīng)用的關(guān)鍵步驟，AI推理在未來市場(chǎng)的發(fā)展?jié)摿薮?；其次，目前AI支出的主要部分集中在推理支出，推理成本的降低是提高用戶對(duì)于生成式AI應(yīng)用可及性與普惠性的關(guān)鍵因素。來源：MenloVentures、百度智能云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素模型推理優(yōu)化技術(shù)可從數(shù)據(jù)層、模型層與系統(tǒng)層全方位展開，其中模型層優(yōu)化措施使用較為廣泛，其包含知識(shí)蒸餾、模型剪枝、模型量化等在保證模型性能前提下，減小模型大小 ??基于軟提示詞的壓縮?檢索增強(qiáng)生成_____)_____)?Transformer替代架構(gòu)o模型推理優(yōu)化可分別從數(shù)據(jù)層、模型層以及系統(tǒng)層進(jìn)行全面優(yōu)化，其中知識(shí)蒸餾、模型量化等?數(shù)據(jù)層優(yōu)化：可分為輸入壓縮技術(shù)與輸出規(guī)劃技術(shù)，其中輸入壓縮包含提示詞剪枝等方式，通過對(duì)輸入內(nèi)容進(jìn)行相關(guān)性篩查、凝練與壓縮進(jìn)而優(yōu)化數(shù)據(jù)層輸入。?模型層優(yōu)化：分為高效結(jié)構(gòu)設(shè)計(jì)和模型壓縮技術(shù)，其中包含知識(shí)蒸餾、量化等方式的模型壓縮知識(shí)蒸餾：指通過讓小模型實(shí)現(xiàn)與大模型相近的性能達(dá)到推理成本降模型量化：通過將模型的浮點(diǎn)數(shù)參數(shù)轉(zhuǎn)換為低精度的定點(diǎn)數(shù)參數(shù)，從而減小模型的大小和模型剪枝：通過移除模型中的一些冗余參數(shù)來減少模型的大小，在保證模型性能的同時(shí)降低推理成本。?系統(tǒng)層優(yōu)化：系統(tǒng)層優(yōu)化涉及模型的前向傳遞到服務(wù)系統(tǒng)的全方位優(yōu)化，主要包含推理引擎與服務(wù)系統(tǒng)的優(yōu)化。來源：北京大學(xué)、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素大模型發(fā)展帶來了數(shù)據(jù)架構(gòu)新需求，生成式AI應(yīng)用在用戶企業(yè)內(nèi)部落地過程中，企業(yè)與模型的數(shù)據(jù)協(xié)同以及數(shù)據(jù)價(jià)值的釋放成為了“數(shù)據(jù)驅(qū)動(dòng)決策”過程中的重要考量因素，數(shù)據(jù)上下文數(shù)據(jù)向量數(shù)據(jù)庫數(shù)據(jù)加載與接入上下文數(shù)據(jù)向量數(shù)據(jù)庫嵌入模型數(shù)據(jù)管道嵌入模型數(shù)據(jù)管道（Python、（Python、LLM緩存API接口/插件提示示例PlaygroundLLM緩存API接口/插件提示示例Playground提問應(yīng)用托管LLM運(yùn)維應(yīng)用托管LLM運(yùn)維輸出評(píng)估頻繁的數(shù)據(jù)交互評(píng)估大模型在企業(yè)落地對(duì)數(shù)據(jù)體系的關(guān)鍵需求換方法??頻繁的數(shù)據(jù)交互帶來計(jì)算量倍增件工具和模型算法自動(dòng)化驅(qū)動(dòng)所提供的上下文數(shù)據(jù)o生成式AI應(yīng)用落地過程中，數(shù)據(jù)價(jià)值的釋放受到數(shù)據(jù)資產(chǎn)的統(tǒng)一性、計(jì)算能力的高效性以及方?生成式AI應(yīng)用數(shù)據(jù)價(jià)值釋放的影響因素：根據(jù)數(shù)據(jù)在生成式AI應(yīng)用在企業(yè)用戶內(nèi)部落地的流通過程，針對(duì)數(shù)據(jù)的加載和接入，數(shù)據(jù)的一致性與質(zhì)量為主要影響因素，該階段數(shù)據(jù)資產(chǎn)的統(tǒng)一為用戶的核心需求；其次針對(duì)編排框架部分，自動(dòng)化工具的操作性為主要影響因素，用戶可通過函數(shù)調(diào)用、數(shù)據(jù)清洗等工具提升數(shù)據(jù)處理效率與質(zhì)量；最后頻繁的數(shù)據(jù)流通帶來倍?生成式AI應(yīng)用數(shù)據(jù)價(jià)值釋放的重要性：在用戶對(duì)于個(gè)性化、定制化產(chǎn)品需求不斷增加的背景下，數(shù)據(jù)生命周期縮短，伴隨著數(shù)據(jù)的多樣性與復(fù)雜性增加，用戶的數(shù)據(jù)質(zhì)量和一致性難以保障。生成式AI應(yīng)用數(shù)據(jù)價(jià)值的釋放協(xié)助企業(yè)用戶的業(yè)務(wù)數(shù)據(jù)流通效率與協(xié)同性提升，進(jìn)而最大化利用生成式AI應(yīng)用的數(shù)據(jù)價(jià)值，驅(qū)動(dòng)用戶做出更精準(zhǔn)的決策。來源：a16z、《大模型趨勢(shì)下的企業(yè)數(shù)據(jù)體系思考》、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素生成式AI應(yīng)用數(shù)據(jù)價(jià)值的釋放可通過算力、模型以及決策三層形成完整的數(shù)據(jù)優(yōu)化閉環(huán)。其中模型優(yōu)化與決策優(yōu)化路徑較為輕量靈活，模型層，用戶主要通過RAG等方式將專向數(shù)據(jù)與大模型進(jìn)行結(jié)合產(chǎn)生獨(dú)特價(jià)值；決策優(yōu)化可通過“AI+BI”工具實(shí)現(xiàn)智能決策支持。o數(shù)據(jù)價(jià)值釋放優(yōu)化措施可分為三層，以計(jì)算能力的提升為優(yōu)化底座，支撐包含模型微調(diào)、數(shù)據(jù)?算力優(yōu)化層：算力優(yōu)化層主要包含硬件與軟件性能優(yōu)化，以支撐保證大?模型優(yōu)化層：模型優(yōu)化相較于算力優(yōu)化，在成本與靈活性上更具優(yōu)勢(shì)。企業(yè)用戶可通過使用RAG、模型微調(diào)或持續(xù)預(yù)訓(xùn)練，利用專有數(shù)據(jù)與模型進(jìn)行結(jié)合以產(chǎn)生獨(dú)特價(jià)值，助推生成式AI應(yīng)用持續(xù)發(fā)展。此外，針對(duì)需頻繁調(diào)用基模的情況下，企業(yè)用戶可采取數(shù)據(jù)緩存策略以降低?決策優(yōu)化層：決策優(yōu)化層通過AI與BI工具的結(jié)合，可依據(jù)用戶數(shù)據(jù)查詢和分析需求，通過BI應(yīng)用、增強(qiáng)分析等，提供進(jìn)一步深入分析，實(shí)現(xiàn)層層遞進(jìn)的智能決策支持。決策流 數(shù)據(jù)流數(shù)據(jù)流來源：百度智能云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素生成式AI產(chǎn)品應(yīng)用化包含產(chǎn)品應(yīng)用目標(biāo)設(shè)立、生成式AI工具選擇、產(chǎn)品流程整合以及用戶體驗(yàn)反饋等步驟，其中生成式界面設(shè)計(jì)以及與用戶的交互方式等為最直接影響產(chǎn)品應(yīng)用反饋與迭代的因素。產(chǎn)品應(yīng)用化是推動(dòng)生成式AI技術(shù)從實(shí)驗(yàn)理論邁向?qū)嵺`應(yīng)用的關(guān)鍵過程。o生成式AI產(chǎn)品應(yīng)用化通常包含產(chǎn)品目標(biāo)確立、生成式AI工具選擇、產(chǎn)品流程整合以及用戶體驗(yàn)關(guān)注等步驟，該過程不僅要求開發(fā)者關(guān)注技術(shù)前沿，更需要深刻理解業(yè)務(wù)需求，?生成式AI產(chǎn)品應(yīng)用化的影響因素：生成式AI產(chǎn)品應(yīng)用化流程圍繞用戶體驗(yàn)反哺產(chǎn)品應(yīng)用目標(biāo)設(shè)定，在用戶體驗(yàn)環(huán)節(jié)，生成式界面設(shè)計(jì)、與用戶的交互方式以及用戶的編輯體驗(yàn)等為最直接影響產(chǎn)品應(yīng)用化的因素；其次，產(chǎn)品目標(biāo)應(yīng)用定位與合適的工具選擇是產(chǎn)品成功的關(guān)鍵，包含業(yè)務(wù)場(chǎng)景的調(diào)研、生成式AI工具的功能價(jià)值、性能等因素；最后，在整合產(chǎn)品流程環(huán)節(jié)，?生成式AI產(chǎn)品應(yīng)用化的重要性：生成式AI產(chǎn)品應(yīng)用化是一項(xiàng)系統(tǒng)工程，其不僅是對(duì)前沿技術(shù)的持續(xù)關(guān)注、對(duì)業(yè)務(wù)場(chǎng)景的深度洞察、對(duì)模型持續(xù)優(yōu)化的精細(xì)調(diào)整以及對(duì)商業(yè)價(jià)值最大化的不懈探索等多項(xiàng)融合，更是推動(dòng)生成式AI技術(shù)從實(shí)驗(yàn)理論邁向?qū)嵺`應(yīng)用，從實(shí)驗(yàn)室走向市場(chǎng)的關(guān)鍵過程。?數(shù)據(jù)集成?模型訓(xùn)練和部署（確保?數(shù)據(jù)集成?模型訓(xùn)練和部署（確保模型可以準(zhǔn)確接受傳輸產(chǎn)品數(shù)據(jù)）?生成式AI工具的功能價(jià)值?生成式AI工具的易用性?生成式AI工具的性能?生成式AI工具的成本?設(shè)定具體且可衡量的目標(biāo)??設(shè)定具體且可衡量的目標(biāo)?定位明確的業(yè)務(wù)場(chǎng)景及目標(biāo)用戶生成式界面設(shè)計(jì)編輯體驗(yàn)交互方式設(shè)計(jì)…產(chǎn)品迭代優(yōu)化來源：百度云、阿里云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)三用戶考量因素生成式AI產(chǎn)品應(yīng)用化可從最為直接的用戶交互體驗(yàn)進(jìn)行優(yōu)化，平臺(tái)可以對(duì)用戶操作界面設(shè)計(jì)創(chuàng)新，例如融合了LUI與GUI交互的CUI對(duì)話式用戶界面，通過更加直觀和自然的語言交互以降低用戶的操作難度，為用戶提供更智能便捷的交互方式，進(jìn)而優(yōu)化產(chǎn)品的用戶體驗(yàn)。核心優(yōu)勢(shì)：以更加直觀和自然的語言交互，降低用戶操作難度，直接通過語音或文字與系統(tǒng)進(jìn)行對(duì)話本質(zhì)是解決“溝通成本”o為優(yōu)化用戶體驗(yàn)，生成式AI產(chǎn)品的用戶界面設(shè)計(jì)不斷演變，為改善傳統(tǒng)GUI交互方式的高學(xué)習(xí)?CUI（對(duì)話式用戶界面）：CUI是一種允許用戶通過自然語言對(duì)話與計(jì)算機(jī)系統(tǒng)或者軟件進(jìn)行交互的技術(shù)，旨在模擬與真人對(duì)話，為用戶提供更為靈活與便捷的交互方式。較于傳統(tǒng)的GUI和LUI交互，CUI融合了兩者的優(yōu)點(diǎn)，即GUI的清晰指引與LUI的靈活交互，解決了傳統(tǒng)GUI交互下，各種功能與圖標(biāo)的操作復(fù)雜性。目前CUI交互技術(shù)仍處于發(fā)展前期，區(qū)別于以往UI設(shè)計(jì)師所設(shè)計(jì)的GUI交互，CUI涉及到跨學(xué)科的合作，設(shè)計(jì)師需要更加注重語言邏輯和用戶體驗(yàn)，深入理解用戶的語言行為與需求以設(shè)計(jì)出好的CUI，從而優(yōu)化用戶的交互體驗(yàn)。來源：阿里云、沙利文頭豹400-072-5588頭豹?目前生成式AI技術(shù)棧工具與系統(tǒng)存在碎片化與不兼容性等難題，模塊化與標(biāo)準(zhǔn)化將成為未來重要發(fā)展方向。通過將技術(shù)棧劃分為一系列的模塊和標(biāo)準(zhǔn)化接口，進(jìn)而更方便地進(jìn)行組件替換與升級(jí)，提高系統(tǒng)的靈活性與可擴(kuò)展性。?生成式AI技術(shù)?；谀Ｐ烷_發(fā)、場(chǎng)景適配、推理部署以及產(chǎn)用開發(fā)生態(tài)，形成一站式的開發(fā)服務(wù)平臺(tái)。此外，與平臺(tái)化并行的是平臺(tái)的簡(jiǎn)易通過易用工具與開放式API的提供，降低用戶開發(fā)門檻，為用戶提供操作性強(qiáng)的完?目前AI系統(tǒng)仍多依賴于中心化架構(gòu)以便高效的管理與控制，但隨之帶來了數(shù)?旨在通過一系列工具與服務(wù)協(xié)助用戶降低模型開發(fā)門檻的MaaS模式將成為未來大模型的主流商業(yè)模式，并對(duì)生成式AI應(yīng)用在商業(yè)化生態(tài)、產(chǎn)品落地等方面產(chǎn)生連帶影?GenAI作為底層創(chuàng)新技術(shù)，對(duì)于信息商品各環(huán)節(jié)產(chǎn)生了全面的、革命性的影響，此外，GenAI孕育著創(chuàng)造新信息商品類型的巨大空間，這也助推了全新產(chǎn)品時(shí)代與超頭豹沙利文市場(chǎng)研讀章節(jié)四發(fā)展趨勢(shì)目前生成式AI技術(shù)棧工具與系統(tǒng)存在碎片化與不兼容性等難題，模塊化與標(biāo)準(zhǔn)化將成為未來重要發(fā)展方向。通過將技術(shù)棧劃分為一系列的模塊和標(biāo)準(zhǔn)化接口，進(jìn)而更方便地進(jìn)行組件替換與升級(jí)，提高系統(tǒng)的靈活性與可擴(kuò)展性。?依賴關(guān)系管理便捷o模塊化與標(biāo)準(zhǔn)化是許多領(lǐng)域的普遍原則，長(zhǎng)期以來深度學(xué)習(xí)領(lǐng)域一直在尋求從模塊化中獲得靈感。隨著生成式AI技術(shù)棧的復(fù)雜性不斷增加，通過將技術(shù)棧劃分為一系列的模塊和標(biāo)準(zhǔn)化接口?技術(shù)棧碎片化現(xiàn)狀：目前生成式AI技術(shù)棧面臨系統(tǒng)和工具鏈互不兼容和碎片化難題，各種多樣復(fù)雜的工具鏈屬于技術(shù)大蔓延下的產(chǎn)物，他們各有取舍和局限性，且在模式的易用性、可移植性以及可擴(kuò)展層面阻礙了技術(shù)的創(chuàng)新。因此，模塊化和標(biāo)準(zhǔn)化將成為未來發(fā)展的重要方向，通過將生成式AI技術(shù)棧棧劃分為一系列獨(dú)立和標(biāo)準(zhǔn)化接口，進(jìn)而方便地進(jìn)行組件的替換和升級(jí)，提高系統(tǒng)的靈活性和可擴(kuò)展性。?模塊化與標(biāo)準(zhǔn)化價(jià)值：技術(shù)棧模塊化與標(biāo)準(zhǔn)化的價(jià)值體現(xiàn)在維護(hù)便捷、系統(tǒng)靈活與可擴(kuò)展性、維護(hù)便捷性：由于技術(shù)棧被分解為多個(gè)獨(dú)立模塊，因此在維護(hù)升級(jí)時(shí)，無需對(duì)整個(gè)系統(tǒng)進(jìn)行大規(guī)模的拆卸與重組，僅需對(duì)存在問題的模塊單獨(dú)替換維修即可，大幅降低維修成本。系統(tǒng)靈活性與可擴(kuò)展性：通過模塊化與標(biāo)準(zhǔn)化，技術(shù)棧可根據(jù)不同的需求選擇與組合對(duì)應(yīng)可復(fù)用性：標(biāo)準(zhǔn)化接口確保了不同模塊間的兼容性與互操作性，無論是更換現(xiàn)有模塊還是添加新模塊，標(biāo)準(zhǔn)化接口都能保證系統(tǒng)運(yùn)行的穩(wěn)定性。來源：百度智能云、ModularityinDeepLearning:ASurvey、沙利文頭豹頭豹d400-072-5588d沙利文市場(chǎng)研讀章節(jié)四發(fā)展趨勢(shì)生成式AI技術(shù)?；谀Ｐ烷_發(fā)、場(chǎng)景適配、推理部署以及產(chǎn)品應(yīng)用將進(jìn)一步完善應(yīng)用開發(fā)生態(tài)，形成一站式的開發(fā)服務(wù)平臺(tái)。此外，與平臺(tái)化并行的是平臺(tái)的簡(jiǎn)易化，通過易用工具與開放式API的提供，降低用戶開發(fā)門檻，為用戶提供操作性強(qiáng)的完整的開發(fā)解決方案。應(yīng)用層調(diào)優(yōu)參數(shù)高效微調(diào)…加密部署…數(shù)據(jù)增強(qiáng)模型清洗應(yīng)用層調(diào)優(yōu)參數(shù)高效微調(diào)…加密部署…數(shù)據(jù)增強(qiáng)模型清洗分布式訓(xùn)練…Agent…Agent…o基于模型開發(fā)、場(chǎng)景適配、推理部署以及產(chǎn)品應(yīng)用，生成式AI技術(shù)棧逐步趨于一站式平臺(tái)化與?技術(shù)棧平臺(tái)化現(xiàn)狀：目前部分頭部廠商已針對(duì)用戶構(gòu)建產(chǎn)品的需求，將算法與生產(chǎn)服務(wù)融合，形成完善的應(yīng)用開發(fā)生態(tài)，為用戶提供一站式開發(fā)解決方案。隨著開發(fā)平臺(tái)的進(jìn)一步發(fā)展成熟，生成式AI平臺(tái)化生態(tài)將愈發(fā)完善，并實(shí)現(xiàn)規(guī)?；瘧?yīng)用。?技術(shù)棧平臺(tái)化與簡(jiǎn)易化價(jià)值：參考移動(dòng)互聯(lián)網(wǎng)時(shí)代的端轉(zhuǎn)手趨勢(shì)，主流應(yīng)用將展開向AI平臺(tái)的遷移，即迅速適應(yīng)并布局生成式AI大模型內(nèi)的AI插件，探索AI加持下自身應(yīng)用的新場(chǎng)景。這些應(yīng)用可以依賴大模型的AI技術(shù)提高用戶體驗(yàn)，而大模型則借助這些應(yīng)用吸引更多用戶，網(wǎng)絡(luò)效應(yīng)進(jìn)一步加強(qiáng)了這種相互促進(jìn)的趨勢(shì)，從而提升大模型平臺(tái)的生態(tài)價(jià)值；大模型的簡(jiǎn)易化則指使模型的使用更加簡(jiǎn)單易懂，通過工具的易用性、開放的API接口等形式，進(jìn)而降低開發(fā)者使用門檻。技術(shù)棧的簡(jiǎn)易化不僅降低了開發(fā)門檻，更是提升了用戶的可操作性與開發(fā)來源：阿里云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)四發(fā)展趨勢(shì)目前AI系統(tǒng)仍多依賴于中心化架構(gòu)以便高效的管理與控制，但隨之帶來了數(shù)據(jù)隱私等風(fēng)險(xiǎn)。AI去中心化旨在將AI的開發(fā)、部署以及控制權(quán)分散到多個(gè)實(shí)體或用戶之間，以提高透明度、減少濫用風(fēng)險(xiǎn)，是未來發(fā)展的一大趨勢(shì)。?AI中心化現(xiàn)狀：現(xiàn)今，AI系統(tǒng)大多依賴于中心化的架構(gòu)，中心化架構(gòu)雖便于高效的管理與控制，但也存在數(shù)據(jù)隱私、壟斷以及可持續(xù)發(fā)展等一系列潛在風(fēng)險(xiǎn)。因此，去中心化架構(gòu)成為未來發(fā)展主要考量，去中心化架構(gòu)特點(diǎn)主要包含去中心化控制、分布式計(jì)算資源以及透明度與參與度等。去中心架構(gòu)下，數(shù)據(jù)和算法的控制權(quán)分布在網(wǎng)絡(luò)的多個(gè)節(jié)點(diǎn)，計(jì)算資源由多個(gè)參與者提供，并通過協(xié)作或聯(lián)合學(xué)習(xí)共同處理復(fù)雜任務(wù)，且所有參與者都有幾乎參與AI決策過程。?AI去中心化價(jià)值：去中心化架構(gòu)的優(yōu)勢(shì)主要體現(xiàn)在數(shù)據(jù)隱私保護(hù)、壟斷減少、魯棒性與容錯(cuò)維護(hù)便捷性：由于技術(shù)棧被分解為多個(gè)獨(dú)立模塊，因此在維護(hù)升級(jí)時(shí)，無需對(duì)整個(gè)系統(tǒng)進(jìn)行大規(guī)模的拆卸與重組，僅需對(duì)存在問題的模塊單獨(dú)替換維修即可，大幅降低維修成本。系統(tǒng)靈活性與可擴(kuò)展性：通過模塊化與標(biāo)準(zhǔn)化，技術(shù)棧可根據(jù)不同的需求選擇與組合對(duì)應(yīng)可復(fù)用性：標(biāo)準(zhǔn)化接口確保了不同模塊間的兼容性與互操作性，無論是更換現(xiàn)有模塊還是添加新模塊，標(biāo)準(zhǔn)化接口都能保證系統(tǒng)運(yùn)行的穩(wěn)來源：阿里云、百度智能云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)四發(fā)展趨勢(shì)旨在通過一系列工具與服務(wù)協(xié)助用戶降低模型開流商業(yè)模式，并對(duì)生成式AI應(yīng)用在商業(yè)化生態(tài)、產(chǎn)品落地等方面產(chǎn)生連帶影響，反向重構(gòu)SaaS應(yīng)用基于API接口基于API接口優(yōu)化微調(diào)提供SDK產(chǎn)品/一體化解決方案變現(xiàn)NLP大模型AI4S大模型NLP大模型CV大模型CV大模型計(jì)算/存儲(chǔ)/網(wǎng)絡(luò)/數(shù)據(jù)庫公有云/私有云/GPU/XPUoMaaS旨在通過一些列工具服務(wù)的集合，持?MaaS模式結(jié)構(gòu)：MaaS模式由基礎(chǔ)層、中間層以及應(yīng)用層三部分構(gòu)建。其中基礎(chǔ)層提供基模型與領(lǐng)域大模型，對(duì)外開放大模型的調(diào)用接口；中間層將付費(fèi)使用接口，通過直接調(diào)用基模型，基于行業(yè)特色數(shù)據(jù)和知識(shí)進(jìn)行精調(diào)開發(fā)行業(yè)大模型；應(yīng)用層則將進(jìn)行多樣化的SaaS應(yīng)用以及新一代智能硬件的開發(fā)?；A(chǔ)層需依托大算力、大數(shù)據(jù)以及強(qiáng)算法等核心能力，因此科技頭部企業(yè)以及部分科研高效競(jìng)爭(zhēng)聚集于底層；中間層與應(yīng)用層包含模型精調(diào)、應(yīng)用開發(fā)、邊緣模型部署等多領(lǐng)域生態(tài)，包含初創(chuàng)企業(yè)在內(nèi)的各類企業(yè)均有望參與到MaaS商業(yè)化生態(tài)。?B/G端與C端用戶落地差異化：針對(duì)C端市場(chǎng)，MaaS落地的主流商業(yè)模式為軟件訂閱費(fèi)用，以及第三方APP的推廣和訂閱分成費(fèi)用，基礎(chǔ)層大模型供應(yīng)商可基于大模型推出類似ChatGPT的單點(diǎn)工具，以訂閱費(fèi)提供產(chǎn)品功能使用；針對(duì)B/G端用戶，其行業(yè)領(lǐng)域和業(yè)務(wù)場(chǎng)景需進(jìn)行大量工程工作，但該類用戶付費(fèi)能力強(qiáng)，盈利空間廣闊，MaaS落地的主流商業(yè)模式將按照數(shù)據(jù)請(qǐng)求量和實(shí)際計(jì)算量進(jìn)行收費(fèi)，通過對(duì)外開放大模型的API調(diào)用接口，讓開發(fā)者靈活地使用基礎(chǔ)模來源：百度智能云、沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)四發(fā)展趨勢(shì)GenAI作為底層創(chuàng)新技術(shù)，對(duì)于信息商品各環(huán)節(jié)產(chǎn)生了全面的、革命性的影響，此外，GenAI孕育著創(chuàng)造新信息商品類型的巨大空間，這也助推了全新產(chǎn)品時(shí)代與超級(jí)產(chǎn)品誕生o信息商品是指以某類信息為核心價(jià)值的產(chǎn)品。GenAI的發(fā)展將對(duì)信息商品從生產(chǎn)、分配與消費(fèi)三個(gè)經(jīng)濟(jì)環(huán)節(jié)產(chǎn)生影響，其中生產(chǎn)環(huán)節(jié)的生產(chǎn)要素與生產(chǎn)范圍的變化最為深刻，并對(duì)分配與消?信息商品的生產(chǎn)效率將脫離生產(chǎn)者的時(shí)間和精力限制：創(chuàng)意和算力將成為信息商品的關(guān)鍵生產(chǎn)要素?信息商品的生產(chǎn)范圍將更加社會(huì)化?信息商品生產(chǎn)端到終端訂單需求的邏輯變化由“需求決定分配”轉(zhuǎn)向“需求決定生產(chǎn)”，中間分配環(huán)節(jié)將弱化甚至消失?用戶消費(fèi)的信息商品類型由GenAI算法能力決定?用戶與信息商品交互的方式由GUI向CUI進(jìn)行轉(zhuǎn)變：從追求效率轉(zhuǎn)向效率與靈活度兼?zhèn)鋙GenAI不僅對(duì)已有信息產(chǎn)品類型產(chǎn)生oGenAI不僅對(duì)已有信息產(chǎn)品類型產(chǎn)生深刻的影響，且孕育著創(chuàng)造新信息?對(duì)已有信息類型的影響，能力、質(zhì)量、效率三個(gè)評(píng)價(jià)維度分別決力、兌現(xiàn)價(jià)值以及商業(yè)可行性。?對(duì)于新信息商品類型尚無具體性方向，但可交互的信息以及信息的模態(tài)融合在GenAI技術(shù)發(fā)展下存在較大新產(chǎn)品形態(tài)的可能性。對(duì)已有信息商品類型影響在哪些信息商品類型中發(fā)種信息商品中能夠兌現(xiàn)的價(jià)值和被兌現(xiàn)的方式種信息商品中的商業(yè)可行來源：沙利文400-072-5588頭豹頭豹沙利文市場(chǎng)研讀章節(jié)五競(jìng)爭(zhēng)力分析針對(duì)用戶構(gòu)建GenAI應(yīng)用面臨的匹配需求難、數(shù)據(jù)與隱私安全、輸出質(zhì)量以及推理成本等挑戰(zhàn)，GenAI技術(shù)棧廠商是否有匹配高效的工具及技術(shù)經(jīng)驗(yàn)協(xié)助用戶更便捷、安全地構(gòu)建來源：沙利文頭豹400-072-5588沙利文市場(chǎng)研讀章節(jié)五競(jìng)爭(zhēng)力分析本報(bào)告設(shè)立創(chuàng)新指數(shù)評(píng)估體系對(duì)GenAI技術(shù)棧進(jìn)行評(píng)價(jià)及分析，下設(shè)工作流構(gòu)建、數(shù)據(jù)與存儲(chǔ)、AI算力基礎(chǔ)設(shè)施與模型部署、模型質(zhì)量、應(yīng)用的高效構(gòu)建五大指工作流構(gòu)建工作流構(gòu)建支持工具與方案編排框架的兼容、工作流支持的目標(biāo)用例、工作流的持續(xù)優(yōu)化、可配置觸發(fā)器功能、跨團(tuán)隊(duì)協(xié)作等全局?jǐn)?shù)據(jù)治理組織內(nèi)部的數(shù)據(jù)聯(lián)通、數(shù)據(jù)質(zhì)量與一致性、全局?jǐn)?shù)據(jù)治理組織內(nèi)部的數(shù)據(jù)聯(lián)通、數(shù)據(jù)質(zhì)量與一致性、數(shù)據(jù)隱私保護(hù)、數(shù)據(jù)共享、配置方式設(shè)置、數(shù)據(jù)與存儲(chǔ)數(shù)據(jù)存儲(chǔ)部署技術(shù)棧一體式融合的數(shù)據(jù)存儲(chǔ)解決方案、GenAI專用功能集、GenAI數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施等AAI芯片類型、算力資源的管理與分配、LaC能力、預(yù)置吞吐量與成本效率優(yōu)化等高性能編譯器和運(yùn)行時(shí)、推理GPU優(yōu)化、推理加速工具集成、自研網(wǎng)絡(luò)架構(gòu)等算力供給能力算力供給能力資源利用率優(yōu)化管理AAI算力基礎(chǔ)設(shè)施與模型部署模型部署成本優(yōu)化資源配置商業(yè)模式支持、優(yōu)化咨詢服務(wù)、模型部署成本優(yōu)化資源配置商業(yè)模式支持、優(yōu)化咨詢服務(wù)、靈活的部署模式等模型質(zhì)量模型質(zhì)量模型微調(diào)緩存與記憶模型評(píng)估調(diào)優(yōu)與微調(diào)方式、精調(diào)模版、全流程自動(dòng)調(diào)優(yōu)功能等長(zhǎng)期記憶功能支持、數(shù)據(jù)庫方式讀寫用戶結(jié)構(gòu)化信息輸入模型評(píng)估模式支持、打分指標(biāo)、精確度驗(yàn)證基準(zhǔn)、測(cè)試數(shù)據(jù)集等精煉壓縮模型模型壓縮技巧、模型壓縮適配支持等應(yīng)用的高效構(gòu)建應(yīng)用工具及方案企業(yè)級(jí)生成式AI應(yīng)用、無代碼自動(dòng)化生成、生成式AI安全隱私的功能和設(shè)計(jì)等來源：沙利文頭豹400-072-5588頭豹沙利文市場(chǎng)研讀章節(jié)五競(jìng)爭(zhēng)力分析本報(bào)告設(shè)立增長(zhǎng)指數(shù)評(píng)估體系對(duì)GenAI技術(shù)棧進(jìn)行評(píng)價(jià)及分析，下設(shè)基礎(chǔ)模型觸達(dá)、合規(guī)與安全、應(yīng)用開發(fā)交互、生態(tài)建設(shè)支持、行業(yè)客基礎(chǔ)模型觸達(dá)基礎(chǔ)模型適配性平臺(tái)內(nèi)置的各模態(tài)基模、基模配置的額外性能適配工具、基模的適用性評(píng)估等基礎(chǔ)模型可訪問性基模的選擇配置方式、模型庫與配置的一致性、基模推理方式、基模延遲優(yōu)化等模型合規(guī)性模型合規(guī)性GenAI模型與應(yīng)用的安全互動(dòng)、數(shù)據(jù)安全、模型常態(tài)化監(jiān)測(cè)、合規(guī)認(rèn)證、權(quán)限管理等合規(guī)與安全用戶操作合規(guī)性用戶權(quán)限設(shè)置、用戶權(quán)限保障、角色定義權(quán)限等應(yīng)用開發(fā)交互用戶交互體驗(yàn)團(tuán)隊(duì)開發(fā)協(xié)作共享、原子能力與應(yīng)用組建、用戶操作界面設(shè)計(jì)、語言支持、跨平臺(tái)部署等生態(tài)建設(shè)支持可持續(xù)發(fā)展性廠商服務(wù)支持與文檔用戶規(guī)模研發(fā)投入、規(guī)范與標(biāo)準(zhǔn)編撰、研究論文與課題發(fā)布、專利數(shù)量、人才培育、合作生用戶培訓(xùn)、服務(wù)支持渠道、服務(wù)響應(yīng)標(biāo)準(zhǔn)、規(guī)范化支持文檔等個(gè)人用戶規(guī)模及付費(fèi)用戶比例、企業(yè)用戶規(guī)模及付費(fèi)用戶比例、平臺(tái)注冊(cè)用戶基數(shù)增速行業(yè)客戶與場(chǎng)景應(yīng)用方案行業(yè)客戶與場(chǎng)景應(yīng)用方案各應(yīng)用行業(yè)（金融、醫(yī)療等）各行業(yè)的覆蓋場(chǎng)景、細(xì)分場(chǎng)景的服務(wù)功能、采用的優(yōu)勢(shì)技術(shù)與服務(wù)來源：沙利文頭豹400-072-5588頭豹?RAG：檢索增強(qiáng)生成（RAG）是一種優(yōu)化大型語言模型（LLM）輸出的方法，使其能夠在生成響應(yīng)之前引用訓(xùn)練數(shù)據(jù)之外的權(quán)威知識(shí)庫。RAG在LLM強(qiáng)大功能的基礎(chǔ)上，通過訪問特定領(lǐng)域或組織的內(nèi)部知識(shí)庫，而無需重新訓(xùn)練模型，進(jìn)一步提升了其輸出的相關(guān)性、準(zhǔn)確性和實(shí)用性。這是一種經(jīng)濟(jì)高效的改進(jìn)方法，適用于各種情境。?智能體:智能體（Agent），作為人工智能領(lǐng)域的一個(gè)重要概念，是指能夠自主感知環(huán)境、做出決策并執(zhí)行行動(dòng)的系統(tǒng)。它具備自主性、交互性、反應(yīng)性和適應(yīng)性等基本特征，能夠在復(fù)雜多變的環(huán)境中獨(dú)立完成任務(wù)。智能體的出現(xiàn)，標(biāo)志著人工智能從簡(jiǎn)單的?向量數(shù)據(jù)庫:向量數(shù)據(jù)庫是專門用來存儲(chǔ)和查詢向量的數(shù)據(jù)庫，其存儲(chǔ)的向量來自于對(duì)文本、語音、圖像、視頻等的向量化。與傳統(tǒng)數(shù)據(jù)庫相比，向量數(shù)據(jù)庫可以處理更多非結(jié)構(gòu)化數(shù)據(jù)（比如圖像和音頻）。在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中，數(shù)據(jù)通常以向量形式表?HMM模型：隱馬爾可夫模型（HiddenMarkovModel，簡(jiǎn)稱HMM）是一種統(tǒng)計(jì)模型，用于描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過程。其難點(diǎn)在于存在被隱藏的無法直接觀察到的狀態(tài)，但可以通過觀察到的事件來推斷這些狀態(tài)的概率。H?CTF:CTF（CaptureTheFlag）奪旗賽，在網(wǎng)絡(luò)安全領(lǐng)域中指的是網(wǎng)絡(luò)安全技術(shù)人員之間進(jìn)行技術(shù)競(jìng)技的一種比賽形式。?卷積網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深?ResNet:殘差神經(jīng)網(wǎng)絡(luò)（ResNet）是一種深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的架構(gòu)，它通過引入“殘差學(xué)習(xí)”來解決深度網(wǎng)絡(luò)訓(xùn)練中的退化問題。通過繞過某些中間層級(jí)，將層的激活值直接鏈接到后續(xù)層，從而創(chuàng)建一個(gè)殘差塊。這些殘差塊被堆疊起來以創(chuàng)建ResNet。?Attention:Attention機(jī)制，又稱為注意力機(jī)制，是一種能讓模型對(duì)重要信息重點(diǎn)關(guān)注并充分學(xué)習(xí)吸收的技術(shù)。它來源于人類的視覺注意力機(jī)制，可以算是仿生學(xué)的一個(gè)應(yīng)用。人類視覺通過快速掃描全局圖像，獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，而后對(duì)這一區(qū)域投入更多注意力資源，以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息，而抑制其他無用信息。Attention最早出現(xiàn)在遞歸神經(jīng)網(wǎng)絡(luò)（RNN?Transformer:Transformer是一種用于處理序列數(shù)據(jù)的深度學(xué)習(xí)模型，最核心的特點(diǎn)是使用了自注意力機(jī)制和位置編碼。最初處理序列到序列的任務(wù)，如機(jī)器翻譯，現(xiàn)在被廣泛應(yīng)用于各種自然語言處理任務(wù)。它允許模型捕捉序列內(nèi)的復(fù)雜依賴關(guān)系和關(guān)聯(lián)?BERT:BERT代表雙向編碼器表示來自Transformer（BERT），用于高效地將高度非結(jié)構(gòu)化的文本數(shù)據(jù)表示為向量。BERT是一個(gè)經(jīng)過訓(xùn)練的Transformer編碼器堆棧。?LLaMA:LLaMA（LargeLanguageModelMetaAI）是MetaAI公司于2023年2月發(fā)布的大型語言模型。它訓(xùn)練了各種模型，這些模型的參數(shù)從70億到650億不等。?GLM:在統(tǒng)計(jì)學(xué)上，廣義線性模型（generalizedlinearmodel，縮寫作GLM）是一種應(yīng)用靈活的線性回歸模型。該模型允許因變量的偏差分布有除了正態(tài)分布之外的其它分布。?閉源模型:閉源模型通常由個(gè)人、企業(yè)或機(jī)構(gòu)開發(fā)并保密，其源代碼、數(shù)據(jù)集和技術(shù)細(xì)節(jié)不對(duì)外公開，通常作為商業(yè)產(chǎn)品進(jìn)行銷售?開源模型:開源模型是指那些源代碼、訓(xùn)練數(shù)據(jù)和技術(shù)文檔公開的人工智能大模型。這種開放性允許任何人查看、修改和分發(fā)模?API：應(yīng)用程序編程接口（ApplicationProgrammingInterface，簡(jiǎn)稱：API），是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開發(fā)人員基于某軟件或硬件得以訪問一組例程的能力，而又無需訪問源碼，或理解內(nèi)部工作機(jī)制的細(xì)?MLOps：MLOps（機(jī)器學(xué)習(xí)操作）是一種范式，包括機(jī)器學(xué)習(xí)產(chǎn)品的端到端概念化、實(shí)施、監(jiān)控、部署和可擴(kuò)展性等方面的最佳實(shí)?Prompt：Prompt是一種基于人工智能（AI）指令的技術(shù)，通過明確而具體的指導(dǎo)語言模型的輸出。在提示詞工程中，Prompt的定義涵蓋了任務(wù)、指令和角色三個(gè)主要元素，以確保模型生成符合用戶需求的文本。?LoRA：LoRa是一種低功耗、遠(yuǎn)距離的局域網(wǎng)無線標(biāo)準(zhǔn)，由Semtech公司開發(fā)。它基于chirpspreadspectrum(CSS)擴(kuò)頻調(diào)通過線性頻率調(diào)制產(chǎn)生“啁啾”信號(hào)，實(shí)現(xiàn)在強(qiáng)干擾環(huán)境下的遠(yuǎn)距離傳輸。?全量SFT：SFT，全稱為SoftmaxFine-Tuning，是近年來在自然語言處理（NLP）及深度學(xué)習(xí)領(lǐng)域興起的一種技術(shù)方法。SFT作為一種更為精細(xì)的調(diào)優(yōu)手段，旨在通過調(diào)整模型輸出層的So頭豹400-072-5588?剪枝：剪枝是一種優(yōu)化技術(shù)，用于減小模型大小并加速推理過程。在深度學(xué)習(xí)中，剪枝分為結(jié)構(gòu)化剪枝和非結(jié)構(gòu)化剪枝，可以在每層或多層上進(jìn)行。PyTorch提供了強(qiáng)大的剪枝功能，但剪枝后的模型需要重新訓(xùn)練以保持性能。?SoT：SoT（SystemonaTape）是一種封裝技術(shù)，用于集成電路封裝，以提高電路的密度和性能。?FFN：FFN代表前饋神經(jīng)網(wǎng)絡(luò)（Feed-ForwardNeuralNetwork），是深度學(xué)習(xí)中最基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)之一。它由輸入層、隱藏層和輸出層組成，數(shù)據(jù)從輸入層到輸出層單向傳播，不發(fā)生回流。在Transformer架構(gòu)中，F(xiàn)FN是一個(gè)重要組成部分，通常位于自注意力層之后。FFN通常包含兩個(gè)線性變換，它們之間有一個(gè)非線性激活函數(shù)。第一個(gè)線性層將輸入特征映射到一個(gè)較大的維度，這稱為?算子：算子是一個(gè)數(shù)學(xué)概念，用來描述某種操作或變換。在不同領(lǐng)域中，算子有廣泛的應(yīng)用，例如在物理學(xué)中描述物理量之間的關(guān)系，工程學(xué)中描述系統(tǒng)的動(dòng)態(tài)行為，以及計(jì)算機(jī)科學(xué)中描述算法和數(shù)據(jù)結(jié)構(gòu)的變化。算子