2025大模型技術(shù)發(fā)展及治理實(shí)踐報(bào)告

原生多模態(tài)成為發(fā)展主 超長(zhǎng)上下文理解能力不斷突 傳統(tǒng)人機(jī)交互方式被顛覆重 大模型的應(yīng)用模式日益豐富、產(chǎn)業(yè)生態(tài)愈 算力短缺問(wèn)題突出，制約大模型持續(xù)發(fā) 模型結(jié)構(gòu)創(chuàng)新難度大，可解釋性問(wèn)題加 高質(zhì)量數(shù)據(jù)供給不足，成為模型訓(xùn)練新瓶 大模型的技術(shù)特性帶來(lái)了新的安全風(fēng)

大模型的訓(xùn)練強(qiáng)依賴(lài)大規(guī)模的基礎(chǔ)設(shè)34資源挑 技術(shù)挑 公共云為訓(xùn)練全球領(lǐng)先的大模型提供必要條 公共云提供高效率和低成 公共云為大模型提供全面安全保 算力短缺的根本原因是供應(yīng)無(wú)法滿足需 公共云最大化發(fā)揮稀缺計(jì)算資源的價(jià)值，推 公共云可協(xié)同利用多來(lái)源算力，豐富算力生

開(kāi)源生態(tài)對(duì)于大模型的誕生具有基礎(chǔ)46開(kāi)源生態(tài)是大模型技術(shù)發(fā)展和應(yīng)用推48大模型開(kāi)源的核心意義是普 開(kāi)源生態(tài)助力提升大模型透明度與安全 開(kāi)源生態(tài)加速大模型發(fā)展和應(yīng) 開(kāi)源生態(tài)助力我國(guó)搶占產(chǎn)業(yè)生態(tài)制高 開(kāi)源生態(tài)促進(jìn)多方協(xié)同安全治 開(kāi)源生態(tài)確保模型安全評(píng)估客觀公 開(kāi)源生態(tài)幫助建立業(yè)界對(duì)大模型技術(shù)的信 合成數(shù)據(jù)是解決高質(zhì)量訓(xùn)練數(shù)據(jù)供給58構(gòu)建更匹配模型部署要求的高質(zhì)量應(yīng)61數(shù)據(jù)上云推動(dòng)模型應(yīng)用數(shù)據(jù)生態(tài)建設(shè)，提供保61檢索增強(qiáng)是模型高質(zhì)量用數(shù)的可行方 以更開(kāi)放、務(wù)實(shí)、多元的方式促進(jìn)高質(zhì)量數(shù)

法律法規(guī)、標(biāo)準(zhǔn)規(guī)范、倫理道德原則的性質(zhì) 組織保障是一切體系化治理能力的基 圍繞全生命周期的技術(shù)治理措 針對(duì)用途和場(chǎng)景的應(yīng)用風(fēng)險(xiǎn)治 以安全使用管理防范濫用誤用行 多方協(xié)同治理的價(jià) 多方協(xié)同治理的特 多方協(xié)同治理中的產(chǎn)業(yè)貢

個(gè)人生活新助 產(chǎn)業(yè)智能新模 公共服務(wù)新體

附錄C：人工智能開(kāi)源社區(qū)：魔搭 百煉提供強(qiáng)大而實(shí)惠的計(jì)算資 百煉提供豐富的模型供 百煉提供模型全生命周期的服 百煉提供構(gòu)建應(yīng)用的完整工具 合規(guī)性與安全

11 GoogleGemini1.5Pro，能夠同時(shí)處理和理解文本、

大模型上下文窗口在過(guò)去一年不斷突破。GPT-4128Ktoken數(shù)十小時(shí)音頻、數(shù)萬(wàn)行代碼，以及超過(guò)百萬(wàn)的單詞。GoogleGemini、阿里巴巴的Qwen-Long

2 H100GPU2024B10016000H200GPUH1008-12速上升。OpenAIGPT-425000A100GPUGeminiGPU

AIGC1礎(chǔ) Llama3技術(shù)報(bào)告中披露的405B參數(shù)規(guī)模模型的信息為例。計(jì)算資源方面，Llama316000H100GPU8NVLink7500SSD240PB2TB/s7TB/s

GPULlama316000GPUCPU54Llama341978GPUGPUcheckpoint，用于恢復(fù)和調(diào)試，一個(gè)主要挑戰(zhàn)是為例，MetaGPUcheckpoint Llama3405B16000H100。構(gòu)建僅僅是加大資金投入就可以解決的問(wèn)題。實(shí)現(xiàn)萬(wàn)卡高效協(xié)同工作，涉及GPU與GPU90

99%。 解決高頻訪問(wèn)海量數(shù)據(jù)集的問(wèn)題。公共云預(yù)置的深度學(xué)習(xí)框架（如TensorFlow、PyTorch、MXNet）、開(kāi)發(fā)套件，集成了高性能計(jì)算庫(kù)、分布式訓(xùn)練工具、自動(dòng)混2GPU成本。根據(jù)業(yè)界的統(tǒng)計(jì)，從使用效率看，公共云資源使用效率一般可達(dá)30%~40%；5%~10%。GPU

DDoS（IDS/IPS）、防火墻、密鑰管理服務(wù)等，為

3 H2002025 ABB7 CPU

GPUCPU5CPU713BGPUGPU1基新步伐。例如，Transformer模型的開(kāi)源直接促成了后續(xù)一系列大模型的創(chuàng)新，如BERT、GPT能力。PyTorchTensorFlow

2用 大模型開(kāi)源是對(duì)中小企業(yè)和個(gè)人開(kāi)發(fā)者的普惠。01

ModelScopeCValues-Comparison145k選擇到部署的全過(guò)程，幫助開(kāi)發(fā)者學(xué)習(xí)和掌握大模型的使用方法。ModelScope RAG

14B、32B，以及能力在行業(yè)內(nèi)一流的72B、110B；與此同時(shí)，還開(kāi)源了可執(zhí)行圖像理解任務(wù)的Qwen-VL、可執(zhí)行聲音理解任務(wù)的Qwen-Audio的多模態(tài)大模型等。基PC、手機(jī)、汽車(chē)、航空、天文、采礦、教育、文化、游戲等。 ModelScopeQwen202410HuggingFace40007Llama20249OpenLLMLeaderboard，Qwen20246TensorRT（英偉達(dá)的加速工具）、OpenVINO（英特爾的工具套件）、Llama-Factory（META的工具Qwen系列開(kāi)源模型得到更廣泛更深入的應(yīng)用，已成為全球產(chǎn)業(yè)界的一個(gè)主流選擇。

3化 Qwen系列

1供

博弈(Self-play)探索由弱模型監(jiān)督訓(xùn)練更強(qiáng)模型(Weak-to-Strong)的方式，即用較

隨著從訓(xùn)練階段“百模大戰(zhàn)”走向應(yīng)用階段賦能千行百業(yè)，模型對(duì)數(shù)據(jù)利用呈現(xiàn)“多方匯聚”的特征。例如，用戶要求結(jié)合自有文檔和外部新聞進(jìn)行專(zhuān)項(xiàng)分析，系統(tǒng)就需要根據(jù)用戶數(shù)據(jù)，利用模型插件調(diào)用外部數(shù)據(jù)，結(jié)合模型能力做出回應(yīng)。在模型應(yīng)用中，用戶數(shù)據(jù)、外部數(shù)據(jù)和模型數(shù)據(jù)伴隨著多樣化的用戶需求和持續(xù)性的人機(jī)交互形成了一個(gè)高度整 RAGRAG

RG在大模型創(chuàng)造性表達(dá)與真實(shí)性保障之間起到橋梁作用。RG是從訓(xùn)練轉(zhuǎn)向應(yīng)用的通用化替代性方案，可以提升模型對(duì)專(zhuān)業(yè)性知識(shí)的理解能力，增強(qiáng)生成內(nèi)容的時(shí)效性和精準(zhǔn)性，解決了部分?jǐn)?shù)據(jù)能在應(yīng)用中使用但不便于訓(xùn)練的矛盾。其一，RG通過(guò)備”。比如以金融、醫(yī)療、法律等專(zhuān)業(yè)領(lǐng)域問(wèn)答系統(tǒng)為代表的NLP類(lèi)應(yīng)用中，通過(guò)RG讀取專(zhuān)業(yè)文檔和報(bào)告可以提升模型回答問(wèn)題的專(zhuān)業(yè)性；又如在軟件工程中的代碼RG可以從代碼庫(kù)中檢索排名靠前的代碼或摘要，并將其與輸入聚合，以增強(qiáng)代碼的生成和總結(jié)能力。還有在科研方面，通過(guò)融合多模態(tài)領(lǐng)域知識(shí)，模型可以對(duì)世RG檢索查詢(xún)數(shù)據(jù)庫(kù)中已知的，在結(jié)構(gòu)或功能上具有共性的蛋白質(zhì)序列信息，可以豐富對(duì)目標(biāo)蛋白質(zhì)特征的描述，用于提升模型分析、預(yù)測(cè)蛋白質(zhì)功能的能力，有助于設(shè)計(jì)全新的蛋白質(zhì)序列結(jié)構(gòu)。其二，RG提升了模型輸出內(nèi)容的精準(zhǔn)度和時(shí)效性，實(shí)現(xiàn)“模數(shù)同給用戶在交互時(shí)帶來(lái)更豐富的體驗(yàn)；又如在事實(shí)核查場(chǎng)景中，引入外部知識(shí)庫(kù)可以更好地驗(yàn)證信息的準(zhǔn)確性和可靠性；還有在搜索等場(chǎng)景的下游任務(wù)中，通過(guò)信息檢索和文本生成，提高搜索召回內(nèi)容的相關(guān)性和可讀性。 RAGRAGRAG

1

2融

3用

SFT&DPOSFT是一種常見(jiàn)的方法，往往通過(guò)在（qestion，aswer）數(shù)據(jù)集上進(jìn)行訓(xùn)練來(lái)調(diào)整（questionanswer（或者機(jī)器生成后人工校驗(yàn)）。參與的模型只有一個(gè)，由預(yù)訓(xùn)練模型初始化。訓(xùn)練目標(biāo)和預(yù)訓(xùn)練相同，優(yōu)化預(yù)測(cè)下個(gè)toen的oss。SFT可以幫助模型學(xué)習(xí)到更符合人類(lèi)價(jià)值觀的回答方式，從而減少生成違法不良信息的風(fēng)險(xiǎn)。直接偏好優(yōu)化DPO是一種強(qiáng)化學(xué)習(xí)技術(shù)，但是并不直接對(duì)模型的輸出進(jìn)行評(píng)分，而是比較兩個(gè)或多個(gè)模型輸出，并選擇更好的一個(gè)。通過(guò)這種方式，模型逐漸學(xué)會(huì)生成更符合人類(lèi)偏好的輸出。在DPO中，訓(xùn)練信號(hào)來(lái)自對(duì)不同模型輸出的比較，而不是直接的獎(jiǎng)勵(lì)或懲罰。DPO是目前主流的偏好對(duì)齊算法，LLama31、Qwen2等都在使用。訓(xùn)練數(shù)據(jù)格式為（question,chosenanswe,ejectedanswer）。參與的模型共有兩個(gè)，一個(gè)是Actie模型，另一個(gè)是eeence模型，都從SFT模型初始化，并在訓(xùn)練過(guò)程中更新ActieActiechosenanswer遠(yuǎn)離ejectedanswer，同時(shí)確保結(jié)果不偏離eeence模型的輸出。這種方法可以更有效地捕捉到人類(lèi)的細(xì)微偏好，并避免直接獎(jiǎng)勵(lì)機(jī)制可能導(dǎo)致的過(guò)分簡(jiǎn)化或操縱問(wèn)題。

SFTDPOanswer；對(duì)于用戶的消極情緒，需badgood署環(huán)境的安全問(wèn)題、模型應(yīng)用功能場(chǎng)景設(shè)計(jì)中的倫理風(fēng)險(xiǎn)（2.2）。

Qwen2-72BSOTA

平臺(tái)建立：阿里內(nèi)部建立了大模型攻防平臺(tái)——模御，設(shè)置了QwenChat，Qwen-VLRedChain。RedChainLangChainAgent●在數(shù)據(jù)層面，RedChain中國(guó)的人工智能法律法規(guī)；RedChain●在生成與打分工具層面，RedChainMetaPromptGuardLLM

LLMTop10不安全輸出處理：指大模型輸出未做驗(yàn)證和處理，導(dǎo)致XSS（跨站腳本攻擊）、CVEAI（ASRC）收ProofofConcept輸入、誘導(dǎo)、濫用等風(fēng)險(xiǎn)（2.3）。

2024RAGAIGC（MFA）等方式確保只有授權(quán)用戶

常見(jiàn)的技術(shù)可以歸納為兩大類(lèi)，一類(lèi)是內(nèi)生安全技術(shù)，包括安全微調(diào)（SFT、基于人類(lèi)反饋的安全對(duì)齊（RLHF）等。另一類(lèi)是對(duì)模型的輸入輸出內(nèi)容進(jìn)行風(fēng)險(xiǎn)識(shí)別，例如Meta的LLamaGuad，以及Google的ShieldGemma等這類(lèi)模型。這類(lèi)技術(shù)一般稱(chēng)為外層護(hù)欄，對(duì)暴力犯罪、隱私、色情等風(fēng)險(xiǎn)進(jìn)行識(shí)別，攔截用戶請(qǐng)求或模型輸出的內(nèi)容，從而確保大模型的安全使用?；瘜W(xué)習(xí)，從而讓模型和憲法準(zhǔn)則進(jìn)行對(duì)齊，該技術(shù)最先由Anthropic提出并用于基 attributeprompt等技術(shù)生成萬(wàn)級(jí)別的數(shù)據(jù)。生成模型構(gòu)建：基于萬(wàn)級(jí)別的訓(xùn)練數(shù)據(jù)，全參微調(diào)Qwen-14b、Qwen-32b等尺寸小模型蒸餾訓(xùn)練：prompt：25,32+04,093.03,15,21,27,33+05,104.06,14,19,28,35+02,085.01,11,

舉報(bào)、應(yīng)急處置、辟謠機(jī)制：內(nèi)容傳播平臺(tái)建立健全的用戶舉報(bào)機(jī)制，鼓勵(lì)用戶并采取相應(yīng)的處理措施，如隱藏、刪除不當(dāng)內(nèi)容，或?qū)`規(guī)賬號(hào)實(shí)施限制訪問(wèn)、封禁等處罰。對(duì)于已造成影響的不實(shí)信息，平臺(tái)應(yīng)及時(shí)發(fā)布官方辟謠公告，利用算法推送機(jī)制擴(kuò)大辟謠內(nèi)容的覆蓋范圍，以正視聽(tīng)。同時(shí)，通過(guò)合作權(quán)威機(jī)構(gòu)和專(zhuān)家，提高辟謠內(nèi)容的公信力和有效性，共同維護(hù)網(wǎng)絡(luò)環(huán)境的清朗與安全。

4治 廣泛參與和責(zé)任共擔(dān)：大模型治理涉及多學(xué)科交叉、多部門(mén)協(xié)作，強(qiáng)調(diào)團(tuán)隊(duì)的自形成有效的風(fēng)險(xiǎn)管理文化。 治理技術(shù)的研發(fā)和應(yīng)用，會(huì)顯著提高行業(yè)發(fā)展與治理水平，例如數(shù)據(jù)匿名化機(jī)制激發(fā)數(shù)據(jù)價(jià)值、數(shù)字水印技術(shù)保障生成內(nèi)容的可溯源防篡改等。建議給予技術(shù)發(fā)展更

安全機(jī)制：大模型進(jìn)入爆發(fā)期以來(lái)，科技企業(yè)都積極參與治理，我國(guó)大模型企業(yè)倫理審核、應(yīng)急響應(yīng)等方面不斷提升安全能力，對(duì)大模型的研發(fā)和應(yīng)用進(jìn)行了全生命周期的治理。生態(tài)管理：開(kāi)閉源模型都需要對(duì)模型研發(fā)應(yīng)用生態(tài)進(jìn)行有效管理。近一年來(lái)，大設(shè)置更多使用者使用限制和道德要求，并依據(jù)模型能力和安全風(fēng)險(xiǎn)等級(jí)，實(shí)現(xiàn)靈活調(diào)控。B100

標(biāo)志。推動(dòng)大模型技術(shù)突破的伸縮定律（ScalingLaw）尚未見(jiàn)頂，人工智能正在從智能治理中國(guó)方案首次人工智能安全峰會(huì)上，28

RAG2024Qwen-Max20234的最初的通義大模型，Qwen-Max的理解能力提升46%、數(shù)學(xué)能力提升75%、代碼能力提升102%、幻覺(jué)抵御能力提升35%、指令遵循能力提升105%，模型與人類(lèi)偏700GPT-4oAPPQwen-Max，繼續(xù)免費(fèi)為所有用戶提供服務(wù)。

GPT-BIBI202310阿里云發(fā)布了百煉大模型平臺(tái)，開(kāi)發(fā)者可通過(guò)“拖拉拽”5AICodeQwen1.53503000國(guó)企業(yè)歡迎的大模型。通義通過(guò)阿里云服務(wù)企業(yè)超過(guò)9萬(wàn)、通過(guò)釘釘服務(wù)企業(yè)超過(guò) 在醫(yī)療領(lǐng)域，AI（Panda）的應(yīng)用同樣引人注目。AIPANDACT+AI”萬(wàn)人的癌癥篩查工作。20245AI反饋?zhàn)詣?dòng)調(diào)優(yōu)識(shí)別結(jié)果，AI

的“芯片”，傳統(tǒng)育種方式成本高、工作量大，往往需要耗時(shí)十年甚至更久。AI23

PyTorch2023 用戶體驗(yàn)，滿足廣泛應(yīng)用場(chǎng)景的需求，百煉除了提供語(yǔ)言模型（Qwen）之外，還提供各種模態(tài)的模型，比如視覺(jué)理解模型（Qwen-VL等）、圖像生成模型（Wanx、FLUX、OutfitAnyone等）、視頻生成模型（AnimateAnyone、EMO等）、語(yǔ)音識(shí)別模型（Sensevoice、Paraformer-v2）、語(yǔ)音生成模型（CosyVoice）。

LoRA、SFT

插件中心：PythonRAG效果提升：RAG是企業(yè)基于大模型構(gòu)建應(yīng)用中最常見(jiàn)的方式。百煉為了提升RAG的效果，采取了一系列具體的措施和技術(shù)手段，使得在RAG應(yīng)用中能夠提供更c(diǎn)hunk 27001ISO42001（國(guó)際認(rèn)證聯(lián)盟（IQNet）在該領(lǐng)域

DDoS（IDS/IPS）、防火墻、 附錄提升國(guó)際競(jìng)爭(zhēng)力：AI

（ModelScope，提供15000600AI已經(jīng)成為中國(guó)規(guī)模最大、開(kāi)發(fā)者最活躍LlaMa、StableDiffusion、書(shū)生、Qwen

MaaS數(shù)據(jù)集倉(cāng)庫(kù)、模型倉(cāng)庫(kù)、算力平臺(tái)是關(guān)鍵支撐。MaaS體驗(yàn)零門(mén)檻、使用簡(jiǎn)單快速、定制靈活便捷、云端模型部署是核心能力。MaaS

60中國(guó)人工智能領(lǐng)域頂級(jí)開(kāi)源社區(qū)。魔搭社區(qū)吸引了超