【智研咨詢】2025年deepseek技術(shù)全景解析-重塑全球AI生態(tài)的中國(guó)力量

專項(xiàng)定制·

月度專題·市場(chǎng)地位證明·

專精特新申報(bào)·可研報(bào)告·

商業(yè)計(jì)劃書·產(chǎn)業(yè)規(guī)劃→DeepSeek-V2

模型性能進(jìn)一步優(yōu)化從低成本的DeepSeek-V2,到超低價(jià)格的DeepSeek-V3,再到引起世界廣泛關(guān)注的DeepSeek-R1,DeepSeek

的成功主要依賴于DeepSeek

自身深厚的技術(shù)積累和持續(xù)的技術(shù)創(chuàng)新突破。DeepSeek-V2

采用的是MoE

架構(gòu)，全參數(shù)量為236B,

激活參數(shù)量是21B。

其采用了兩大創(chuàng)新技術(shù)：DeepSeekMoE

架構(gòu)和多頭潛在注意力(MLA),

使得DeepSeek-V2

的訓(xùn)練成本大為降低并且提升推理速度。MLA

通過將Key-Value

緩存壓縮為潛在向量來提高推理效率，從而提高吞吐量。DeepSeek

MoE架構(gòu)允許通過稀疏計(jì)算進(jìn)行有效的推理。相比DeepSeek

LLM67B(Dense),

DeepSeek-V2的性能更強(qiáng)，同時(shí)節(jié)省了42.5%的訓(xùn)練成本，減少了93.3%的KV

緩存，最大生成吞吐量提高到5.76倍。DeepSeek-

V2性能LLaMA38BO

LLaMAMistral

7BLLaMA133BLLaMA213B0

20

40ActivatedO

LLaMA165B234B---

LLaMA1

Family---

LLaMA2

Family---LLaMA3

Family---Mixtral

Family---Command

RFamily

---

Qwen1.5

Family6080100Parameters(Billions)DeepSeek-V2Mixtral

8x22B

LLaMA370BCommandR+DBRX

Qwen1.572BDeepSeek

67BQwen1.532B

Grok-1Mixtral8x7BKV

Cache

for

Generation(KB/Token)DeepSeek67BDeepSeek-V2

reducing

KV

cache

by

93.3%0100200300400Maximum

GenerationThroughput(Tokens/Sec)Training

Costs(K

GPU

Hours/T

Tokens)DeepSeek67BDeepSeek-v2050100

150576%of

maximum

throughput10000

20000

30000

40000

50000資

料

來

源

：DeepSeek、

智

研

咨

詢

整

理

www.chyxx.comDeepSeek67BDeepSeek-v2十0807570656055●2.1

DeepSeek-V2模

型

deepseekPerformance

(MMLU)saving

42.5%oftrainingcosts2002502

300智研咨詢LLaMA

270BCommand

R●2.2

DeepSeek-V3模型

deepseekDeepSeek-V3

模型性能大幅提升DeepSeek-V3是一個(gè)強(qiáng)大的專家混合(MoE)語言模型，具有671B

個(gè)總參數(shù)，激活參數(shù)量為37B。相較歷史模型，DeepSeek-V3在推理速度上有了大幅提升。此外在目前大模型主流榜單中，DeepSeek-V3

在開源模型中位列榜首，與世界上最先進(jìn)的閉源

模型不分伯仲。DeepSeek-v3

性

能●

DeepSeek-V3

遵

循

DeepSeek-V2的設(shè)計(jì)，采用多頭潛在注意力(MLA)和DeepSeekMoE

架構(gòu)。●采用了無輔助損失的負(fù)載均衡策

略，最大限度地減少了由于鼓勵(lì)

負(fù)載平衡而引起的性能下降。●引入一個(gè)多token

預(yù)測(cè)(MTP)

目

標(biāo)，證明它有利于模型的性能，

也可用于推理加速的推測(cè)解碼。資料來源：DeepSeek、

智研咨詢整理www.chyxx.comDeepSeek-V3模型訓(xùn)練成本大幅降低根

據(jù)DeepSeek

團(tuán)隊(duì)在論文中強(qiáng)調(diào)，通過優(yōu)化算法、框架和硬件的協(xié)同設(shè)計(jì)實(shí)現(xiàn)的。在預(yù)訓(xùn)練階段，每萬億個(gè)token

上訓(xùn)練DeepSeek-V3只需要180

KH800GPU小時(shí)，也就是說，在其擁有2048個(gè)H800GPU

的集群上只需要3.7天。因此，公司的預(yù)訓(xùn)練

階段在不到兩個(gè)月的時(shí)間內(nèi)完成，花費(fèi)了2664K

GPU小時(shí)。加上上下文長(zhǎng)度擴(kuò)展的119K

GPU小時(shí)和后訓(xùn)練的5K

GPU小時(shí)，

DeepSeek-V3

完整訓(xùn)練僅花費(fèi)278.8萬GPU

小時(shí)。假設(shè)H800GPU

的租賃價(jià)格為每小時(shí)2美元，則代表著其總訓(xùn)練成本僅為557.6萬美元。相比同等規(guī)模的模型(如GPT-4、GPT-40、

Llama3.1),

訓(xùn)練成本大幅降低。但DeepSeek

團(tuán)隊(duì)還特意強(qiáng)調(diào)，上述成本僅包括DeepSeek-V3的官方訓(xùn)練，不包括與架構(gòu)、

算法或數(shù)據(jù)的先前研究和消融實(shí)驗(yàn)相關(guān)的成本。DeepSeek-V3的訓(xùn)練成本(假設(shè)H800的租賃價(jià)格為2美元/GPU小時(shí))訓(xùn)練成本預(yù)訓(xùn)練上下文擴(kuò)展后訓(xùn)練總計(jì)H800GPU小時(shí)(小時(shí))2664K119K5K2788K美元$5.328M$0.238M$0.01M$5.576MDeep

Seek-V3節(jié)省訓(xùn)練成本的方法All

To

ALL通信內(nèi)核IB+NVLink低精度FP8

訓(xùn)練Dual

PipeDeepSeek

MoE+MLA無張量并行TP多token

預(yù)測(cè)(MTP)帶寬限制PTX語言無需輔助損失的負(fù)載均衡針對(duì)性GPU優(yōu)化模型結(jié)構(gòu)Architecture模型訓(xùn)練方式Pre-Train●

2.2

DeepSeek-V3模型資料來源：

DeepSeek、智研咨詢整理www.chyxx.comdeepseek智研咨詢核心技術(shù)——無需輔助損失的負(fù)載均衡DeepSeek-V3采用了一種無需輔助損失的負(fù)載均衡策略，旨在最大限度地減少因負(fù)載均衡優(yōu)化而對(duì)模型性能造成的不利影響。MoE模型容易出現(xiàn)“專家負(fù)載不均衡”(有的專家忙，有的專家閑),傳統(tǒng)的解決方法是加一個(gè)輔助損失，但這可能會(huì)損害模

型性能。DeepSeekV3

引入了一種新方法，通過動(dòng)態(tài)調(diào)整每個(gè)專家的“偏置項(xiàng)”

,來平衡負(fù)載。這種方法不依賴輔助損失，減

少了對(duì)性能的負(fù)面影響。此外，為了防止在單個(gè)序列內(nèi)出現(xiàn)極端不平衡情況，也引入了一種補(bǔ)充的序列級(jí)平衡損失，但影響很

小。其中，平衡因子α是一個(gè)超參數(shù)，對(duì)于

DeepSeek-

V3

被設(shè)置為極小的值；1(.)表示指示函數(shù)；

T表示

序列中的令牌數(shù)量。序列級(jí)平衡損失鼓勵(lì)在每個(gè)序

列內(nèi)實(shí)現(xiàn)專家負(fù)載的平衡。具體而言，為每個(gè)專家引入一個(gè)偏置項(xiàng)

bi,并將其

添加到對(duì)應(yīng)的親和度得分Sit,以確定Top-K

路由。補(bǔ)充的序列級(jí)輔助損失：無需輔助損失的負(fù)載均衡：DeepSeek-V3模

型

deepseek資料來源：

DeepSeek、

智研咨詢整理

智研咨詢●

2.2●

2.2

DeepSeek-V3模

型

deepseek

智

研

咨

詢核心技術(shù)——多token

預(yù)測(cè)

(MTP)傳統(tǒng)語言模型通常只預(yù)測(cè)下一個(gè)token,

而DeepSeek-V3

在訓(xùn)練中采用MTP

目標(biāo)，在每個(gè)位置預(yù)測(cè)多個(gè)未來token。

這種方式增

加訓(xùn)練信號(hào)密度，提高數(shù)據(jù)效率，使模型更好規(guī)劃表示，準(zhǔn)確預(yù)測(cè)未來token。

具體通過多層次模塊預(yù)測(cè)多個(gè)附加token,

各模

塊共享嵌入層和輸出頭，保持預(yù)測(cè)因果鏈，提高推理生成速度，提升模型整體性能。MTP

實(shí)現(xiàn)的示意圖t?t?

t?

t?LMain

Cross-Entropy

LossMTP

Module1(Next2TokenPrediction)Output

HeadTransformerBlockLinear

ProjectionfconcatenationRMSNorm

RMSNormShared

Embedding

LayerTarget

Tokens

t?

t?

t?

tsCross-Entropy

LossMain

Model(Next

TokenPrediction)Output

HeadTransformer

Block×LEmbeddingLayerInput

Tokens

t?

t?

t?

t?t?

ts

t?

t?LMTP

Cross-EntropyLossMTP

Module

2(Next3TokenPrediction)Output

HeadTransformerBlockLinear

ProjectionfconcatenationRMSNorm

RMSNormShared

EmbeddingLayert?t?t?

t?t?

t?

t?

t?資料來源：

DeepSeek、

智研咨詢整理

www.chyxx.comLMTP核心技術(shù)——FP8

混合精度訓(xùn)練通常的大模型訓(xùn)練會(huì)采用BF16或FP32/TF32

精度作為數(shù)據(jù)計(jì)算和存儲(chǔ)的格式，來確保較高的訓(xùn)練精度。相比之下，

FP8占

用

的數(shù)據(jù)位寬僅為FP32的1/4,FP16的1/2,可以提升計(jì)算速度，降低對(duì)存儲(chǔ)的消耗。微軟2023年的論文《FP8-LM:Training

FP8Large

Language

Models》就提出了一種用于LLM

訓(xùn)練的極度優(yōu)化的FP8混合精度框架。其核心思想是計(jì)算、儲(chǔ)存和通信(包括

正向和反向傳播)全部使用低精度FP8,

從而大大降低系統(tǒng)工作負(fù)載。然而，使用FP8

格式訓(xùn)練LLM

存在數(shù)據(jù)下溢出或上溢出等

挑戰(zhàn)以及FP8

數(shù)據(jù)格式較低精度所導(dǎo)致訓(xùn)練失敗等問題。DeepSeek

團(tuán)隊(duì)在訓(xùn)練DeepSeek-V3

時(shí)，采用的是混合精度框架，大部分密集計(jì)算操作都以FP8

格式進(jìn)行，而少數(shù)關(guān)鍵操作則策

略性地保留其原始數(shù)據(jù)格式，以平衡訓(xùn)練效率和數(shù)值穩(wěn)定性。通過使用FP8格

式

，DeepSeek

能夠在有限的計(jì)算資源下，實(shí)現(xiàn)更

高的計(jì)算效率。例如，在處理大規(guī)模數(shù)據(jù)集時(shí)，F(xiàn)P8

格式可以顯著減少顯存的占用，從而提高模型的訓(xùn)練速度。DeepSeek-

V3

混合精度框架示意圖To

FP8WgradWeight

GradientFP32ToBF16Optimizer

StatesOutputGradientBF16DeepSeek-V3模型

deepseek資料來源：

DeepSeek、

智研咨詢整理

wwww.智研咨詢②FP32InputGradientMasterWeight∑FP32InputBF16●2.2WeightOutputTo

BF16To

BF16To

FP32DgradFpropTo

FP8To

FP8To

FP8To

FP8FP32●2.2

DeepSeek-V3模型

deepseek

智研咨詢核心技術(shù)——Dual

Pipe算法在應(yīng)用分布式并行策略時(shí)，無論是數(shù)據(jù)并行策略下的梯度聚合步驟，還是模型并行下各模型組件之間的通信，都會(huì)帶來大量的

跨設(shè)備數(shù)據(jù)傳輸需求。若不同階段的計(jì)算耗時(shí)差別較大，則會(huì)出現(xiàn)計(jì)算設(shè)備的空閑，即為“氣泡

(bubble)”。

為解決這一

問題，流水線并行(pipeline

parallel,PP)策略應(yīng)運(yùn)而生。其通過將一個(gè)較大數(shù)據(jù)批次分解為多個(gè)微批次(micro

batch),

使得每次計(jì)算的總耗時(shí)減少，從而減少了計(jì)算設(shè)備所處于的計(jì)算和等待兩種狀態(tài)在時(shí)間軸上的顆粒度，進(jìn)而使得每個(gè)bubble被縮小。在這一背景下，DeepSeek

團(tuán)隊(duì)在傳統(tǒng)PP

策略的基礎(chǔ)上創(chuàng)新性地提出并應(yīng)用了Dual

Pipe技術(shù)。與傳統(tǒng)PP

策略相比，

Dual

Pipe技術(shù)最明顯的革新在于其有效地融合了前向和后向計(jì)算加速通信。此外，DeepSeek

團(tuán)隊(duì)還通過調(diào)節(jié)GPU

中流式多處理器(SM)

的調(diào)度來實(shí)現(xiàn)對(duì)其在計(jì)算和通信之間進(jìn)行精細(xì)化分配，進(jìn)而進(jìn)一步加速了通信過程。Dual

Pipe算

法

示

意

圖Device

0Device

1

Device

2

Device

3

Device

4

Device

5

Device

6

Device

7Time081923456678899560718293456787989506172839456787989051627384956789890415263748596789893253647586978993546576879899445566778899MLP(B)▲MLP(W)▲MLP(F)△ATTN(B)▲ATTN(W)▲ATTN(F)△DISPATCH(F)△DISPATCH(B)▲COMBINE(F)△PPCOMBINE(B)▲Forward

Backward

Backward

for

input

Backward

for

weightsOverlappedforward&BackwardDualPipe8

個(gè)

PP

rank和

20個(gè)micro-batch的

DualPipe

調(diào)

度

示例資料來源：

DeepSeek、

智研咨詢整理

www.chyxx.com△

Forward

chunk▲Backward

chunkComputationCommunicationTimeChunk拆分CategoryBenchmark

(Metric)Claude-3.5-Sonnet-1022GPT-4o

0513DeepSeekV3OpenAl

ol-miniOpenAl

o1-1217DeepSeek

R1EnglishArchitectureMoEMoE#Activated

Params-37B-37B#Total

Params671B671BMMLU

(Pass@1)88.387.288.585.291.890.8MMLU-Redux

(EM)88.98889.186.792.9MMLU-Pro

(EM)7872.675.980.384DROP(3-shot

F1)88.383.791.683.990.292.2IF-Eval

(PromptStrict)86.584.386.184.883.3GPQA-Diamond

(Pass@1)6549.959.16075.771.5SimpleQA(Correct)28.438.224.974730.1FRAMES

(Acc.)72.580.573.376.9-82.5AlpacaEval2.0(LC-winrate)5251.17057.8-87.6CodeArenaHard

(GPT-4-1106)85.280.485.592-92.3LiveCodeBench(Pass@1-COT)33.834.2-53.863.465.9MathCodeforces

(Percentile)20.323.658.793.496.696.3Codeforces(Rating)7177591134182020612029SWEVerified

(Resolved)50.838.84241.648.949.2Aider-Polyglot

(Acc.)45.31649.632.961.753.3AIME

2024

(Pass@1)169.339.263.679.279.8MATH-500(Pass@1)78.374.690.29096.497.3CNMO

2024

(Pass@1)13.110.843.267.678.8ChineseCLUEWSC(EM)85.487.990.989.992.8C-Eval(EM)76.77686.568.991.8C-SimpleQA

(Correct)55.458.76840.3-63.7DeepSeek-R1

基

于DeepSeek-V3

訓(xùn)練優(yōu)化得到，增強(qiáng)了復(fù)雜邏輯推理能力，全參數(shù)量是671B,激活參數(shù)37B

。在數(shù)學(xué)、代碼、

自然語言推理等任務(wù)上，性能比肩OpenAl

ol正式版，并且開源模型權(quán)重，引發(fā)了全球的廣泛關(guān)注。DeepSeek-

R1評(píng)估結(jié)果●2.3DeepSeek-R1模型

→

DeepSeek-R1

性能對(duì)標(biāo)OpenAl資料來源：DeepSeek、

智研咨詢整理

o1正式版在大語言模型(LLM)

的微調(diào)過程中，強(qiáng)化學(xué)習(xí)

(RL)扮演著至關(guān)重要的角色。傳統(tǒng)的近端策略優(yōu)化

(PPO)

算法雖然被廣泛應(yīng)用于LLM的微調(diào)，但其在處理大規(guī)模模型時(shí)面臨著巨大的計(jì)算和存儲(chǔ)負(fù)擔(dān)。PPO算法需要維護(hù)一個(gè)與策略模型大小相當(dāng)?shù)膬r(jià)

值網(wǎng)絡(luò)來估計(jì)優(yōu)勢(shì)函數(shù)，這在大模型場(chǎng)景下會(huì)導(dǎo)致顯著的內(nèi)存占用和計(jì)算代價(jià)。此外，PPO

算法在更新策略時(shí)可能會(huì)導(dǎo)致策略分布發(fā)生劇烈變化，從而影響訓(xùn)練的穩(wěn)定性。為了解決這些問題，

DeepSeek

提出了一種新的強(qiáng)化學(xué)習(xí)算法——組相對(duì)策略優(yōu)化

(GRPO),旨在減少對(duì)價(jià)值網(wǎng)絡(luò)的依賴，同時(shí)保持策略更新的穩(wěn)定性和高效性。GRPO方法的優(yōu)勢(shì)在于：(1)減少計(jì)算負(fù)擔(dān)：通過避免維護(hù)一個(gè)與策略模型大小

相當(dāng)?shù)膬r(jià)值網(wǎng)絡(luò)，

GRPO顯著降低了訓(xùn)練過程中的內(nèi)存占

用和計(jì)算代價(jià)。(2)提高訓(xùn)練穩(wěn)定性：GRPO

通過組內(nèi)比較來估計(jì)優(yōu)勢(shì)

函數(shù)，減少了策略更新的方差，從而確保了更穩(wěn)定的學(xué)習(xí)

過

程

。(3)增強(qiáng)策略更新的可控性：GRPO

引入了KL

散度約束，

防止策略更新過于劇烈，從而保持了策略分布的穩(wěn)定性。資

料

來

源

：

DeepSeek、智

研

咨

詢

整

理www.chyxx.comPPOReference

ModelRewardKL田-

rqPolicyModel0ModelValueModelVGAEATrainedModelsGRPOKLReferenceFrozenModelsqPolicyModelO?Oz·0GModel

RewardModelrrzTGGroupComputationA?A?A?DeepSeek-R1具備以下亮點(diǎn)：(1)純強(qiáng)化學(xué)習(xí)訓(xùn)練：基于DeepSeek-V3

應(yīng)用大規(guī)模強(qiáng)化學(xué)習(xí)，直接將RL

應(yīng)用于基礎(chǔ)模型而不依賴監(jiān)督微調(diào)(SFT)

步驟，這種方法允許模型探索解決復(fù)雜問題的思維鏈(CoT),由此開發(fā)出DeepSeek-R1-Zero

。DeepSeek-R1-Zero純強(qiáng)化學(xué)習(xí)訓(xùn)練得到的LLM,

并且展示了自我驗(yàn)證、反思和生成長(zhǎng)CoTs

等功能，標(biāo)志研究界的一個(gè)重要里程碑。核心技術(shù)——純強(qiáng)化學(xué)習(xí)訓(xùn)練deepseekDeepSeek-R1模型作為初始是第一個(gè)算法結(jié)構(gòu)對(duì)比●

2.3DeepSeek-R1

OpenAI-01-121710096.3

96.694.390.687.485.279.879.275.772.671.563.662.158.749.2

48.941.642.039.236.8200AIME2024Codeforces

GPQA

Diamond

MATH-500MMLU

SWE-bench

Verified(Pass@1)(Percentile)

(Pass@1)(Pass@1)(Pass@1)(Resolved)核心技術(shù)——冷啟動(dòng)數(shù)據(jù)&多階段訓(xùn)練策略(2)冷啟動(dòng)數(shù)據(jù)&多階段訓(xùn)練策略：

DeepSeek-R1是為解決

DeepSeek-R1-Zero

存在的問題并進(jìn)一步提升推理性能而開發(fā)的模

型，它在訓(xùn)練過程中融入了冷啟動(dòng)數(shù)據(jù)和多階段訓(xùn)練策略。冷啟動(dòng)數(shù)據(jù)：收集少量高質(zhì)量長(zhǎng)鏈推理數(shù)據(jù)，通過SFT

初始化模型，提升可讀性和性能。多階段訓(xùn)練：第一階段RL

專注于數(shù)學(xué)、編程等明確答案的任務(wù)。第二階段結(jié)合拒絕采樣生成SFT

數(shù)據(jù)，增強(qiáng)通用能力(寫作、

問答等)。最終RL對(duì)齊人類偏好(如無害性、有用性)。DeepSeek-R1在多個(gè)基準(zhǔn)測(cè)試中展現(xiàn)

出

與OpenAl-01

相當(dāng)?shù)男阅芩?。?/p>

Codeforces

和

MMLU

基

準(zhǔn)

測(cè)

試中與

OpenAl-01-1217

得分相近，尤其是在

AIME2024

、MATH-500

、Swe-Bench等基準(zhǔn)測(cè)試中，DeepSeek-R1

還稍微勝

出。資料來源：

DeepSeek、智研咨詢整理www.chyxx.com●2.3

DeepSeek-R1模

型DeepSeek-R1

的基準(zhǔn)性能deepseekDeepSeek-R1-32B

OpenAI-01-mini

DeepSeek-V3Accuracy/Percentile

(%)智研咨詢97.3

96.490.891.890.090.260.059.88.5406080GPT-4o-0513AIME2024pass@19.3AIME2024cons@6413.4MATH-500pass@174.6GPQADiamondpass@149.9LiveCodeBench

CodeForcespass@1

rating32.9

759.0Claude-3.5-Sonnet-102216.026.778.365.038.9717.0o1-mini63.680.090.060.053.81820.0QwQ-32B44.060.090.654.541.91316.0DeepSeek-R1-Distill-Qwen-1.5BDeepSeek-R1-Distill-Qwen-7B28.955.552.783.383.992.833.849.116.937.6954.01189.0DeepSeek-R1-Distill-Qwen-14B69.780.093.959.153.11481.0DeepSeek-R1-Distill-Qwen-32B72.683.394.362.157.21691.0DeepSeek-R1-Distill-Llama-8B50.480.089.149.039.61205.0DeepSeek-R1-Distill-Llama-70B70.086.794.565.257.51633.0核心技術(shù)——模型能力蒸餾遷移(3)模型能力蒸餾遷移：

DeepSeek

R1的推理能力可以通過蒸餾技術(shù)遷移到更小的模型中，并且小模型的基準(zhǔn)測(cè)試取得很優(yōu)

秀的表現(xiàn)。在DeepSeekR1蒸餾出的6個(gè)小模型中，在保持模型參數(shù)量?jī)H為o1-mini

同量級(jí)的前提下，其知識(shí)理解、代碼生成等

核心能力實(shí)現(xiàn)全面反超。通過對(duì)標(biāo)OpenAl-o1-mini

的效果上不難看出DeepSeek

在模型輕量化領(lǐng)域的突破性創(chuàng)新，同時(shí)也為開

源社區(qū)提供了兼具高性能與低部署成本的新型解決方案。DeepSeek-R1

蒸餾小模型性能資料來源：

DeepSeek、

智研咨詢整理

www.deepseekDeepSeek-R1模型●2.3一

PART

03Deepseek

技術(shù)創(chuàng)新最全面的產(chǎn)業(yè)分析●可預(yù)見的行業(yè)趨勢(shì)服務(wù)熱線：400-700-9383