DeepSeek技術報告分享

摘要我們推出了DeepSeek-V3,這是一個強大的混合專家(MoE)語言模型，總參數(shù)為671B,每個token激活37B。為了實現(xiàn)高效推理和具有成本效益的訓練，DeepSeek-V3采用了多頭潛在注意力(MLA)和DeepSeekMoE架構，這些架構在DeepSeek-V2中得到了充分驗證。此外，DeepSeek-V3開創(chuàng)了一種無輔助損失的負載平衡策略，并設定了多token預測訓練目標，以實現(xiàn)更強的性能。我們在148萬億個多樣化和高質量的token上對DeepSeek-V3進行了預訓練，隨后進行了監(jiān)督微調和強化學習階段，以充分發(fā)揮其能力。全面評估表明，DeepSeek-V3的表現(xiàn)優(yōu)于其他開源模型型相媲美。盡管表現(xiàn)出色，DeepSeek-V3的完整訓練僅需2.788MH800GPU小時。此外，其訓練過程/deepseearxiv:241219437v1[csCL2024年12月27日arxiv:241219437v1[csCL2024年12月27日A92內容A992架構62.1.2DeepSeekMoE與無輔助損失負載平衡3基礎設施113.2.1DualPipe和計算-通信重疊123.2.2跨節(jié)點全到全通信的高效實現(xiàn)133.2.3極低開銷的極致內存節(jié)省143.3FP8訓練143.3.2量化和乘法帶來的精度提升163.4推理與部署184預訓練224.5.2輔助損失自由平衡策略的消融研究2735后訓練285.2強化學習295.3.3開放式評估335.4討論346結論、局限性和未來方向35A貢獻與致謝45C專家專業(yè)化模式的16B輔助損失基礎和無輔助損失模型484A近年來，大型語言模型(LLMs)正在經(jīng)歷快速的迭代和演變(Anthropic,2024;Google,2024;OpenAl,2024a),逐漸縮小與人工通用智能(AGDeepSeek系列(DeepSeek-AI,2024a,b,c;Guoetal.,2024)、LLaMA系列(Al@Meta,2024a,b;Touvronetal.,2023a,b)、Qwen系列(Qwen,2023,2024a,b)和Mistral系列(Jiangetal.,2023;Mistral,2024),也在取得顯著進展，努力縮小與其閉源同行的差距。為了進一步推動開源模型能力的邊界，我們擴大了模型規(guī)模，并推出DeepSeek-V3,這是一個具有671B參數(shù)的大型專家混合模型(MoE),其中每個token激活37B參數(shù)。DeepSeek-V3仍然采用多頭潛在注意力(MLA)(DeepSeek-Al,2024c)以實DeepSeekMoE(Daietal.,2024)以實現(xiàn)經(jīng)濟高效的訓練。這兩種架構已在DeepSeekV2能。除了基本架構外，我們還實施了兩種額外策略，以進一步增強模型能在預訓練期間，我們在14.8T高質量和多樣化的標記上訓練DeepSeek-V3。預訓練過程非常穩(wěn)定。在整個訓練過程中，我們沒有遇到任何不可恢復的損失峰值，也不需要回滾。接下來，我5AA小時2美元。和生成口度。我們在一系列綜合基準上評估了DeepSeek-V3。盡管其訓練成本經(jīng)濟，但全面評估顯示，DeepSeek-模型，并在一系列標準和開放式基準上達到了與領先的閉源模型(包括GPT-40和Claude-3.5-最后，我們再次強調DeepSeek-V3的經(jīng)濟訓練成本，如表1所示，這是通過我們優(yōu)化的算法、框架和硬件的共同設計實現(xiàn)的。在預訓練階段，訓練DeepSeek-V3每萬億個標記僅需180KH800GPU小時，即在我們擁有2048個H800GPU的集群上僅需3.7天。因此，我們的預訓練階段在不到兩個月的時間內完成，耗時2664KGPU小時。結合119KGPU小時用于上下文口度擴展和5KGPU小時用于后訓練，DeepSeek-V3的完整訓練僅需2.788MGPU小時。假設H800GPU的租賃價格為每GPU小時2美元，我們的總訓練成本僅為557.6萬美元。請注意，上述成本僅包括DeepSeek-V3的官方訓練，不包括速推理?！ひ詢H2.664MH800GPU小時的經(jīng)濟成本，我們在14.8T標記上完成了DeepSeek-V3的預訓練，DeepSeekR1系列模型中的一個，轉化為標準LLMs,尤其是DeepSeek-V3。我們的流程優(yōu)雅地結合了6A·知識：(1)在教育基準測試如MMLU、MMLU-Pro和GPQA上，DeepSeek-V3的表現(xiàn)優(yōu)于所有其他開源模型，在MMLU上獲得88.5分，在MMLU-Pro上獲得75.9分，在GPQA上獲得59.1分。它的表現(xiàn)與領先的閉源模型如GPT-40和Claude-Sonnet-3.5相當，縮小了這一領域開源模型與閉源模型之間的差距。(2)在事實性基準測試中，DeepSeek-V3在SimpleQA和中文SimpleQA上表現(xiàn)出色，成為開源模型中的佼佼者。盡管在英語事實知識(SimpleQA)上落后于GPT-40和Claude-Sonnet-3.5,但在中文事實知識(中文SimpleQA)上超越了這些模型，突顯·代碼、數(shù)學和推理：(1)DeepSeek-V3在所有非口鏈思維的開源和閉源模型中，在與數(shù)學相關的基準測試中達到了最先進的性能。值得注意的是，它在特定基準測試(如MATH-500)上甚至超越了01-preview,展示了其強大的數(shù)學推理能力。(2)在與編碼相關的任務中，DeepSeek-V3成為編碼競賽基準測試(如LiveCodeBench)中表現(xiàn)最好的模型，鞏固了其在該領域的領先地位。在與工程相關的任務中，雖然DeepSeek-V3的表現(xiàn)略低于Claude-Sonnet-3.5,但仍然以顯著的優(yōu)勢超在本文的其余部分，我們首先詳細介紹我們的DeepSeek-V3模型架構(第2節(jié))。隨后，我們介紹我們術、相關評估以及一些討論(第4節(jié))。之后，我們討論我們在后訓練方面的努力，包括監(jiān)督微調(SFT)、強化學習(RL)、相應的評估和討論(第5節(jié))。最后，我們總結這項工作，討論DeepSeek-V3的現(xiàn)有局限性，并提出未來研究的潛在方向(第6節(jié))。2.架構我們首先介紹DeepSeek-V3的基本架構，其特點是多頭潛在注意力(MLA)(DeepSee用于高效推理，以及DeepSeekMoE(Dai等，2024)用于經(jīng)濟訓練。然后，我們提出了一種多標記預測DeepSeek-V3的基本架構仍然在Transformer(Vaswani等，2017)框架內。為了高效推理和經(jīng)濟訓練，DeepSeek-V3還采用了MLA和DeepSeekMoE,這些在DeepSeek-V2中得到了充分驗71多頭注意力位用N-142031一個例外是我們額外引入了一個無輔助損失的負載平衡。圖2|DeepSeek-V3基本架構的示意圖。繼DeepSeek-V2之后，我們采用MLA和DeepSeekMoE進行高效推理和經(jīng)濟訓練。策略(Wangetal.,2024a)用于DeepSeekMoE,以減輕因確保負載平衡而導致的性能下降。圖2展示了DeepSeek-V3的基本架構，我們將在本節(jié)中簡要回顧MLA和DeepSeekMoE的細節(jié)。2.1.1.多頭潛在注意力為了注意力，DeepSeek-V3采用MLA架構。令d表示嵌入維度，n表示注意力頭的數(shù)量，d表示每個頭的維度，h∈R表示在給定注意力層中第t個標記的注意力輸入。MLA的核心是對注意力鍵和值進行低秩聯(lián)合壓縮，以減少推理期間的鍵值(KV)緩存：8(5)其中c∈R是鍵和值的壓縮潛在向量；d(<dn)表示KV壓縮維度；W∈R表示下投影矩陣；w,w∈R分別是鍵和值的上投影矩陣；W∈R是用于生成攜帶旋轉位置嵌入(RoPE)的解耦鍵的矩陣(Suetal.,2024);RoPE(·)表示應用RoPE矩陣的操作；而[;]表示連接。請注意，對于MLA,僅在生成過程中需要緩存藍框中的向量(即c和k),這導致KV緩存顯著減少，同時保持與標準多頭注意力(MHA)(Vaswanietal對于注意力查詢，我們還執(zhí)行低秩壓縮，這可以在訓練期間減少激活內存：其中c∈R是查詢的壓縮潛在向量；d(<dn)表示查詢壓縮維度；W∈R,W∈R分別是查詢的下投影和上投影矩陣；而W∈R是生成攜帶RoPE的解耦查詢的矩陣。最終，注意力查詢(q)、鍵(k)和值(v)被組合以產(chǎn)生最終的注意力輸出u:其中W∈R表示輸出投影矩陣。2.1.2.DeepSeekMoE與無輔助損失負載平衡DeepSeekMoE的基本架構。對于前饋網(wǎng)絡(FFNs),DeepSeek-V3采用了DeepSeekMoE架構(Daietal.,2024)。與傳統(tǒng)的MoE架構如GShard(Lepikhinetal.,2021)相比，DeepSeekMoE使用了更細粒度的專家，并將一些專家隔離為共享專家。設u為第t個標記的FFN輸入，我們計算FFN輸出如9(15)其中N和N分別表示共享專家和路由專家的數(shù)量；FFN(·)和FFN(·)分別表示第i個共享專家和第i個路由專家；K表示激活的路由專家數(shù)量；g是第i個專家的口控值；s是令牌與專家的親和力；e是第i個路由專家的中心向量；Topk(·,K)表示包含針對第t個令牌和所有路由專家計算的親和力分數(shù)中K個最高分數(shù)的集合。與DeepSeek-V2略有不同，DeepSeek-V3使用sigmoid函數(shù)來計算親和力分數(shù)，并在所有選定的親和力分數(shù)之間應用歸一化以生成口控值。無輔助損失的負載均衡。對于MoE模型，不平衡的專家負載將導致路由崩潰(Shazeeretal.,2017),并在專家并行的場景中降低計算效率。傳統(tǒng)解決方案通常依賴于輔助損失(Fedusetal.,2021;Lepikhinetal.,2021)來避免不平衡負載。然而，過大的輔助損失會損害模型性能(Wangetal.,2024a)。為了在負載平衡和模型性能之間實現(xiàn)更好的權衡，我們首創(chuàng)了一種無輔助損失的負載均衡策略(Wangetal.,2024a)以確保負載平衡。具體來說，我們?yōu)槊總€專家引入一個偏置項b,并將其添加到相應的親和力分數(shù)s中，以確定前K個路由：請注意，偏置項僅用于路由?？诳刂祵⑴cFFN輸出相乘，仍然源自原始親和力分數(shù)s。在訓練過程中，我們持續(xù)監(jiān)控每個訓練步驟整個批次的專家負載。在每個步驟結束時，如果其對應的專家過載，我們將偏置項減少Y;如果其對應的專家負載不足，我們將其增加Y,其中Y是一個稱為偏置更新速度的超參數(shù)。通過動態(tài)調整，DeepSeek-V3在訓練過程中保持專家負載平衡，并比通過純輔助損失鼓勵負載平衡的模型實現(xiàn)更好的性能?；パa序列級輔助損失。盡管DeepSeek-V3主要依賴于無輔助損失策略來實現(xiàn)負載平衡，但為了防止任何單個序列內的極端不平衡，我們還采用了互補序列級平衡損失：其中平衡因子α是一個超參數(shù)，對于DeepSeek-V3將被賦予一個極小的值；1(·)表示指示函數(shù)；而T表示序列中的標記數(shù)量。序列級平衡損失鼓勵每個序列上的專家負載保持平衡。AA交叉熵損失→42輸出頭變壓器塊TransformerBl'MTP模塊1交叉熵損失交叉熵損失線性投影線性投影變壓器塊嵌入層嵌入層t圖3|我們的多標記預測(MTP)實現(xiàn)的示意圖。我們保持每個深度上每個標記預測的完整因果鏈。節(jié)點限制路由。與DeepSeek-V2使用的設備限制路由類似，DeepSeek-V3也使用了一種受限路由機制，以限制訓練期間的通信成本。簡而言之，我們確保每個令牌最多會發(fā)送到M個節(jié)點，這些節(jié)點是根據(jù)分布在每個節(jié)點上的專家的最高親和力得分之和進行選擇的。在這一約束下，我們的MoE訓練框架幾乎可以實現(xiàn)完全的計算-通信重疊。無丟棄令牌。由于有效的負載均衡策略，DeepSeek-V3在整個訓練過程中保持良好的負載平衡。因此，DeepSeek-V3在訓練期間不會丟棄任何令牌。此外，我們還實施了特定的部署策略，以確保推理負載平衡，因此DeepSeek-V3在推理期間也不會丟棄令牌。2.2.多標記預測受到Gloeckle等人(2024)的啟發(fā)，我們研究并為DeepSeek-V3設置了多標記預測(MTP)目標，該目標將預測范圍擴展到每個位置的多個未來標記。一方面，MTP目標密集化了訓練信號，可能提高數(shù)據(jù)效率。另一方面，MTP可能使模型能夠預先規(guī)劃其表示，以更好地預測未來標記。圖3說明了我們對MTP的實現(xiàn)。與Gloeckle等人(2024)并行預測D個額外標記使用獨立輸出頭不同，我們順序預測額外標記，并在每個預測深度保持完整的因果鏈。我們在本節(jié)中介紹MTP實現(xiàn)的細節(jié)。MTP模塊。具體來說，我們的MTP實現(xiàn)使用D個順序模塊來預測D個額外的標記。第k個MTP模塊由一R組成。對于第i個輸入標記t,在第k個預測深度，我們首先結合第(k-1)個深度的第i個標記的表示hi∈我們首先將第i個標記在(k-1)-th深度的表示hi∈R與第(i+k)-th標記的嵌入Emb(t)∈R通過線性投影結合起h=M[RMSNorm(hi);RMSNo其中[;·]表示連接。特別地，當k=1時，hi指的是主模型給出的表示。請注意，對于每個MTP模塊，其嵌入層與主模型共享。組合后的h作為第k層深度的Transformer塊的輸入，以生成當前深度h的輸出表示：其中T表示輸入序列的口度，并表示切片操作(包括左邊界和右邊界)。最后，考慮輸入，共享輸出頭將計算第k個額外預測標記P∈R的概率分布，其中V是詞匯表大?。狠敵鲱^OutHead(·)線性映射表示到logits,并隨后應用Softmax(·)函數(shù)來計算第k個額外標記的預測概率。此外，對于每個MTP模塊，其輸出頭與主模型共享。我們保持預測因果鏈的原則類似于EAGLE(Lietal.,2024b),但其主要目標是推測解碼(Leviathanetal.,2023;Xiaetal.,2023),而我們利用MTP來改善訓練。MTP訓練目標。對于每個預測深度，我們計算交叉熵損失L:其中T表示輸入序列口度，t表示第i個位置的真實標記，P[t]表示由第k個MTP模塊給出的t的相應預測概率。最后，我們計算所有深度的MTP損失的平均值，并乘以權重因子λ,以獲得整體MTP損失L,這作為DeepSeek-V3的額外訓練目標：推理中的MTP。我們的MTP策略主要旨在提高主模型的性能，因此在推理過程中，我們可以直接丟棄MTP模塊，主模型可以獨立且正常地運行。此外，我們還可以將這些MTP模塊重新用于推測解碼，以進一步提高生成延遲。3.基礎設施DeepSeek-V3在一個配備有2048個NVIDIAH800GPU的集群上進行訓練。H800集群中的每個節(jié)點包含8個通過NVLink和NVSwitch連接的GPU。在不同節(jié)點之間，使用InfiniBand(IB)互連來促進通A▲向后塊圖4|一對個體前向和后向塊的重疊策略(變換器塊的邊界DeepSeek-V3的訓練得益于HAI-LLM框架，這是一個由我們的工程師從零開始打造的高效輕量級訓練框架?？傮w而言，DeepSeek-V3應用了16路管道并行(PP)(Qietal.,2023a)、64路專家并行(EP)(Lepikhinetal.,2021),跨越8個節(jié)點，以及ZeRO-1數(shù)據(jù)并行(DP)(Rajbhandarietal.,DualPipe的關鍵思想是在一對獨立的前向和后向個部分。nents:attention,all-to-alldispatch,MLP,andall-to-allcombine.Spe一個反向塊，注意力和MLP進一步分為兩個部分，輸入的反向和權重的反向，類似于ZeroBubble(Qietal..2023b)。此外，我們還有一個PP通信組件。如圖4所示，對于一對前向和反向塊，我們重新排列這些組件，并手動調整專用于通信與計算的GPUSM的比例。在這種重疊策略中，我們可以確保在執(zhí)行期間，所有到所有和PP通信都可以完全隱藏。鑒于高效的重疊策略，完整的DualPipe調度如圖5所示。它采用雙向管道調度，同時從管道的兩端輸入微批次，并且大量通信可以完全重疊。A圖5|示例雙管道調度，適用于8個PP等級和20個微批次，分為兩個方向。反向的微批次與正向的微此外，即使在沒有重通信負擔的更一般場景中，DualPipe仍然表現(xiàn)出效率優(yōu)勢。在表2中，我們總結了耗。與Chimera(LiandHoefler,2021)相比，DualPipe只要求管道階段和微批次可被2整除，而不要求為了確保DualPipe的計算性能足夠，我們定制了高效的跨節(jié)點全到全通信內核(包括調度和合并),以節(jié)GB/s的帶寬，約為IB(50GB/s)的3.2倍。為了有效利用IB和NVLink的不同帶寬，我們限制每個令牌最多分發(fā)到4個節(jié)點，從而減少IB流量。對于每個令牌，當其路信完全重疊，每個節(jié)點的每個令牌可以高效地選擇平均3.2個專家，而不會產(chǎn)生來自NVLink的額外開銷。這意味著，盡管DeepSeek-V3A盡管DeepSeek-V3實際上只選擇8個路由專家，但它可以將這個數(shù)字擴展到最多13個專家(4個節(jié)點×3.2專家/節(jié)點),同時保持相同的通信成本。總體而言，在這種通信策略下，僅需20個SM就足詳細來說，我們采用了扭曲專口化技術(Baueretal.,2014),調度過程中，(1)IB發(fā)送，(2)IB到NVLink轉發(fā)，以及(3)NVLink接收由各自的扭曲處理。分配給每個通信任務的扭曲數(shù)量根據(jù)所有SM的實際工作負載動態(tài)調整。同樣，在合并過程中，(1)NVLink發(fā)送，(2)NVLink到IB的轉發(fā)和累積，以及(3)IB接收和累積也由動態(tài)調整的扭曲處理。此外，調度的PTX(并行線程執(zhí)行)指令，并自動調優(yōu)通信塊大小，這顯著減少了對L2緩存的使用和對其他SM的干擾。RMSNorm和MLA上投影的重新計算。我們重新計算所有RMSNorm操作。多標記預測的共享嵌入和輸出頭。通過DualPipe策略，我們將模型的最淺層(包括嵌入層)和最深層(包括輸出頭)部署在同一個PP排名上。這種安排使得MTP模塊和主模型之間的共享嵌入和輸出頭的AA2FP32重量輸出梯度輸入梯度州重量∑重量輸出在大規(guī)模語言模型中，成功應用低精度技術的研究相對較少。圖6|整體混合精度框架，使用FP8數(shù)據(jù)格預訓練(F"man等2024為了解決這個挑戰(zhàn)有施E8式人輸8出般-矩>陣激乘活_(生NM)的關鍵方面。此低精度優(yōu)化器狀態(tài)。我們在兩個與DeepSeek-V2-Lite和DeepSeekV2類似的模型規(guī)模上驗證了所提出的FP8混合精度框架，訓練大約1萬億個標記(更多細節(jié)口附錄B.1)。值得注意的是，與BF16基線相比，我們的FP8訓練模型的相對損失誤差始終保持在0.25%以下，這一水平在訓練隨機性可接受范圍性地保持在其原始數(shù)據(jù)格式中，以平衡訓練效率和數(shù)值穩(wěn)定性。整體框架如圖6所示。首先，為了加速模型訓練，大多數(shù)核心計算內核，即GE操作接受FP8張量作為輸入，并以BF16或FP32格式生成輸出。如圖6所示，與線性運算符相關的所有三個GEMM,即Fprop(前向傳播)、Dgrad(激活反向傳播)和Wgrad(權重反向傳播),均在FP8中執(zhí)行。與原始的BF16方法相比，這種設計理論上將計算速度提高了一倍。此外，F(xiàn)P8Wg一化運算符和注意力運算符。這些針對性的高精度保留確保了DeepSeek-V3的穩(wěn)定ANc1X重量NcNcWGMMA1WGMMA4WGMMA1WGMMA4NcCUDACores,從而提高FP8GEMM的精應用縮放。如圖7(a)所示，(1)對于激活，我們在1x128的塊基礎上對元素進行分組和縮放(即每個token每128個通道);(2)對于權重，我們在128x128的塊基礎上對元素進行分組和縮放(即每128個輸入通道每128個輸出通道)。這種方法確保量化過程能夠更好地適應異常值，通過根據(jù)更小的元素組調我們方法中的一個關鍵修改是在GEMM操作A下一代GPU的TensorCores(Blackwell系列)已宣布支持具有更小量化粒度的微縮格式(NVIDIA,提高累積精度。低精度GEMM操作通常會遭遇下溢問題，其準確性在很大程度上依賴于高精度累積，這H800GPU上，F(xiàn)P8GEMM的累積精度僅限于保留約14位，這顯著低于FP32的累積精景，其中批量大小和模型寬度都在增加。以K=4096步測試中，TensorCores中有限的累積精度導致最大相對誤差接近2%。盡管存在這些問題，有限的累過程在圖7(b)中進行了說明。具體來說，在TensorCores上執(zhí)行MMA(矩陣乘法-累加)時，使用有值得注意的是，這一修改降低了單個warpgroup的WGMMA(Warpgroup級矩陣乘加)指令發(fā)射率。們的實驗，設置N=128個元素，相當于4個WGMMAs,代表了可以顯著提高精度而不引入大量開銷的2019b)相比，該格式在Fprop中使用E4M3(4位指數(shù)和3位尾數(shù)),在Dgrad和Wgrad中使用E5M2(5位指數(shù)和2位尾數(shù)),我們在所有張量上采用E4M3格式以提高精度。我們將這種方法的可行每個1×128激活塊或128x128權重塊的最大絕對值。基于此，我們推導出縮放因子，然后將激活或權重在耗和通信開銷。低精度優(yōu)化器狀態(tài)。我們采用BF16數(shù)據(jù)格式而不是F2017)優(yōu)化器中的第一和第二矩，而不會導致可觀察的性能下降。然而，主權重(由優(yōu)化器存儲)和梯度低精度激活。如圖6所示，Wgrad操作在FP8中執(zhí)行。為了減少內存消耗，將激活緩存為FP8格式以舍五入縮放的，即整數(shù)的2的冪。(2)MoE中SwiGLU操作符的輸入。為了進一線性輸入類似，這個激活的縮放因子是2的整數(shù)次冪。在MoE下投影之前，對激活梯度應用類似的策我們在H800集群上部署DeepSeek-V3,其中每個節(jié)點內的GPU通過NVLink互連，集群內的所有A預填充階段的最小部署單元由4個節(jié)點和32個GPU組成。注意力部分采用4路張量并行(TP4)與序列并行(SP),結合8路數(shù)據(jù)并行(DP8)。其小的TP大小為4,限制了TP通信的開銷。對于MoE部分，我們使用32路專家并行(EP32),確保每個專家處理足夠大的批量大小，從而提高計算效率。對于在節(jié)點內的GPU之間轉發(fā)。特別地，我們對淺層的稠密MLP使用1路張量并行，以節(jié)省TP通信。為了在MoE部分實現(xiàn)不同專家之間的負載均衡，我們需要確保每個GPU處理大約相同數(shù)量的標記。為在線部署期間收集的統(tǒng)計數(shù)據(jù)進行檢測的，并定期進行調整(例如，每10分鐘)。在確定冗余專家集的情況下盡可能平衡GPU之間的負載。對于DeepSeek-V3的部署，我們在預填充階段設置了32個冗余專家。對于每個GPU,除了它所托管的原始8個專家外，它還將托管一個額外的冗余專家。調度和組合另一個。最后，我們正在探索一種動態(tài)冗余策略，針對專家，其中每個GPU托管更多的專家(例如，16個專家),但在每次推理步驟中僅激活9個。在每層的全到全操作開始之前，我們即時計算全局最優(yōu)路由方在解碼過程中，我們將共享專家視為路由專家。從這個角度來看，每個令牌在路由時將選擇9個專家，其中共享專家被視為一個重負載專家，始終會被選擇。解碼階段的最小部署單元由40個節(jié)點和320個分，每個GPU僅托管一個專家，64個GPU負責托管冗余專家和共享專家。調度和合并部分的全到全類似于預填充，我們定期根據(jù)我們在線服務的統(tǒng)計專家負載，在某個時間間隔內確定冗余A與另一個微批次的調度+MoE+合并重疊。在解碼階段，每個專家的批量大小相對較小(通常在256個標記以內),瓶頸是內存訪問而不是計算。由于MoE部分只需要加載一個專家的參數(shù)，內存訪問開銷最小，在DeepSeek-V3中，我們實現(xiàn)了計算與通信之間的的在H800GPU中分配了132個SM中的20個),這將限制計算吞吐量。此外，使用SM進行通信會·執(zhí)行全到全合并的歸約操作。復雜性，我們希望該硬件能夠從計算單元的角度統(tǒng)一IB(擴展)和NVLink(升級)網(wǎng)絡。通過這的接口，計算單元可以通過基于簡單原語提交通信請求，輕松完成跨整個IB-NVLink統(tǒng)一域的讀取、寫NVIDIAHopper架構的實現(xiàn)，F(xiàn)P8GEMM(通用矩陣乘法)采用定點累加，通過根據(jù)最大指數(shù)右移對尾A我們的實驗表明，它僅使用每個尾數(shù)乘積的最高14位，在符號填充右移后截斷超出此范圍的位。然而，例如，為了從32個FP8×FP8乘法的累積中獲得精確的FP32結果，至少需要34位精度。因此，我們建議未來的芯片設計在TensorCores中增加累積精部分結果將從TensorCores復制到CUDA核心，乘以縮放因子，并添加到CUDA核心上的FP32寄存器中。盡管結合我們精確的FP32累積策略，去量化的開銷顯著減輕，但TensorCores和CUDA核心之們需要從高帶寬內存(HBM)中讀取128個BF16激活值(前一次計算的輸出)進行量化，然后將量化后和TMA(張量內存加速器)訪問集成到一個單一的融合操作中，以便在將激活從全局內存轉移到共享內置，重新量化為128x1塊，并存儲在HBM中。為了減少內存操作，我們建議未來的芯片在MMA操作之A與DeepSeek-V2相比，我們通過的多樣性。受到Ding等人(2024)的啟發(fā)，我們實施了文檔打包方法以確保數(shù)據(jù)完整性，但在訓練過程中不采用跨樣本注意力掩蔽。最后，DeepSeek-V3的訓練語料庫由我們分詞器中的14.8T高質量和在DeepSeekCoder-V2(DeepSeek-AI,2024a)的訓練過程中，我們觀察到填充中間(FIM)策略并DeepSeekCoder-V2一致，我們在DeepSeek-V3的預訓練中也采用了FIM策略。具體來說，我們使用前綴-后綴-中間(PSM)框架來構建數(shù)據(jù)，如下所示：fff。DeepSeek-V3的分詞器采用字節(jié)級BPE(Shibata等，1999),擴展詞匯量為128K個標記。我們的分詞器的預分詞器和訓練數(shù)據(jù)經(jīng)過修改，以優(yōu)化多語言壓縮效率。此外，與DeepSeek-V2相比，新的預分4.2.超參數(shù)模型超參數(shù)。我們將Transformer層的數(shù)量設置為61,隱藏維度設置為7168。所有可學習參數(shù)隨機初始化，標準差為0.006。在MLA中，我們將注意力頭的數(shù)量n設置為128,每個頭的維度d設置為128。KV壓縮維度d設置為512,查詢壓縮維度d設置為1536。對于解耦的查詢和鍵，我們將每個頭的維度d設置為64。我們用MoE層替換除了前三層之外的所有FFN。每個MoE層由1個共享專家和256個路由專家組成，其中每個專家的中間隱藏維度為2048。在路由專家中，每個token將激活8個專家，并確保每個token最多發(fā)送到4個節(jié)點。多token預測深度D設置為1,即除了確切的下一個token,每個token將RMSNorm層，并在寬度瓶頸處乘以額外的縮放因子。在此配置下，DeepSeek-V3總共有671B的參數(shù)，其中每個token激活37B。訓練超參數(shù)。我們使用AdamW優(yōu)化器(Loshchilov和Hutter,2017),超參數(shù)設置為β=0.9,β=A關于學習率調度，我們首先在前2K步內將其線性增加從0到2.2×10。然后，我們保持2.2×10的恒定學習率，直到模型消耗10T訓練標記。隨后，我們在4.3T標記中逐漸將學習率衰減到2.2×10,遵循余弦衰減曲線。在最后500B標記的訓練中，我們在前333B標記中保持2.2×10的恒定學習率，并在剩余的167B標記中切換到另一個恒定學習率7.3×10。梯度裁剪范數(shù)設置為1.0。我們采用批量大小調度策略，在前469B標記的訓練中，批量大小從3072逐漸增加到15360,然后在剩余的訓練中保持屬于8個節(jié)點的64個GPU上。關于節(jié)點限制路由，每個標記最多將發(fā)送到4個節(jié)點(即，M=4)。對于無輔助損失的負載平衡，我們將前14.3T標記的偏置更新速度Y設置為0.001,剩余500B標記的偏置更新速度設置為0.0。對于平衡損失，我們將a設置為0.0001,以避免任何單個序列中的極端不平衡。MTP損失權重入在前10T個標記中設置為0.3,在剩余的4.8T個標記中設置為0.1。我們采用與DeepSeek-V2(DeepSeek-AI,2024c)類似的方法，以在DeepSeek-V3中實現(xiàn)口上下文能力。在預訓練階段之后，我們應用YaRN(P階段，每個階段包含1000步，以逐步將上下文窗口從4K擴展到32K,然后到128K。YaRN配置與DeepSeek-V2中使用的配置一致，僅應用于解耦40,α=1,β=32,以及縮放因子。到128K,批量大小減少到480。兩個階段的學習率設置為7.3×10,與預訓練階段的最終學習率相匹通過這兩階段的擴展訓練，DeepSeek-V3能夠處理口度達到128K的輸入，同時保持強大的性能。圖8顯示，經(jīng)過監(jiān)督微調的DeepSeek-V3在“NeedleInAHaystaDeepSeek-V3的基礎模型在一個多語言語料庫上們在HAl-LLM框架中集成的內部評估框架?？紤]的基準被分類多學科多項選擇數(shù)據(jù)集包括MMLU(HendrycksMMLU-Pro(Wangetal.,2024b)、MMMLU(O al.,2018)和BigBenchHard(BBH)閉卷問答數(shù)據(jù)集包括TriviaQA(Joshi等，2017)和NaturalQuestions(Kwiatkowski等，2019)。閱讀理解數(shù)據(jù)集包括RACELai等(2017)、DROP(Dua等，2019)、C3(Sun等，2019a)和CMRC數(shù)學數(shù)據(jù)集包括GSM8K(Cobbe等，2021年)、MATH(Hendrycks等，2021年)、MGSM(Shi等，2023年)和CMath(Wei等，2023年)。代碼數(shù)據(jù)集包括HumanEval(Chenetal.,2021)、LiveCodeBench-Base(0801-1101)(Jainetal.,2024)、MBPP(Austinetal.,202標準化考試包括AGIEval(Zhong等，2023)。請注意，AGIEval包括英語和中文子集。根據(jù)我們之前的工作(DeepSeek-Al,2024b,c),我們對包括HellaSwag、PIQA、WinoGrande、RACE-Middle、RACE-High、MMLU、MMLU-Redux、MMLU-Pro、MMMLU、AChallenge、C-Eval、CMMLU、C3和CCPM在內的數(shù)據(jù)集采用基于困惑度的評估，并對TriviaQA、NaturalQuestions、DROP、MATH、GSM8K、MGSM、HumanEval、MBPP、LiveCRUXEval、BBH、AGIEval、CLAADeepSeek-V2Qwen2.5LLaMA-3.1D架構-MoE密集密集MoE#激活參數(shù)-2hB72B405B37B日87.1MMLU-Redux5-shot75.694.595.395.3HellaSwaWinoGrande5-shot86.382.385.28441.540.0AGIEval0-shot57.575786.2MMLU-Pro5A0-shot83.982.685.7HumanEval0-shot43.353.054.93-shot11.612.915.519GSM8K8-shot81.688.383.589.Math69.979.8CMath3-shotCLUEWSC5-shot82.082.583.082.7中文多語言MMMLU-非英語5-shot64.074.873.879.4并共享相同的評估設置。得分差距不超過0.3的被視為處于同一水平。DeepSeekV3-Base在大多數(shù)基準在表3中，我們將DeepSeek-V3的基礎模型與最先進的開源基礎模型進行比較，包括DeepSeek-V2-Base(DeepSeek-AI,2024c)(我們之前的版本)、Qwen2.572之前報告的結果略有不同。總體而言，DeepSeek-V3-Base在各方面都優(yōu)于DeepSeek-V2-Base和Qwen2.572BBase,并在大多數(shù)基準A從更詳細的角度來看，我們將DeepSeek-V3-Base與其他開源基礎模型逐一進行比較。(1)與DeepSeek-V2-Base相比，由于我們模型架構的改進、模型規(guī)模和訓練標記的增加以及數(shù)據(jù)質量的提升，DeepSeek-V3-Base的性能顯著提高，符合預期。(2)與Qwen2.572BBase相比，這一最先進的中文開源模型，DeepSeek-V3-Base在激活參數(shù)僅為其一半的情況下，仍展現(xiàn)出顯著優(yōu)勢，特別是在英外，DeepSeek-V3-Base的表現(xiàn)也優(yōu)于Qwen2.572B。(3)與LLaMA-3.1405BBase相比，這一激活參數(shù)是其11倍的最大開源模型，DeepSeek-V3-Base在多語言、代碼和數(shù)學基準測試中也表現(xiàn)得更好。至于英語和中文語言基準測試，DeepSeek-V3-Base表現(xiàn)出競爭力或更好的性能，尤其在BBH、礎設施下，訓練DeepSeek-V3每萬億個標記僅需180KH800GPU小時，這比訓練72B或405B稠基線w/MTP基線w/MTP樁測試-0.7290.7290.6580.6574.5.討論在表4中，我們展示了MTP策略的消融結果。具體來說，我們在兩個基線模型上驗證了MTP策略，涵蓋不同的規(guī)模。在小規(guī)模下，我們在1.33T大規(guī)模下，我們在540B個標記上訓練了一個包含228.7B總參數(shù)的基線MoE模型。在此基礎上，保持訓練數(shù)據(jù)和其他架構不變，我們在它們上面附加了一個1深度的MTP模塊，并訓練了兩個使用MTP策ABBH3-shot37.339.366.76ABBH3-shot37.339.366.762.640.246.3MBPP3-shot36.635.8小MoE小MoE大MoE大MoE輔助損失基礎輔助損失無輔助損失基礎aturalQuestions5-shot表5|無輔助損失平衡策略的消融結果。與純粹基于輔助損失的方法相比，無輔助損失策略在大多數(shù)評估在表5中，我們展示了無輔助損失平衡策略的消融結果。我們在兩個基線模型上驗證了這一策略，涵蓋不模下，我們訓練了一個基線MoE模型，包含228.7B總參數(shù)，使用578B標記。這兩個基線模型純粹使用輔助損失來促進負載平衡，并使用帶有to強度的超參數(shù)與DeepSeek-V2-Lite和DeepSeek-V2相同。在這兩個基線模型的基礎上，保持訓練數(shù)16B輔助損失的基線模型和16B無輔助損失模型在不同領域的專家負載。如圖9所示，我們觀察到無輔中，驗證損失為：2.258(使用序列輔助損失)、2.253(使用無輔助損失方法)和2.253(使用批次輔助ADM數(shù)學DM數(shù)學維基百科(en)DM數(shù)學0253(使用批量方式的圖9|在Pile測試集的三個領域中，無輔助損失和基于輔助損失模型的專家負載。無輔助損失模型顯示出比基于輔助損失模型更大的專家專業(yè)化模式。相對專家負載表示實際專家負載與理論平衡專家負載之間的比率。由于空間限制，我們僅提供兩個層的結果作為示例，所有層的結果口附錄輔助損失)。我們還觀察到3BMoE模型上有類似的結果：使用序列輔助損失的模型驗證損失為2.085,而使用無輔助損失方法或批量輔助損失的模型驗證損失均為2.080。此外，盡管批量負載均衡方法顯示出一致的性能優(yōu)勢，但它們在效率上也面臨兩個潛在挑戰(zhàn)：(1)某些序列或小批量內的負載不平衡，以及(2)推理過程中由領域轉移引起的負載不平衡。第一個挑戰(zhàn)自然通過我們的訓練框架得到解決，該框架使用大規(guī)模專家并行和數(shù)據(jù)并行，確保每個微批量的大小較大。對于第二個挑戰(zhàn)，我們還設計并實現(xiàn)了一個高效的推理框架，采用冗余專家部署，如第3.4節(jié)所述，以克服5.訓練后5.1.監(jiān)督微調我們策劃我們的指令調優(yōu)數(shù)據(jù)集，包括150萬個實例，涵蓋多個領域，每個領域采用不同的數(shù)據(jù)創(chuàng)建方法，以滿足其特定需求。推理數(shù)據(jù)。對于與推理相關的數(shù)據(jù)集，包括那些專注于數(shù)學、代碼競賽問題和邏輯難題的數(shù)據(jù)集，我們通過利用內部的DeepSeek-R1模型生成數(shù)據(jù)。具體而言，雖然R1生成的數(shù)據(jù)表現(xiàn)出較強的準確性，但也存在過度思考、格式不佳和口度過口等問題。我們的目標是平衡R1生成的推理數(shù)據(jù)的高準確性與常規(guī)格式化推理數(shù)據(jù)的清晰性和簡潔性。A為了建立我們的methodology,我們首先開發(fā)一個針對特定領域(如代碼、數(shù)學或一般推理)的專家模,而第二種則在問題和R1響應的基礎上加入系統(tǒng)提示，格式為。體性能。非推理數(shù)據(jù)。對于非推理數(shù)據(jù)，例如創(chuàng)意寫作SFT設置。我們使用SFT數(shù)據(jù)集對DeepSeek-V3-Base進行兩輪微調，采用從5×10開始并逐漸降低到1×10的余弦衰減學習率調度。在訓練過程中，每個單獨的序列是由多個樣本打包而成。然而，我們采如，某些數(shù)學問題具有確定的結果，我們要求模型在指定格式內(例如，在一個框中)提供最終答案，從獎勵模型的任務是根據(jù)問題和相應的答案作為輸入提供反饋。獎勵模型是從DeepSeek-V3SFT檢查點進行訓練的。為了增強其可靠性，我們構建了偏好數(shù)據(jù)，不僅提供最終獎勵，還包括導致獎勵的思維鏈。這種方法有助于降低特定任務中獎勵黑客攻擊的口險。5.2.2.群體相對政策優(yōu)化類似于DeepSeek-V2(DeepSeek-Al,2024c),我們采用了群體相對策略優(yōu)化(GRPO)(Shaoetal.,2024),該方法放棄了通常與策略模型大小相同的評論模型，而是從群體得分中估計基線。具體來說，對于每個問題q,GRPO從舊的策略模型πold中抽樣一組輸出{o,o,···,o},然后通過最大化以下目標來優(yōu)化策略模型π:其中e和β是超參數(shù)；π是參考模型；而A是優(yōu)勢，源自于每組輸出對應的獎勵{r,r,...,r}:我們在強化學習過程中融入來自不同領域的提示，例如編碼、數(shù)學、寫作、角色扮演和問答。這種方法不僅使模型更貼近人類偏好，還提高了基準測試的性能，特別是在可用的監(jiān)督微調數(shù)據(jù)有限的情況下。5.3.1.評估設置評估基準。除了我們用于基礎模型測試的基準外，我們還在IFEval(Zhouetal.,2023)、FRAMES(Krishnaetal.,2024)、LongBenchv2(Baietal.,2024)、GPQA((OpenAl,2024c)、CSimpleQA(Heet高中數(shù)學奧林匹克(CNMO2024)和2024年美國邀請數(shù)學考試(AIME2024)(MAA,2024)上進一步評估指令模型。比較基準。我們對我們的聊天模型與幾個強基準進行全面評估，包括DeepSeek-V2-0506、DeepSeek-V2.5-0905、Qwen2.572BInstruct、LLaMA-3.1405BInstruct、Claude-Sonnet-3.5-102240-0513。對于DeepSeek-V2模型系列，我們選擇最具代表性的變體進行比較。對于閉源模型，通過各自的API進行評估。3/Home/comp/comp/cid/AHumanEval-Mul數(shù)據(jù)集總共包括8種主流編程語言(Python、Java、Cpp、C#、JavaScript、TypeScript、PHP和Bash)。我們使用CoT和非CoT方法評估模型在LiveCodeBench上的表現(xiàn)，數(shù)據(jù)收集時間為2024年8月至2024年11月。Codeforces數(shù)據(jù)集的測量使用競爭者的百分比。SWE-準。對于數(shù)學評估，AIME和CNMO2024的評估溫度為0.7,結果在16次運行中取平均，而MATH-500則采用貪婪解碼。我們允許所有模型在每個基準上輸出最多8192個標記。DeepSeekDeepSeekQwen2.5LLaMA-3.1Claude-3.5-GPT-40V2.5-090572B-Inst.405B-Inst.Sonnet-10220513架構MoEMoE稠密稠密MoE#激活參數(shù)21B21串72B405B-37B#總參數(shù)236B236B72B4 dux77.980.385.686.288.988gBenchv231.635.439436.14HumanEval-Mul69.377.veCodeBench18.836.33bdeforces17.535.624.825.320.323.651.6ECodeVerfied-22.623..371.665.463.984.272.979.7AAIME20244.616.723.Math10.815.96.813.110.8430056.374.780.073.878.374.690.2CN中文54.148.450.451.359.364.878.679.586.161.576.776.086.估。包含少于1000個樣本的基準測試使用不同的溫度設置進行多次測試，以得出穩(wěn)健的最終結果。4/openai/simple表6展示了評估結果，表明DeepSeek-V3是表現(xiàn)最好的開源模型。此外，它在與前沿的閉源模型如GPT-40和Claude-3.5-Sonnet的競爭中也表現(xiàn)出色。DeepSeek-V3展現(xiàn)出競爭力的表現(xiàn)，與頂級模型如LLaMA3.1-405B、GPT-40和Claude-Sonnet教育知識基準中表現(xiàn)出色，緊隨Claude-Sonnet3.5。在MMLU-Redux這一經(jīng)過修正標簽的MMLU精簡版中，DeepSeek-V3超越了其同行。此外，在GPQA-Diamond這一博士級評估測試平臺上，DeepSeek-V3取得了顯著的成績，僅次于Claude3.5Sonnet,并大幅超越所有其他競爭對手。在口文本理解基準測試中，如DROP、LongBenc級模型的地位。在DROP的3-shot設置中，它取得了令人印象深刻的91.6F1分數(shù)，所有其他模型。在FRAMES中，這是一個需要在超過10萬標記上下文中進行問答的基準，DeepSeek-V3緊隨GPT-40之后，同時顯著超越了所有其他模型。這證明了DeepSee于GPT-40和Claude-Sonnet,主要是由于其設計重點和資源分配。DeepSeek-V3分配了更多標記來學習中文知識，從而在C-SimpleQA上表現(xiàn)出色。在遵循指令的基準測試中，DeepSeek-V3顯代碼和數(shù)學基準。編碼是一個具有挑戰(zhàn)性和實用性的任務，涉及以工程為重點的任務，如SWE-Bench-Verified和Aider,以及算法任務，如HumanEval和LiveCodeBench。在工程任務中，DeepSeek-V3落后于Claude-Sonnet-3.5-1022,但顯著優(yōu)于開源模型。開源的DeepSeek-V3預計將促進與編碼相關的工程任務的進步。通過提供其強大能力的訪問，DeepSeek-V3可以推動軟件工程和算法開發(fā)等領域的DeepSeek-V3表現(xiàn)出色，在HumanEval-Mul和LiveCodeBench等基準測試中超越了所有基線。這一在數(shù)學基準測試中，DeepSeek-V3展現(xiàn)了卓越的性能，顯著超越了基線，并為非01-like模型設定了新的最先進水平。具體而言，在AIME、MATH-500和CNMO2024上，DeepSeek-V3的絕對得分比第二名模型Qwen2.572B高出約10%,這對于如此具有挑戰(zhàn)性的基準測試來說是一個相當大的差距。這一AA模型Arena-HardAlpacaEva表7|英語開放式對話評估。對于AlpacaEval2.0,我們使用口度控制的勝率作為指標。ChineseSimpleQA上，DeepSeekV3超越了Qwen2.5-72B,領先16.4分，盡管Qwen2.5是在一個包含18T標記的大型語料庫上訓練的，比DeepSeek-V3預訓練的14.8T標記多出20%。在C-Eval,一個代表性的中文教育知識評估基準，以及CLUEWSC(中文Winograd模式挑戰(zhàn)),DeepSeek-V3和Qwen2.5-72B表現(xiàn)出相似的性能水平，表明這兩個模型在具有挑戰(zhàn)性的中文推理和教除了標準基準測試，我們還使用LLMs作為評審，在開放式生成任務上評估我們的模型，結果如表7所示。具體而言，我們遵循AlpacaEval2.0(Duboisetal.,2024)和Arena-Hard(Lietal.,2024a)的原始配置，利用GPT-4-Turbo-1106作為成對比較的評審。在Arena-Hard上，DeepSeek-V3以超過86%的勝率擊敗基線GPT-4-0314,表現(xiàn)與Claude-Sonnet-3.5-1022等頂級模型相當。這突顯了DeepSeek-V3的強大能力，特別是在處理復雜提示時，包括編碼和調試任務。此外，DeepSeek-V3作為第一個在Arena-Hard基準測試中超過85%的開源模型，達成了突破性的里程碑。這一成就顯著縮小和處理簡單問答場景方面的卓越能力。值得注意的是，它比DeepSeek-V2.5-0905超出了20%的顯著5.3.4.DeepSeek-V3作為生成獎勵模型我們將DeepSeek-V3的判斷能力與最先進的模型進行比較，即GPT-40和Claude-3.5。表8展示了這些模型在RewardBench中的表現(xiàn)(Lambert等，2024)。DeepSeek-V3的表現(xiàn)與GPT-4o-0806和Claude-3.5-Sonnet-1022的最佳版本相當，同時超越了其他版本。此外，DeepSeek-V3的判斷能力還GPT-4o-051396.670.486.784.984.7GPT-40-080696.176.1886.7GPT-40-112095.871.38Claude-3.5-sonnet-062096.474.081.684.784.2Claude-DeepSeek-V396.979.887.084.387.0DeepSeek-V3(maj@6)96從而改善表8|GPT-40、Claude-3.5-sonnet和DeepSeek-V3在RewardBench上的表現(xiàn)。模型74.6769DeepSeek-V2.5+R1蒸餾37.4表9|DeepSeek-R1的蒸餾貢獻。LiveCodeBench和MATH-500的評估設置與表6相同。5.4.討論我們基于DeepSeek-V2.5消除了來自DeepSeek-R1的蒸餾貢獻?；€是在短CoT數(shù)據(jù)上訓表9展示了蒸餾數(shù)據(jù)的有效性，在LiveCodeBench和MATH-500基準測試中都顯示出顯著的改進。型準確性和計算效率之間保持平衡，我們仔細選擇了De通過硬編碼構建反饋機制是不切實際的。在DeepSeek-V3的開發(fā)過程中，對于這些更廣泛的背景，我們DeepSeek-V3可以朝著憲法方向進行優(yōu)化。我們相信，這種將補充信息與LLMs結合作為反饋來源的范LLMs的自我改進。除了自我獎勵，我們還致DeepSeek-V3通過MTP技術預測下一個2個token,而不僅僅是下一個單個token。結合推測解碼的框架(Leviathanetal于額外預測token的接受率。根據(jù)我們的評估，第二個token預測的接受率在各種生成主題中介于85%和90%之間，顯示出一致的可靠性。這一高接受率使DeepSeek-V3能夠實現(xiàn)顯著提高的解碼速度，達到1.8倍TPS(每秒token數(shù))。在本文中，我們介紹了DeepSeek-V3,這是一個擁有671B總參數(shù)和37B激活參數(shù)的大型MoE語言模型，訓練于14.8T的tokens。除了MLA和DeepSeekMoE架構，它還開創(chuàng)了一種無輔助損失的負載平衡策略，并設定了多token預測訓練目標以實現(xiàn)更強的性面評估表明，DeepSeek-V3已成為當前最強的開源模型，其性能可Claude-3.5-Sonnet相媲美。盡管性能強勁，但它仍保持經(jīng)濟的訓練成本。其完整訓練僅需2.788M雖然承認其強大的性能和成本效益，但我們也認識到DeepSeek-V3存在一些局DeepSeek始終堅持口期主義的開源模型路線，旨在穩(wěn)步接近AGI(人工通用智能)的最終目標。未來，提高訓練和推理效率，努力接近對無限上下文口度的高效支持。此外，我們將嘗試突破Transformer的架構限制，從而推動其建模能力的邊界?！の覀儗⒉粩嗟覀兊挠柧殧?shù)據(jù)的數(shù)量和質量，并探索納入額外的訓練信號來源，旨在推動數(shù)據(jù)在更全面的維度上進行擴展?！の覀儗⒊掷m(xù)探索和迭代我們模型的深度思考能力，旨在通過擴展它們的推理口度和深度來增強它們的智能和解決問題的能力。·我們將探索更全面和多維的模型評估方法，以防止在研究過程中傾向于優(yōu)化一組固定的基準，這可能會對模型能力產(chǎn)生誤導性的印象，并影響我們的基礎評估。參考文獻AI@Meta.L1ama3模型卡，2024a。網(wǎng)址/meta-11ama/llama3/b1AI@Meta.Llama3.1模型卡，2024b。網(wǎng)址/meta-1lama/1lama-models/blob/main/models/llama3_1/MOAnthropic.claude3.5詩篇，2024。網(wǎng)址/news/claude-3J.Austin,A.Odena,M.Nye,M.Bosma,H.Michalewski,D.Dohan,E.Jiang,C.CaY.Bai,S.Kadavath,S.Kundu,A.Askell,J.Kernion,A.Jones,A.Chen,A.Goldie,A.MirhMcKinnon,等。憲法人工智能：來自人工智能反饋的無害性。arXiv預印本arXiv:2212.08073,2022。Y.Bai,S.Tu,J.Zhang,H.Peng,X.Wang,X.Lv,S.Cao,J.Xu,L.Hou,Y.Dong,J.Tang,LongBenchv2:朝著對現(xiàn)實O上下文多任務的更深入理解和推理.arXiv預印本arXiv:2412.15204,M.Bauer,S.Treichler,和A.Aiken.Singe:利用波特化實現(xiàn)GPU上的高性能.在第19屆ACMSIGPLAN原則與實踐研討會論文集中并行編程，PPoPP'14,第119-130口，紐約，紐約州，美國，2014年。計算機協(xié)會。ISBN/10.1145/2555243.2555258Y.Bisk,R.Zellers,R.L.Bras,J.Gao,和Y.Choi.PIQA:在自然語言中推理物理常識.在第三十四屆AAAI人工智能會議上，AAAI2020年，第三十二屆人工智能創(chuàng)新應用會議，IAAI2020,第十屆AAAI人工智能教育進展研討會，EAAI2020.美國紐約.2020年2月7日至12日口碼7432-7439.AAAI出版社.2020年10.1609/aaai.v34i05.6239.URL/10.1609/aaai.v34i05.6239.M.Chen,J.Tworek,H.Jun,Q.Yuan,H.P.deOliveJoseph,G.Brockman,A.Ray,R.Puri,G.Krueger,M.Petrov,H.Khlaaf,G.SastB.Chan,S.Gray,N.Ryder,M.Pavlov,A.Power,L.Kaiser,M.BavarianSuch,D.Cummings,M.Plappert,F.Chantzis,E.Barnes,A.Herbert-Voss,WA.Paino,N.Tezak,J.Tang,I.Babuschkin,S.Balaji,S.Jain,W.Saunders,C.Hesse,A.NLeike,J.Achiam,V.Misra,E.Morikawa,A.Radford,M.Knight,Mayer,P.Welinder,B.McGrew,D.Amodei,S.McCandlish,I.Sutskever,和W.Zaremba.評估在代URL/abs/2107.03374.P.Clark,I.Cowhey,O.Etzioni,T.Khot,A.Sabharwal,C.Schoenick,和O.Tafjord.認為你已經(jīng)解決了問答問題?試試arc,Al2推理挑戰(zhàn)。CoRR,abs/1803.05457,2018。網(wǎng)址/abs/1803.05457。K.Cobbe,V.Kosaraju,M.Bavarian,M.Chen,H.Jun,L.Kaiser,M.Plapp度提取數(shù)據(jù)集.在K.Inui,J.Jiang,V.Ng,編輯，2019年自然語言處理實證方法會議暨第九屆國際聯(lián)合自然語言