AI發(fā)展驅(qū)動HBM高帶寬存儲器放量

內(nèi)容目錄TOC\o"1-2"\h\z\uHBM：高帶寬DRAM，GPU理想存儲解決方案 4AI大模型催動DRAM需求 43DDRAM解決“內(nèi)存墻”問題 6關(guān)鍵技術(shù)助力HBM發(fā)展 8相關(guān)企業(yè) 14風險提示 16圖表目錄圖HBM主要以TSV技術(shù)垂直堆疊芯片，達到縮減體積、降低能耗的目的 4圖AI模型計算量增長迅猛 4圖HBM提供更快的數(shù)據(jù)處理速度 4圖大模型語言計算對應內(nèi)存需求 5圖靜態(tài)內(nèi)存參數(shù)、優(yōu)化器狀態(tài)較為固定 5圖動態(tài)內(nèi)存通常是靜態(tài)內(nèi)存的數(shù)倍 5圖AI服務(wù)器提升存儲器需求 6圖模型越大需要設(shè)備內(nèi)存越大 6圖存儲帶寬落后于算力成長速度形成“內(nèi)存墻” 6圖3DDRAM幾種實現(xiàn)方式 7圖HBM每個DRAM單元間引線最短 7圖HBM3帶寬進一步提升 7圖Chiplet搭載HBM作為存儲單元解決方案 8圖硅通孔技術(shù)流程 9圖TSV當前深寬比約在10：1 9圖TSV目前開孔約在10um 9圖英偉達A100GPUCoWoS封裝 10圖基于TSV技術(shù)實現(xiàn)堆疊HBM 10圖IMECTSV工藝示意圖 10圖ALD形成擴散阻擋層 10圖先進DRAM需要更高介電常數(shù)材料 11圖ALD形成High-KMetalGate 11圖2.5D+3D先進封裝集成 11圖AMDRadeonVegaGPU&HBM2橫截面 12圖臺積電“3DFabric”平臺使用8個HBM2e堆棧 12圖NVIDIAGH200GraceHopper芯片中使用96GBHBM3堆棧 12圖AMD/UMC2.5D+3D集成示意圖 13圖NVIDIA/TSMC2.5D+3D集成示意圖 13圖2019-2025全球封裝基板行業(yè)產(chǎn)值及增速 13圖全球IC載板市場格局 13HBM：高帶寬DRAM，GPU理想存儲解決方案HBM（高帶寬存儲器，HighBandwidthMemory）CPU/GPUAMDSKHynix3DDRAM，適用于高存儲器帶寬需求的應用場合。HBMDDRHBMDRAM1.5，為新型高性能存儲產(chǎn)品。圖1：HBM主要以TSV技術(shù)垂直堆疊芯片，達到縮減體積、降低能耗的目的資料來源：Micron，整理AI大模型催動DRAM需求AIHBMAIGPUGPUGPUGPUGPU圖模型計算量增長迅猛 圖提供更快的數(shù)據(jù)處理速度 資料來源：OurWorldinData，整理 資料來源：TSMC，整理動態(tài)內(nèi)存能力對大模型訓練至關(guān)重要。內(nèi)存方面，大模型訓練的內(nèi)存可以大致理解為參數(shù)、優(yōu)化器狀態(tài)、激活、梯度四部分的和。它們大致分為兩類：靜態(tài)內(nèi)存和動態(tài)內(nèi)存。參數(shù)、優(yōu)化器狀態(tài)較為固定，屬于靜態(tài)內(nèi)存，激活和梯度等中間變量屬于動態(tài)內(nèi)存，是最主要的內(nèi)存占用原因，動態(tài)內(nèi)存通常是靜態(tài)內(nèi)存的數(shù)倍。圖4：大模型語言計算對應內(nèi)存需求資料來源：Eleutheral，整理圖靜態(tài)內(nèi)存參數(shù)、優(yōu)化器狀態(tài)較為固定 圖動態(tài)內(nèi)存通常是靜態(tài)內(nèi)存的數(shù)倍資料來源：知乎，整理 資料來源：知乎，整理1750GPT33.2TB靜態(tài)內(nèi)存方面，大多TransformerFP16+FP32，以減少訓練模型內(nèi)存，21635G。而動態(tài)內(nèi)存，根據(jù)不同的批量大小、并行技術(shù)等結(jié)果相差較大，通常是靜態(tài)內(nèi)存的數(shù)倍。更簡LLM20NN1750GPT33.2TBFP16175BGPT3327G480GA100FP3210圖服務(wù)器提升存儲器需求 圖模型越大需要設(shè)備內(nèi)存越大資料來源：閃存市場，整理 資料來源：NVIDIA，整理3DDRAM解決“內(nèi)存墻”問題“內(nèi)存墻”是處理器算力超過存儲芯片存取能力，內(nèi)存墻的存在導致綜合算力被3.1(DRAM1.41.7倍。由于處理器處理數(shù)據(jù)過程同樣需要動態(tài)存儲器的支持，“內(nèi)存墻”的存在制約了處理器的算力提升速度。圖9：存儲帶寬落后于算力成長速度形成“內(nèi)存墻”資料來源：曹立強、侯峰澤，《先進封裝技術(shù)的發(fā)展與機遇》，前瞻科技雜志，2022年第3期"集成電路科學與工程專刊”，前瞻科技雜志，整理DRAM3DDRAM2D3D，借助TSV3D縮小芯片表面積，契合半導體行業(yè)小型化、集成化的發(fā)展趨勢。3DDRAMHBM3DDRAMDRAMHBM3DDRAMHBMDRAMDRAM圖DRAM幾種實現(xiàn)方式 圖每個DRAM單元間引線最短 資料來源：Lau.J，《ChipDesignandHeterogeneousIntegrationPackaging》，2023版，140-145頁，整理

資料來源：Lau.J，《ChipDesignandHeterogeneousIntegrationPackaging》，2023版，140-145頁，整理據(jù)集邦咨詢數(shù)據(jù)存儲巨頭SK海力士是目前HBM最大的供應商占據(jù)50的市場SK2013HBM4DRAMHBM2HBM2eI/OHBMHBMGPUTSV3DSKHBM3NVIDIAGPUH100之中，其帶寬在HBM2460GB/s的基礎(chǔ)上提升了78，達到了819GB/s，隨GPU圖12：HBM3帶寬進一步提升資料來源：SK海力士，整理當前高端GPUHBMNVIDIAGPUH100、A100HBM2e、HBM3，H100GPUHBM3AMDMI20MI30以及Goole自研TU等均將搭載高帶寬的HMTrndForce集邦咨詢預估2023年HBM需求量將年增58，2024年有望再增長30。圖HBM資料來源：電子發(fā)燒友網(wǎng)，整理關(guān)鍵技術(shù)助力HBM發(fā)展HBM關(guān)鍵技術(shù)#1：硅通孔技術(shù)(TSV)硅通孔技術(shù)（TSV，ThroughSiliconVia）為連接硅晶圓兩面并與硅襯底和其他通孔絕緣的電互連結(jié)構(gòu)，可以穿過硅基板實現(xiàn)硅片內(nèi)部垂直電互聯(lián)，這項技術(shù)是2.5D3DTSV10μm×100μm30μm×200μm，開口率介于0.1-1。相比平面互連，TSV可減小互連長度和信號延遲，降低寄生電容和電感，實現(xiàn)芯片間的低功耗和高速通信，增加寬帶和封裝小型化。TSV10um10:1，微凸點互聯(lián)40-50umTSV5um10圖14：硅通孔技術(shù)流程資料來源：《新時代先進封裝》，于大全，2021版，8-10頁，整理圖當前深寬比約在10：1 圖目前開孔約在10um資料來源：《新時代先進封裝》，于大全，2021版，8-10頁，整理

資料來源：《新時代先進封裝》，于大全，2021版，8-10頁，整理HBMTSVDRAMTSVHBM3D4CoWoSA100GPUA100GPU6HBM2多顆芯片鍵合至硅基轉(zhuǎn)接板晶圓上(SiInterposerSoCHBMRDLTSVFoverosFacetoFaceChipStackforheterogeneousintegration）3DTSV3D圖英偉達A100GPUCoWoS封裝 圖基于TSV技術(shù)實現(xiàn)堆疊HBM資料來源：曹立強、侯峰澤，《先進封裝技術(shù)的發(fā)展與機遇》，前瞻科技雜志，2022年第3期"集成電路科學與工程專刊”，前瞻科技雜志，整理

資料來源：AMD，整理關(guān)鍵技術(shù)#2：ALD沉積ALDHBM先進DRM加工工藝和TSVALDALDTSVTSVALDWN阻擋層，防止銅的電化學遷移導致物理失效。IMECviamiddleTSVALD氧化層絕緣，厚度為125nm，獲得了100覆蓋WN375℃，覆蓋率大于90。圖TSV工藝示意圖 圖形成擴散阻擋層資料來源：ElectrochimicaActa，整理 資料來源：ElectrochimicaActa，整理ALD沉積DRAMHigh-KMetalGate。Si2柵極電45nmHig-KSi210圖先進DRAM需要更高介電常數(shù)材料 圖形成High-KMetalGate資料來源：CNKI，整理 資料來源：微導納米路演資料，整理關(guān)鍵技術(shù)#3：2.5D+3D集成TSV2.5D+3DTSVDRAM201310JEDECHBM220161NVIDIATeslaTeslaP100AMDRadeonVega、IntelKnightlandingHBM2。AMDRadeonVegaGPU88GbTSV5000TSVHBM240000TSV圖23：2.5D+3D先進封裝集成資料來源：電子發(fā)燒友網(wǎng)，整理圖24：AMDRadeonVegaGPU&HBM2橫截面資料來源：AMD，整理2.5D+3D3DFabric2.5D3DFabric2.5DCoWoSInFO3D3DSoIC3D（SoICInFO-3D），2D/2.5D（InFO）2.5DCoWoSCoWoS-S3HBM2e（128GB）、全新的硅通孔（TSV）解決方案320GH200GraceHopper2.5D+3D20235GH200GraceHopperNVIDIANVLinkSwitchSystem256GH200NVIDIADGXGH200算機。GraceHopperNVIDIANVLink?-C2CDGXGH200ArmNVIDIAGraceCPUHopperGPUChipletGraceCPU、HopperGPU、96GBHBM3512GBLPDDR5X圖臺積電“3DFabric”平臺使用8個HBM2e堆棧 圖GH200GraceHopper芯片中使用96GBHBM3堆棧 資料來源：芯智訊，整理 資料來源：NVIDIA，整理ICICICICPCBPCB，IC2.5D+3DICAMD2015RadeonR9FuryXGPU64nmTSVICubumpGPUHBMC4bumpPCBNVIDIAPascal100GPU16nmubumpHBMubump64nmCoWoS-2PCB板上完成搭建。圖2.5D+3D集成示意圖 圖2.5D+3D集成示意圖資料來源：Lau.J，《ChipDesignandHeterogeneousIntegrationPackaging》，2023版，152-157頁，整理

資料來源：Lau.J，《ChipDesignandHeterogeneousIntegrationPackaging》，2023版，152-157頁，整理ICPCBICIC1022025162億美元的產(chǎn)值，2021-2026年年均復合增長率為9.7高于PCB行業(yè)5.8PCBIC值量最大的材料，在傳統(tǒng)封裝中約占40-50，在先進封裝中約占70-80。據(jù)Yole20192902025420億美元，占封裝市場整體份額的49.4，復合增速達6.6。圖全球封裝基板行業(yè)產(chǎn)值及增速 圖全球IC載板市場格局 資料來源：Prismark，整理 資料來源：Yole，整理相關(guān)企業(yè)ALD也是全球領(lǐng)先的前驅(qū)體供應商之一，公司前驅(qū)體產(chǎn)品供應HBMSK1bDRAM2003DNAND3nmAIHBM3中堆疊8至12個DRAMAIHBMALDHBM（688012.SH）：TSV2010TSVPrimoTSV?，每臺系統(tǒng)可配置多達三個雙反應臺的反應腔。每個反應腔可同時加工兩片晶圓。中微8121（例如垂直、圓錐形和錐形等）。PrimoTSVTSVALDPEALD產(chǎn)品用于沉積Si2、SiN等介質(zhì)薄膜，用于填孔、側(cè)墻、襯墊層等工藝，其PF-300TAstraNF-300HAstraThermal-ALD（PF-300TAltairTS-300Altair）Al3ALD長點。興森科技（002436.SZ）：IC20122018ICCSP3.5/2/月的產(chǎn)能滿產(chǎn)滿銷，盈利能力4.5/20221.5w/20226012FCBGA2000FCBGA8