2024年AI大算力芯片技術發(fā)展與產業(yè)趨勢

AI

大算力芯片技術發(fā)展與產業(yè)趨勢22024全球半導體與數字經濟總量（預估）資料來源：亞太芯谷科技研究院AI

時代財富密碼1、2024年全球半導體產業(yè)鏈產值占全球經濟總量約

1%，但其資本市場市值占全球比近

10%。2024年AI芯片（GPU）產業(yè)營收占全球半導體市場

20%。2024年AI芯片產業(yè)兩大核心企業(yè)NT聯盟（英偉達與臺積電）營收合計占半導體全產業(yè)鏈營收約21%，凈利潤約占

50%，市值約占半導體總市值

50%，占全球資本市場約

5%。注：2024年NT聯盟預計總營收將達到約2000億美元，總凈利潤1000億美元，總市值約5萬億美元。3臺積電技術路線規(guī)劃

2030資料來源：TSMC英偉達GPU產品規(guī)劃

2027資料來源：英偉達2024年6月2日，英偉達CEO黃仁勛在臺灣大學發(fā)表主題為“開啟產業(yè)革命的全新時代”的現場演講，演講中梳理并介紹了英偉達的最新產品和成果，以及對未來產品的規(guī)劃。黃仁勛宣布Blackwell芯片已經投產，

預計將于

2

0

2

5

年推出Blackwell

UltraAI芯片，2026年推出下一代AI平臺“Rubin”，2027年推出ubinUltra，更新節(jié)奏將變?yōu)椤耙荒暌淮巍?。黃仁勛稱，8年內，英偉達GPU產品運算能力增長了1000倍，幾乎超越了摩爾定律在最佳時期的增長。45資料來源：“數據存儲2030”白皮書，中國算力發(fā)展指數白皮書（2022），DIGITIMES研究中心，亞太芯谷科技研究院全球數據量與

GPU

市場規(guī)模2015-2024：數據量增加

122

ZB全球GPU市場規(guī)模增加約

1120

億美元2024年，全球GPU市場規(guī)模約1200億美元2015年，全球GPU市場規(guī)模約80

億美元2024-2030：數據量增加

870

ZB全球GPU市場規(guī)模增加約？

億美元2024年，全球算力規(guī)模預計可達到：2380

EFlops2030年，全球算力規(guī)模預計可達到：56000

EFlops根據IDC和華為GIV團隊預測，全球每年新產生的數據總量隨著數字化的發(fā)展快速增長，從2020年每年產生

2

ZB到2025年每年產生

175ZB，2030年將達到1003

ZB，即將進入YB（1

Yotta

Bytes

=

1000

Zetta

Bytes

=

1024

Bytes）時代。另外，根據DIGITIMES研究中心，2024年全球服務器用GPU（包括存儲芯片在內的板卡與子系統(tǒng)）產值將首次突破1000億美元，達1219億美元。其中，高端服務器GPU產值比重將超過80%，達

1022億美元，出貨量可達

482萬顆，英偉達將占比

92.5%，AMD占比可達

7.3%。全球數據量與算力規(guī)模發(fā)展聯動預估620162018202020222024CoWoS(HI)MOSFET(摩爾定律)N7N5N32016~2024：GPU

算力：

1000

倍邏輯芯片算力：40~60

倍GPU/算力HBM算力光刻機N12資料來源：英偉達，臺積電，亞太芯谷科技研究院AI

芯片算力提升的“三駕馬車”③①②N2大 綱7一．AI

芯片：從MOSFET到CoWoS（HI）二．CoWoS

/

HBM

技術與發(fā)展三．AI

大算力芯片產業(yè)市場與投資四．AI

大算力芯片產業(yè)發(fā)展趨勢1947電晶體-點接觸形式的雙極性晶體管結型構造雙極型晶體管-BJT（BipolarJunction

Transistor）1948金屬—氧化物半導體場效應晶體管-MOSFETMetalOxideSemiconductorFieldEffect

Transistor19602012CoWoS（ChiponWafer

onSubstrate

）蔣尚義、余振華Mohamed

M.

Atalla、Dawon

KahngWilliam

Shockley、John

Bardeen、WalterBrattainWilliam

Shockley全球半導體技術發(fā)展關鍵節(jié)點8資料來源：亞太芯谷科技研究院010020030040050060070019471977197919811983198519871989199119931995199719992001200320052007200920112013201520172019202120232032CoWoS(HI)2020~AI

：CoWoS(HI)

崛起之路全球半導體市場規(guī)模，單位：10億美元2032年約1.2

萬億美元91200MOSFETSi

/

2D封裝HomostructureCoWoSSi

/

2.5&3D封裝Hetrostructure信息/制程驅動數據/封測驅動BJTGe

/

2D封裝Homostructure信息/功能驅動19701970年市場規(guī)模約

100

億美元1970-1990領先企業(yè)NEC/東芝MOSFET1970~20201990-2010領先企業(yè)英特爾/德儀2010-2020領先企業(yè)英特爾/三星2020- 領先企業(yè)臺積電/英偉達/三星BJT1950~19701950-1970領先企業(yè)德儀/仙童2020年市場規(guī)模約

4400

億美元2023年約0.6

萬億美元資料來源：亞太芯谷科技研究院CoWoS

本質上是一種異質異構集成技術異構異質集成（HI，Heterogeneous

Integration）分為異構(HeteroStructure)集成和異質(HeteroMaterial)集成兩大類。HeteroStructureIntegration（異構集成）主要指將多個不同工藝節(jié)點單獨制造的芯片封裝到一個封裝內部，以增強功能性和提高性能，可以對采用不同工藝、不同功能、不同制造商制造的組件進行封裝。HeteroMaterial

Integration（異質集成）是指將不同材料的半導體器件集成到一個封裝內，可產生尺寸小、經濟性好、靈活性高、系統(tǒng)性能更佳的產品。異構集成 異質集成資料來源：亞太芯谷科技研究院英特爾的

EMIB

與三星的

I-Cube11資料來源：英特爾，三星英特爾也于2017年推出EMIB（EmbeddedMulti-Die

Interconnect

Bridge）先進封裝技術，即“嵌入式多芯片互連橋接”，該技術使用傳統(tǒng)覆晶芯片方式連接晶粒和基板，通過一個很小的硅片實現晶粒直接的橋接，可將芯片互連的凸點間距縮小到45微米。三星于2021年發(fā)布2.5D

封裝技術Interposer-Cube4

(I-Cube4)，I-CubeTM是一種異構集成技術，在一個硅中介層上水平放置一個或多個邏輯裸片（CPU、GPU等）和多個高帶寬存儲器(HBM)

裸片，使一個封裝中的多個裸片像單個芯片一樣運行。EMIB I-Cube大 綱12一．AI

芯片：從MOSFET到CoWoS（HI）二．CoWoS

/

HBM

技術與發(fā)展三．AI

大算力芯片產業(yè)市場與投資四．AI

大算力芯片產業(yè)發(fā)展趨勢CoWoS

架構

AI

芯片13資料來源：TSMCCoWoS

：S、R、LS即為硅（Si）襯底作為中介層、R為RDL（重布線）、L為LSI（嵌入式）。其主要區(qū)別在于芯片與芯片之間的連接、芯片和基板之間的連接方式不同。CoWoS-S為最早開發(fā)的系列，芯片通過Chip

on

Wafer（CoW）的封裝制程連接至硅晶圓，再把CoW芯片與基板（Substrate）連接，整合成CoWoS。CoWoS-R為扇出型晶圓級封裝，使用重布層連接。CoWoS-L也是扇出型晶圓級，它結合了CoWoS-S和InFO技術的優(yōu)點，使用局部硅互連嵌入在重布層進行整合。CoWoS為臺積電歷史最悠久的技術，適用于高速運算產品。14資料來源：TSMC，亞太芯谷科技研究院先進封裝底層技術BumpingTSVInterposerCoWoS

關鍵底層技術BumpingInterposerBumpingRDLTSVbumpingRDLDTCDTCInterposerTSVRDLDTCDTC15資料來源：亞太芯谷科技研究院1、散熱Al

算力芯片體積小、集成度高、速度快，導致熱量集中，不易散出，致使IC

功能下降。目前用于

Al

高速運算的服務器是泡在液體里來解決散熱問題，而有Al芯片的攜帶式產品，散熱問題更嚴重，散熱不良導致芯片無法運行，或是使芯片損壞。16資料來源：芯灃科技，亞太芯谷科技研究院2、Interposer

及TSV

應力破裂TSV是先進封裝的關鍵結構單元。在TSV轉接板上，由于銅和硅的熱膨脹系數差別較大，這種熱不匹配所產生的熱應力會造成接口的脫層或材料的開裂而直接影響TSV的可靠性。CoWoS

技術的技術難點2023年2026年2027年技術名稱CoWoS(SolC)CoWoS(SolC)CoWoS(SolC)SoW系統(tǒng)級晶圓載板面積80x80

mm>100x100

mm>120x120mm--HBM數量8X12x12x60x算力提升1X3.5x7x40x17資料來源：TSMC目前CoWos-S可支持的最大尺寸約為2500平方毫米即三倍掩膜版尺寸，也就是Blackwell

GPU上的兩顆die+8xHBM的設計，再想增大面積恐怕不易。因此，CoWos-L將成為下一階段的主要封裝類型。臺積電系統(tǒng)級晶圓技術將迎來大突破，采用CoWoS技術的芯片堆棧版本，預計于2027年準備就緒，即CoWoS技術整合SoIC、HBM及其他元件，進而打造一個強大且運算能力媲美資料中心服務器機架，或甚至整臺服務器的晶圓級系統(tǒng)。2027年后，3D版的CoWoS技術：SoW，有望登上歷史舞臺。CoWos-L

將成為主要封裝類型 臺積電CoWos封裝規(guī)劃路線CoWoS

技術發(fā)展趨勢HBM

應用的關鍵：AI

芯片存儲墻算力的增速遠超存儲與互連帶寬的增速大模型體積的增速遠高于算力芯片存儲容量的增速算力的增速遠大于存儲的增長速度。目前絕大部分的計算系統(tǒng)基于馮諾依曼計算機體系，而該體系下存儲與計算單元分離，需要通過總線不斷在存儲與處理器之間傳輸數據，因此存儲的帶寬制約了算力的利用效率。此外，從外部處理器到內存之間不斷進行數據的搬運，搬運時間往往是運算時間的成百上千倍，產生的無用能耗過多。模型體量的增速遠大于算力卡存儲容量的增速。隨著

Transformer

模型的大規(guī)模發(fā)展和應用，模型大小每兩年平均增長了240倍，而單個GPU內存容量僅以2年2倍的速度擴大。為了擺脫單一算力芯片內存有限的問題，可以將模型部署于多顆GPU上運行，但在算力芯片之間移動數據，仍然比單一芯片內部移動數據低效，因此算力芯片內存容量的緩慢增速制約了更大規(guī)模的模型應用。18資料來源：riselabHBM

基本涵義HBM（High

Bandwidth

Memory，

高帶寬存儲）是一種新型的CPU/GPU內存芯片

。

從結構上看其特點有：（1）3D堆疊結構并由TSV互連：

HBM由多顆DRAM

die堆疊成3D結構，使用TSV技術實現信號的共享與分配；（2）

高I/O數量帶來高位寬：

HBM的每顆DRAM

Die包含多個通道，

可獨立訪問

。

每個通道又包含多個I/O

口

，位寬64/128bit，

使

HBM的總位寬高達1024bit。HBM1

堆疊

DRAM

架構圖19資料來源：《高帶寬存儲器的技術演進和測試挑戰(zhàn)》（陳煜海等人）

，華金證券研究所不同類型的存儲芯片帶寬與單引腳最大I/O速度對比HBM2與傳統(tǒng)DDR存儲器的單引腳I/O帶寬功耗比對比20資料來源：華金證券研究所HBM

與其他存儲芯片參數對比HBM2E和HBM3的單引腳最大輸入/輸出（I/O）速度分別達3.2Gbit/s和6.4Gbit/s，低于GDDR5存儲器的7Gbit/s，但HBM的堆棧方式可通過更多的I/O數量使總帶寬遠高于GDDR5；例如HBM2帶寬可以達到307

GB/s；以DDR3存儲器單引腳I/O帶寬功耗為基準，HBM2的I/O功耗比明顯低于DDR3/DDR4和GDDR5，相比于GDDR5存儲器，HBM2的單引腳I/O帶寬功耗比數值降低42%。HBM

采用的主要封裝技術HBM

結構及相關技術圖示21資料來源：SK海力士HBM

的邏輯芯片的功能區(qū)先進封裝技術在HBM

制造中大放異彩，包括

TSV（硅通孔）、Bumping（凸點制造）、堆疊鍵合等技術，在與邏輯芯片共封時又另外使用中介層、系統(tǒng)級封裝SIP等技術。HBM

技術將追求更高帶寬目前，三大存儲廠商已將HBM4已經列入研發(fā)計劃：1、堆疊層數：HBM4在堆疊層數上，除了現有的8/12層外，將再往16層發(fā)展，更高層數也將帶動新堆疊方式Hybrid

bonding的需求。HBM4

12層將于2026年推出，而16層則預計于2027年問世。2、邏輯die：受到GPU/HBM規(guī)格更往高速發(fā)展帶動，Trendforce預計HBM最底層的Logic

die（Basedie）將采用12nm制程，該部分將由晶圓代工廠提供，使得單顆HBM需要結合晶圓代工廠與存儲器廠的合作。3、客制化：根據韓國中央日報報道，SK海力士正在招募CPU、GPU等邏輯芯片的設計人員，目標是將未來的HBM4以3D堆疊的形式堆疊在英偉達、AMD等公司的邏輯芯片上，預計該HBM4內存堆棧將采用2048位接口。該方案未定，只是在討論中。三大存儲廠商

HBM

技術路線圖22資料來源：Yole，Techspace，，各公司官網大 綱23一．AI

芯片：從MOSFET到CoWoS（HI）二．CoWoS/

HBM

技術與發(fā)展三．AI

大算力芯片產業(yè)市場與投資四．AI

大算力芯片產業(yè)發(fā)展趨勢70012502250330040000500100015002000250030003500400045002023(E)2024(E)2025(E)2026(E)2027(E)根據亞太芯谷科技研究院分析預測，2023年，全球GPU市場規(guī)模為700億美元，隨著人工智能科技的發(fā)展，全球GPU市場需求不斷增長，預計2027年全球GPU市場規(guī)模將達到

4000億美元，2023-2027年復合增長率54%，2032年達到5500億美元，2023-2032年復合增長率為25.7%。24資料來源：亞太芯谷科技研究院全球

GPU

市場為三足鼎立的寡頭競爭格局，英偉達在獨顯領域一家獨大，市場份額占80%以上，AMD占比約10%，英特爾占比約5%。中國大陸廠商華為正快速崛起，市場需求量呈現出爆發(fā)式增長。根據華為內部和采購方渠道透露的信息，

2023

年華為算力GPU出貨量約十萬片，

而2024年產能增加到幾十萬片，下單需求已經達到上百萬片。2023-2027

全球GPU市場規(guī)模預估（單位：億美元）2023-2027年CAGR：54%全球

GPU

市場規(guī)模預估12243648608010012001.5481525385002040608010012014020232024(E)2025(E)2026(F)2027(F)2028(F)2029(F)2030(F)臺積電 其他全球

CoWoS

產能預估

2030單位：萬片2023年10月預估1236609012016021027001.561530406010005010015020025030020232024(E)2025(E)2026(F)2027(F)2028(F)2029(F)2030(F)臺積電 其他單位：萬片備注：圖中數量為CoWoS的12吋Wafer數量，平均每片12吋Wafer可以切出25個Interposer，每個Interposer對應一個GPU。25資料來源：亞太芯谷科技研究院2024年5月預估2023~2030年

CoWoS總產能年復合增長率修正為

CAGR：63.2%2023~2030年

CoWoS

總產能年復合增長率

CAGR：46%26HBM

市場規(guī)模預估

2026資料來源：SK海力士，亞太芯谷科技研究院由于更強的生成式人工智能（Gen

AI）需求推動了更高的AI服務器出貨量和每個GPU中更高的高帶寬內存（HBM）密度，亞太芯谷科技研究院預計HBM市場規(guī)模將從2022年到2026年前增長15.64倍（4年復合年增長率77%），從2022年的

23

億美元增長至2026年的

230億美元。2022-2026

全球HBM市場規(guī)模預估（

單位：億美元）2339168280360050150100250200300350400202220232024（E）2025（E）2026（E）272024：AI

芯片NT聯盟的三個千億里程碑2024年，臺積電，英偉達營收預估分別達到

1000

億美元，凈利潤預估合計

1000

億美元。公司名稱2024

Q1營收2024

Q1凈利潤2024（預估）營收同比

2023營收增長2024（預估）凈利潤同比2023凈利潤增長市值（2024.06.30）臺積電188.51

億美元71.72

億美元1000

億美元44.2

%450

億美元67.29

%0.90

萬億美元英偉達260.44

億美元148.81

億美元1000

億美元64.15

%550

億美元84.81

%3.04

萬億美元合計448.95

億美元220.53

億美元2000

億美元53.61

%1000

億美元76.49

%3.94

萬億美元資料來源：WInd，亞太芯谷科技研究院28NT

聯盟市值合計超過

4

萬億美元2024年7月9日，臺積電盤中市值首次超過萬億美元，收盤回落至

9570

億美元。2024年7月9日，英偉達市值達到

3.23

萬億美元。NT

聯盟市值合計

4.19

萬億美元，占費城半導體指數總市值的

57

%。備注：英偉達、臺積電均為前復權后的周K線走勢圖。資料來源：東方財富，Wind大 綱29一．AI

芯片：從MOSFET到CoWoS（HI）二．CoWoS/

HBM

技術與發(fā)展三．AI

大算力芯片產業(yè)市場與投資四．AI

大算力芯片產業(yè)發(fā)展趨勢零部件2xIntelSapphireRapids

Server(標準CPU服務器)NvidiaDGX

H100(AlGPU服務器)倍數BOM占

比單機ASPBOM占

比單機ASPCPU17.7%$1,8501.9%$5,2002.8

GPU板組：8*GPU+4*NVSwitchBaseboard0.0%$-72.5%$195,000一內存DRA

M37.5%$3,9302.9%$7,8602.0

硬盤NAN

D14.7%$1,5361.3%$3,4562.3

網絡接口卡SmartNIC6.2%$6544.1%$10,90816.7

機箱(機盒、背板、布線)3.8%$3950.2%$5631.4

主板3.3%$3500.3%$8752.5

散熱(散熱片+風扇)2.6%$2750.2%$4631.7

電源2.9%$3000.4%$1,2004.0

組裝和測試4.7%$4950.6%$1,4853.0

設備制造商利潤6.6%$68915.6%$42,00061.0

總成本100%$10.474100%$269,01025.7

30資料來源：semianalysis;Al

Server

Cost

Analysis2023.05.29，萬和證券研究所英偉達

AI

服務器成本分析Fan-in與

Fan-out31幾種載板材料32新架構GPU01面板級封裝

PLP02PCB與新材料06NVLink&

UALink05BONDING07熱導與散熱03光模塊/CPO04測試08資料來源：亞太芯谷科技研究院AI

大算力芯片產業(yè)發(fā)展趨勢33產業(yè)發(fā)展趨勢

01：新架構

GPU可重構計算（CGRA）是指利用系統(tǒng)中的可編程計算資源（處理單元和互連網絡），根據應用的需要和計算任務的數據流特點，動態(tài)構造出最適配的計算架構，達到逼近專用集成電路的高性能?？芍貥嫾軜嫷某橄竽Ｐ唾Y料來源：清微智能扇出型板級封裝FOPLP，所謂的扇出（fan-out）是相對于扇入（fan-in）來說的，其封裝的RDL線路和引腳不僅在芯片所處的投影面積之內，而且在投影面積的外圍也有分布。面板級封裝（PLP，panel

level

package），則是相對于晶圓級封裝（WLP，wafer

level

package）來說的，就是之前采用晶圓作為載板的封裝改為采用面板作為封裝的載板。這些載板的材質可以選擇金屬、玻璃和高分子聚合物材料。近日，有消息傳出，AI芯片龍頭英偉達最快將于2026年導入扇出型面板級封裝，借此緩解CoWoS先進封裝產能吃緊，導致AI芯片供應不足的問題，英特爾、AMD等半導體大廠后續(xù)也將逐步加入扇出型面板級封裝的陣營。Fan-in與

Fan-out幾種載板材料資料來源：亞太芯谷科技研究院產業(yè)發(fā)展趨勢

02：FOPLP

技術FOPLP

技術的產業(yè)合作項目進展資料來源：TrendForce，亞太芯谷科技研究院廠

商客戶應用封裝尺寸狀

態(tài)力

成MTKPMIC,RF515*510mm現

有AMDPC

CPU515*510mm小量規(guī)劃日月光QualcommPMIC,RF300*300mm暫

緩QualcommPMIC,RF600*600mm小量規(guī)劃AMDPC

CPU600*600mm小量規(guī)劃硅

品NVIDIAAI

GPU515*510mm評估

中臺積電NVIDIAAI

GPU515*510mm評估

中AMDAI

GPU515*510mm評估

中群

創(chuàng)NXPPMIC620*750mm量產2H24STMicroPMIC620*750mm評估

中Nepes600*600mmSEMCOSamsungPMIC,AP510*415mm現

有FOPLP

模式的封裝業(yè)務合作項目及進展概要1．FOPLP技術目前有三種主要應用模式：① OSAT（封裝測試）業(yè)者將消費性IC封裝從傳統(tǒng)方式轉換至FOPLP；② 晶圓代工廠和OSAT業(yè)者將AI

GPU的2.5D封裝從晶圓級轉換至面板級；③ 面板業(yè)者跨足消費性IC封裝領域。2、產業(yè)合作案例：① 以AMD與力成、日月光洽談PC

CPU產品及高通與日月光洽談PMIC產品進展較大；② 在AI

GPU封裝方面，AMD及NVIDIA大廠最為積極，與臺積電、硅品洽談相關產品，雙方將2.5D封裝模式自晶圓級轉換至面板級合作，進一步放大芯片封裝尺寸、使單位成本更低，但由于技術的挑戰(zhàn)，相關業(yè)者對此轉換尚處評估階段。35產業(yè)發(fā)展趨勢

03：熱導與散