電力設(shè)備新能源行業(yè)AIDC系列:電源、配電、冷卻的發(fā)展趨勢_第1頁
電力設(shè)備新能源行業(yè)AIDC系列:電源、配電、冷卻的發(fā)展趨勢_第2頁
電力設(shè)備新能源行業(yè)AIDC系列:電源、配電、冷卻的發(fā)展趨勢_第3頁
電力設(shè)備新能源行業(yè)AIDC系列:電源、配電、冷卻的發(fā)展趨勢_第4頁
電力設(shè)備新能源行業(yè)AIDC系列:電源、配電、冷卻的發(fā)展趨勢_第5頁
已閱讀5頁,還剩31頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

*

請務(wù)必閱讀最后一頁免責(zé)聲明AI浪潮推動服務(wù)器功率提升,AIDC供配電架構(gòu)或?qū)l(fā)生重大變化。全球AI市場規(guī)模擴增,數(shù)據(jù)中心資本開支加速。芯片單體功耗急速增加,帶動單臺服務(wù)器功耗提升。芯片方面,英偉達的H100和H200單芯片功耗為700W,GB200達到2700W,單芯片功耗顯著提升;服務(wù)器配置方面,區(qū)別于傳統(tǒng)8卡服務(wù)器的常規(guī)10KW的功耗、40KW的整機柜功率,GB200

NVL72架構(gòu)則需要72顆GPU,整體功率大幅提高到120KW。AI訓(xùn)練和推理任務(wù)需要處理海量數(shù)據(jù),對算力的需求激增,這要求GPU具備更高的計算能力,單體功耗顯著提升,進而帶動機柜功耗的大幅增加。未來AIDC的需求呈現(xiàn)高功率、高密度、高效率、高可靠性趨勢,這將使整個數(shù)據(jù)中心的供配電架構(gòu)發(fā)生重大變化。同時,大功耗下散熱系統(tǒng)也將變得尤為關(guān)鍵。電源趨勢:高效率、高功率1、機柜外電源:高壓HVDC方案創(chuàng)新提出,可進一步提升效率。傳統(tǒng)HVDC輸出電壓等級240、380V,未來新一代HVDC將提高到750V/800V等輸出電壓,直流供電系統(tǒng)減少交直流變換環(huán)節(jié),轉(zhuǎn)換效率可從95%提升到98%。2、機柜內(nèi)電源:AI服務(wù)器電源升級,功率密度提升。PSU架構(gòu)從3kW、3.3kW到8kW、12kW的電源功率進階,功率密度將從32W/立方英寸提升至100W/立方英寸,核心是通過硅、SiC、GaN等半導(dǎo)體材料提升電源的功率密度,以在有限的空間內(nèi)提供更高的功率輸出。傳統(tǒng)8卡服務(wù)器為6*3.3kW的電源架構(gòu),NVL72架構(gòu)為6*5.5kW*8的電源架構(gòu)。同時也可能加入BBU的設(shè)計作為后備電源。配電趨勢:預(yù)制化、模組化、智能化配電相關(guān)變化:未來AIDC的趨勢正朝著超大規(guī)模和快速部署等方向演進,這將推動電力模組化、預(yù)制化、智能化趨勢,集成配電柜、變壓器、UPS/HVDC等環(huán)節(jié),節(jié)省供配電部分的占地面積,工廠預(yù)制連接銅排,現(xiàn)場施工簡便,提升安裝效率,同時可集中監(jiān)控管理設(shè)備運行。AIDC配電的新趨勢將帶動電路元器件升級,同時電能質(zhì)量管理也需要提升。此外母線的應(yīng)用在數(shù)據(jù)中心里也可能提升,前端連接母線替代傳統(tǒng)電纜,末端連接智能小母線方案。核心要點1*

請務(wù)必閱讀最后一頁免責(zé)聲明冷卻趨勢:液冷方案滲透率提升。在高功率密度機柜的場景下,為了解決機柜間的散熱需求,液冷方案逐漸興起。液冷方案的散熱能力更強,同時可以降低數(shù)據(jù)中心的PUE。隨著機架密度升至20kW以上,多種液冷技術(shù)應(yīng)運而生,從而滿足高熱密度機柜的散熱需求。AIDC供配電環(huán)節(jié)投資建議1、機柜內(nèi)電源(AI服務(wù)器電源):電源功率密度升級,建議關(guān)注【麥格米特】【歐陸通】【泰嘉股份】等。2、機柜外電源(UPS/HVDC):機柜外電源不可或缺,新資本開支涌入,利好集群化潛在新技術(shù)高壓HVDC等方案,建議關(guān)注【科華數(shù)據(jù)】【禾望電氣】【中恒電氣】【科士達】等。3、AIDC配電:配電環(huán)節(jié)整體價值量占比較高,后續(xù)隨著資本開支增加市場規(guī)模有望擴大,同時電力模組化趨勢重點是配電環(huán)節(jié)的變化,配電&電路元器件建議關(guān)注【良信股份】【明陽電氣】

【宏發(fā)股份】【法拉電子】【中熔電氣】;

變壓器【金盤科技】【伊戈爾】等;智能母線【威騰電氣】;同時建議關(guān)注電能質(zhì)量環(huán)節(jié)。4、冷卻環(huán)節(jié):建議關(guān)注【英維克】【高瀾股份】【同飛股份】【申菱環(huán)境】5、備用電源:柴油發(fā)電機環(huán)節(jié),建議關(guān)注【科泰電源】等。風(fēng)險提示:下游資本開支不及預(yù)期;行業(yè)競爭加劇風(fēng)險;技術(shù)替代風(fēng)險。2核心要點*

請務(wù)必閱讀最后一頁免責(zé)聲明電源趨勢:高效率、高功率03AI浪潮推動服務(wù)器功率提升023配電趨勢:預(yù)制化、模組化、智能化04數(shù)據(jù)中心供配電架構(gòu)解析01冷卻趨勢:液冷方案滲透率提升05投資建議06風(fēng)險提示07*

請務(wù)必閱讀最后一頁免責(zé)聲明數(shù)據(jù)中心供配電架構(gòu)解析401.*

請務(wù)必閱讀最后一頁免責(zé)聲明數(shù)據(jù)中心供配電系統(tǒng)資料來源:

《數(shù)據(jù)中心設(shè)計規(guī)范》知網(wǎng)、《阿里云數(shù)據(jù)中心基礎(chǔ)設(shè)施初級運維工程師》知網(wǎng)、民生證券研究院圖表:數(shù)據(jù)中心供配電系統(tǒng)

低壓配電終端配電服務(wù)器電源風(fēng)冷一級電源:HVDC/UPS兩路市電,一到兩路柴發(fā),變電設(shè)備,開關(guān)設(shè)中高壓配

中高壓配電電備,雙電源設(shè)備、母線等各種低壓柜,元件、母線等列頭柜,PDU,元件,母線等AC-DC,DC-DC,超級電容,BBU配電系統(tǒng)電源系統(tǒng)冷卻系統(tǒng)液冷數(shù)據(jù)中心供配電系統(tǒng):為機房內(nèi)所有需要動力電源的設(shè)備提供穩(wěn)定、可靠的支撐。一般來說,A級數(shù)據(jù)中心采用雙路電源供電,10kv市電進線到數(shù)據(jù)中心服務(wù)器的末端,常見的兩路供電同時處于熱備份狀態(tài),一路斷電時另一路會支持關(guān)鍵負載持續(xù)供電。從上游到下游包括中壓柜、變壓器、低壓配電柜,配電柜進線進到UPS,通過整流再給到PDU做最終分配,分配給各個服務(wù)器。01災(zāi)備電源:柴油發(fā)電機5*

請務(wù)必閱讀最后一頁免責(zé)聲明數(shù)據(jù)中心供配電架構(gòu)資料來源:《全面掌控數(shù)據(jù)中心供配電系統(tǒng)》

王紅偉,張明

、通信電源人公眾號、民生證券研究院016A級數(shù)據(jù)中心供配電系統(tǒng)主要有3種架構(gòu):2N、DR、RR。2N系統(tǒng):2個供配電單元同時工作,互為備用,每個單元均能滿足全部負載的用電需要。正常運行時,每個單元向負載提供50%的電能;當(dāng)一個單元因故障停止運行時,另一個單元向負載提供100%的電能。

可克服單電源系統(tǒng)存在的單點故障瓶頸,增強供電系統(tǒng)可靠性。DR系統(tǒng):分布冗余。由N(N≥3)個配置相同的供配電單元組成,N個單元同時工作。將負載均分為N組,每個供配電單元為本組負載和相鄰負載供電,正常運行下,每個供配電單元的負荷率為66%。當(dāng)一個供配電系統(tǒng)發(fā)生故障時,其對應(yīng)負載由相鄰供配電單元繼續(xù)供電。RR系統(tǒng):后備冗余。由多個供配電單元組成,其中一個單元作為其它運行單元的備用。當(dāng)一個運行單元發(fā)生故障時,通過電源切換裝置,備用單元繼續(xù)為負載供電。圖表:數(shù)據(jù)中心2N系統(tǒng)配電架構(gòu) 圖表:數(shù)據(jù)中心DR系統(tǒng)配電架構(gòu)圖表:數(shù)據(jù)中心RR系統(tǒng)配電架構(gòu)*

請務(wù)必閱讀最后一頁免責(zé)聲明701資料來源:數(shù)據(jù)中心基礎(chǔ)設(shè)施運營管理公眾號、民生證券研究院整理數(shù)據(jù)中心主要設(shè)備環(huán)節(jié)兩路市電:每一路市電供電容量滿足數(shù)據(jù)中心全部電力需求,兩路電源負荷設(shè)備輸入端自動切換,正常時同時供電,各承擔(dān)50%負載。柴油發(fā)電機:獨立于正常電源,當(dāng)正常電源發(fā)生故障時,作為備用電源承擔(dān)數(shù)據(jù)中心正常運行所需要的用電負荷。變壓器:將市電6kV/10kV/35kV(3相)轉(zhuǎn)換成380V/400V(3相),供后級低壓設(shè)備用電。UPS:掛載的蓄電池與主機相連接,通過主機逆變器等模塊電路為重要服務(wù)器負載持續(xù)供電,保證數(shù)據(jù)中心不斷電,同時能凈化電網(wǎng)。斷路器:接通、承載以及分斷正常電路條件下的電流,也能在規(guī)定的非正常電路(例如過載、短路)下接通,承載一定時間和分斷電流??照{(diào)系統(tǒng):由制冷循環(huán)和空氣循環(huán)組成,制冷循環(huán)即利用有限的制冷劑在封團的制冷系統(tǒng)中,不斷的在基發(fā)器處吸熱汽化,進行制冷降溫,將熱量從室內(nèi)微運到室外,主要分為水冷和風(fēng)冷兩類。其他系統(tǒng):保障數(shù)據(jù)中心的正常運轉(zhuǎn)、安全管理及高效運營的其他系統(tǒng),包括照明系統(tǒng)、消防系統(tǒng)、網(wǎng)絡(luò)設(shè)備系統(tǒng)、監(jiān)控系統(tǒng)等。圖表:數(shù)據(jù)中心供電核心系統(tǒng)框圖 圖表:數(shù)據(jù)中心供配電具體流程圖*

請務(wù)必閱讀最后一頁免責(zé)聲明后備電源——柴油發(fā)電機組資料來源:通信電源人公眾號、《數(shù)據(jù)中心供配電技術(shù)分析》賈橋龍,李培仁,于謀川,魏濤,張冬冬、民生證券研究院801柴油發(fā)電機組是數(shù)據(jù)中心的后備電源之一,獨立于正常電源,由柴油內(nèi)燃機組、同步發(fā)電機、油箱、控制系統(tǒng)4個部分組成,柴油為燃料產(chǎn)生高溫、高壓燃氣,燃氣膨脹推動活塞使曲軸旋轉(zhuǎn)產(chǎn)生機械能,最終機械能轉(zhuǎn)換為電能輸出。市電故障時ATS(自動轉(zhuǎn)換開關(guān))自動將電源切換到發(fā)電機作為主電源,發(fā)電機快速啟動并對外輸出穩(wěn)定可靠的電能,保障數(shù)據(jù)中心正常運行。根據(jù)Uptime

Insituite數(shù)據(jù)中心系統(tǒng)可用性劃分,Tier

I(基礎(chǔ)型)、Tier

II(組件冗余型)、Tier

III(同時可維護型)、Tier

IV(容錯型),每一級都需要配備用于停電的發(fā)電機,最常見的Tier

III始終需要提供備用電源冗余;《數(shù)據(jù)中心設(shè)計規(guī)范》GB50174-2017規(guī)定,后備柴油發(fā)電機組的性能等級不應(yīng)低于G3級(這一級別開始性能就能滿足一些設(shè)備備用供電使用需求),A級數(shù)據(jù)中心發(fā)電機組應(yīng)連續(xù)和不限時運行,發(fā)電機組的輸出功率應(yīng)滿足數(shù)據(jù)中心最大平均負荷的需要。優(yōu)點:燃油相對便于存儲;維護相對簡單,只需進行定期的燃油過濾和更換、定期更換冷卻液和機油;啟動時間更短,啟動時只需將燃油噴射到高壓燃油泵和噴油器中,經(jīng)過壓縮和點火即可自動燃燒從而啟動;緊急帶載能力較強,首次加載功率可以達到備用功率的50%~70%;過載能力強,可在100%功率下長時間安全穩(wěn)定運行。圖表:Caterpillar數(shù)據(jù)中心柴油發(fā)電機組 圖表:數(shù)據(jù)中心柴油發(fā)電機組*

請務(wù)必閱讀最后一頁免責(zé)聲明AI浪潮推動服務(wù)器功率提升902.*

請務(wù)必閱讀最后一頁免責(zé)聲明10全球AIDC建設(shè)浪潮來襲02全球AI市場規(guī)模擴增,未來幾年將成為萬億美元市場。根據(jù)Precedence

Research數(shù)據(jù),2023年全球AI市場規(guī)模為5381.3億美元,2024年全球AI市場規(guī)模預(yù)計為6382.3億美元,2024年至2034年將持續(xù)大幅擴增,CAGR達19.1%。北美區(qū)域占據(jù)了最大的市場份額,23年占比達到全球的37%。未來除了北美區(qū)域以外,預(yù)計亞太地區(qū)將成為預(yù)測期內(nèi)增長最快的人工智能市場。海外數(shù)據(jù)中心投資大幅抬升,北美是全球最大的數(shù)據(jù)中心市場。2024年第三季度,北美四大廠商資本開支持續(xù)增長,微軟Q3資本支出達200億美元,同比增長78%,公司預(yù)計2025年投資約800億美元用于數(shù)據(jù)中心開發(fā);谷歌Q3資本支出為131億美元,同比增長62%,最大支出為技術(shù)基礎(chǔ)設(shè)施,其中第一是服務(wù)器,第二是數(shù)據(jù)中心;亞馬遜Q3資本支出為226.2億美元,同比增長81%,公司財報電話會議中預(yù)計2024全年資本支出達到750億美元,資本支出主要集中在擴展數(shù)據(jù)中心網(wǎng)絡(luò),促進AWS(云計算業(yè)務(wù))和Gen

AI(生成式人工智能);MetaQ3資本支出為92億美元,同比增長36%,主要為服務(wù)器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的投資,全年預(yù)估為380-400億美元,2025年預(yù)估大幅增長。海外資本開支持續(xù)加速。2025年1月21日,美國總統(tǒng)宣布由OpenAI、日本軟銀集團、Oracle組成的聯(lián)合企業(yè)“星際之門”(Stargate),在美開啟大規(guī)模智算中心建設(shè),在德克薩斯建立智算中心和所需的發(fā)電設(shè)施,初期投資為1000億美元,預(yù)計未來四年增長到5000億美元,以支持AI技術(shù)發(fā)展。資料來源:Precedence

Research、各公司財報、工商時報、財聯(lián)社、民生證券研究院整理圖表:2023-2034年全球AI市場規(guī)模(單位:十億美元)公司 投資計劃微軟作為技術(shù)合作伙伴參與Stargate項目;在2023至2030年間投資100億美元用于租用CoreWeave的AI服務(wù)器。谷歌計劃在泰國、馬來西亞投資超30億美元建立數(shù)據(jù)中心和云區(qū)域亞馬遜將在密西西比州投資

100

億美元建設(shè)

2

個數(shù)據(jù)中心綜合體,計劃未來15年內(nèi)投入1500億美元用于全球數(shù)據(jù)中心建設(shè)與運營。Meta公司預(yù)計2025年資本支出大幅增長,計劃投資100億美元在路易斯安那州建設(shè)AI數(shù)據(jù)中心OpenAI和軟銀、Oracle和MGX合作成立新AI公司Stargate用于建設(shè)新的AI基礎(chǔ)設(shè)施,當(dāng)下投資1000億美元,未來四年內(nèi)投資5000億美元圖表:海外云廠商數(shù)據(jù)中心投資計劃(不完全統(tǒng)計)*

請務(wù)必閱讀最后一頁免責(zé)聲明算力需求帶動GPU計算能力提升11資料來源:Nvidia、民生證券研究院全球算力需求激增。國內(nèi)方面,中國工業(yè)和信息化部等六部門聯(lián)合印發(fā)的《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計劃》提出,2025

年中國算力規(guī)模應(yīng)超過300

EFLOPS,其中智算規(guī)模超過

35%。海外方面,根據(jù)華為GIV預(yù)測,2030年全球每年產(chǎn)生的數(shù)據(jù)總量達

1YB(堯字節(jié),數(shù)據(jù)存儲容量單位),進入YB時代,全球智算規(guī)模將超過

864ZFLOPS(每秒

1021次浮點運算)。GPU是AI算力的核心支柱之一。相比CPU算力增速的逐漸放緩,GPU算力在十年內(nèi)實現(xiàn)千倍增長,并保持高速遞進。據(jù)IDC預(yù)計,2025年GPU將占據(jù)AI芯片市場80%市場份額。算力激增對GPU計算能力提出更高要求。英偉達GPU更新?lián)Q代,計算力不斷升級。GB200計算性能大幅提升,相比H100算力提升6X,推理性能提升30X,大規(guī)模語言模型訓(xùn)練速度提升4X,相比CPU關(guān)鍵數(shù)據(jù)庫查詢處理速度提升18X,芯片內(nèi)部晶體管數(shù)量增加,GPU芯片功耗的顯著提升。圖表:英偉達CPU和GPU算力增長對比 圖表:英偉達GPU算力c型號 計算力(TOPS)A100INT8TensorCore624

TOPS(SXM)H100INT8TensorCore3958TOPS

(SXM)H200INT8TensorCore3958TOPS

(SXM)GH200INT8TensorCore3958TOPS

(SXM)B100INT8Tensor

Core

3.5

POPS(SXM6卡)B200INT8Tensor

Core

4.5

POPS(SXM6卡)GB200性能相較于H100,GB200的算力提升了6倍,推理性能達到H100的30倍02*

請務(wù)必閱讀最后一頁免責(zé)聲明芯片功耗上升,單機柜高功率趨勢凸顯12資料來源:Nvidia、Vertiv、民生證券研究院芯片單體功耗急速增加,帶動單臺服務(wù)器功耗提升。芯片方面,英偉達的H100和H200單芯片功耗為700W,GB200達到2700W,單芯片功耗顯著提升;服務(wù)器配置方面,NVL32

GPU數(shù)量為32顆,GB200

NVL72架構(gòu)則需要72顆,單機柜部署4臺服務(wù)器至9臺服務(wù)器,整體功率要求大幅提高。傳統(tǒng)每臺8卡AI服務(wù)器的功耗在5kW~10kW,進一步由服務(wù)器組成整體機柜時,單機柜的功率將達到40kW以上。HGX系列單臺服務(wù)器功耗從Hopper架構(gòu)的10.2kW提升到Blackwell架構(gòu)HGX

B200的14.3kW,而NVL72單機柜功耗提升到120kW。單位機柜密度提升。據(jù)Vertiv預(yù)測,2024至2029年,每機架的GPU

數(shù)量將從36個顯著增長到576個。機柜的物理空間相對有限,未來機柜的功率密度將快速提升,Rubin

Ultra時期,AIGPU峰值機架密度功耗最高或超過1000kW,進入MW時代。400700700100070010002700300025002000150010005000A100H100H200 GH200 B100B200GB200圖表:英偉達單GPU芯片功耗

圖表:Vertiv最新預(yù)測TGP(W)02進入MW時代*

請務(wù)必閱讀最后一頁免責(zé)聲明傳統(tǒng)8卡服務(wù)器機柜和NVL72機柜功率對比13資料來源:Nvidia、Vertiv、

The

Register、民生證券研究院10xCompute

Tray+8xCompute

Tray每個計算托盤內(nèi)含

2塊Bianca主板,

Bianca主板內(nèi)置2塊B200

芯片和1塊Grace

CPU項目 DGXH100風(fēng)冷機柜 GB200

NVL72

2液冷機柜單GPU功耗(TDP)最高配置下為700W最高配置下為1200WGPU個數(shù)3272GPU總功耗22.4kW86.4kW單CPU功耗(TDP)300W500WCPU個數(shù)836CPU總功耗2.4W18kWGPU+CPU24.8kW104.4kW考慮網(wǎng)絡(luò)、NVLink、存儲、網(wǎng)絡(luò)交換等功耗總計TDP42kW120kW圖表:NVL72配備18個計算托盤圖表:DGX

H100配備8個GPU新一代NVL72機柜GPU功率飆升,同時采用新一代NVLink,機柜功率大幅提升。DGX架構(gòu)8卡GPU

H100服務(wù)器額定功耗為10.2kW,安裝4臺服務(wù)器的風(fēng)冷機柜功耗為42kW。新一代GB200

NVL72液冷機柜功率密度為120kW。傳統(tǒng)8卡服務(wù)器機柜:DGXH100服務(wù)器包含8個H100

GPU,2個Intel

XeonCPU,4個第四代NVLink提供GPU到CPU帶寬。GB200

NVL72機柜:包含18個計算托盤,單個計算托盤有兩塊GB200芯片即4個Blackwell

GPU和兩個Grace

CPU,第五代

NVLink

相互連接的

72

個GPU和

36

個CPU。圖表:8卡服務(wù)器和NVL72機架TDP對比02*

請務(wù)必閱讀最后一頁免責(zé)聲明高功率03. 電源趨勢:高效率、14*

請務(wù)必閱讀最后一頁免責(zé)聲明電源革命:機柜外效率提升,機柜內(nèi)功率密度提升資料來源:臺達公眾號、芝能科技公眾號、數(shù)據(jù)中心基礎(chǔ)設(shè)施運營管理公眾號、民生證券研究院整理15電源是AIDC供電系統(tǒng)建設(shè)核心,用于從電網(wǎng)傳輸?shù)叫酒倪^程,將市電轉(zhuǎn)換為服務(wù)器和

GPU

所需的穩(wěn)定直流電壓。IT設(shè)備不斷升級對供電電源的要求提升,推動AIDC電源革命。機柜外:UPS/HVDC:(1)將低壓配電柜輸出的400/480V轉(zhuǎn)為230/400V;(2)凈化電網(wǎng):市電傳輸過程中,可能出現(xiàn)瞬間低電壓、瞬間高電壓、電涌、電線噪聲頻率偏移等情況,UPS/HVDC內(nèi)部配備濾波電路等組件,使輸出的電能更加純凈,同時隔離前級市電側(cè)如電壓波動等干擾,起到保護作用。未來高壓HVDC方案可進一步提升轉(zhuǎn)換效率。機柜內(nèi)第一次降壓:AC/DC:輸入交流電,經(jīng)過降壓、整流轉(zhuǎn)換為適合服務(wù)器使用的48V直流電。機柜功率提升,AC/DC的演進方向是在有限的體積內(nèi)提高功率密度。機柜內(nèi)第二次降壓:DC/DC:主板上的DC/DC轉(zhuǎn)換器將電壓轉(zhuǎn)換成CPU用的12V和GPU用的0.8V低電壓。圖表:數(shù)據(jù)中心供電電源架構(gòu)03機柜外:存在高

方案,可進一步提升效率機柜內(nèi):

服務(wù)器電源的

功率、密度提升*

請務(wù)必閱讀最后一頁免責(zé)聲明機柜外電源:UPS與HVDC對比都保證數(shù)據(jù)中心不斷電,同時凈化電網(wǎng)。不間斷電源(UninterruptiblePower

Supply):含有儲能裝置的不間斷電源系統(tǒng),主要由整流器、逆變器、蓄電池、靜態(tài)開關(guān)等部分組成。采用交流輸入,涉及兩次變換,經(jīng)過AC/DC整流器將交流電轉(zhuǎn)換為直流電給蓄電池充電,再經(jīng)過DC/AC逆變器將直流電再次轉(zhuǎn)換為交流電,有兩級損耗。市電中斷時,蓄電池需要經(jīng)過逆變模塊再給負載供電。UPS適用各行業(yè),即插即用。高壓直流系統(tǒng)(High-VoltageDirectCurrent):主要由交流配電單元、整流模塊、蓄電池、直流配電單元、電池管理單元、絕緣監(jiān)測單元及監(jiān)控模塊組成。直接將交流電轉(zhuǎn)換為高壓直流電,再通過直流配電單元向設(shè)備提供直流電,避開逆變環(huán)節(jié),能量轉(zhuǎn)換次數(shù)少,效率更高。市電中斷時,電池直接和整流器輸出母線連接并聯(lián)輸出至負載。運營商最早采用,目前用戶集中在互聯(lián)網(wǎng)廠商、三大運營商。16圖表:UPS和HVDC供電結(jié)構(gòu)對比圖圖表:HVDC的優(yōu)勢資料來源:熱電環(huán)保等公眾號整理、民生證券研究院03項目 優(yōu)勢1、高效節(jié)能HVDC減少逆變環(huán)節(jié),只有一級轉(zhuǎn)換,效率更高,損耗少,UPS兩級轉(zhuǎn)換,損耗多一級2、節(jié)省占地面積HVDC沒有整流器,后期配電環(huán)節(jié)部分采用直流熔斷,比UPS節(jié)省空間3、平均無故障時間長HVDC超過25萬小時,UPS通常為10-20萬小時4、無三相不平衡問題UPS存在不平衡問題,HVDC無需考慮5、可靠性高HVDC電池直接輸出至負載,可靠性高,UPS蓄電池不能直接供電負載,需通過逆變模塊,可靠性較差*

請務(wù)必閱讀最后一頁免責(zé)聲明機柜外電源:高壓HVDC方案創(chuàng)新提出,可進一步提升效率17資料來源:Vertiv,民生證券研究院03HVDC產(chǎn)品代際:傳統(tǒng)HVDC輸出電壓等級240、380V,未來新一代HVDC提高到750V/800V等輸出電壓。直流供電方案減少交直流變換的環(huán)節(jié),供電效率高。隨著智算中心單機柜功耗和密度提升,供電系統(tǒng)優(yōu)化的關(guān)注點將轉(zhuǎn)向更高電壓等級,以解決導(dǎo)體截面積過大,更多的材料和更大的體積的問題。同時電壓等級的升高也會帶來遠距離輸電的優(yōu)勢,這將帶動設(shè)計架構(gòu)的變革。高壓HVDC方案可進一步提升效率,同時可以更好的適配新能源供電。維諦白皮書提出,全直流供電可以減少交直流變換環(huán)節(jié),供電效率提升,同時考慮未來智算中心中直流設(shè)備的比重將越來越大(光儲、電池、IT服務(wù)器、直流充電樁、直流照明和空調(diào)設(shè)備),預(yù)計未來可能會向10kV交流轉(zhuǎn)低壓直流的全直流供電模式演進。常規(guī)的數(shù)據(jù)中心HVDC供電技術(shù)方案中到機柜的轉(zhuǎn)換效率為95%,高壓直流方案可提升至98%。圖表:維諦常規(guī)HVDC供電方案 圖表:維諦新一代全直流供電方案*

請務(wù)必閱讀最后一頁免責(zé)聲明機柜內(nèi)AI服務(wù)器電源升級:傳統(tǒng)AI服務(wù)器電源18PSU是服務(wù)器機柜中提供電源的組件。1)PSU

確保提供穩(wěn)定的電壓和電流,為計算機組件提供必要的電能,保證系統(tǒng)平穩(wěn)運行。2)PSU包括過載保護和短路保護等安全功能,防止電源波動或意外事件損壞敏感的計算機硬件。2021年ORv3標準:OCP之前的ORv3標準中對PSU的要求為3kW,輸出電壓為48V,效率應(yīng)達到97.5%。應(yīng)用:英偉達在2024年GTC峰會上發(fā)布Blackwell架構(gòu)前,GPU采用的最新微架構(gòu)是Hopper架構(gòu)。DGX和HGX服務(wù)器基于Hopper架構(gòu),以DGX

H100/H200系統(tǒng)為例,其為AI基礎(chǔ)設(shè)施和工作負載(從分析到訓(xùn)練到推理)而設(shè)計,基于8個H100TensorCore

GPU或8個H200Tensor

CoreGPU構(gòu)建,服務(wù)器功耗大,需要配備3.3kW的PSU,由6個PSU均衡分配電力負載,配置為4+2冗余。圖表:OCP2021年

ORv3

3.3kW

PSU標準 圖表:

DGX

H100/H200系統(tǒng)面板模塊資料來源:CSDN、Nvidia、民生證券研究院03*

請務(wù)必閱讀最后一頁免責(zé)聲明機柜內(nèi)AI服務(wù)器電源升級:

功率密度提升19圖表:英飛凌AI服務(wù)器PSU功率演變機柜功率密度的急劇增加,要求更大功率電源支持。機柜中Power

shelf里的PSU將交流電轉(zhuǎn)換為直流電為服務(wù)器供電,當(dāng)機柜內(nèi)服務(wù)器的總功耗增加,需要更高功率的PSU來滿足供電需求。英偉達Blackwell

B100和B200,在進行高功率計算時均需要超過1kW的功率支持,是傳統(tǒng)CPU的3倍,所需的PSU功率從8卡服務(wù)器中的3.3kW提升到了5.5kW。電源密度也同步提升。英飛凌PSU升級路線圖中,PSU架構(gòu)從3kW、3.3kW到8kW、12kW的電源功率進階,功率密度將從32W/立方英寸提升至100W/立方英寸,核心是通過硅、SiC、GaN等半導(dǎo)體材料提升電源的功率密度,以在有限的空間內(nèi)提供更高的功率輸出。圖表:

OCP2024年

ORv3-HPR

PSU新標準 圖表:

英飛凌PSU密度逐步提升資料來源:OCP、英飛凌、民生證券研究院03*

請務(wù)必閱讀最后一頁免責(zé)聲明AI服務(wù)器電源功率提升應(yīng)用——GB200

NVL72GB200NVL72機柜功率單PSU功耗5.5kW單Powershelf中PSU個數(shù)6單Powershelf功率33kWNVL72機柜Powershelf個數(shù)8單機柜功率264kW圖表:1個Power

shelf由6個單體5.5kW

PSU組成圖表:NVL72機柜上下各四個Power

shelf資料來源:

Hansen

fluid

、Advanced

Energy、民生證券研究院英偉達AI解決方案宣傳圖中NVL72采用8個Powershelf。GB200NVL72采用ORv3-HPR

5.5kW

PSU,單機柜密度為120kW,因此需要8個Powershelf保障供電和保持冗余架構(gòu)(N+N冗余)。OCP

ORv3-HPRPSU峰值效率接近98%,每個Power

shelf由6個PSU組成,單Powershelf提升至33kW,上下各四個Powershelf,主機柜的功耗高達264kW。圖表:NVL72機柜功率演算0320*

請務(wù)必閱讀最后一頁免責(zé)聲明BBU:作為機柜后備電源,保證IT設(shè)備運行活。BBU模塊預(yù)計在2ms內(nèi)接管母線電壓,備用時間為4分鐘。電池單元類型:BBU模塊應(yīng)具有鋰離子18650類型,電池單元電壓為3.5V至4.2V,最小電池容量為1.5AH,連續(xù)額定放電電流為30A。電池組容量:BBU模塊可在4年內(nèi)提供3kW的備用電力,最長不超過4分鐘。優(yōu)點:1)體積小,可嵌入服務(wù)器機柜內(nèi)靈活配置;2)轉(zhuǎn)換效率高,采用DC/DC模式,能耗低;3)鋰電池壽命長,可達5-10年;4)故障影響范圍小,個別故障僅影響對應(yīng)服務(wù)器;5)運行的BBU機架上BBU可熱插拔,維護、升級更便利。0321資料來源:OCP官網(wǎng)、Analog

Dialogue、民生證券研究院圖表:

ORv3:PSU和BBU一比一對應(yīng)關(guān)系圖表:

BBU實物圖BBU也是一種后備電源,保障機架在電源切換時IT設(shè)備正常運行。由電池組和BMS、充電器/充電器和其他功能塊組成。根據(jù)ORv3

HPR

BBU

Shelf要求,BBUshelf通常由PMI模塊和6個5.5kW

BBU模塊(33kW)組成,具備5+1冗余能力,最低效率應(yīng)覆蓋全輸入電壓范圍內(nèi)的最大負載。在系統(tǒng)中添加BBU可提供系統(tǒng)冗余,如果發(fā)生斷電或電壓降低,系統(tǒng)需要時間來注意情況、保存重要數(shù)據(jù)并將操作轉(zhuǎn)移到另一個數(shù)據(jù)中心服務(wù)器,BBU可在斷電時可于指定時限內(nèi)提供達電源架最大額定值,提供短暫支撐。工作原理:當(dāng)母線電壓低于48.5V持續(xù)2ms以上時,BBU模塊放電模式被激*

請務(wù)必閱讀最后一頁免責(zé)聲明模組化、智能化04. 配電趨勢:預(yù)制化、22*

請務(wù)必閱讀最后一頁免責(zé)聲明AIDC配電:傳統(tǒng)分級建設(shè)模式系統(tǒng)復(fù)雜,周期長23資料來源:Vertiv、民生證券研究院未來供配電三趨勢:模組化、預(yù)制化、智能化。將分隔的中壓配電系統(tǒng),變壓器(10/0.4kV)、低壓配電、UPS和智能電力監(jiān)控管理按照整體解決方案設(shè)計,系統(tǒng)內(nèi)采用工廠預(yù)制的銅排連接,標準化的一次二次接口,實現(xiàn)工程產(chǎn)品化,設(shè)備與現(xiàn)場解耦。04未來AIDC的趨勢正朝著超大規(guī)模和快速部署等方向演進,這將推動電力模組化趨勢,集成配電柜、變壓器、UPS/HVDC等環(huán)節(jié),節(jié)省供配電部分的占地面積,同時提升安裝效率。傳統(tǒng)數(shù)據(jù)中心在建設(shè)過程中分散設(shè)計,相互孤立:1)系統(tǒng)復(fù)雜:各級電壓制式的配電系統(tǒng)和供電系統(tǒng)之間相互獨立進行系統(tǒng)設(shè)計和設(shè)備選型,逐級預(yù)留冗余使變壓器效率低,復(fù)雜的多級系統(tǒng)架構(gòu)導(dǎo)致故障更多,不利于級聯(lián)選擇性設(shè)置,降低系統(tǒng)可靠性,同時開關(guān)重復(fù)配置造成重復(fù)投資,增加系統(tǒng)總占地面積;2)建設(shè)周期長:一二次線纜、智能化監(jiān)控等環(huán)節(jié)需要大量現(xiàn)場工程,多個供應(yīng)商與建設(shè)現(xiàn)場低效溝通,導(dǎo)致建設(shè)周期非常長。3)運維效率低:傳統(tǒng)供配電系統(tǒng)存在大量人工巡檢等工作,系統(tǒng)故障時需通過人工逐點排查,找到故障點后對故障情況進行分析再對癥維修,無法及時快速完成故障排除檢修,同時系統(tǒng)的運維數(shù)據(jù)及報表等信息難以管理,系統(tǒng)整體運維效率極低。圖表:傳統(tǒng)分級建設(shè)模式向預(yù)制式供配電模組演進*

請務(wù)必閱讀最后一頁免責(zé)聲明AIDC配電:預(yù)制化、模組化、智能化是未來趨勢24資料來源:Vertiv、民生證券研究院04圖表:預(yù)制式供配電模組構(gòu)成圖表:智能化系統(tǒng)連接示意圖圖表:新一代解決方案與傳統(tǒng)方案對比優(yōu)勢明顯預(yù)制式電力模組設(shè)備在工廠進行預(yù)制和模塊裝運,在現(xiàn)場進行快速組裝,能夠根據(jù)實際需求選取相應(yīng)模塊拼裝成整體模組方案。1、模組化:包括中壓模組(10kV的中置柜或環(huán)網(wǎng)柜)、變電模組(內(nèi)置的變電模塊主要為10kV/0.4kV的干式變壓器)、低壓模塊(進線單元等單元之間使用預(yù)制銅排進行并柜,根據(jù)用戶需求靈活選擇單元進行組合),具有交流和直流兩種方案。2、預(yù)制式:采用工廠預(yù)制的銅排進行連接,可靠性高,只需簡單在現(xiàn)場將銅排進行并柜,極大簡化現(xiàn)場工程量,同時具有統(tǒng)一的智能監(jiān)控管理系統(tǒng),現(xiàn)場敷設(shè)快速。3、智能化:配電智能電力監(jiān)控模塊將整個系統(tǒng)內(nèi)所有設(shè)備進行統(tǒng)一集中式監(jiān)控管理,實時掌握系統(tǒng)中各設(shè)備實際運行狀況,隨時隨地查詢并進行故障處理,實現(xiàn)本地監(jiān)控顯示和遠程管理等功能。優(yōu)勢:1)極簡快速:供配電系統(tǒng)架構(gòu)簡化,用電效率提升,整體工期最多可縮短2/3;

2)可靠:電纜的制作工藝,壽命及阻抗等方面可靠性都低于銅排,APT內(nèi)置配電智能電力監(jiān)控管理系統(tǒng),可靠性遠高于傳統(tǒng)的方案;3)節(jié)地美觀:APT與傳統(tǒng)方案相比最大能實現(xiàn)30%節(jié)地,采用統(tǒng)一外觀造型設(shè)計更美觀。*

請務(wù)必閱讀最后一頁免責(zé)聲明模組應(yīng)用案例:UPS/HVDC都有相應(yīng)的模組方案25對比項中壓直供直流

2N

系統(tǒng)(巴拿馬電源)傳統(tǒng)高壓直流

2N

系統(tǒng)傳統(tǒng)高壓直流

+

市電直供傳統(tǒng)

UPS

2N

系統(tǒng)整體投資低中低高整體能效/%97.595.29694.7占地面積(s

代表低壓配電室面積)0.77*S

單位面積1*S

單位面積0.88*S

單位面積1*S

單位面積容性負載及諧波小,電源有濾波功能小,電源有濾波功能大,市電直供顯容性小,電源有濾波功能市電切換對末端影響性服務(wù)器電源不切換服務(wù)器電源不切換半數(shù)服務(wù)器電源切換服務(wù)器電源不切換電池放電效率高,電池直掛輸出母排高,電池直掛輸出母排高,電池直掛輸出母排低,存在逆變轉(zhuǎn)換過程建設(shè)周期/月610810安全性高高較高較高圖表:臺達數(shù)據(jù)中心巴拿馬電源架構(gòu)伊頓電力模塊方案:伊頓的預(yù)制式、一體化數(shù)據(jù)中心集成電力模塊,是高度集成由原廠生產(chǎn)的中低壓成套設(shè)備、UPS

及干式變壓器等智能電氣設(shè)備和電源解決方案,更省地節(jié)電、易裝易維護、靈活擴容。巴拿馬電源本質(zhì)就是模組化方案的一種。巴拿馬電源從傳統(tǒng)HVDC演變,特點:1)10KV高壓深入到負荷中心;2)縮短低壓配電線路,將低壓配電變成設(shè)備內(nèi)部線路;3)提高供電電壓等級,采用240V或者336V,高于通信電源的-48V,和運營商的HVDC電壓等級是一致的。從整體架構(gòu)來看,數(shù)據(jù)中心巴拿馬電源由10kV進線柜、隔離柜、整流輸出柜、交流分配柜組成。具有占地面積更小、建設(shè)周期短、投資成本更少、整體效率高的優(yōu)點。圖表:伊頓的數(shù)據(jù)中心集成電力模塊方案 圖表:臺達巴拿馬電源測試數(shù)據(jù)04資料來源:伊頓、臺達、民生證券研究院*

請務(wù)必閱讀最后一頁免責(zé)聲明46%47%47%46%46%45%45%54%53%53%54%54%55%55%0200400600800100012002027EAPF(有源濾波器)SVG(低壓靜止無功發(fā)生器)電能質(zhì)量:AIDC對電的質(zhì)量要求提升資料來源:格物致勝、民生證券研究院26低壓配電系統(tǒng)正常運行需要低壓電能質(zhì)量產(chǎn)品保駕護航。輸入低壓配電系統(tǒng)主要作用是電能分配,將前級的電能按照要求、標準與規(guī)范分配給各種類型的用電設(shè)備,如UPS、空調(diào)、照明設(shè)備等。在低壓配電系統(tǒng)中存在大量如UPS、整流器、變頻器、電弧爐等非線性負載,這些設(shè)備在工作時會產(chǎn)生大量諧波電流,給配電系統(tǒng)造成嚴重的諧波污染,影響配電系統(tǒng)安全運行,縮短儀器使用壽命,增加設(shè)備故障率。APF和SVG能夠?qū)Υ笮『皖l率都變化的諧波以及變化的無功進行補償,穩(wěn)定電壓。數(shù)據(jù)中心機架數(shù)量、裝機功率不斷擴大,低壓電能質(zhì)量的市場規(guī)模快速上升。根據(jù)格物致勝預(yù)測,25年數(shù)據(jù)中心行業(yè)低壓電能質(zhì)量市場規(guī)模有望達到8.4億元,21-27年均復(fù)合增速達19%。數(shù)據(jù)中心行業(yè)用戶更多從產(chǎn)品品質(zhì)、可靠性、性價比等方面對低壓電能質(zhì)量產(chǎn)品進行選擇,盛弘股份、艾臨科、臺達、英博電氣等國產(chǎn)廠商更加容易得到客戶青睞,常見于三大運營商、互聯(lián)網(wǎng)IDC等數(shù)據(jù)中心用戶的供應(yīng)商短名單,在項目上有較多應(yīng)用。其中盛弘股份排名領(lǐng)先,密集參與數(shù)據(jù)中心的出海項目,其產(chǎn)品在中國企業(yè)的海外數(shù)據(jù)中心得到廣泛應(yīng)用。04圖表:數(shù)據(jù)中心行業(yè)低壓電能質(zhì)量廠商競爭格局圖表:數(shù)據(jù)中心行業(yè)低壓電能質(zhì)量市場規(guī)模(單位:百萬元)14002021 2022 2023 2024 2025E 2026E注:當(dāng)前數(shù)據(jù)中心的無功補償主要采用SVG產(chǎn)品,本次低壓電能質(zhì)量市場規(guī)模只統(tǒng)計SVG和APF產(chǎn)品4034615987148449961173年均復(fù)合增速19%*

請務(wù)必閱讀最后一頁免責(zé)聲明0427母線:數(shù)據(jù)中心電力傳輸和分配的“脈絡(luò)”資料來源:威騰電氣招股說明書、機電設(shè)計與施工、民生證券研究院什么是母線?母線與電纜的功能基本一致,主要起電能傳輸和分配的作用。母線的導(dǎo)體形狀為矩形,電纜為圓形。相較于電纜,母線在絕緣材料的散熱能力、外殼材料的導(dǎo)熱系數(shù)、導(dǎo)體材料的截面形狀及導(dǎo)電率等方面具有一定優(yōu)勢,使得母線的電阻更低,載流能力更高,長期運行的安全可靠性更高,損耗更低。數(shù)據(jù)中心場景中母線應(yīng)用趨勢增加。隨著IT設(shè)備功能逐步增強,數(shù)據(jù)中心的IT機房區(qū)設(shè)備供電功率密度越高。數(shù)據(jù)中心設(shè)備機柜用電負荷由以前的2kW/臺,提高到3kW/臺、4kW/臺,甚至更高。機房單位面積的平均用電負荷也由1kW/m^2,提高到1.5kW/m^2、2kW/m^2,甚至更高。數(shù)據(jù)中心的極高的功率密度是其區(qū)別于一般工業(yè)和民用建筑的一個顯著特點,也是衡量一個數(shù)據(jù)中心性能的重要指標。隨著數(shù)據(jù)中心用電量越來越大,主干線的輸電電流一般達到3200A及以上,母線正逐步替代數(shù)據(jù)中心中電纜的應(yīng)用。圖表:母線和電纜導(dǎo)體的截面圖對比 圖表:數(shù)據(jù)中心母線配電方案示意圖*

請務(wù)必閱讀最后一頁免責(zé)聲明0428母線:數(shù)據(jù)中心電力傳輸和分配的“脈絡(luò)”資料來源:Data

Bridge、科華數(shù)據(jù)、民生證券研究院數(shù)據(jù)中心母線市場規(guī)模。數(shù)據(jù)中心母線槽是直線長度的配電組件,用于為數(shù)據(jù)中心、制造單位、IT設(shè)施、住宅建筑等關(guān)鍵任務(wù)設(shè)施中的電子元件供電。在配電系統(tǒng)中,母線槽與智能PDU、監(jiān)控系統(tǒng)、UPS等集成在一起。母線槽比傳統(tǒng)的配電電線電纜系統(tǒng)更具優(yōu)勢,因為一旦安裝,電纜和電線組件就很難更換。母線槽是預(yù)制的,也可以根據(jù)設(shè)施定制。根據(jù)Data

Bridge數(shù)據(jù),2023年全球數(shù)據(jù)中心母線槽市場規(guī)模為23.08億美金,23-31年CAGR為8.6%,預(yù)計2031年市場規(guī)模將達到44.65億美金。母線在數(shù)據(jù)中心輸電、配電環(huán)節(jié)都有應(yīng)用場景。前端連接母線替代傳統(tǒng)電纜,末端連接智能小母線方案。末端配電智能小母線方案具備有優(yōu)勢:1、空間優(yōu)化:傳統(tǒng)列頭柜通常位于機房兩側(cè)或中央,占用大量地面空間。相比之下,智能小母線沿機架排布,幾乎不額外占用機房面積,顯著提升了空間利用率。2、配電靈活性:在傳統(tǒng)模式下,新增或遷移設(shè)備往往涉及復(fù)雜的線纜鋪設(shè)、接線工作,耗時費力且易出錯。智能小母線憑借其即插即用特性,使得配電調(diào)整如同更換服務(wù)器插頭般簡便快捷,極大地提升了機房的靈活性和響應(yīng)速度。3、能效管理與運維效率:智能小母線內(nèi)置的智能監(jiān)控系統(tǒng),能夠?qū)崟r監(jiān)控能耗、負載均衡等情況,為精細化能源管理提供數(shù)據(jù)支撐,助力數(shù)據(jù)中心實現(xiàn)PUE優(yōu)化。同時,遠程監(jiān)控和故障預(yù)警功能大幅減少了人工巡檢頻次,降低了運維成本,提高了故障排查與修復(fù)的速度。圖表:母線在數(shù)據(jù)中心的應(yīng)用 圖表:末端配電小母線示意圖*

請務(wù)必閱讀最后一頁免責(zé)聲明滲透率提升05. 冷卻趨勢:液冷方案29*

請務(wù)必閱讀最后一頁免責(zé)聲明3005機柜功率提升,液冷趨勢已顯圖表:機架密度與冷卻方案資料來源:Vertiv,《中興通訊液冷技術(shù)白皮書》中興通訊、民生證券研究院機柜功率密度提升,對冷卻提出更高要求。算力的持續(xù)增加促進通訊設(shè)備性能不斷提升,芯片功耗和熱流密度也在持續(xù)攀升,產(chǎn)品每演進一代功率密度攀升30~50%。芯片功率密度的持續(xù)提升直接制約著芯片散熱和可靠性,傳統(tǒng)風(fēng)冷散熱能力越來越難以為繼。芯片功率密度的攀升同時帶來整柜功

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論