數(shù)據(jù)中心算力白皮書

[編號ODCC-2020- 1Ope Dat Cente Committe1 研究背 研究現(xiàn) TOP Green SPEC SPEC 小 存儲能 網(wǎng)絡(luò)能 方 模 I CPU服務(wù) GPU服務(wù) 算力分 算效分 發(fā)展趨 總 202034確指出“加快5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進度，將數(shù)據(jù)中心納入“新基建”范疇。420日，國家發(fā)改委明確新型I 1 數(shù)據(jù)中心算力白皮2020年3月4日，中共中央政治局常務(wù)委員會召開會議，明確指出“加快5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進度”，將數(shù)據(jù)中心納入“新基建”范疇。4月20日，國家發(fā)改委明確新型基礎(chǔ)設(shè)施的范展新一代信息網(wǎng)絡(luò)，拓展5G應(yīng)用，建設(shè)數(shù)據(jù)中心”。1海外巨頭在算力方面動作不斷：Intel167FPGA生Altera。Intel2020年，30%CPU芯片將配AMD1 商轉(zhuǎn)型為Fabless設(shè)計商，目前已經(jīng)在Rome系列使用7nm工藝；20204月，NVIDIA69Mellanox（邁絡(luò)思推出網(wǎng)卡新品NVIDIAMellanox。SA2，該云服務(wù)器實例已經(jīng)被應(yīng)用于騰訊內(nèi)部包括騰訊會議、騰訊教育、春節(jié)QQ紅包、微信、視頻轉(zhuǎn)碼、廣告檢索等產(chǎn)品和業(yè)務(wù)中，表現(xiàn)出亮眼的性能和可靠的穩(wěn)定性2。阿里巴巴在ODCC牽頭發(fā)起的方升服務(wù)器開源項目,旨在打造云基礎(chǔ)設(shè)施行業(yè)的COCI(ChinaOpenCloudInfrastructure)技術(shù)標(biāo)準(zhǔn),引領(lǐng)行業(yè)發(fā)展,共建中國云數(shù)據(jù)中心硬件生態(tài)，目前已經(jīng)部署超過10萬節(jié)點。百度推出的FPGA版本百度大腦，運用到于包括語音識別、廣告點擊率預(yù)估模型、DNA序列檢測以及無人車等業(yè)務(wù)中，性能提升3倍以上。22 TOP500根據(jù)超算執(zhí)行Linpack程是針對單機或芯片開展的，SPECCPU套件能夠?qū)PU整點運算及3 個國家先進計算水平的代表性設(shè)施。人們普遍用浮點運算速度LINAC（基準(zhǔn)測試所能達(dá)到的最高性能Rmax（單位：TFLOPS）500個超算TOP5006111202011TOP500排行表1202011月TOP500排行榜超算系統(tǒng)前十排名12橡樹嶺國家實驗室（美國3勞倫斯利弗莫爾國家4（中國Sunway5英偉達(dá)公司（美國6廣州國家超算中心（中國34數(shù)值為雙精度浮點運算次數(shù)4 選取的測試標(biāo)準(zhǔn)產(chǎn)生質(zhì)疑，TOP500并沒有對超算通信子系統(tǒng)運算性TOP500測評如Graph500。Graph500對超算每秒遍歷邊緣的數(shù)量進行了評估，其單位為Gteps（每秒10億遍歷邊緣數(shù)Graph500榜單的發(fā)布表明了Green到了廣泛的關(guān)注。2007年，Green500（GFLOPS/W）5002202011月發(fā)布的排行榜超算系統(tǒng)前十榜單，從該Green500和TOP500在超算系統(tǒng)排名上存在很大的TOP500Green500榜單上排名NVIDIADGXSuperPODMN-3TOP500170330Green500上排名靠TOP500上排名靠前的超算并沒有出現(xiàn)在Green5005從TOP500到Green500，超算算力評價指標(biāo)逐漸從以運算速度為Green500提出的浮點運算能力及浮點運算用電效率指標(biāo)為其他行業(yè)表 2020年11月Green500排行榜超算系統(tǒng)前十）1（美國D237 (FZJ)（德國455Corporation（美6 Plant（日本7 56數(shù)值為雙精度浮點運算次數(shù)7數(shù)值為雙精度浮點運算次數(shù)688Eni（意大利9Holyoke,（美國1 SPECSPECCPU是由全球權(quán)威性能評估機構(gòu)SPEC（StandardPerformanceEvaluationCorporation）推出的一款行業(yè)標(biāo)準(zhǔn)的CPU測SPECCPU2017SPECspeed2017Integer、SPECspeed2017FloatingPoint、SPECrate2017Integer、SPECrate2017FloatingPoint這四個套件的43個測試項目，對CPU試。SPECCPU套件將會根據(jù)測試結(jié)果為CPU整數(shù)運算及浮點運算能力進行打分，用戶能夠通過打分結(jié)果直觀地看出不同CPU的性能差異，并且根據(jù)業(yè)務(wù)需要選擇合適的CPU。SPECSPEC2006SPECpower72007power委員會推出了一款里程碑式的能效基準(zhǔn)測試套件——評級工具worklet分別對服務(wù)器的CPU、內(nèi)存、存儲組件進行測試。SERT對SPECpower_ssj2008中的SPECPTDaemon進行了復(fù)用。MLPerf2018（raining（Inference20204月，MLPerf已經(jīng)發(fā)布了兩8 MLPerf圖1MLPerfTrainingv0.7ODCC（開放數(shù)據(jù)中心委員會）于2019年發(fā)布了《服務(wù)器能效評試規(guī)范將服務(wù)器性能測試劃分為CPU、內(nèi)存及存儲三個部分，利用BenchmarkEffserver=exp[????????×ln(????????????)+??????????????ln(??????????????????)+????????????????×ln(????????????????????)] 9 PUE（PowerUsageEffectiveness，電能利用效率）是TGG（TheGreenGrid，綠色網(wǎng)格）發(fā)布的一項用于評價數(shù)據(jù)中心能效的指標(biāo)，PUEIT數(shù)據(jù)中心中，IT設(shè)備是對外提供服務(wù)的主體設(shè)備，是產(chǎn)生算力的源泉。PUEIT設(shè)備能耗占比越大，有更多電能算力能效除了與電能供給有關(guān)，還與IT設(shè)備的硬件性能、虛擬化技術(shù)的應(yīng)用等因素有關(guān)，例如，對于不同性能的CPU芯片，消耗相同 足要求而引發(fā)的“木桶效應(yīng)”可能會拉低整個數(shù)據(jù)中心的實際算力水在數(shù)據(jù)中心算力水平測試方面，對于正在運行的數(shù)據(jù)中心，讓其單獨運行某一測試程序從而判斷其算力水平不僅會帶來大量的測試 P00和ren50運算速度和浮點運算用電效率兩個角度為超算算力評價提供了統(tǒng)一CCP對UCoer算力測試及評估指標(biāo)為超算及常規(guī)服務(wù)器算力性能評價提供了一套 質(zhì)上說，數(shù)據(jù)中心為應(yīng)對5G、人工智能、工業(yè)互聯(lián)網(wǎng)的大數(shù)據(jù)需求圖2 數(shù)據(jù)中心算力是數(shù)據(jù)中心的服務(wù)器通過對數(shù)據(jù)進行處理后實現(xiàn)、代表的新一代數(shù)字化技術(shù)產(chǎn)業(yè)趨勢過程中，又可以區(qū)分為以CPU為代表的通用計算能力，和以GPU為代表的加速計算能力。前者主要4CPU（CentralProcessingUnit，中央處理器）作為通用處理器，更偏重支持控制流數(shù)據(jù)。CPU每個物理核中大部分的硬件資源被做（ALU8JohnNickollsandWilliamJDally.Thegpucomputingera.IEEEmicro,30(2):56–69, CPUx86ARMx86Intel和AMDx86CPUIntelx86指令A(yù)I技術(shù)的發(fā)展，往往通過深度學(xué)習(xí)作為切入點來分析各個芯片的性能。例如Intel的向AI應(yīng)用提供了更為全面的硬件加速能力。X86架構(gòu)CPU芯片計算能力與對應(yīng)的核數(shù)、主頻和對應(yīng)的微架構(gòu)計算能力息息相關(guān)，作為當(dāng)今世界生產(chǎn)CPU的最大廠商Intel和系列芯片，AMD主要是霄龍系列芯片。IntelAMD的服務(wù)器所用的部分芯片的參數(shù)詳見表3。 表 X86架構(gòu)典型芯片處理器參數(shù)122.0032.3045AMDEPYC?2.206AMDEPYC?3.20x86架構(gòu)CPU計算能力與對應(yīng)的微架構(gòu)和指令集息息相關(guān)，以Intel的Haswell微架構(gòu)為例進行分析，Haswell架構(gòu)上計算單元有2個FMA，每個FMA可以對256bit數(shù)據(jù)在一個時鐘周期中做一次乘SPECCPU2017SPECspeed2017Integer、SPECspeed2017FloatingPoint以及測試整型并發(fā)速率和浮點并發(fā)速率SPECrate2017Integer和SPECrate2017FloatingPointSPECspeedCPU完成單個任務(wù)SPECrateCPUSPECCPU20174CPU測試結(jié)果，詳見表4。9數(shù)據(jù)來源：intel、AMD 表4SPEC測試結(jié)果峰1288H(IntelXeonGold2.10SPECspeed211288H(IntelXeonGold2.20212288H(IntelSPECrate22—2488H(IntelGold421288H(IntelXeonGold2.10SPECspeed211288H(IntelGold2.20212488H(IntelGoldSPECrate2017Integer4210 ARMCPU穿戴設(shè)備、IoT等領(lǐng)域。隨著ARM技術(shù)不斷進步，多核性能大幅提高，尤其是開放的生態(tài)，ARM也從端和邊緣計算走向服務(wù)器和數(shù)據(jù)中心。當(dāng)下，ARM架構(gòu)發(fā)揮在多核、低功耗等方面的優(yōu)勢，在面向大數(shù)據(jù)、分布式存儲和ARM原生應(yīng)用等場景，為企業(yè)構(gòu)建高性能、由于ARM架構(gòu)CPU采用RISC精簡指令集，內(nèi)核結(jié)構(gòu)簡單小1632位、64位多種指令集，能很好的兼容從IOT、終端到云端的各類應(yīng)用場ARMCPUARM的Cortex-A57微架構(gòu)為例進行分析，Cortex-A57架構(gòu)上計算單元有1個FMA，每個FMA可以對128bit數(shù)據(jù)在一個時鐘周期中做一次乘運算和一次加運算，所以對應(yīng)32bit單精度浮點計算能力為8 ARM架構(gòu)CPU構(gòu)計算能力息息相關(guān)。因為ARMCPU，開始于低功耗、計算量小的場景，如智能手機、穿戴設(shè)備、IoTARM架隨著服務(wù)器的發(fā)展，華為公司聚焦于發(fā)展基于ARM架構(gòu)的鯤鵬處理ARM架構(gòu)的CPU芯片情況詳見表5。表5ARM架構(gòu)典型芯片（高通、華為、飛騰1驍龍8243鯤鵬4411數(shù)據(jù)來源：https:/// AI等復(fù)雜應(yīng)用的必然選GPU（GraphicsProcessingUnit，圖形處理器）具有強大而高效的并行計算能力，對于海量訓(xùn)練數(shù)據(jù)，用GPU來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，中心基礎(chǔ)設(shè)施也更少。此外GPU還被廣泛用于云端進行分類、預(yù)測CPU的做法相比，GPU具有數(shù)以千計的計算核心，可實現(xiàn)10-100倍應(yīng)用吞吐量。GPUCPUGPU每個運算核心的工作頻率不及CPU，但GPU計算單元的算力要遠(yuǎn)遠(yuǎn)強于CPU，且GPU的GPU線程之間的切換相對廉價，能夠通過大量并行線程之間的交織 NVIDIA是最早將GPU用于人工智能領(lǐng)域的公司，創(chuàng)造性的推出了CUDA通用并行計算架構(gòu)。作為一項同時支持硬件和軟件的技CUDA計算性能可獲得顯著提升。從軟件生態(tài)上，CUDA不僅支持自身的API，也支持其他通用計算API比如OpenCL/DXCompute等。為適應(yīng)近些年來AI的發(fā)展，CUDA也增加了一系列的標(biāo)準(zhǔn)庫函數(shù)來支持CUDA架構(gòu)及生態(tài)只支持NVIDIA公司的GPU產(chǎn)品，不開源，所以在有國產(chǎn)化要求的AI應(yīng)用中有一定的安全隱患。AMDAMDAMDCDNAGPU架構(gòu)，專為數(shù)MatrixCore技術(shù)、搭載百億億級計算核心，可提供卓越的性能和能HPCAIMatrixCore技術(shù)，為單精度和混合精度矩陣運算(FP32、FP16、bFloat15、Int8Int4）提供超強性能，促進HPC和AI的融合。CDNA架構(gòu)還包含AMDInfinity架構(gòu)，為緊密連接的GPU系統(tǒng)提供了一個先進的運行平臺，讓工作負(fù)載可以AMD也正式發(fā)布了首款基于全新CDNA架構(gòu)的InstinctMI100加速顯卡，率先超越10TFFP64大關(guān)的數(shù)據(jù)中心GPU，為行業(yè)提供 的算法設(shè)計。FPGA不采用指令和軟件，是軟硬件合一的器件。對FPGACPUGPUASIC之ASICASICFPGA的CPU、GPU等處理器，F(xiàn)PGA高度可定制。開發(fā)者可以使用Verilog或VHDL硬件描述語FPGA前FPGA常被用作ASIC芯片流片前的硬件驗證方法。FPGAFPGA計算的絕對性能并不如GPU，但是企業(yè)級GPU的功率通常高FPGA20瓦以下。低功耗帶來的直接 FPGAFPGAASIC芯片與FPGA相比較，單純的ASIC芯片無法完全替代FPGAAI領(lǐng)域，F(xiàn)PGA與ASIC會分而治之。而在智慧工業(yè)機器人、智慧通信、智慧醫(yī)療、智慧裝備等領(lǐng)域，除FPGA以外其他AI全球最大的FPGA芯片生產(chǎn)廠商賽靈思和Intel，都確立了相似元件集成在芯片上，滿足AI等應(yīng)用對強大計算能力的需求。掘FPGA使用范圍，充分發(fā)揮FPGA的優(yōu)勢。微軟將FPGA作為核AIFPGA的專用服務(wù)器集群，到用專用網(wǎng)絡(luò)連接的FPGA加速卡集群，再到將共享數(shù)據(jù)中心網(wǎng)絡(luò)的大規(guī)模 FPGAFPGAIntel針對FPGA開發(fā)了一種經(jīng)濟高效的可重復(fù)編程平臺，具有ASIC（ApplicationSpecificIntegratedCircuit，特殊應(yīng)用專用集成電路）是為了某種特定的需求而專門定制的芯片。ASIC芯片的計算片可分為全定制ASIC芯片、半定制ASIC芯片及可編程ASIC芯片特別是在AI芯片布局方面，已經(jīng)成為了眾多行業(yè)巨頭的重心，因為AI應(yīng)用如雨后春筍般出現(xiàn)，而針對不同應(yīng)用打造的特殊應(yīng)用芯片ASIC的 TPU（TensorProcessingUnit，張量處理器）是Google為機器學(xué)（ASIC而設(shè)計。TPU在算法架構(gòu)上介于CPU和全定制化ASIC之間，兼具TPUCPUTPU算法架構(gòu)的ASIC芯片可完成更高運算量。相對同級別CPU、GPU，該類ASIC芯片可提高運算性能15倍至30倍，并提高能耗效率30倍至80倍。Google針對AI很早就設(shè)計了自己的TPU芯片，之前的AlphaGo就有采用。此外，Google自己的手機Pixel2也首次采用了自研芯片PixelVisualCore以提升拍照性能。eASICASICASICFPGA靜態(tài)泄漏和高功NPU等（AI芯片AI應(yīng) 的類腦芯片。當(dāng)前技術(shù)條件下的AI芯片主要是針對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練各國都在積極摸索研究AI芯片的發(fā)展方向，在我國也涌現(xiàn)出了一批AI芯片企業(yè)。AINPU。20161A處理器具有完全自主知識產(chǎn)權(quán)，可用于計算機視AI芯片的研發(fā)。2018年華為正式910310AI910是目前單芯AIAI310是目前面向SoCAI芯片，非常適合邊緣計算的低功耗要求場燧原科技在2019年發(fā)布了首款面向云端數(shù)據(jù)中心的AI訓(xùn)練芯 2019AICSK400XAI算法，可以有效通過深度神經(jīng)網(wǎng)絡(luò)對于ICP和吞吐率是IDC數(shù)據(jù)中心存儲系統(tǒng)應(yīng)該密切關(guān)注的問題。從歷史上看,計算機速度的瓶頸已逐漸從20世紀(jì)80年代的CPU和90年代的網(wǎng)絡(luò)帶寬轉(zhuǎn)移到IOIDC數(shù)據(jù)中心存儲系統(tǒng)的 保證應(yīng)用系統(tǒng)永不停機（7×24小時不間斷工作AI時代模型訓(xùn)練的算力需求，AIGPU的算力AIAI集群系統(tǒng)成為了滿足AI應(yīng)用算力需求的首選。IsNetworktheBotleneckofDistributedTraining,JohnsHopkinsUniversity& InfiniBand（IB）RoCEAI領(lǐng)域網(wǎng)絡(luò)技術(shù)的重要網(wǎng)IBLawrenceLivermore國家實驗室和IBM公司公布的均通信效率只有50%到60%，利用動態(tài)路由，他們達(dá)到了平均96%MPIGraph14All2All500nsIB從靜態(tài)時延角度看，以太相比IB存在劣勢，這種劣勢通過網(wǎng)絡(luò)與計《TheDesign，Deployment，andEvaluationoftheCORALPre-ExascaleSystemsSudharshanS.Vazhkudai?BronisR.deSupinski?ArthurS.BlandAlGeist?JamesSextonJimKahleChristopherJ.Zimmer?ScottAtchleySarpOral?DonE.MaxwellVeronicaGVergaraLarreaAdamBertschRobinGoldstone?,WayneJoubert?,ChrisChambreau?,DavidAppelhans,RobertBlackmoretc.SC18,November11-16,2018,Dallas,Texas,USAMPIGraphAll2AllMPI《CharacterizationofMPIUsageonaProductionSupercomputer ODCC8TAISHAN（920芯片NVIDIA100GE網(wǎng)OSU傳統(tǒng)RoCE網(wǎng)絡(luò)，網(wǎng)算一體技術(shù)大幅度降低了HPC計算的任務(wù)完成時間，平均降幅超20%。圖3768核allreduce通信ODCC 目前數(shù)據(jù)中心內(nèi)部的服務(wù)器芯片類型以CPU和GPU這兩個類 pointoperationspersecond）為每秒執(zhí)行的浮點運算次數(shù)，是對計算機FLOPS的概念最早由FrankH.McMahon17在其YifanSun18等使用FLOPS作為度量標(biāo)準(zhǔn)，以評估CPU和GPU的單精度和雙精度計算能力。（FP64（FP32半精度浮點數(shù)（FP16：采用16位二進制來表達(dá)一個數(shù)字，NVIDIA2002CUDA7.516位浮點數(shù)的存儲16JohnNickollsandWilliamJDally.Thegpucomputingera.IEEEmicro,30(2):56–69,17McMahon,FH.TheLivermoreFortranKernels:Acomputertestofthenumericalperformancerange.UnitedStates:N.p.,1986.Web.18YifanSunet，al.SummarizingCPUandGPUDesignTrendswithProduct 與Linpack僅關(guān)心雙精度的浮點計算（FP64）能力不同，我們將給出（FP32除了FP64和FP32之外，其他的計算精度也越來越廣泛被用于計算領(lǐng)域。對于人工智能來說，F(xiàn)P16大有后來居上的趨勢。主流的AI芯片和AI軟件都已經(jīng)支持FP16精度用于深度學(xué)習(xí)訓(xùn)練。同時INT8也越來越多用于深度學(xué)習(xí)推理領(lǐng)域。在本白皮書中，我們目前僅采用FP64和FP32兩種精度衡量數(shù)據(jù)中心算力和算效，未來考慮數(shù)據(jù)中心算力（CP，ComputationalPower）????=f(通用算力，高性能算力，存儲能力，網(wǎng)絡(luò)能力) 通用算力=∑(CPU服務(wù)器存數(shù)×CPU算力 CPU6表 主流CPU服務(wù)器算力1Intel?Xeon?ProcessorE7921.62Intel?Xeon?ProcessorE5774.43Intel?Xeon?Scalable1.64AMDEPYC?7002Series2.6 高性能算力=∑(某型號GPU服務(wù)器存數(shù)×該型號服務(wù)器GPU算力 以NVIDIA主流GPU7表7NVIDIAGPU型號算力1526.839.3415.7514619.5SSD硬盤由于使用了高速的閃存顆粒做為物理存儲資源，并且使用PCIe等高速傳輸協(xié)議/接口做為主流數(shù)據(jù)交換的物理通道，其在IOPS和帶寬方面遠(yuǎn)優(yōu)于傳統(tǒng)的HDD硬盤。1920數(shù)據(jù)來源：NVIDIA PCIeSSDSASHDD硬盤來比較，PCIeSSD卡的4KIOPS1M以上，而SASHDDIOPS為PCIeSSD的測試結(jié)果均為SASHDD的1000倍以上。圖4HDD&SSDODCCAIAI AI集群節(jié)點之間的通信代價的增加，當(dāng)前存儲介質(zhì)SSD的訪問性能相比傳統(tǒng)分布式存儲HDD已提升了100倍，對于采用NVMe接口協(xié)議的SSD（簡稱NVM介質(zhì)）時，訪問性能相比HDD甚至可以提升10000倍。在存儲介質(zhì)的時延5%65%中心的耗電規(guī)模為205TWh，占全世界耗電規(guī)模的1% IT設(shè)備功耗的比值，即“IT設(shè)備每瓦功耗單位：FLOPS/W

???? ∑????設(shè)備

數(shù)據(jù)中心算力能效測算方面，數(shù)據(jù)中心IT設(shè)備能耗之和可以用機架功耗之和近似替代，在得到IT圖5近五年我國數(shù)據(jù)中心機架規(guī)模及預(yù)測圖530%圖62016-2018年各省份機架規(guī)模詳情（單位，萬架620162018年我國各省份數(shù)據(jù)中心機架PUE我國數(shù)據(jù)中心機架規(guī)模區(qū)域分布不均衡的根本原因在于我國不同數(shù)據(jù)在遠(yuǎn)距離傳輸過程中的網(wǎng)絡(luò)延時可能會對服務(wù)質(zhì)量產(chǎn)生一定的 2018年年底，國內(nèi)數(shù)據(jù)中心總體平均上架率為47.9%23。部69.9%72.3%53.6%、52.4%28.2%，大型54.3%59.8%。總CPU根據(jù)Gartner的數(shù)據(jù)來看，中國（不包括港澳臺地區(qū)）CPU架2015-2019年基本呈現(xiàn)上升趨勢，5年復(fù)合增長率近8%，2019年的出貨量為340萬臺左右，其中x86架構(gòu)在CPU99%圖72015-2019CPU架構(gòu)服務(wù)器出貨量在廠商市場份額方面，IntelCPU市場市占率95%2019Q4IDC數(shù)據(jù)顯示，IntelCPU93.6%，其次為AMD為4.9%。24圖82019Q4CPU微處理器市場份額GPU根據(jù)IDC的數(shù)據(jù)顯示，全球GPU2019840萬Unit圖92016-2019年全球GPU出貨量（25數(shù)據(jù)來源：IDC《DatacenterProcessing4Q19ServerCPUGPUFPGAAIASICs,andASSPs26數(shù)據(jù)來源：IDC《DatacenterProcessing4Q19ServerCPUGPUFPGAAIASICs,andASSPs市場份額方面，NVIDIA2019Q4為例，根據(jù)IDC數(shù)據(jù)顯示，NVIDIA在全球數(shù)據(jù)中心GPU服務(wù)器市場份額的占比為94.4%，其余為AMD，占比5.6%。圖102019Q4GPU服務(wù)器市場份額2127數(shù)據(jù)來源：IDC《DatacenterProcessing4Q19ServerCPUGPUFPGAAIASICs,andASSPs2014年全球數(shù)據(jù)中心能耗達(dá)到世界能源使用總量的1.62%左右28。IT測算是基礎(chǔ)。數(shù)據(jù)中心總功耗主要由供配電系統(tǒng)、制冷系統(tǒng)及IT設(shè)數(shù)據(jù)中心能效水平的提升，數(shù)據(jù)中心PUE居高不下，近年來，隨著數(shù)據(jù)中心整體能效水平有所提升。截至2018年年底，全國超大型數(shù)據(jù)中心平均PUE為1.40，大型數(shù)據(jù)中心平均PUE為1.54，與前兩年比有所提升。全國規(guī)劃在建數(shù)據(jù)中心平均設(shè)計PUE為1.35左右，超大型、大型數(shù)據(jù)中心平均設(shè)計PUE分別為1.32、1