液冷數(shù)據(jù)中心白皮書 2023：數(shù)據(jù)中心液冷革命解鎖未來(lái)的數(shù)字冰河

3 3 3 4 7 7 9 15 15 18 23 23 25 28 28 30 30數(shù)據(jù)中心是數(shù)字經(jīng)濟(jì)時(shí)代的核心基礎(chǔ)設(shè)施和國(guó)家戰(zhàn)略資源，但面臨嚴(yán)峻的性能、能耗、成本挑戰(zhàn)。建設(shè)全棧式液冷數(shù)據(jù)中心，是實(shí)現(xiàn)國(guó)家“雙碳”戰(zhàn)略、深入落實(shí)《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》的重應(yīng)用液冷技術(shù)，應(yīng)加強(qiáng)對(duì)全棧式液冷數(shù)據(jù)中心的研究和應(yīng)用，以推2022年我國(guó)數(shù)字經(jīng)濟(jì)總體規(guī)模連續(xù)多年保持2022年我國(guó)數(shù)字經(jīng)濟(jì)總體規(guī)模連續(xù)多年保持世界第二，對(duì)經(jīng)濟(jì)高質(zhì)量發(fā)展的引領(lǐng)支撐作用在數(shù)字經(jīng)濟(jì)中，數(shù)據(jù)起到了至關(guān)重要的作用，數(shù)據(jù)中心提供得大規(guī)模數(shù)據(jù)的存儲(chǔ)、處理和分發(fā)成為可能，從而推動(dòng)了數(shù)字經(jīng)濟(jì)心行業(yè)正在經(jīng)歷多樣化發(fā)展，智算、超算和云數(shù)據(jù)中心是幾個(gè)重要3344?數(shù)據(jù)存儲(chǔ)和處理：數(shù)據(jù)中心允許企業(yè)存儲(chǔ)大規(guī)模的數(shù)據(jù)，并進(jìn)行高性能的數(shù)據(jù)處理。這對(duì)于數(shù)字經(jīng)濟(jì)中的企業(yè)來(lái)說(shuō)至關(guān)重要，因?yàn)樗鼈冃枰治鲞@些數(shù)據(jù)以?云計(jì)算和虛擬化：數(shù)據(jù)中心支撐云計(jì)算和虛擬化技術(shù)，使企業(yè)能夠動(dòng)態(tài)分配計(jì)算資源，根據(jù)需求擴(kuò)展或縮減其基礎(chǔ)設(shè)施，提供了靈活性，允許企業(yè)更好地適?推動(dòng)人工智能等新興技術(shù)發(fā)展：數(shù)據(jù)中心是訓(xùn)練和運(yùn)行人工智能模型的關(guān)鍵基礎(chǔ)設(shè)施。它們支持大規(guī)模數(shù)據(jù)的收集、存儲(chǔ)和分析，為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等以防止數(shù)據(jù)泄露和網(wǎng)絡(luò)攻擊。這有助于維護(hù)數(shù)據(jù)隱私，增強(qiáng)網(wǎng)絡(luò)安全，以及遵數(shù)據(jù)中心作為5G、人工智能、云計(jì)算等新一代信息通信技術(shù)的重要載體，已經(jīng)成為數(shù)字經(jīng)濟(jì)時(shí)代的底座，具有空前重要的戰(zhàn)略地位，得到了國(guó)家的高度重視。2020年4月20日，國(guó)家發(fā)改委新聞發(fā)布會(huì)上，官方首次將以數(shù)據(jù)中心、智能計(jì)“新基建”與過(guò)去的“鐵公機(jī)”傳統(tǒng)基建相比，既是技術(shù)密集型的新興產(chǎn)業(yè)，又是支撐經(jīng)濟(jì)社會(huì)數(shù)字化、網(wǎng)絡(luò)化、智能化發(fā)展的基礎(chǔ)設(shè)施，是我國(guó)數(shù)字經(jīng)濟(jì)發(fā)展的引擎。數(shù)據(jù)中心既是新基建的重要組成部分，又是新基建發(fā)展的核心IT基礎(chǔ)設(shè)施，對(duì)數(shù)字經(jīng)濟(jì)的騰飛起到至關(guān)重要的底層支撐作用。疫情后新基建和數(shù)字經(jīng)濟(jì)的大力55加快存儲(chǔ)網(wǎng)絡(luò)技術(shù)研發(fā)應(yīng)用，推動(dòng)計(jì)算與存儲(chǔ)融合設(shè)計(jì)，促進(jìn)存儲(chǔ)與系統(tǒng)優(yōu)化算力基礎(chǔ)設(shè)施布局，促進(jìn)東西部算力高效互補(bǔ)面向新型電力系統(tǒng)和數(shù)據(jù)中心、算力中心、電動(dòng)機(jī)械工具、施、新型基礎(chǔ)設(shè)施等重點(diǎn)終端應(yīng)用，開展能源電子多元化試點(diǎn)示范。推動(dòng)先進(jìn)適用數(shù)據(jù)安全技術(shù)產(chǎn)品在電子商務(wù)、遠(yuǎn)程醫(yī)療、在線教育、新媒體等新型應(yīng)用場(chǎng)景，以及國(guó)家數(shù)據(jù)中心集群、國(guó)家算力樞紐低碳數(shù)據(jù)中心集群。京津冀樞紐規(guī)劃設(shè)立張家口數(shù)據(jù)中心集群，張家口積極承接北京等地實(shí)時(shí)性算力需求，引導(dǎo)溫冷業(yè)務(wù)向西部遷移，構(gòu)建長(zhǎng)三角、粵港澳大灣區(qū)、成渝地區(qū)雙城經(jīng)濟(jì)圈、貴州、內(nèi)蒙局全國(guó)一體化算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn)，建設(shè)數(shù)據(jù)中心集群，結(jié)合應(yīng)用加快構(gòu)建全國(guó)一體化大數(shù)據(jù)中心體系，推進(jìn)國(guó)家工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中相適應(yīng)的新型數(shù)據(jù)中心發(fā)展格局?？傮w布局持續(xù)優(yōu)化，全國(guó)一體化算66加快構(gòu)建全國(guó)一體化大數(shù)據(jù)中心體系，強(qiáng)化算力統(tǒng)籌智能調(diào)度，建設(shè)推動(dòng)工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心建設(shè)，打造工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心綜在加快新型基礎(chǔ)設(shè)施建設(shè)方面，提出改造升級(jí)工業(yè)互聯(lián)網(wǎng)內(nèi)外網(wǎng)絡(luò)聯(lián)網(wǎng)標(biāo)識(shí)體系、提升工業(yè)互聯(lián)網(wǎng)平臺(tái)核心能力、建設(shè)工業(yè)互聯(lián)網(wǎng)大目前中國(guó)數(shù)據(jù)中心在進(jìn)行IT基礎(chǔ)建設(shè)時(shí)，正在向集中化、大型化發(fā)展，同時(shí)新興技術(shù)例如AI、5G的落地也向業(yè)界提出了諸多需求，包括但不僅限于需要首先數(shù)據(jù)中心對(duì)于提升整體性能的需求；支撐新興技術(shù)落地的需求運(yùn)維的需求；和進(jìn)一步的，加速數(shù)據(jù)變現(xiàn)和數(shù)字化轉(zhuǎn)型的需求IDC調(diào)查顯示，國(guó)內(nèi)外各大基礎(chǔ)設(shè)施供應(yīng)商的GPU單芯片功耗基本已隨著數(shù)據(jù)中心的不斷發(fā)展，AI、邊緣數(shù)據(jù)中心等計(jì)算場(chǎng)景的落地，IT硬件基礎(chǔ)設(shè)例，需求已上升至15-50KW，對(duì)比傳統(tǒng)成為數(shù)字經(jīng)濟(jì)增長(zhǎng)的驅(qū)動(dòng)邏輯，越來(lái)越多的使用者將資金投入由通用算力向AI算力轉(zhuǎn)變，面對(duì)大量涌現(xiàn)的AI應(yīng)用，業(yè)務(wù)對(duì)底層算力需求顯著提升，導(dǎo)致數(shù)據(jù)中心7激進(jìn)，也有隨著人工智能等新應(yīng)用的推廣，通用服務(wù)器搭載更多CPU和GPU卡，功率進(jìn)一步上升，已經(jīng)達(dá)到1KW，但目前的通用機(jī)架沒有足夠功率承載更多計(jì)算節(jié)點(diǎn)，不足以滿足用戶實(shí)際需求，導(dǎo)致數(shù)據(jù)中心機(jī)架大量空置。需求，需要新建符合新標(biāo)準(zhǔn)、滿足用戶新需求的智能化數(shù)據(jù)中心部署高密度數(shù)據(jù)中心是目前解決算力大幅提升、海量數(shù)據(jù)處理和存儲(chǔ)的主要方式，但如何進(jìn)一步提高數(shù)據(jù)中心的性能、能耗、成本的三元平衡成為減少數(shù)據(jù)傳輸延遲和網(wǎng)絡(luò)負(fù)載，提高數(shù)據(jù)中心的性能和響應(yīng)速度。采用更高效的算法減少計(jì)算量、通過(guò)數(shù)據(jù)壓縮、去重等數(shù)據(jù)處理技的使用。但高密度數(shù)據(jù)中心的應(yīng)用阻礙也非常明顯，高密度數(shù)據(jù)中電力來(lái)支持IT硬件設(shè)備和冷卻設(shè)施的運(yùn)行，能源消耗巨大，導(dǎo)致了數(shù)據(jù)中心運(yùn)營(yíng)和維護(hù)成本大幅上升；另外較高的硬件密度也使設(shè)備故障率上升，卻系統(tǒng)來(lái)保持服務(wù)器和芯片的正常運(yùn)行。目前，液冷技術(shù)可以有效的冷板散熱可以減少設(shè)備振動(dòng)，提高設(shè)備的可靠性和性能。未來(lái)，液冷化部署將不能滿足需求，液冷技術(shù)全面覆蓋數(shù)據(jù)中心的基礎(chǔ)架務(wù)器、分布式存儲(chǔ)架構(gòu)以及網(wǎng)絡(luò)設(shè)備的整體液冷技術(shù)部署，是未來(lái)方向；在落地方面，全棧式液冷數(shù)據(jù)中心解決方案需要覆蓋包括前求梳理、基建建設(shè)規(guī)劃，中期設(shè)備部署、管理平臺(tái)實(shí)施交付，以及899以AI、大數(shù)據(jù)、邊緣計(jì)算為代表的現(xiàn)代化應(yīng)用不斷給數(shù)據(jù)中心帶來(lái)挑戰(zhàn)，AI、云原生等業(yè)務(wù)場(chǎng)景，影音編輯、制作和渲染等流媒體應(yīng)用，內(nèi)容?在AI場(chǎng)景中，業(yè)務(wù)系統(tǒng)需要同時(shí)訪問和處理海量數(shù)據(jù)，需要存儲(chǔ)系統(tǒng)提供海量存力，并且可以面對(duì)高并發(fā)訪問，和快速存取數(shù)據(jù)，對(duì)存儲(chǔ)系統(tǒng)單節(jié)點(diǎn)、單機(jī)柜的有效存量提出要求；同時(shí)AI應(yīng)用通常需要處理多元異構(gòu)數(shù)據(jù)，數(shù)據(jù)的?高性能計(jì)算場(chǎng)景對(duì)分布式存儲(chǔ)系統(tǒng)的性能提出了高要求，在數(shù)據(jù)年增量逐漸達(dá)到幾十PB級(jí)別的當(dāng)今，要求分布式存儲(chǔ)系統(tǒng)能夠達(dá)到每秒TB級(jí)的讀寫帶寬，?云原生應(yīng)用的一個(gè)主要特性就是能夠在不同的云環(huán)境中運(yùn)行，即應(yīng)用的可移植性；同時(shí)，云原生應(yīng)用也需要能夠根據(jù)需求快速且靈活地?cái)U(kuò)展資源，以滿足用戶需求。這就要求存儲(chǔ)系統(tǒng)能夠根據(jù)需求動(dòng)態(tài)的提供存儲(chǔ)資源。目前，分布式存儲(chǔ)系統(tǒng)可以從存儲(chǔ)容量、計(jì)算資源和網(wǎng)絡(luò)帶寬的多個(gè)維度來(lái)彈性擴(kuò)展，保?其他海量的數(shù)據(jù)實(shí)時(shí)分析和存儲(chǔ)管理需求廣泛存在于例如金融機(jī)構(gòu)的高頻、實(shí)時(shí)數(shù)據(jù)交易和分析場(chǎng)景；醫(yī)療領(lǐng)域的醫(yī)療影像數(shù)據(jù)在疾病診斷等場(chǎng)景的流通和分析；以及交通行業(yè)的車輛運(yùn)行、流量數(shù)據(jù)實(shí)時(shí)處理分析以支撐交通調(diào)度和路線規(guī)劃等業(yè)務(wù)，這些需求指向分布式存儲(chǔ)，加之虛擬化以及云計(jì)算場(chǎng)景的需求這些需求的主要目標(biāo)是加速數(shù)據(jù)變現(xiàn)，存儲(chǔ)器作為數(shù)據(jù)承載的基礎(chǔ)，也影響著信SSD盤陣等提升性能，以期能在數(shù)據(jù)量不斷增長(zhǎng)的情況下滿足業(yè)務(wù)的實(shí)時(shí)分析等?存儲(chǔ)系統(tǒng)首先必須要保障的是數(shù)據(jù)的安全性，防止數(shù)據(jù)泄露、篡改或損壞；對(duì)?其次，存儲(chǔ)系統(tǒng)需要對(duì)多元化的、復(fù)雜來(lái)源的數(shù)據(jù)進(jìn)行高效的數(shù)據(jù)處理，對(duì)存?最為基礎(chǔ)的是，數(shù)據(jù)中心的運(yùn)維成本也隨著數(shù)據(jù)量的增長(zhǎng)而增加。數(shù)據(jù)中心的運(yùn)維成本主要包括設(shè)備采購(gòu)、設(shè)備維護(hù)、電力消耗、人力成本等多個(gè)方面，需?此外，數(shù)據(jù)中心集群化建設(shè)以及“東數(shù)西算”等工程，導(dǎo)致大量數(shù)據(jù)跨區(qū)域雙傳統(tǒng)的運(yùn)維方式已經(jīng)無(wú)法滿足現(xiàn)代數(shù)據(jù)中心的高效運(yùn)營(yíng)需求，智能化運(yùn)維對(duì)于數(shù)據(jù)中心提高運(yùn)營(yíng)效率至關(guān)重要……為使存儲(chǔ)系統(tǒng)做到高效、節(jié)能，部署液冷存儲(chǔ)設(shè)備或?qū)ΜF(xiàn)有設(shè)備液冷化改面對(duì)數(shù)據(jù)安全以及業(yè)務(wù)穩(wěn)定性問題，通過(guò)部署冷板效率，保障元器件的穩(wěn)定工作，且冷板液冷技術(shù)可以直接避免震動(dòng)問題，進(jìn)一步避免了數(shù)據(jù)受損，通過(guò)自動(dòng)化監(jiān)控、預(yù)警進(jìn)高系統(tǒng)穩(wěn)定性；面對(duì)海量的、且不斷增長(zhǎng)的多元化統(tǒng)一方面通過(guò)軟件算法優(yōu)化和數(shù)據(jù)去重等技術(shù)提升處理效率，日益增長(zhǎng)的數(shù)據(jù)處理需求，存儲(chǔ)系統(tǒng)往往通過(guò)堆疊盤陣的方式造成了設(shè)備密度的提升、導(dǎo)致設(shè)備在散熱方面面臨挑戰(zhàn)。液冷式的方式部署，以彈性可擴(kuò)展的架構(gòu)應(yīng)對(duì)不斷增長(zhǎng)的數(shù)據(jù)，同優(yōu)于傳統(tǒng)風(fēng)冷，在提升數(shù)據(jù)處理效率的同時(shí)降低散熱所需的能可支持高密度配置，使得單位空間內(nèi)可以部署更多的設(shè)備，提液冷存儲(chǔ)系統(tǒng)已經(jīng)可以與數(shù)據(jù)中心智能管理系統(tǒng)結(jié)合使用，通作為數(shù)據(jù)中心的重要基礎(chǔ)，存儲(chǔ)設(shè)備的液冷化部署在全棧式液為重要，液冷技術(shù)在減少存儲(chǔ)設(shè)備能耗和延長(zhǎng)硬件壽以數(shù)據(jù)為中心的體系架產(chǎn)要素的優(yōu)化，其本身已經(jīng)成為新的生產(chǎn)要素，其價(jià)值在不斷提升，權(quán)的形式、股份形式參與生產(chǎn)經(jīng)營(yíng)，賦能千行百業(yè)轉(zhuǎn)型升級(jí)。在數(shù)字程中，數(shù)字技術(shù)在發(fā)揮著重要作用，為通過(guò)算法篩選并運(yùn)算得到更為據(jù)，傳統(tǒng)數(shù)據(jù)中心正在面臨嚴(yán)峻挑戰(zhàn)，算力、存力的不斷增加，讓傳統(tǒng)數(shù)據(jù)中心數(shù)據(jù)顯示，2021年，全國(guó)數(shù)據(jù)中心總耗電量高達(dá)2166億千瓦時(shí)，約占全國(guó)總耗一些數(shù)據(jù)中心運(yùn)營(yíng)單位的建設(shè)和運(yùn)營(yíng)經(jīng)驗(yàn)的數(shù)據(jù)進(jìn)一步顯示，數(shù)據(jù)中心4成左右的成本都花在空調(diào)制冷的電費(fèi)上，為了降低運(yùn)營(yíng)成本，會(huì)區(qū)建設(shè)數(shù)據(jù)中心，這也從一個(gè)側(cè)面說(shuō)明了電力成本是數(shù)據(jù)設(shè)備運(yùn)行過(guò)程中消耗的電能絕大部分都轉(zhuǎn)換為廢熱，若機(jī)時(shí)轉(zhuǎn)移到周圍環(huán)境中，芯片等發(fā)熱部件的運(yùn)行溫度將急劇目前，由于IT設(shè)備和空調(diào)設(shè)備的冷卻系統(tǒng)設(shè)計(jì)和日常運(yùn)維可以很方便地實(shí)現(xiàn)解耦，風(fēng)冷機(jī)柜和與之適配的數(shù)據(jù)中心冷卻系統(tǒng)可各自不斷進(jìn)行系統(tǒng)級(jí)，因此較長(zhǎng)時(shí)間里，風(fēng)冷散熱仍是數(shù)據(jù)中心的主流選擇。但主機(jī)的發(fā)熱度越來(lái)越大，海量數(shù)據(jù)在計(jì)算和存儲(chǔ)單元之間傳輸致空調(diào)排熱成為能耗最大的部分。清華大學(xué)曾有統(tǒng)計(jì)指出，空將液體或氣體派送到高溫區(qū)域，吸收并帶走熱量這個(gè)過(guò)程的能比較大的比例，目前統(tǒng)計(jì)大致的結(jié)果為，就中小型的數(shù)據(jù)中心而言，PUE值都在2，或者以上，這是由于空調(diào)占了一半或者更多的設(shè)施總用電量PUE=IT設(shè)備用電量與此同時(shí)，綠色節(jié)能的要求正在加碼。目前我國(guó)數(shù)濟(jì)發(fā)達(dá)地區(qū)，針對(duì)巨大的能耗，這些地區(qū)已經(jīng)對(duì)低能效的傳統(tǒng)策，其他各區(qū)域中心城市也紛紛出臺(tái)各種政策支持高能效數(shù)據(jù)源局四部門按照《2030年前碳達(dá)峰行動(dòng)方案》部署，出臺(tái)了《貫徹落實(shí)碳達(dá)峰明確了新建大型及以上數(shù)據(jù)中心須達(dá)到綠色數(shù)據(jù)中心要求，綠色低碳等級(jí)達(dá)到?2022年6月，工業(yè)和信息化部、國(guó)家發(fā)展改革委、生態(tài)環(huán)境部等六部門聯(lián)合印發(fā)《工業(yè)能效提升行動(dòng)計(jì)劃》，積極推進(jìn)用能高效化、低碳化、綠色化，提出PUE優(yōu)于1.3;并強(qiáng)調(diào)要加快液冷、自然冷源等制冷節(jié)能統(tǒng)一的數(shù)據(jù)中心能效評(píng)價(jià)方法，規(guī)定了能效限定值等強(qiáng)制性能效準(zhǔn)入要求，限因此，數(shù)據(jù)中心需源源不斷提供與IT基礎(chǔ)設(shè)施硬件散熱需求相匹配的冷量，增加整機(jī)散熱能力，將熱量更高效的帶出IT設(shè)備，減少制冷系統(tǒng)功耗，這成為保障數(shù)液冷數(shù)據(jù)中心設(shè)計(jì)的液冷系統(tǒng)取代冷機(jī)等高能耗制冷設(shè)備，對(duì)比目前數(shù)據(jù)中心的風(fēng)側(cè)間接蒸發(fā)冷卻系統(tǒng)、DX系統(tǒng)、水冷冷凍水系統(tǒng)、風(fēng)冷冷凍水系統(tǒng)等空調(diào)系統(tǒng)，在同樣外電容量下，液冷方式允許配置更多的IT設(shè)備，占地面積更小，可最大化提高能源和空間利用率，實(shí)現(xiàn)更低PUE值、更加節(jié)能低碳。但液冷數(shù)據(jù)中心主機(jī)房設(shè)計(jì)荷載要求更高（因液冷方式允許部署高功率密度機(jī)柜，高全面應(yīng)用液冷技術(shù)的、具備多元化液冷技術(shù)路線的、主要冷卻媒介心運(yùn)維功能覆蓋液冷技術(shù)的數(shù)據(jù)中心。隨著綠色節(jié)能正在成為數(shù)據(jù)現(xiàn)數(shù)據(jù)中心的極簡(jiǎn)設(shè)計(jì)和極致能效，又契合了服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)功率的趨勢(shì)，在國(guó)家政策對(duì)于數(shù)據(jù)中心嚴(yán)苛的低能耗要求背景下，和支持。此外隨著液冷技術(shù)的不斷升級(jí)和不同專業(yè)技術(shù)融合的不斷的節(jié)能手段從以前的單純提高空調(diào)系統(tǒng)設(shè)備能效轉(zhuǎn)向IT設(shè)備與制冷設(shè)備聯(lián)合優(yōu)化隨著IT基礎(chǔ)設(shè)施中芯片不斷升級(jí)迭代、高性能芯片需求不斷增加、服務(wù)器密集化程度越來(lái)越高、存儲(chǔ)器容量越來(lái)越大，數(shù)據(jù)中心這個(gè)能耗“風(fēng)冷技術(shù)已經(jīng)成熟應(yīng)用于芯片散熱方面，但為提高散熱能力音、震動(dòng)和能耗問題也日趨嚴(yán)重。由于液體的比熱容為冷卻工質(zhì)的傳熱性能，為了解決數(shù)據(jù)中心高效散熱?從能耗角度比較來(lái)看，風(fēng)冷系統(tǒng)依賴于冷卻塔的蒸發(fā)冷卻，液冷技術(shù)則可以降低能耗，提高資源利用率，主要因?yàn)橐后w可以更有效的將熱量從IT基礎(chǔ)硬件傳?在空間利用方面，液冷數(shù)據(jù)中心不需要像傳統(tǒng)數(shù)據(jù)中心那樣預(yù)留大量的空間來(lái)安裝空調(diào)和冷卻系統(tǒng)，因此可以更有效地利用空間資源，進(jìn)一步在機(jī)房?jī)?nèi)，由于送風(fēng)量的減少，為數(shù)據(jù)中心機(jī)柜的布局提供了很大的靈活性，也并不一定需?在可維護(hù)性方面，風(fēng)冷系統(tǒng)雖然應(yīng)用廣泛但由于其較為復(fù)雜的系統(tǒng)，且與室外數(shù)據(jù)中心的液冷化部署應(yīng)覆蓋計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)所有的硬件務(wù)器的能耗也在不斷提升。而且在當(dāng)前時(shí)代，大多數(shù)深度學(xué)習(xí)人工智能仍處于訓(xùn)數(shù)據(jù)中心制冷要求極高。即使是以兩路CPU為主的通用服務(wù)器，功率也已經(jīng)達(dá)到從存儲(chǔ)節(jié)點(diǎn)來(lái)看，作為數(shù)據(jù)中心的三大件之一，存儲(chǔ)器在數(shù)據(jù)中心IT系統(tǒng)能耗占比甚至即將超過(guò)35%，比例僅次于服務(wù)器能耗。也就是說(shuō)，如果存儲(chǔ)系統(tǒng)的PUE值降低，那整個(gè)數(shù)據(jù)中心的PUE值都會(huì)明顯降低。存儲(chǔ)系統(tǒng)的液冷化部署和改造AI、5G等技術(shù)落地后對(duì)數(shù)據(jù)調(diào)用和傳輸?shù)刃实奶嵘灰约霸诙嗥脚_(tái)、多數(shù)據(jù)環(huán)境中的智能化管理與運(yùn)維等。存儲(chǔ)密度的提升將液冷需求指向穩(wěn)定的、多層的散熱架構(gòu)，高效的冷板散熱能力將提升數(shù)據(jù)傳輸效率，智能化的冷板漏液監(jiān)控采用的都是被動(dòng)散熱，也就是通過(guò)機(jī)身散熱孔，當(dāng)路由器的三閃存芯片、路由器CPU、無(wú)線芯片和以太網(wǎng)網(wǎng)卡芯片同時(shí)散熱時(shí)，目前的導(dǎo)熱硅膠墊片明顯散熱能力不足，應(yīng)用液冷核心路由器或?qū)⒁豪浣尤敫呱岵考隙紩?huì)加一塊散熱片，通過(guò)盡可能大的擴(kuò)散面積量散走。將散熱片換成水冷板之后，其散熱效率可以提高3000倍，通生態(tài)、業(yè)務(wù)上的高門檻，熱量快速帶走，可以實(shí)現(xiàn)節(jié)能降耗，且能讓高功耗部件始億美金（2千億人民幣）規(guī)模；而其中液冷服務(wù)器市場(chǎng)份額為9.6億美金（69億技術(shù)涉及多專業(yè)領(lǐng)域的協(xié)同和融合，在真正規(guī)?；瘧?yīng)用道路上仍面臨諸全棧式液冷數(shù)據(jù)中心部署和改造成本考量尤為看重。用戶需要技術(shù)全生命周期液冷整體解決方案，實(shí)現(xiàn)液冷數(shù)據(jù)中心端到端交付，無(wú)液冷數(shù)據(jù)中心、預(yù)制化液冷數(shù)據(jù)中心，還是老舊機(jī)房改造，能夠?qū)嵲儭⒅衅谠O(shè)備定制、后期交付施工的端到端服務(wù)，滿足用戶復(fù)雜多同時(shí)，由于數(shù)據(jù)中心的使用周期遠(yuǎn)高于IT設(shè)備，未來(lái)幾年老舊數(shù)據(jù)中心的綠色化需要技術(shù)供應(yīng)商在盡可能實(shí)現(xiàn)原有風(fēng)冷室內(nèi)空調(diào)復(fù)用前提下，新增液冷系統(tǒng)部件及高功耗配電，用最小的數(shù)據(jù)中心液冷解決方案根據(jù)電子信息設(shè)備與冷卻液是否直接技術(shù)和接觸式液冷技術(shù)，非接觸式液冷技術(shù)主要為冷板式液冷?冷板式通常采用冷卻液體流經(jīng)金屬制冷板對(duì)CPU、內(nèi)存和磁盤等高功耗的部件進(jìn)行接觸式降溫，這主要取決于傳統(tǒng)數(shù)據(jù)中心對(duì)原有基礎(chǔ)設(shè)施改造成本和難度的關(guān)注度，以及當(dāng)前冷板式方案成熟度較高，商用基礎(chǔ)較好。根據(jù)IDC關(guān)于服?浸沒式將發(fā)熱電子元器件與制冷液直接接觸，利用制冷液相變形制直接將熱量帶走，所以在PUE要求較高的場(chǎng)景中有所應(yīng)用，且在散熱效率和單機(jī)柜功率、與浸沒式同樣適用于結(jié)構(gòu)承重經(jīng)過(guò)特殊加固的新建項(xiàng)目，不同的是噴淋式目前?機(jī)架式液冷服務(wù)器面對(duì)CPU、DIMM等發(fā)熱量較大的部件使用冷板式液冷技術(shù)，兩個(gè)CPU上的冷板通過(guò)波紋管串聯(lián)，通過(guò)熱交換性能更高的冷卻液來(lái)提高服務(wù)?高性能服務(wù)器是在更小的物理空間內(nèi)集成更多的處理器和IO擴(kuò)展能力。通常，在一個(gè)機(jī)箱里，電源和風(fēng)扇被多臺(tái)計(jì)算器節(jié)點(diǎn)共享，高性能液冷服務(wù)器在主要散熱芯片上增加液冷模組，例如在CPU通過(guò)串聯(lián)的方式進(jìn)行搭配，采用冷板進(jìn)行散熱，冷板與冷板之間通過(guò)硬管進(jìn)行連接；工作液通過(guò)分液器后流到節(jié)點(diǎn)中，異構(gòu)設(shè)計(jì)的，例如人工智能型液冷服務(wù)器通常配置一實(shí)現(xiàn)在圖像或人工智能等專用計(jì)算性能上的高覆蓋GPU、CPU等大功率部件。以GPU冷板組件為例，通常由冷板、轉(zhuǎn)接頭等主要零部件構(gòu)成，冷板整體預(yù)留有配管或接口模塊連接口，流件，冷卻液流過(guò)流體流道，并通過(guò)與流體流道的接觸實(shí)現(xiàn)換熱配置SSD存儲(chǔ)，省卻HDD磁頭運(yùn)轉(zhuǎn)，在相同容量下，電力能耗可降低70%，但無(wú)法避免成本上漲；軟件方面，積極采用大比例糾刪碼、數(shù)據(jù)重少設(shè)備數(shù)量，但可能會(huì)影響存儲(chǔ)性能，這兩種方式都能降低數(shù)據(jù)夠全面、徹底。將換熱效率更高的冷液冷技術(shù)加載到存儲(chǔ)系統(tǒng)上需考量的未來(lái)技術(shù)通路?？偨Y(jié)來(lái)看，當(dāng)前的液冷數(shù)據(jù)中心主流配液冷方案，搭配針對(duì)應(yīng)用場(chǎng)景進(jìn)行優(yōu)化的軟件，提高數(shù)據(jù)存儲(chǔ)的硬件方面，曙光液冷存儲(chǔ)器在持續(xù)升級(jí)和優(yōu)化NVMe等介質(zhì)、水冷箱式機(jī)組結(jié)構(gòu)，?精細(xì)化的部件級(jí)制冷，避免設(shè)備局部熱點(diǎn)，降低內(nèi)存、HDD等存儲(chǔ)關(guān)鍵部件的?采用冷板式液冷設(shè)計(jì)，工藝成熟，部署、維護(hù)便捷。?產(chǎn)品選型的部件兼容多種冷媒，包括去離子水、氟化液等冷媒介質(zhì)，滿足多種?硬盤熱插拔及模塊化設(shè)計(jì)，便于硬盤獨(dú)立更換，易于維護(hù)。坦克鏈理線工藝，?硬盤模塊雙盤倉(cāng)設(shè)計(jì)，內(nèi)部滑軌的抽拉形式，可將整個(gè)盤倉(cāng)抽出，極大提升維?雙盤倉(cāng)內(nèi)部互斥結(jié)構(gòu)，單盤倉(cāng)抽出時(shí)另一盤倉(cāng)自動(dòng)上鎖，避免雙盤倉(cāng)同時(shí)抽出?在存儲(chǔ)節(jié)點(diǎn)內(nèi)部設(shè)置多個(gè)液冷監(jiān)控點(diǎn)，并進(jìn)行實(shí)時(shí)探測(cè)，通過(guò)漏液導(dǎo)流結(jié)構(gòu)、漏液檢測(cè)裝置、溫度監(jiān)控裝置，在發(fā)生漏液、冷板堵塞、斷液、超溫等故障問在全棧式液冷數(shù)據(jù)中心中，系統(tǒng)軟件也在系統(tǒng)穩(wěn)定、性能提?軟件需采用大比例糾刪碼、數(shù)據(jù)重刪壓縮等技術(shù)，提高存儲(chǔ)資源的利用率，保?根據(jù)業(yè)務(wù)需求實(shí)現(xiàn)分區(qū)節(jié)能，即基于不同的節(jié)點(diǎn)分區(qū)，通過(guò)CPU降頻、硬盤休?獨(dú)立的電源控制子系統(tǒng)，能夠通過(guò)硬盤控制驅(qū)動(dòng)，可對(duì)任意一塊硬盤進(jìn)行上電以曙光以曙光ParaStor產(chǎn)品為例，ParaStor可以提供TB/S級(jí)別的數(shù)據(jù)傳輸速度和EB級(jí)別的存儲(chǔ)容量，能夠滿足大規(guī)模數(shù)據(jù)處理和存儲(chǔ)的需求，可以靈活地?cái)U(kuò)展存儲(chǔ)容量和性能，支持橫向和縱向的擴(kuò)展方式，在提升性能方面首先發(fā)揮優(yōu)勢(shì)；且能進(jìn)一步的結(jié)合智能化節(jié)能技術(shù)、EC糾刪碼、重刪壓縮等技術(shù)，自動(dòng)化地管理和優(yōu)化數(shù)據(jù)存儲(chǔ)和處理的資源分配，降低系統(tǒng)功耗，提升資源管理和調(diào)度能力、提高數(shù)據(jù)處理和存儲(chǔ)的效率；高度協(xié)同硬應(yīng)用程序和硬件設(shè)備進(jìn)行無(wú)縫集成和協(xié)同工作；面對(duì)業(yè)務(wù)支持多種不同的數(shù)據(jù)類型，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等，以豐富的核心交換機(jī)的快速發(fā)展。但受限于網(wǎng)絡(luò)交換機(jī)的高度要求，一般采用1U架構(gòu)，散熱導(dǎo)片及風(fēng)扇功率的設(shè)計(jì)存在“面多加水，水多塊等熱源無(wú)法完全通過(guò)風(fēng)冷方式帶走全部熱量，熱量如不能及時(shí)量造成重大影響?；谏鲜隹剂浚鞣皆诜e極布局液冷交換機(jī)的務(wù)器和存儲(chǔ)設(shè)備共同構(gòu)建全棧式液冷數(shù)據(jù)中心的一體化解決方案據(jù)中心“水桶效應(yīng)”中重要一塊板，液冷網(wǎng)絡(luò)設(shè)備通過(guò)多種手段降本增效，包括采用節(jié)能技術(shù)如合理配置網(wǎng)絡(luò)設(shè)備避免冗余和浪處理器、內(nèi)存等元器件、優(yōu)化網(wǎng)絡(luò)架構(gòu)；減少網(wǎng)絡(luò)層次和節(jié)點(diǎn)，能耗，同時(shí)提高網(wǎng)絡(luò)的穩(wěn)定性和可靠性；采用綠色材料；合理利定期維護(hù)和升級(jí)網(wǎng)絡(luò)設(shè)備保持設(shè)備最佳狀態(tài)等。同時(shí)安全和高效數(shù)據(jù)中心網(wǎng)絡(luò)承載著大量敏感數(shù)據(jù)和關(guān)鍵業(yè)務(wù)，因此必須采取嚴(yán)總的來(lái)說(shuō)，服務(wù)器、存儲(chǔ)和交換機(jī)等基礎(chǔ)設(shè)施作為數(shù)據(jù)中的散熱需求的驅(qū)動(dòng)，目前技術(shù)供應(yīng)商在高效散熱的探索仍未止步性能的浸沒式液冷計(jì)算探索。浸沒式液冷是以液體作為傳熱介質(zhì)浸沒在冷卻液中進(jìn)行熱交換的冷卻技術(shù)，按照熱交換過(guò)程中傳熱變化，可分為單相浸沒液冷和相變浸沒液冷兩類。單相浸沒液冷液體在散熱過(guò)程中僅發(fā)生溫度變化，而不存在傳熱介質(zhì)相變過(guò)程顯熱變化傳遞熱量；相變浸沒液冷是作為傳熱介質(zhì)的液體在散熱浸沒式液冷系統(tǒng)作為一種新型高效、綠色節(jié)能的數(shù)據(jù)中心冷卻提高熱交換效率；與液體直接接觸不需要散熱器及冷板等結(jié)構(gòu)，散代會(huì)報(bào)告中，凸顯了數(shù)字化在教育工作中的戰(zhàn)略地位，為教育系統(tǒng)的工、醫(yī)結(jié)合，管、經(jīng)、文、法等多學(xué)科協(xié)調(diào)發(fā)展的綜合性研究原始科研創(chuàng)新能力推動(dòng)進(jìn)一步的大學(xué)建設(shè)，建有29個(gè)國(guó)家級(jí)科研平臺(tái)、231個(gè)部學(xué)校在推進(jìn)數(shù)字教育的實(shí)踐中，深入學(xué)習(xí)貫徹黨的鍵點(diǎn)，構(gòu)建數(shù)字空間、數(shù)據(jù)賦能數(shù)據(jù)和業(yè)務(wù)雙驅(qū)動(dòng)，同時(shí)著力打數(shù)據(jù)中心能耗降低30%，為國(guó)家科研項(xiàng)目和在校師生提供數(shù)據(jù)計(jì)算基礎(chǔ)。在此背景下，度液冷存儲(chǔ)ParaStor液冷存儲(chǔ)系統(tǒng)，直接擴(kuò)展近25PB的存儲(chǔ)空間，基本完成全在全棧式液冷數(shù)據(jù)中心的落地過(guò)程中，學(xué)校的項(xiàng)目主要負(fù)責(zé)人曾表示，在性能和能耗以及總擁有成本間尋求平衡是學(xué)校數(shù)據(jù)中心改造的重點(diǎn)。學(xué)校數(shù)據(jù)中心在2019年建成，數(shù)據(jù)中心PUE在測(cè)算中在指標(biāo)難題；本次建設(shè)改造的規(guī)模較大，存儲(chǔ)節(jié)點(diǎn)超過(guò)20個(gè)，且存儲(chǔ)容量擴(kuò)展接近25PB，如何控制耗電量也成為問題；最后是保障改造后的性能提升目標(biāo)，甚至做好工作計(jì)劃，以犧牲能耗來(lái)提升性能。面對(duì)這些要求，學(xué)校最終研?由于現(xiàn)有的數(shù)據(jù)中心做溫水水冷仍需進(jìn)行改造，如冷卻塔、管路等加建，改造首先需要控制總體改造成本，曙光在提供全棧式液冷數(shù)據(jù)中心解決方案時(shí)可以覆蓋解決方案的全生命周期，在學(xué)校的數(shù)據(jù)中心改造項(xiàng)目中，從基礎(chǔ)設(shè)施開始，專業(yè)的服務(wù)團(tuán)隊(duì)協(xié)助進(jìn)行設(shè)計(jì)建設(shè)，從基建開始就將液冷系統(tǒng)的安全部署考慮在內(nèi)，并為未來(lái)的數(shù)據(jù)中心擴(kuò)容做足準(zhǔn)備；同時(shí)曙光ParaStor液冷存儲(chǔ)系統(tǒng)與曙光液冷服務(wù)器技術(shù)同源，可與液冷服務(wù)器形成“存算一棧式”液冷方案，曙光ParaStor液冷存儲(chǔ)系統(tǒng)可便捷、高效地與液冷服務(wù)器形成“存算一棧式”液冷方案，便于數(shù)據(jù)中心基礎(chǔ)設(shè)施的統(tǒng)一規(guī)劃、設(shè)計(jì)和共用，助力數(shù)據(jù)中心提高?在PUE值降低方面，曙光ParaStor液冷存儲(chǔ)系統(tǒng)全方位繼承曙光成熟、穩(wěn)定的液冷技術(shù)，完全實(shí)現(xiàn)冷板散熱，與存儲(chǔ)技術(shù)全面結(jié)合；同時(shí)，專業(yè)團(tuán)隊(duì)駐場(chǎng)幫助軟件調(diào)優(yōu)，通過(guò)重刪壓縮等技術(shù)進(jìn)一步降低系統(tǒng)功耗，測(cè)試顯示，存儲(chǔ)節(jié)?在數(shù)據(jù)中心計(jì)算性能保障方面，液冷存儲(chǔ)方案支持CPU組件最大化發(fā)揮性能優(yōu)勢(shì)，無(wú)懼溫度帶來(lái)的業(yè)務(wù)中斷風(fēng)險(xiǎn)；同時(shí)液冷的方案讓整套基礎(chǔ)架構(gòu)遠(yuǎn)離震動(dòng)?最后的全棧式液冷部署風(fēng)險(xiǎn)來(lái)自于保障數(shù)據(jù)安全方面，液冷工作環(huán)境的風(fēng)險(xiǎn)之一來(lái)自冷板漏液，曙光ParaStor液冷存儲(chǔ)系統(tǒng)在存儲(chǔ)節(jié)點(diǎn)內(nèi)部設(shè)置多個(gè)液冷監(jiān)控點(diǎn)，并進(jìn)行實(shí)時(shí)探測(cè)，通過(guò)漏液導(dǎo)流結(jié)構(gòu)、漏液檢測(cè)裝置、溫度監(jiān)控裝置，在發(fā)生漏液、冷板堵塞、斷液、超溫等故障問題時(shí)自動(dòng)報(bào)警，可有效保障系統(tǒng)不遭受漏液風(fēng)險(xiǎn)；另外，在維護(hù)設(shè)計(jì)方面，采用坦克鏈理線工藝，抽拉式硬盤熱插拔的模塊化設(shè)計(jì)不僅便于維護(hù)，且雙盤倉(cāng)的互斥設(shè)計(jì)讓單盤抽出時(shí)自動(dòng)上學(xué)校數(shù)據(jù)中心負(fù)責(zé)人表示，擁抱液冷技術(shù)解決方案幫助學(xué)校數(shù)據(jù)中心的高性能計(jì)算業(yè)務(wù)有效的降低了PUE，將逐步實(shí)現(xiàn)綠色數(shù)據(jù)中心的建設(shè)目標(biāo)，在此過(guò)程中也希望曙光這樣的技術(shù)供應(yīng)維工作復(fù)雜度、難度高，建數(shù)據(jù)中心時(shí)都在積極尋求液冷技術(shù)的賦能，曙光在多個(gè)行業(yè)運(yùn)營(yíng)商云平臺(tái)提供IaaS服務(wù)應(yīng)用場(chǎng)景中，運(yùn)營(yíng)商云平臺(tái)承載行業(yè)網(wǎng)關(guān)、家庭云網(wǎng)關(guān)、視頻融合平臺(tái)等多種重要業(yè)務(wù)。但由于各業(yè)務(wù)建設(shè)時(shí)間不存儲(chǔ)，無(wú)法滿足用戶對(duì)智能分析的需求。但在常規(guī)存儲(chǔ)方案中求部署多套分布式存儲(chǔ)系統(tǒng)，在性能、存儲(chǔ)空間上出現(xiàn)使用不浪費(fèi)，存儲(chǔ)空間利用率低等問題。而且在狹小空間內(nèi)，電子元熱點(diǎn)過(guò)多，傳統(tǒng)的風(fēng)冷已無(wú)法滿足其散熱需求，同時(shí)，其高能曙光可以通過(guò)ParaStor分布式液冷存儲(chǔ)系統(tǒng)，幫助構(gòu)建運(yùn)營(yíng)商的數(shù)據(jù)存力底座，實(shí)現(xiàn)數(shù)據(jù)集中，在提供常規(guī)服務(wù)的同時(shí)，利用AI技術(shù)，提供智能增值服務(wù)。曙光ParaStor液冷存儲(chǔ)系統(tǒng)采用典型的“三明治”架構(gòu)，從下到上分別是硬件資源層、數(shù)據(jù)處理層、協(xié)議應(yīng)用層，其中硬件資源層采用高密設(shè)計(jì)，為振動(dòng)的工作環(huán)境，顯著提高硬盤IO讀寫性能式存儲(chǔ)軟件，由其將硬件資源池化，高效管理；協(xié)議應(yīng)用層對(duì)議，一套存儲(chǔ)集群同時(shí)支持文件、塊、對(duì)象、HDFS等接口信息，大量校內(nèi)、外視頻攝像頭數(shù)據(jù)的存儲(chǔ)和分析對(duì)存儲(chǔ)基礎(chǔ)在實(shí)現(xiàn)教育資源共享的同時(shí)，通過(guò)AI計(jì)算評(píng)估、預(yù)判師生安全環(huán)境，為智慧校園曙光液冷存儲(chǔ)方案通過(guò)改變以往每套業(yè)務(wù)系一套液冷存儲(chǔ)支撐所有業(yè)務(wù)，節(jié)省大量的配套網(wǎng)絡(luò)、機(jī)柜、能耗等資源，節(jié)省存文件、對(duì)象、HDFS等協(xié)議，可深入不同云平臺(tái)或數(shù)據(jù)庫(kù)等場(chǎng)液冷分布式存儲(chǔ)方案可讓設(shè)備在極低震動(dòng)的條件下運(yùn)行，解速和增量仍在疊加，目前的AI應(yīng)用已經(jīng)在文本生成方面落地，未來(lái)將逐漸上線生級(jí)，這樣海量數(shù)據(jù)背景下AI應(yīng)用對(duì)于數(shù)據(jù)的實(shí)時(shí)訪問和處理需求成為數(shù)據(jù)中心的性能挑戰(zhàn)。為提升數(shù)據(jù)中心性能，大量計(jì)算芯片的疊加，和并行曙光對(duì)智算中心的需求進(jìn)行了明確分析，可系統(tǒng)及相關(guān)支撐管理系統(tǒng)，并設(shè)計(jì)PUE達(dá)標(biāo)，其中計(jì)算系統(tǒng)兼容主流通用異構(gòu)計(jì)算的編程環(huán)境；分布式存儲(chǔ)支持千億數(shù)據(jù)量的文件和對(duì)象寫入在智算中心實(shí)施落地過(guò)程中，曙光可以提供完整的建設(shè)實(shí)施置合理，施工組織及部署方案完備，質(zhì)量和進(jìn)度保障措施科可以提供清晰的調(diào)試和運(yùn)行方案，同時(shí)提供完整的培訓(xùn)方案訓(xùn)對(duì)象提供培訓(xùn)計(jì)劃、內(nèi)容和培訓(xùn)評(píng)估，最后面對(duì)所有硬件權(quán)重最重的是PUE。隨著國(guó)家的“雙碳戰(zhàn)略”和“東數(shù)西算”逐步落實(shí)，在全國(guó)各區(qū)域?qū)UE的要求不同，按照國(guó)家一體化數(shù)據(jù)中心建設(shè)要求，東部數(shù)據(jù)中心集因此這也是越來(lái)越多的數(shù)據(jù)中心采用液體制冷的方式，已滿足算力建利用和管理數(shù)據(jù)，許多國(guó)家和地區(qū)都開始了大規(guī)模的數(shù)據(jù)中心建西算”是我國(guó)重要的戰(zhàn)略布局，其本質(zhì)是將東部的數(shù)據(jù)存儲(chǔ)到西源的優(yōu)化配置。這種戰(zhàn)略布局可以利用西部的資源優(yōu)勢(shì)，如低根據(jù)《2023中國(guó)存力白多的計(jì)算資源，來(lái)滿足東部的數(shù)據(jù)存儲(chǔ)需求部建立強(qiáng)大的計(jì)算中心，可以促進(jìn)東西部之間的信息流動(dòng)和資