AIDC基礎(chǔ)設(shè)施建設(shè)白皮書(2024年)

基礎(chǔ)設(shè)施建設(shè)習(xí)近平總書記指出，要加快新型基礎(chǔ)設(shè)施建設(shè)，推動(dòng)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)融合發(fā)展。隨著數(shù)字經(jīng)濟(jì)時(shí)代全面開啟，算力正以一種新的生產(chǎn)力形式，為各行各業(yè)的數(shù)字化轉(zhuǎn)型注入新動(dòng)能，成為經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展的重要驅(qū)動(dòng)力。算力基礎(chǔ)設(shè)施作為算力的主要載體，是支撐數(shù)字經(jīng)濟(jì)發(fā)展的重要資源和基礎(chǔ)設(shè)施，對(duì)于實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型、培育未來產(chǎn)業(yè)，以及形成經(jīng)濟(jì)發(fā)展新動(dòng)能等方面具有重要AIDC的建設(shè)得到了國(guó)家層面的明確支持與指導(dǎo)。2020年，國(guó)家發(fā)改委將智能2021年，國(guó)家相繼發(fā)布了多項(xiàng)規(guī)劃，包括《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃強(qiáng)調(diào)了系統(tǒng)優(yōu)化算力基礎(chǔ)設(shè)施布局的重要性，促進(jìn)了東西部算力的高效互補(bǔ)與隨著政策支持力度的加強(qiáng)以及人工智能技術(shù)的迅速發(fā)展，對(duì)算力的需求持續(xù)增長(zhǎng)，AIDC的建設(shè)變得尤為關(guān)鍵。AIDC不僅提供強(qiáng)大的計(jì)算能力，還支持?jǐn)?shù)據(jù)已成為推動(dòng)數(shù)字經(jīng)濟(jì)和智能化升級(jí)的關(guān)鍵力量，也是實(shí)現(xiàn)國(guó)家人工智能戰(zhàn)略和CONTENTS0809131620263136384748484950515253575759AIDC概述AIDC定義AIDC建設(shè)背景AIDC建設(shè)分析建設(shè)原則建設(shè)方式應(yīng)用場(chǎng)景AIDC基礎(chǔ)設(shè)施AIDC建設(shè)概述通用計(jì)算設(shè)備信創(chuàng)計(jì)算設(shè)備存儲(chǔ)設(shè)備網(wǎng)絡(luò)設(shè)備基礎(chǔ)設(shè)施綠色與節(jié)能軟件設(shè)施概述AIDC安全設(shè)計(jì)物理安全網(wǎng)絡(luò)安全數(shù)據(jù)安全與隱私保護(hù)業(yè)務(wù)連續(xù)性與災(zāi)難恢復(fù)案例分析與最佳實(shí)踐西云案例介紹最佳實(shí)踐分享總結(jié)與建議建設(shè)AIDC的重要性基礎(chǔ)設(shè)施供應(yīng)商的發(fā)展策略參考AIDC概述AIDC定義AIDC（ArtifcialIntelligenceDataCenter即人工智能數(shù)據(jù)中心，是指集成了高性能計(jì)算能力、大數(shù)據(jù)處理能力、AIDC建設(shè)背景AIDC的建設(shè)是應(yīng)對(duì)當(dāng)前及未來計(jì)算需求的關(guān)鍵舉措，對(duì)于推動(dòng)科技進(jìn)步、經(jīng)濟(jì)增長(zhǎng)和社會(huì)發(fā)展具有重要作用。隨著技_政策背景政府為支持AIDC的建設(shè)和運(yùn)營(yíng)，出臺(tái)了一系列政策，涉合其他五個(gè)部門印發(fā)了《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》，旨在推_技術(shù)背景礎(chǔ)設(shè)施，其建設(shè)顯得尤為迫切。人工智能技術(shù)的演進(jìn)正從單模態(tài)智能向多模態(tài)融合邁進(jìn)，AIDC在這一過程中扮演著核基礎(chǔ)設(shè)施建設(shè)算力經(jīng)濟(jì)的興起和人工智能技術(shù)的融合創(chuàng)新，使AIDC成為新基建的熱點(diǎn)。AIDC的建設(shè)不僅滿足了日益增長(zhǎng)的人工智能算力需求，而且在促進(jìn)AI產(chǎn)業(yè)化、賦能產(chǎn)業(yè)AI化、支持治理智能化等方面發(fā)揮了重要作用。AIDC的發(fā)展正在逐步_應(yīng)用背景AIDC的創(chuàng)新發(fā)展對(duì)推動(dòng)人工智能及相關(guān)產(chǎn)業(yè)的快速增長(zhǎng)具有顯著影響，成為經(jīng)濟(jì)增長(zhǎng)的新引擎。據(jù)《智能計(jì)算中心創(chuàng)智慧城市建設(shè)、科學(xué)研究以及傳統(tǒng)產(chǎn)業(yè)的數(shù)字化和智能化升級(jí)，都對(duì)數(shù)據(jù)分析和智能決策支持提出了更高要求。AIDCAIDC建設(shè)分析基礎(chǔ)設(shè)施建設(shè)AIDC致力于通過降低AI應(yīng)用成本、提升算力效率，型升級(jí)，以及數(shù)字經(jīng)濟(jì)與傳統(tǒng)產(chǎn)業(yè)的深度融合，全面AIDC致力于通過降低AI應(yīng)用成本、提升算力效率，型升級(jí)，以及數(shù)字經(jīng)濟(jì)與傳統(tǒng)產(chǎn)業(yè)的深度融合，全面激發(fā)經(jīng)濟(jì)的智能活力。AIDC以5G、工業(yè)互聯(lián)網(wǎng)、云計(jì)算、人工智能等技術(shù)的應(yīng)用需求為牽引，整合多元AIDC堅(jiān)持綠色發(fā)展理念，推廣綠色技術(shù)和產(chǎn)品，采用清潔能源，并致力于提高能源利用效率。AIDC在推進(jìn)發(fā)展的同時(shí)，也高度重視安全保障，通過強(qiáng)化網(wǎng)絡(luò)和數(shù)據(jù)的安全管理體系，構(gòu)建全面且穩(wěn)固的安全防電一樣，提供公共的算力、數(shù)據(jù)和算法服務(wù)。在建設(shè)產(chǎn)業(yè)布局、市場(chǎng)發(fā)展和氣候環(huán)境等因素，對(duì)國(guó)家樞紐節(jié)點(diǎn)、省內(nèi)數(shù)據(jù)中心、邊緣數(shù)據(jù)中心、老舊數(shù)據(jù)中心及海外數(shù)據(jù)中心進(jìn)行分類引導(dǎo)，以形成數(shù)據(jù)中心的梯基于AI模型提供高強(qiáng)度的數(shù)據(jù)處理和智能構(gòu)建技術(shù)領(lǐng)先、可持續(xù)迭代升級(jí)的高性能、高可靠的12345678項(xiàng)目規(guī)劃與可行性研究：開展市場(chǎng)調(diào)研以評(píng)估需求和潛在用戶群體；明確AIDC的目標(biāo)與功能，包括所需的資金籌集與投資結(jié)構(gòu)確定：依據(jù)項(xiàng)目需求確定資金來源，可能包括政府資助、企業(yè)投資、銀行貸款等；制定設(shè)備采購(gòu)與安裝：根據(jù)設(shè)計(jì)規(guī)范采購(gòu)所需的高性能計(jì)算設(shè)備、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)設(shè)備等；執(zhí)行硬件和軟件系統(tǒng)運(yùn)營(yíng)準(zhǔn)備與人員培訓(xùn)：組建運(yùn)營(yíng)團(tuán)隊(duì)，制定運(yùn)營(yíng)策略和管理流程；對(duì)運(yùn)營(yíng)人員開展專業(yè)培訓(xùn)，以確保AIDC正式運(yùn)營(yíng)與持續(xù)改進(jìn)：AIDC正式投入運(yùn)營(yíng)，提供計(jì)算服務(wù)；定期評(píng)估服務(wù)效果，并根據(jù)技術(shù)進(jìn)步和市場(chǎng)變完成這些步驟需要跨學(xué)科的專業(yè)知識(shí)，涉及計(jì)算機(jī)科學(xué)基礎(chǔ)設(shè)施建設(shè)算法交易：AIDC可以支持資本市場(chǎng)的高頻和算法交易策略的開發(fā)與執(zhí)行。機(jī)器學(xué)習(xí)使交易系統(tǒng)客戶服務(wù)：AIDC可以支持智能客服系統(tǒng)的構(gòu)建，實(shí)現(xiàn)全天候客戶服務(wù)，通過自然語(yǔ)言處理技術(shù)AIDC基礎(chǔ)設(shè)施基礎(chǔ)設(shè)施建設(shè)到AIDC建設(shè)概述 電子商務(wù)農(nóng)業(yè)智慧化數(shù)據(jù)開放共享平臺(tái)多模態(tài)行業(yè)應(yīng)用行業(yè)平臺(tái)視頻運(yùn)營(yíng)運(yùn)營(yíng)服務(wù)平臺(tái)深度學(xué)習(xí)框架與庫(kù)模型訓(xùn)練模型推理開發(fā)工具運(yùn)維運(yùn)維監(jiān)控管理平臺(tái)算力調(diào)度集群存儲(chǔ)監(jiān)控管理A推理A推理服務(wù)器Al訓(xùn)練服務(wù)器設(shè)施綠色化信創(chuàng)非信創(chuàng)智能存儲(chǔ)智能網(wǎng)絡(luò)圖3-1AIDC架構(gòu)圖PART3AIDC基礎(chǔ)設(shè)施 AIDC邏輯拓?fù)浼菏褂谜吖芾砉?jié)點(diǎn)通用計(jì)算資源池集群管理者集群管理者 異構(gòu)計(jì)算資源池異構(gòu)計(jì)算資源池分布式存儲(chǔ)資源池管理網(wǎng)絡(luò)計(jì)算網(wǎng)絡(luò)分布式存儲(chǔ)資源池管理網(wǎng)絡(luò)計(jì)算網(wǎng)絡(luò)存儲(chǔ)網(wǎng)絡(luò)圖3-2AIDC邏輯拓?fù)鋱D基礎(chǔ)設(shè)施建設(shè)分布式存儲(chǔ)資源池負(fù)責(zé)存儲(chǔ)和管理大量的數(shù)據(jù)資源，為智算任務(wù)提供必要的數(shù)據(jù)支持。通用計(jì)或者IB網(wǎng)絡(luò)來實(shí)現(xiàn)低延時(shí)、無丟包的高性能網(wǎng)絡(luò)通信，從而保障AI集群的高效率運(yùn)行。運(yùn)維管理中心則負(fù)責(zé)對(duì)整個(gè)此外，AIDC的邏輯拓?fù)溥€可能包括其他輔助組件，如安全管理模塊、網(wǎng)絡(luò)管理模塊等，這些模塊共同提升AIDC的安_AIDC評(píng)價(jià)指標(biāo)注：PUE值越接近1，表示AIDC的能源效率越高注：WUE數(shù)值越小，代表AIDC耗水量越低注：CUE數(shù)值越小，代表AIDC碳排放強(qiáng)度越低計(jì)算公式為：CP=CPU算力+GPU算力注：數(shù)值越大代表綜合計(jì)算能力越強(qiáng)注：數(shù)值越高，單位能源輸出訓(xùn)練越高這些指標(biāo)共同構(gòu)成了一個(gè)全面的評(píng)估框架，用于評(píng)價(jià)AIDC在能源基礎(chǔ)設(shè)施建設(shè)_AIDC計(jì)算設(shè)備需求服務(wù)器用于訓(xùn)練各種AI模型，包括深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和傳統(tǒng)算法模型。這些模型可以應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別、模型推理（Inference）模型推理（Inference）_AIDC計(jì)算設(shè)備選型原則AIDC扮演著智能算力的物理載體角色，需要高性能的服務(wù)器來處理海量數(shù)據(jù)，對(duì)其底層硬件設(shè)備的方方面面提出了極先進(jìn)的CPU基礎(chǔ)算力，而且其內(nèi)置的AI加速技術(shù)更是能夠大幅度提高AI的計(jì)算效率。不但如此，先異構(gòu)加速芯片是AI訓(xùn)練推理的核心算力來源，常見的異構(gòu)加速芯片有GPU、FPGA、超大規(guī)模的AI訓(xùn)練，即便是PCIeGen5的帶寬也略擴(kuò)展性也是一款A(yù)I設(shè)備的重要要素，在AI訓(xùn)練推理中涉及多個(gè)節(jié)點(diǎn)并行時(shí)需要通過網(wǎng)絡(luò)展插槽，基于現(xiàn)在主流的網(wǎng)絡(luò)設(shè)計(jì)，需要在滿足滿配8張GPU的情況下綜上所述，AIDC對(duì)服務(wù)器計(jì)算設(shè)備的選擇要求非常高，其高性能、高擴(kuò)展和高功率散熱方案等要求不僅反映了當(dāng)前技術(shù)發(fā)展的趨勢(shì)，也體現(xiàn)了對(duì)未來計(jì)算需求的預(yù)測(cè)和準(zhǔn)備?；A(chǔ)設(shè)施建設(shè)到 對(duì)卡與卡、節(jié)點(diǎn)與節(jié)點(diǎn)之間的通訊性能提出了極高的要求以滿足AI訓(xùn)練中不同類型的并行計(jì)算的要求,通用計(jì)算訓(xùn)練節(jié)點(diǎn)可選用高性能AI訓(xùn)練服務(wù)器,如超云R8868G13服務(wù)器(外觀如Rapids系列處理器,具備32條內(nèi)存插槽支持DDR5內(nèi)存,最大支持10個(gè)熱插拔和1個(gè)M.2SATASSD。實(shí)現(xiàn)整機(jī)內(nèi)部的全閃連接,大大提升數(shù)據(jù)交換速率。該服務(wù)器支持極致的擴(kuò)展性,可配置8張NDRIB卡,實(shí)現(xiàn)R8428A14服務(wù)器(外觀如圖3-4所示)。它是針對(duì)AI市場(chǎng)推出的一款高性能GPU服務(wù)器,采個(gè)計(jì)算核心,支持24條DDR54800MHZ內(nèi)存,支持集群優(yōu)化設(shè)計(jì),具備高性能,高可靠和易維圖3-3R8868G13產(chǎn)品外觀圖圖3-4R8428A14產(chǎn)品外觀圖_AIDC信創(chuàng)計(jì)算設(shè)備需求隨著國(guó)家自主創(chuàng)新戰(zhàn)略的深入推進(jìn)，信息技術(shù)應(yīng)用創(chuàng)新及其國(guó)產(chǎn)選擇恰當(dāng)?shù)男艅?chuàng)計(jì)算設(shè)備對(duì)于確保信息安全和提升計(jì)算性能至關(guān)重要。對(duì)于構(gòu)成AIDC核心算力的AI訓(xùn)練和推理服務(wù)核心技術(shù)自主可控：AIDC計(jì)算設(shè)備應(yīng)優(yōu)先考慮技術(shù)路線的先進(jìn)性與自主性，以規(guī)避人工智能發(fā)展中可能出現(xiàn)的技術(shù)瓶頸。應(yīng)采用技術(shù)領(lǐng)先且自主可控的解決方案，基于具有自主研發(fā)能力和自主知識(shí)產(chǎn)訓(xùn)練性能行業(yè)領(lǐng)先：選用行業(yè)內(nèi)領(lǐng)先的人工智能計(jì)算芯片，配備高計(jì)算低碳節(jié)能高能效比：優(yōu)先選擇高能效比的芯片以及高效的風(fēng)冷或液冷散熱系_AIDC信創(chuàng)計(jì)算設(shè)備選型基礎(chǔ)設(shè)施建設(shè)國(guó)產(chǎn)AI加速卡廠商近年來持續(xù)發(fā)力，在該領(lǐng)域取得了快速進(jìn)展，相關(guān)產(chǎn)品陸續(xù)發(fā)布，覆蓋了訓(xùn)練和推理的需求，其中既有基于通用GPU架構(gòu)的加速卡，也有基于ASIC架構(gòu)的NPU加速卡，呈現(xiàn)構(gòu)的加速卡GPGPU是圖形處理單元（GPU）的一種，對(duì)于CUDA等主流軟件生態(tài)具有較好為加速機(jī)器學(xué)習(xí)算法，尤其是深度學(xué)習(xí)模型的推理和訓(xùn)練而設(shè)計(jì)的處理器，它的出現(xiàn)極大地提高了深度當(dāng)前國(guó)產(chǎn)NPU加速卡在產(chǎn)品性能和軟件生態(tài)等方面與國(guó)際領(lǐng)先水平存在著一定的差距，但隨著新一輪人工智能算力升AIDC訓(xùn)練型服務(wù)器專門用于人工智能模型的訓(xùn)練，它通常具備強(qiáng)大的計(jì)算能力和大量存儲(chǔ)空間，以支持機(jī)器學(xué)習(xí)算法在大量數(shù)據(jù)上進(jìn)行學(xué)習(xí)和優(yōu)化。這種服務(wù)器的設(shè)計(jì)旨在提供高效、穩(wěn)定和可擴(kuò)展的訓(xùn)練環(huán)境，以滿散熱和穩(wěn)定性：散熱和穩(wěn)定性：高性能計(jì)算設(shè)備會(huì)產(chǎn)生大量的熱量，因此，訓(xùn)練型服務(wù)器需要有高效的散熱系統(tǒng)來保持設(shè)備在合適AIDC推理型AI服務(wù)器專門為運(yùn)行人工智能推理任務(wù)而設(shè)計(jì)和優(yōu)化。推理任務(wù)是指使用已經(jīng)訓(xùn)練好的AI模型對(duì)新數(shù)據(jù)做出預(yù)測(cè)或決策的過程。這些服務(wù)器通常配備了高性能的中央處理_AIDC信創(chuàng)計(jì)算設(shè)備解決方案理器，支持64個(gè)計(jì)算核心，最高主頻可達(dá)2.7GHz，能夠最大限度地提高多線程應(yīng)用的并發(fā)執(zhí)行能力；搭載8張高端），基礎(chǔ)設(shè)施建設(shè)_AIDC存儲(chǔ)需求同時(shí)具備存儲(chǔ)海量數(shù)據(jù)的能力、彈性擴(kuò)展的能力，為AI大模型的數(shù)據(jù)收集提供了有力支持。網(wǎng)絡(luò)上收集的原始數(shù)據(jù)通常需要經(jīng)過數(shù)據(jù)預(yù)處理，這包括多格式、多協(xié)議數(shù)據(jù)的清洗、去重、過濾和加工，以便用于AI模型訓(xùn)練。在數(shù)據(jù)采集階段，采用文件系統(tǒng)的方式實(shí)現(xiàn)數(shù)據(jù)清洗，使用POSIX方式訪問存儲(chǔ)可以提供高效的訪問速度，從而提升數(shù)據(jù)清洗的在數(shù)據(jù)共享/交互階段，通過支持多種協(xié)議之間的轉(zhuǎn)換，如POSIX、HDFS、CSI等，實(shí)現(xiàn)對(duì)存進(jìn)行快速共享和訪問。采用軟件定義系統(tǒng)，可以實(shí)現(xiàn)數(shù)據(jù)卸載技術(shù)，從而實(shí)在模型訓(xùn)練階段，通常使用文件系統(tǒng)來存儲(chǔ)模型訓(xùn)練所需的數(shù)據(jù)。為了降低IO路徑損耗，可以改寫存儲(chǔ)引擎，并配合基礎(chǔ)設(shè)施建設(shè)訓(xùn)練能夠回退到之前的還原點(diǎn)而不是初始點(diǎn)，需要使用檢_AIDC存儲(chǔ)選型設(shè)計(jì)AIDC的存儲(chǔ)作為整個(gè)系統(tǒng)的重要部分，其高可靠性的要求成為至關(guān)重要的考量。其中分為數(shù)據(jù)安全性及系統(tǒng)穩(wěn)定性兩用性，以保證業(yè)務(wù)連續(xù)性，因此，對(duì)象存儲(chǔ)的穩(wěn)定性直接影響系統(tǒng)的連續(xù)性。AIGC數(shù)據(jù)處理各階段安全性及系統(tǒng)穩(wěn)定海量存儲(chǔ)：糾刪碼/副本；安全程度不同，數(shù)使用VIP，節(jié)點(diǎn)損壞后，可以有效保證系統(tǒng)使用對(duì)象存儲(chǔ)，文件系統(tǒng)/對(duì)象存儲(chǔ)多種協(xié)議使用分布式存儲(chǔ)/集中式存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)分層存經(jīng)濟(jì)性需從三個(gè)方面來考慮：首先建立對(duì)象存儲(chǔ)過程中的初期投入費(fèi)用，其投資的保護(hù)。在追求存儲(chǔ)、容災(zāi)系統(tǒng)具有高性能的同時(shí)，必須審慎考慮投資的過程中，需考慮未來的升級(jí)能力，并確保項(xiàng)目經(jīng)驗(yàn)豐富、服務(wù)水平可中但價(jià)格相對(duì)較高。光類存儲(chǔ)采用物理刻錄方式存儲(chǔ)數(shù)據(jù)在數(shù)據(jù)歸檔階段，需要將海量原始數(shù)據(jù)、處理過程數(shù)將溫?cái)?shù)據(jù)轉(zhuǎn)化為熱數(shù)據(jù)的需求。AIDC的存儲(chǔ)設(shè)備的分層存儲(chǔ)解決方案，可以有效解決熱、溫存儲(chǔ)的自動(dòng)分層技術(shù)，該基礎(chǔ)設(shè)施建設(shè)先進(jìn)性。高性能分布式存儲(chǔ)方案不僅要滿足當(dāng)前系統(tǒng)的需要外,還應(yīng)為未來的業(yè)務(wù)量發(fā)展和在以往的存儲(chǔ)使用中，擴(kuò)容和擴(kuò)展一直是難點(diǎn)，對(duì)存儲(chǔ)的擴(kuò)容和性能擴(kuò)展的需求日益增強(qiáng)。同時(shí)，需考慮到在擴(kuò)展時(shí)保證業(yè)務(wù)連續(xù)性。最終，使存儲(chǔ)擴(kuò)展變成一項(xiàng)簡(jiǎn)單工作，并避開高峰期，有效提升業(yè)務(wù)系統(tǒng)的效率。從ChatGPT到Sora，新一代人工智能的蓬勃發(fā)展，數(shù)據(jù)爆炸性增長(zhǎng)，使存儲(chǔ)的存力核心基礎(chǔ)設(shè)施價(jià)值凸顯。存儲(chǔ)的彈性擴(kuò)展能力是AIDC存儲(chǔ)采用去中心化設(shè)計(jì)，大幅簡(jiǎn)化了分布式存儲(chǔ)系統(tǒng)管理的復(fù)雜度，同時(shí)顯著提升了高可用性(HA)、容量PART3AIDC基礎(chǔ)設(shè)施A性能A性能集中式架構(gòu)—70%—70%集中式架構(gòu)—70%—70%容量容量圖3-7容量與性能橫向擴(kuò)展能力示意圖足未來發(fā)展的需求。 接口層接口層硬件層硬件層圖3-8CS13000集群存儲(chǔ)系統(tǒng)架構(gòu)圖-24-基礎(chǔ)設(shè)施建設(shè)硬件層包括存儲(chǔ)硬件和網(wǎng)絡(luò)設(shè)備，存儲(chǔ)節(jié)點(diǎn)采用標(biāo)準(zhǔn)X86架構(gòu)平臺(tái)，并能對(duì)不同的存儲(chǔ)設(shè)備進(jìn)行池化管理。通過高速通過存儲(chǔ)池虛擬化技術(shù)，將集群中所有存儲(chǔ)節(jié)點(diǎn)的硬盤空間融合成統(tǒng)一命名空間。件元數(shù)據(jù)的屬性(owner、ctime、mtime、path、name、訪問熱度等)，將文件的數(shù)據(jù)放置在統(tǒng)一存儲(chǔ)空間的不同的協(xié)議接口層是指CS13000與前端應(yīng)用軟件之間進(jìn)行數(shù)據(jù)通信的接口。CS13000支持POSIX、CIFS、NFS、FTP、CS13000針對(duì)新一代應(yīng)用高并發(fā)的特點(diǎn)，采用帶外模式的大規(guī)模開放集群存儲(chǔ)架構(gòu)，通過多端口千兆、萬(wàn)兆和Infniband網(wǎng)絡(luò)互連前端應(yīng)用節(jié)點(diǎn)和后端存儲(chǔ)及元數(shù)據(jù)節(jié)點(diǎn)，實(shí)現(xiàn)存儲(chǔ)設(shè)備性能輸出的最大化。帶外模式的應(yīng)用，消除了元數(shù)據(jù)通路與數(shù)據(jù)通路的相互干擾。元數(shù)據(jù)服務(wù)器和存儲(chǔ)服_AIDC網(wǎng)絡(luò)需求為了最大化分布式訓(xùn)練的效能，就需要構(gòu)建出一個(gè)計(jì)算能力和顯存能力超大的集群墻這兩個(gè)主要挑戰(zhàn)。而聯(lián)接這個(gè)超級(jí)集群的高性能網(wǎng)絡(luò)直接決定了智算節(jié)點(diǎn)間的通信效率，吐量和性能。要讓整個(gè)智算集群獲得高的吞吐低延時(shí)：低延時(shí)：由于通訊延時(shí)的存在，分布式訓(xùn)練系統(tǒng)的整體算力并不在加速比，且加速比小于1。通訊延時(shí)是指單次計(jì)算中不同卡之間的通訊導(dǎo)致的數(shù)據(jù)通訊延遲，因此降低卡間通信高帶寬：高帶寬：在AI大模型訓(xùn)練場(chǎng)景下，機(jī)內(nèi)與機(jī)外的集合通信操作會(huì)產(chǎn)生大量的通信數(shù)據(jù)量。流水線并行、數(shù)據(jù)并行及張量并行模式需要不同的通信操作，這要求網(wǎng)絡(luò)具有單端口高帶寬、節(jié)點(diǎn)間可用鏈路數(shù)量多以及網(wǎng)絡(luò)總帶寬高等特點(diǎn)。AIDC中的計(jì)算節(jié)點(diǎn)每完成一次計(jì)算需要快速的在節(jié)點(diǎn)間同步，以便進(jìn)行下一輪計(jì)算，在同步完成前，計(jì)算任務(wù)處于等待狀態(tài)，不會(huì)進(jìn)入下一輪計(jì)算。如果帶寬不夠大，梯度傳輸就會(huì)變慢，造成卡間通信時(shí)長(zhǎng)變長(zhǎng)，進(jìn)高穩(wěn)定：高穩(wěn)定：隨著AI模型越來越大，AI的計(jì)算量也越來越大，一個(gè)大規(guī)模的訓(xùn)練通常會(huì)持續(xù)數(shù)周甚至數(shù)月，大量的數(shù)據(jù)需要通過網(wǎng)絡(luò)進(jìn)行傳輸和處理，如果網(wǎng)絡(luò)不穩(wěn)定，就可能導(dǎo)致數(shù)據(jù)傳輸過程中出現(xiàn)中數(shù)據(jù)分析和計(jì)算結(jié)果的準(zhǔn)確性，因此對(duì)網(wǎng)絡(luò)穩(wěn)定性有著極高的要求，網(wǎng)絡(luò)穩(wěn)定性是保障數(shù)據(jù)傳輸?shù)耐暾浴?zhǔn)確性易擴(kuò)展：易擴(kuò)展：隨著AI并行技術(shù)的不斷完善和提升，大規(guī)模的AI訓(xùn)練中會(huì)的快速發(fā)展，對(duì)智算集群也提出了高擴(kuò)展性的要求，這就對(duì)應(yīng)的需要智算網(wǎng)絡(luò)具有良好的擴(kuò)展基礎(chǔ)設(shè)施建設(shè)_AIDC的網(wǎng)絡(luò)選型當(dāng)前AIDC的大規(guī)模網(wǎng)絡(luò)架構(gòu)主要有兩種，一種是InfniBand網(wǎng)絡(luò)，一種是RoCInfniBandInfniBand網(wǎng)絡(luò)InfniBand網(wǎng)絡(luò)自從誕生以來就專注于高性能領(lǐng)域，當(dāng)前市場(chǎng)主流的IB技術(shù)為400Gbps的N原生無損網(wǎng)絡(luò):原生無損網(wǎng)絡(luò):InfniBand網(wǎng)絡(luò)采用基于creditRoCE（RDMAoverConvergedEthernet）是在InfniBandTradeAssociation（IBTA）標(biāo)準(zhǔn)中定允許通過以太網(wǎng)絡(luò)使用RDMA（RemoteDirectMemoryAccess，遠(yuǎn)程直接訪問內(nèi)存）。簡(jiǎn)而言之，它可以看作是生態(tài)開放：生態(tài)開放：RoCE生態(tài)基于成熟的以太網(wǎng)技術(shù)體系，業(yè)界支持廠商眾多。相比于IInfniBandInfniBand和RoCE網(wǎng)絡(luò)對(duì)比表3-4InfniBand和RoCE網(wǎng)絡(luò)解決方案特點(diǎn)對(duì)比表InfniBandRoCE高低好好具體到實(shí)際業(yè)務(wù)層面，InfniBand方案一般業(yè)務(wù)性能方面，由于InfniBand的端到端時(shí)延小于RoCEv2，所以基于InfniBand構(gòu)建的網(wǎng)絡(luò)在應(yīng)用層業(yè)務(wù)性能方面業(yè)務(wù)成本方面，InfniBand的成本要高于RoCEv_AIDC的網(wǎng)絡(luò)設(shè)計(jì)方案面對(duì)AIDC對(duì)網(wǎng)絡(luò)的高要求，通常情況下獨(dú)立建一高帶寬設(shè)計(jì)：當(dāng)前大模型AI訓(xùn)練中會(huì)涉及大量的數(shù)據(jù)交互，對(duì)帶寬有著極高的要求。目前智算服務(wù)器主流配置是配置8張GPU，并預(yù)留一定數(shù)量的PCIe插槽用于網(wǎng)絡(luò)設(shè)備，視智算集群的網(wǎng)絡(luò)需求會(huì)配置4同編號(hào)的GPU間可借助NCCL通信庫(kù)中的RailLocal技術(shù)，可以充分利用主機(jī)內(nèi)GPU間的NVSwitch的帶寬，基于基礎(chǔ)設(shè)施建設(shè)_土建基礎(chǔ)設(shè)施AIDC聚焦土建、機(jī)房布局和機(jī)電配套等數(shù)據(jù)中心基礎(chǔ)設(shè)施。機(jī)房建設(shè)基礎(chǔ)設(shè)施層應(yīng)符合現(xiàn)行GB50174相關(guān)規(guī)定。系靈活拓展、快速交付和安全可靠的原則；考慮系統(tǒng)的通常，樓板的承重要求會(huì)根據(jù)機(jī)房的規(guī)模和設(shè)備的重量來確定。機(jī)房的承重不在機(jī)房中，為了便于布線和散熱，會(huì)采用架空地板系統(tǒng)。架空地板的承重能力、架空高度需要滿足機(jī)房使用要求。2(根據(jù)機(jī)柜的擺放密度確定荷載值)3、如某些改造建筑層高無法滿足時(shí)，自然環(huán)境滿足_供電及配電AIDC用電量激增，現(xiàn)有電網(wǎng)的容量受到限制，數(shù)據(jù)中心的選址必須進(jìn)一步靠近具有充足電量的能源中心才能成立。傳統(tǒng)上，柴油發(fā)電機(jī)用于在市電中斷時(shí)保持?jǐn)?shù)據(jù)中心的正常運(yùn)行時(shí)間。由于監(jiān)管收緊，業(yè)對(duì)碳排放負(fù)責(zé)，減少化石燃料的使用已成為廣泛討論的話題，目前的核電作為一種低碳、高能量密度的能源形式，理論上可以為數(shù)據(jù)中心提供穩(wěn)運(yùn)行時(shí)也產(chǎn)生大量的余熱資源，通過冷熱電三聯(lián)供，可以在提高能源轉(zhuǎn)可能也不再會(huì)是問題。但將數(shù)據(jù)中心與核電站直接聯(lián)系在一起存在一些實(shí)際AIDC機(jī)房對(duì)數(shù)據(jù)中心的建設(shè)提出了越來越高的要求，數(shù)據(jù)機(jī)房供電負(fù)荷的加大、安全級(jí)別的提高都對(duì)數(shù)據(jù)中心供電設(shè)備提出了越來越高的要求。智能小母線系統(tǒng)在數(shù)據(jù)中心中逐漸取代傳統(tǒng)的列頭柜，用于機(jī)房的末端配電,個(gè)機(jī)柜內(nèi)的PDU，更適用于單柜功率高或液冷機(jī)柜項(xiàng)目。智能小母線系統(tǒng)采用樹干式的供配電系統(tǒng)，每列機(jī)柜都通過基礎(chǔ)設(shè)施建設(shè)到 圖3-13傳統(tǒng)機(jī)房氣流組織示意圖圖3-14封閉通道模塊化機(jī)房氣流組織示意圖(圖片來源于網(wǎng)絡(luò))(圖片來源于網(wǎng)絡(luò))-33-_預(yù)制化交付不同等級(jí)微模塊機(jī)房在建設(shè)時(shí)，可以滿足各種規(guī)模和場(chǎng)景的數(shù)據(jù)在廠內(nèi)進(jìn)行算力設(shè)備預(yù)先集成和驗(yàn)證，并與數(shù)據(jù)中心基礎(chǔ)設(shè)施設(shè)備進(jìn)行兼容性互適，那么將減少數(shù)倍基礎(chǔ)設(shè)施建設(shè)筑工藝設(shè)計(jì)開始，提高基礎(chǔ)設(shè)施設(shè)計(jì)可用性；為數(shù)據(jù)中心統(tǒng)一管理預(yù)留條件。項(xiàng)目整體建設(shè)模式采用預(yù)制化建設(shè)，預(yù)制產(chǎn)品可以達(dá)到快速部署，工廠級(jí)質(zhì)量控制和降低成本。主體結(jié)構(gòu)采用了相對(duì)快速的鋼結(jié)構(gòu)房屋，其它配套設(shè)施均按項(xiàng)目中天云數(shù)據(jù)中心科技，以工廠預(yù)制模塊化和數(shù)據(jù)中心自然冷卻為支點(diǎn)，成功地開發(fā)并實(shí)施了裝配式數(shù)據(jù)中心(空地上解決方案和建筑內(nèi)解決方案)、底座式預(yù)制數(shù)據(jù)中心、箱體式數(shù)據(jù)中心系列等預(yù)制模塊化數(shù)據(jù)中心產(chǎn)品。其中裝配式空地解決方案通過了全球權(quán)威論證機(jī)構(gòu)UptimeInstitute的Tier-在支持現(xiàn)有業(yè)務(wù)需求的同時(shí)，還可在未來不斷靈活擴(kuò)展以容納新的業(yè)務(wù)需求，算力規(guī)模增長(zhǎng)的同時(shí)，算力能耗總量也在快速攀升。國(guó)際能源機(jī)構(gòu)(IEA)的數(shù)據(jù)顯示，2022年全球數(shù)據(jù)中心用電量為中國(guó)信息通信研究院）。目前，國(guó)家發(fā)改委聯(lián)合網(wǎng)信辦、工信部、能_節(jié)能技術(shù)與應(yīng)用在AIDC基礎(chǔ)設(shè)施建設(shè)中應(yīng)當(dāng)積極進(jìn)行新型節(jié)能技術(shù)探索與應(yīng)用，通過創(chuàng)新節(jié)能技術(shù)與應(yīng)用營(yíng)成本，AIDC作為新型基礎(chǔ)設(shè)施，其散熱和節(jié)能技術(shù)尤為關(guān)鍵，以適應(yīng)不斷增長(zhǎng)的算力需求，助力于國(guó)家對(duì)于綠色發(fā)又可分為物理儲(chǔ)電和化學(xué)儲(chǔ)電。儲(chǔ)能技術(shù)的發(fā)展與利用，彌補(bǔ)了太陽(yáng)能、風(fēng)能等間歇能源的不足。UPS使用高頻機(jī)替電流小于5%，前置發(fā)電機(jī)的容量理論上和UPS功率相同，大大縮減了投資和占地面積等。高壓直流（HVDC）代替基礎(chǔ)設(shè)施建設(shè)越大。需要提高供電的電壓等級(jí)來滿足容量需求。這時(shí)我們需要通過降壓變壓器將中高壓電源降壓到AC380V，再由著芯片集成度增加，服務(wù)器整機(jī)功率密度逐步AIDC散熱技術(shù)。AIDC在選擇合適的散熱技術(shù)時(shí)，需要綜合考慮散熱效率、成本、運(yùn)維難度、環(huán)境適應(yīng)性以及環(huán)保要直接新風(fēng)自然冷卻AHU方案，降低常規(guī)制冷系統(tǒng)的能耗，減少碳排放。液冷技高功率密度的AIDC。冷板式液冷：通過在服務(wù)器節(jié)點(diǎn)內(nèi)部使用冷卻液直接吸收熱量，然后通過外部的散熱系統(tǒng)將熱量_資源管理與監(jiān)控計(jì)算能力作為支撐。為了提升訓(xùn)練速度，我們常將大型模型的訓(xùn)練任務(wù)拆分算。然而，這種做法不僅導(dǎo)致了集群成本的顯著上升，還對(duì)整個(gè)系持續(xù)承受巨大的計(jì)算壓力，故障發(fā)生的概率會(huì)顯著增加，導(dǎo)致整體和集群空轉(zhuǎn)，從而造成大量的時(shí)間和算力浪費(fèi)。同時(shí)我們?cè)趯?duì)GPU訓(xùn)練集群的監(jiān)測(cè)中發(fā)現(xiàn)，一個(gè)月內(nèi)單卡的故障率達(dá)效的數(shù)據(jù)訪問服務(wù)。由于存儲(chǔ)系統(tǒng)的復(fù)雜性和分布式特性，以及訓(xùn)練業(yè)務(wù)的多體來說，存儲(chǔ)問題可能包括性能瓶頸、數(shù)據(jù)損壞、容量不足等，這些問基礎(chǔ)設(shè)施建設(shè)資源管理挑戰(zhàn)：隨著技術(shù)的不斷進(jìn)步和模型復(fù)雜度的提升，AIDC需要處理的數(shù)據(jù)量和計(jì)算任可能出現(xiàn)資源浪費(fèi)的情況。AIDC的資源管理涉及到多種硬件和軟件資源的協(xié)調(diào)與配合，還需要考慮如何降低能耗和成本。隨著計(jì)算任務(wù)的增加，AIDC的能耗和運(yùn)營(yíng)成本也在不斷上升。如何通過優(yōu)化資AIDC資源監(jiān)控管理系統(tǒng)為集群管理人員提供物理設(shè)備、集群資源、數(shù)據(jù)流及計(jì)算任務(wù)的全方位監(jiān)控與管理功能。針對(duì)一體化綜合監(jiān)控技術(shù)，監(jiān)控各種計(jì)算資源，包括CPU、GPU、TPU等，以及存儲(chǔ)和網(wǎng)絡(luò)資源的使用情況。平臺(tái)實(shí)時(shí)收基礎(chǔ)設(shè)施建設(shè)到GPU指標(biāo)監(jiān)控圖3-18云跡智算平臺(tái)GPU監(jiān)控界面圖42—在AI模型訓(xùn)練中，日志分析是一個(gè)關(guān)鍵過程，日志采集將訓(xùn)練過程中的重要事件和錯(cuò)誤信息等包含模型的詳細(xì)信息，如模型名稱、訓(xùn)練開始和結(jié)束時(shí)間、訓(xùn)練過程中的多源日志收集長(zhǎng)期存儲(chǔ)與歸檔策略強(qiáng)大的搜索引擎支持多源日志收集長(zhǎng)期存儲(chǔ)與歸檔策略強(qiáng)大的搜索引擎支持靈活的過濾條件設(shè)置系統(tǒng)日志，xiD錯(cuò)誤運(yùn)行日志、錯(cuò)誤日志日志收集與存儲(chǔ)日志搜索與過濾日志分析與報(bào)表日志分析工具報(bào)表生成與制定GPU相關(guān)日志日志告警與通知基于告警的規(guī)則設(shè)多渠道通知機(jī)制安全與隱私保護(hù)數(shù)據(jù)加密傳輸權(quán)限管理與訪問控制故障診斷與問題定位日志收集與存儲(chǔ)日志搜索與過濾日志分析與報(bào)表日志分析工具報(bào)表生成與制定GPU相關(guān)日志日志告警與通知基于告警的規(guī)則設(shè)多渠道通知機(jī)制安全與隱私保護(hù)數(shù)據(jù)加密傳輸權(quán)限管理與訪問控制故障診斷與問題定位日志異常檢測(cè)故障定位與分析實(shí)時(shí)日志采集實(shí)時(shí)日志流采集關(guān)鍵指標(biāo)監(jiān)控日志可視化展示日志可視化展示圖表、統(tǒng)計(jì)圖展示儀表盤設(shè)計(jì)與定制基礎(chǔ)設(shè)施建設(shè)到環(huán)境問題應(yīng)用層問題環(huán)境問題應(yīng)用層問題GPU層問題GPU層問題性能問題性能問題網(wǎng)絡(luò)層問題網(wǎng)絡(luò)層問題網(wǎng)絡(luò)問題網(wǎng)絡(luò)問題通信層問題通信層問題圖3-20云跡智算平臺(tái)故障定位示意圖訓(xùn)練故障自愈-43-44—隨著模型參數(shù)量的增加和訓(xùn)練復(fù)雜性的提高，所需AIDC資源監(jiān)控管理是智算數(shù)據(jù)中心和云計(jì)算環(huán)境中的關(guān)鍵組成部分，它們確保了系統(tǒng)的高效運(yùn)行通過實(shí)時(shí)監(jiān)控應(yīng)用和基礎(chǔ)設(shè)施性能，系統(tǒng)能迅速識(shí)別并響應(yīng)潛在問題，減少故障時(shí)間。這一機(jī)制_資源調(diào)度與運(yùn)營(yíng)訓(xùn)練的資源利用率是一個(gè)收益極大的途徑。算力調(diào)度平臺(tái)能夠整合不同來源、類型和架構(gòu)的45—基礎(chǔ)設(shè)施建設(shè)k8s通過自動(dòng)化的方式簡(jiǎn)化了部署、監(jiān)控和管k8s通過自動(dòng)化的方式簡(jiǎn)化了部署、監(jiān)控和管AI應(yīng)用通常對(duì)資源有高需求，特別是在訓(xùn)練階負(fù)載的需求動(dòng)態(tài)分配和擴(kuò)展資源，提高了資源工具和支持，以支持這些大型模型的部署和管k8s能夠管理和調(diào)度異構(gòu)類型的計(jì)算資源，包并提供故障容錯(cuò)能力。通過詳盡的統(tǒng)計(jì)報(bào)表展示集群資源和作業(yè)處理情況，并集群物理資源監(jiān)控與告警可部署監(jiān)控系統(tǒng)（如Prometheus、Grafana）實(shí)時(shí)監(jiān)控資源性能瓶頸時(shí)，系統(tǒng)自動(dòng)觸發(fā)告警通知。并提供作業(yè)狀態(tài)追蹤和日志管理功能幫助用戶分析和優(yōu)化資源使用。自動(dòng)運(yùn)維服務(wù)通過腳本或自動(dòng)化工具（如Ansible、Chef、Puppet）減少人工干預(yù)，46—網(wǎng)絡(luò)、磁盤、加速卡健康狀態(tài)及性能情況的報(bào)警設(shè)置，支持用戶自定義報(bào)報(bào)警通知模板；平臺(tái)支持用戶自定義報(bào)表數(shù)據(jù)的獲取統(tǒng)超云AI平臺(tái)支持各種靈活的調(diào)度算法，十幾種調(diào)度模式能夠滿足不同場(chǎng)景需求?；谄脚_(tái)工程理念的算力服務(wù)化能力包括支持將普通算力、超算、智算統(tǒng)一計(jì)量計(jì)費(fèi)，費(fèi)用化管理，算力AIDC安全設(shè)計(jì)—47—48—AIDC的物理安全是指保護(hù)AIDC免受自然災(zāi)害、人為破壞、盜竊和其他物理性威脅，確保AIDC的基礎(chǔ)設(shè)施、硬件、設(shè)施安全：設(shè)施安全：包括防火、防水、防盜、防電磁干擾等。使用電磁屏蔽材料，保護(hù)設(shè)備免受外部電磁干擾。安裝自動(dòng)滅環(huán)境控制：環(huán)境控制：確保恒溫、恒濕，以及良好的通風(fēng)和散熱系統(tǒng)。安裝溫濕度傳感器、煙霧探測(cè)器、水浸探測(cè)器等，實(shí)時(shí)AIDC的建設(shè)和運(yùn)營(yíng)成本高昂，物理安全措施有助于保護(hù)這些投資，避免因安全事件導(dǎo)致的財(cái)產(chǎn)損失，減少或避免因服務(wù)中斷而造成的經(jīng)濟(jì)損失和信譽(yù)損害。同時(shí)物理安全措施可以增強(qiáng)客戶對(duì)企業(yè)的信任，客戶更愿意將數(shù)據(jù)和業(yè)務(wù)托付給那些能夠確保其信息安全的AIDC。AIDC的物理安全是確保業(yè)務(wù)穩(wěn)定、數(shù)據(jù)保護(hù)和遵守法規(guī)的關(guān)鍵，對(duì)于任何依賴49—基礎(chǔ)設(shè)施建設(shè)AIDC的數(shù)據(jù)安全與隱私保護(hù)指的是確保存儲(chǔ)在數(shù)據(jù)中心中的數(shù)據(jù)不被未授權(quán)訪問、泄露、篡改或破壞的措施，同時(shí)保全可以增強(qiáng)客戶對(duì)AIDC的信任，促進(jìn)客戶忠誠(chéng)AIDC的業(yè)務(wù)連續(xù)性是指AIDC在面臨各種潛在的威脅和風(fēng)險(xiǎn)時(shí)，能夠維持關(guān)鍵業(yè)務(wù)功能正常運(yùn)行的能力。這包括了對(duì)硬件故障、人為錯(cuò)誤、網(wǎng)絡(luò)攻擊、自然災(zāi)害等可能導(dǎo)致業(yè)務(wù)中斷的事件的預(yù)防和重的數(shù)據(jù)丟失或系統(tǒng)損壞的情況下，能夠迅速恢復(fù)數(shù)據(jù)和系統(tǒng)功能，以最小化業(yè)務(wù)中業(yè)務(wù)影響分析：業(yè)務(wù)影響分析：評(píng)估潛在風(fēng)險(xiǎn)對(duì)業(yè)務(wù)的影響程度，確定業(yè)務(wù)關(guān)鍵功能和恢復(fù)時(shí)間目標(biāo)，同時(shí)識(shí)別和分析可能對(duì)數(shù)據(jù)備份和冗余組件：數(shù)據(jù)備份和冗余組件：定期備份數(shù)據(jù)，并將備份數(shù)據(jù)存儲(chǔ)在安全的地方。部署冗余的硬件、網(wǎng)絡(luò)和電源系統(tǒng)，確保關(guān)鍵業(yè)務(wù)功能在災(zāi)難發(fā)生時(shí)能夠持續(xù)運(yùn)行，有助于企業(yè)在面臨災(zāi)難時(shí)保持收入流，減少因服失。在災(zāi)難發(fā)生時(shí)迅速恢復(fù)服務(wù)能夠提高客戶滿意度，增強(qiáng)客戶對(duì)AIDC的信任和寧夏AIDC項(xiàng)目占地70畝，建筑面積近2.8萬(wàn)平方米，包含三棟高規(guī)格自然風(fēng)冷高密度機(jī)房，采用多種創(chuàng)新技術(shù)，專建設(shè)了丹摩智算平臺(tái)（https://da丹摩智算平臺(tái)計(jì)算節(jié)點(diǎn)提供十余種高性能計(jì)算卡，可提供140PFLOPS的GPU算力以及超10萬(wàn)個(gè)CPU計(jì)算核心。發(fā)訪問，確保多個(gè)節(jié)點(diǎn)能夠高效地讀取和寫入數(shù)據(jù)，而不會(huì)造成性能瓶頸。并且丹摩智算平臺(tái)是寧夏首個(gè)采用全自然風(fēng)冷技術(shù)的30KW機(jī)柜人工智能數(shù)據(jù)中心，利用新風(fēng)來消除數(shù)據(jù)中心的余熱。配置新風(fēng)DX型AHU及相關(guān)管路設(shè)備、風(fēng)道等設(shè)備均為工廠預(yù)制，現(xiàn)場(chǎng)施工周期大大縮短，工廠預(yù)制產(chǎn)品級(jí)管理，質(zhì)量更可控。所有風(fēng)口增加過濾，進(jìn)入機(jī)房增設(shè)門廳，采用雙層隔離防灰系統(tǒng)；機(jī)房?jī)?nèi)添設(shè)24h空氣顆粒檢測(cè)，并設(shè)置報(bào)警及處理機(jī)制。所有機(jī)柜包括網(wǎng)絡(luò)等機(jī)柜設(shè)置應(yīng)急新風(fēng)制冷，網(wǎng)絡(luò)機(jī)房增設(shè)應(yīng)急TF風(fēng)機(jī)及配套風(fēng)閥。30KW高功率密基