某超算中心機(jī)房基礎(chǔ)設(shè)施運(yùn)行維護(hù)風(fēng)險(xiǎn)管理

某超算中心機(jī)房基礎(chǔ)設(shè)施運(yùn)行維護(hù)風(fēng)險(xiǎn)

管理摘要：本文以某超算中心機(jī)房項(xiàng)目為例，介紹了超算中心動(dòng)環(huán)系統(tǒng)的特點(diǎn)，以及對(duì)應(yīng)的基礎(chǔ)設(shè)備設(shè)施運(yùn)行管理的策略。關(guān)鍵詞：超算中心機(jī)房基礎(chǔ)設(shè)施運(yùn)維風(fēng)險(xiǎn)管理0引言超級(jí)計(jì)算能力是一個(gè)國(guó)家科技核心競(jìng)爭(zhēng)力和綜合國(guó)力的重要標(biāo)志，是國(guó)家創(chuàng)新體系的重要組成，是解決經(jīng)濟(jì)建設(shè)、國(guó)防建設(shè)、科學(xué)進(jìn)步、社會(huì)發(fā)展等各領(lǐng)域一系列挑戰(zhàn)性問(wèn)題的重要手段。它作為一種通用基礎(chǔ)技術(shù)，廣泛應(yīng)用于航空航天、氣象預(yù)測(cè)、宇宙探索、新材料研究、石油天然氣開(kāi)采、分子模擬、航空動(dòng)力學(xué)模擬、核能仿真計(jì)算和動(dòng)漫渲染等國(guó)民經(jīng)濟(jì)領(lǐng)域。以超級(jí)計(jì)算機(jī)為核心工具的國(guó)家超級(jí)計(jì)算中心是國(guó)家戰(zhàn)略性信息基礎(chǔ)設(shè)施和科技創(chuàng)新戰(zhàn)略平臺(tái)。2021年6月最新的全球超算排行榜top500強(qiáng)名單中，中國(guó)188臺(tái)，所占份額為37.6%，繼續(xù)蟬聯(lián)全球部署頂尖高性能計(jì)算最多的國(guó)家。1項(xiàng)目概況本文所述超算中心機(jī)房，為曙光C8000刀片式計(jì)算模組部署地，超算部分總建筑面積10500m2,地上2層，地下2層，設(shè)計(jì)總用電量為24000kW。該超算中心具有數(shù)據(jù)機(jī)柜多、熱流密度高，單位面積電子元件能耗大，發(fā)熱密度高等特點(diǎn)。其中電子設(shè)備熱流密度的增加，對(duì)基礎(chǔ)設(shè)施設(shè)備的可靠性提出了更高的運(yùn)維安全要求。2超算中心基礎(chǔ)設(shè)施特點(diǎn)超算中心由超算機(jī)房、通用機(jī)房、直流配電間、超算維護(hù)間、主機(jī)房、UPS間、電池室、變配電間、冷源機(jī)房、設(shè)備機(jī)房等組成。超算中心的基礎(chǔ)設(shè)施運(yùn)維安全的決定性因素主要來(lái)源于供電安全和溫度安全兩方面。2.1供電安全本項(xiàng)目供電質(zhì)量要求高、供電設(shè)備數(shù)量多、操作復(fù)雜、運(yùn)行難度大。曙光交流存儲(chǔ)設(shè)備、弱電機(jī)房設(shè)備、安防設(shè)備等為一級(jí)負(fù)荷中的特別重要負(fù)荷，Pe=889kW；水冷冷水機(jī)組以及配套的冷凍水泵、定壓補(bǔ)水設(shè)備、冷卻塔等機(jī)房動(dòng)力負(fù)荷、消防、電梯、潛污泵等設(shè)備負(fù)荷為一級(jí)負(fù)荷，Pe=2893kW（不含火災(zāi)時(shí)投入的消防專用設(shè)備）；曙光直流計(jì)算設(shè)備，其它普通電力、普通照明等為三級(jí)負(fù)荷，Pe=24716kW。根據(jù)供電等級(jí)及運(yùn)行策略，曙光計(jì)算部分由單路供電，計(jì)算部分變壓器低壓為單母線分段運(yùn)行，不設(shè)置母聯(lián)。曙光存儲(chǔ)部分及持續(xù)制冷設(shè)備的變壓器低壓為單母線分段運(yùn)行，聯(lián)絡(luò)開(kāi)關(guān)設(shè)自投自復(fù)/自投不自復(fù)/手動(dòng)轉(zhuǎn)換開(kāi)關(guān)。自投時(shí)有一定的（可調(diào)）延時(shí)，當(dāng)電源主斷路器因過(guò)載或短路故障分閘時(shí)，母聯(lián)斷路器不允許自動(dòng)合閘，另外自投時(shí)還應(yīng)自動(dòng)斷開(kāi)非保證負(fù)荷，以保證另一臺(tái)變壓器承擔(dān)全部負(fù)荷。同組兩路低壓主進(jìn)開(kāi)關(guān)與聯(lián)絡(luò)開(kāi)關(guān)之間設(shè)電氣聯(lián)鎖，任何情況下只能合其中的兩個(gè)開(kāi)關(guān)。2.2溫度安全本項(xiàng)目數(shù)據(jù)機(jī)房空調(diào)制冷中以超算部部分的溫度控制最為重要。超算超算中心具有高發(fā)熱量，低散濕量，相關(guān)配套用房發(fā)熱量也很大。其空調(diào)負(fù)荷特點(diǎn)為負(fù)荷量大，局部熱點(diǎn)較多，其空調(diào)方式，例如：房間級(jí)空調(diào)、行間空調(diào)、背板式空調(diào)等已經(jīng)無(wú)法滿足機(jī)柜的使用需求。因此，此項(xiàng)目采用了液冷空調(diào)及液冷機(jī)柜就近制冷，解決了超算機(jī)柜發(fā)熱量大、局部熱點(diǎn)的問(wèn)題。超算中心由于負(fù)荷量較大，末端空調(diào)形式比較多，有浸沒(méi)式液冷CDM柜、冷板式液冷CDM柜、冷凍水行間空調(diào)、冷凍水列間空調(diào)、房間級(jí)精密空調(diào)等，為了滿足設(shè)備散熱需求，根據(jù)不同的空調(diào)形式，提供不同的空調(diào)系統(tǒng)及不同的冷凍水溫度。該工程空調(diào)供回水溫度共4類，分別為7/12°C、44.5/49.5°C、12/18°C和35/43°C。其中：低溫冷源由大樓辦公區(qū)提供，夏季供冷（7/12C），冬季供熱（44.5/49.5°C），主要負(fù)擔(dān)該超算機(jī)房區(qū)的新風(fēng)負(fù)荷+走廊冷熱負(fù)荷。中溫冷凍水冷源（12/18C由地下冷源機(jī)房?jī)?nèi)的冷水機(jī)組提供，主要負(fù)擔(dān)超算機(jī)房區(qū)的行間列間空調(diào)、房間級(jí)精密空調(diào)等的負(fù)荷，共設(shè)置離心式冷水機(jī)組，單臺(tái)制冷量為3500kW共3臺(tái)，2用1備。中溫冷卻水冷源（35/43°C）由冷卻塔+板式換熱器提供，單臺(tái)板式換熱器換熱量為5000kW，共6臺(tái)，6用，板式換熱器和冷卻塔為一對(duì)一設(shè)置，主要負(fù)擔(dān)浸沒(méi)式液冷CDM柜、冷板式液冷CDM柜的負(fù)荷。為了維持超算機(jī)房及存儲(chǔ)機(jī)房?jī)?nèi)的舒適度的要求，考慮設(shè)備對(duì)房間的散熱，設(shè)置了多聯(lián)機(jī)系統(tǒng)，滿足人員對(duì)環(huán)境溫濕度的要求。充分考慮節(jié)能需求，該冷源系統(tǒng)有三種運(yùn)行工況：電制冷工況、部分免費(fèi)供冷工況、全部免費(fèi)供冷工況。電制冷工況：當(dāng)室外為夏季時(shí)，全部采用離心式冷水機(jī)組提供冷量，通過(guò)開(kāi)式冷卻塔散熱的方式供冷。部分免費(fèi)供冷工況：采用冷水機(jī)組+板式換熱器+冷卻塔作為冷源供冷，根據(jù)室外濕球溫度變化，采用冷卻水通過(guò)板式換熱器對(duì)冷凍水進(jìn)行欲降溫處理，實(shí)現(xiàn)部分自然冷卻供冷，減少機(jī)械制冷能耗。全部免費(fèi)供冷工況：優(yōu)先采用辦公區(qū)熱泵機(jī)組冷水供冷，在滿足熱泵機(jī)組向全樓供熱的同時(shí)，機(jī)房區(qū)供冷不足部分，采用機(jī)房區(qū)冷卻塔作為補(bǔ)充冷源。為保證超算中心系統(tǒng)用水的可靠性，設(shè)置冷卻塔補(bǔ)水池，補(bǔ)水池按照12小時(shí)冷卻水補(bǔ)水量的要求設(shè)置。補(bǔ)水池的蓄水量為260m2的蓄水池。該超算機(jī)房中溫冷凍水冷負(fù)荷為25714kW，為超算機(jī)房的主要負(fù)荷。中溫冷卻水系統(tǒng)末端空調(diào)夏季供回水溫度為35/43C，冬季供回水溫度為29/21C。由于該部分負(fù)荷量較大，水溫較高，考慮空調(diào)系統(tǒng)節(jié)能及節(jié)約建筑空間等綜合因素，確定該系統(tǒng)采用冷卻塔+板式換熱器供冷的形式。考慮15%的備份需求，單臺(tái)板式換熱器換熱量為5000kW，共6臺(tái)，6用，冷卻塔共6臺(tái)，供回水溫度夏季供回水溫度為33/41C，冬季供回水溫度為16/24C。板式換熱器、冷卻塔、冷源側(cè)冷卻水泵、用戶側(cè)冷卻水泵均為一對(duì)一設(shè)置?？照{(diào)水系統(tǒng)一次側(cè)和二次側(cè)均為環(huán)狀設(shè)置，滿足系統(tǒng)靈活、安全運(yùn)行的需求。3超算中心基礎(chǔ)設(shè)施運(yùn)維項(xiàng)目的特點(diǎn)及策略超算中心基礎(chǔ)設(shè)施運(yùn)維安全可靠性要求非常高，這就對(duì)運(yùn)維工作提出了更高的要求。需要在日常運(yùn)維工作中提高超算中心風(fēng)險(xiǎn)識(shí)別能力，提前“排雷”規(guī)避風(fēng)險(xiǎn)降低故障發(fā)生的概率，提高風(fēng)險(xiǎn)應(yīng)對(duì)能力。以確保運(yùn)維質(zhì)量的持續(xù)改進(jìn)與高效可靠。超算中心基礎(chǔ)設(shè)施涉及的供配電、空調(diào)、消防、安防、防雷接地、弱電監(jiān)控等子系統(tǒng)，各系統(tǒng)之間相互關(guān)聯(lián)、相互影響，對(duì)于這樣一個(gè)復(fù)雜系統(tǒng)的運(yùn)維管理，是一個(gè)多目標(biāo)優(yōu)化的決策過(guò)程，只有確保各系統(tǒng)整體最優(yōu)，才能使得超算中心實(shí)現(xiàn)高可靠性。3.1風(fēng)險(xiǎn)管理理論與技術(shù)工具對(duì)于超算中心基礎(chǔ)設(shè)施運(yùn)維管理，引入風(fēng)險(xiǎn)管理相關(guān)理論與技術(shù)工具。主要包括:根據(jù)已經(jīng)制定完成的基礎(chǔ)設(shè)施高危設(shè)備巡檢清單與相關(guān)運(yùn)維技術(shù)工具對(duì)各機(jī)房按季度展開(kāi)“體檢”形式的巡檢，將現(xiàn)場(chǎng)采集來(lái)的設(shè)備運(yùn)行數(shù)據(jù)及故障記錄進(jìn)行容量管理等分析研究，以確定哪些設(shè)備存在“生病”的征兆,及時(shí)聯(lián)系設(shè)備廠家進(jìn)行更換與保養(yǎng)，同時(shí)將現(xiàn)場(chǎng)隱患排查出來(lái)的風(fēng)險(xiǎn)按其嚴(yán)重性進(jìn)行優(yōu)先級(jí)分類，形成風(fēng)險(xiǎn)登記冊(cè)，制定整改方案與計(jì)劃及時(shí)進(jìn)行閉環(huán)處理，以提高機(jī)房基礎(chǔ)設(shè)施的安全可靠性。根據(jù)已制定超算中心基礎(chǔ)設(shè)施健康檢查清單，確定運(yùn)維關(guān)鍵指標(biāo)，對(duì)選定機(jī)房進(jìn)行全面體檢。3.2數(shù)據(jù)采集與分析根據(jù)高危設(shè)備巡檢清單與設(shè)備安全運(yùn)行關(guān)鍵性指標(biāo)采用熱成像儀、萬(wàn)用表，接地電限測(cè)試儀等儀器儀表對(duì)超算中心基礎(chǔ)設(shè)施的運(yùn)行情況進(jìn)行容量、溫升、設(shè)備保養(yǎng)等方面數(shù)據(jù)進(jìn)行采集與分析并結(jié)合維護(hù)經(jīng)驗(yàn)與工程實(shí)踐，對(duì)超算中心高危設(shè)備進(jìn)行風(fēng)險(xiǎn)識(shí)別與隱患排查，通過(guò)對(duì)高危設(shè)備系統(tǒng)性“體檢”及指標(biāo)分析，以提高超算中心的“免疫力”，降低事故發(fā)生的概率。3.3運(yùn)維規(guī)范標(biāo)準(zhǔn)的統(tǒng)一與模式化量化運(yùn)維指標(biāo)，提升巡檢深度，提高設(shè)備安全運(yùn)行可靠性;及時(shí)發(fā)現(xiàn)安全隱患，降低故障發(fā)生概率;提高竣工驗(yàn)收成效，減少前期工程的缺陷對(duì)后期運(yùn)維安全的影響:加強(qiáng)對(duì)運(yùn)維團(tuán)隊(duì)的監(jiān)督與管理，提高團(tuán)隊(duì)維護(hù)力度;形成超算中心運(yùn)維規(guī)范標(biāo)準(zhǔn)的統(tǒng)一與模式化，為超算中心提供標(biāo)準(zhǔn)化運(yùn)維服務(wù)。利用統(tǒng)一的巡檢清單與運(yùn)維指標(biāo)，提升運(yùn)維水平與部署能力。3.4風(fēng)險(xiǎn)管理與按時(shí)閉環(huán)對(duì)超算中心基礎(chǔ)設(shè)施運(yùn)維進(jìn)行風(fēng)險(xiǎn)管理:風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)估、建立運(yùn)營(yíng)風(fēng)險(xiǎn)冊(cè)、風(fēng)險(xiǎn)規(guī)避形成PDCA管理水平提升的4個(gè)循環(huán)模式，使得超算中心運(yùn)維管

PL,UIK）起算中心基.礎(chǔ)沒(méi)帷惟冒理值程圖錐護(hù)散指虻或段定劃電腫按虧汁實(shí)乖5杖

據(jù)務(wù)化析;故打析PL,UIK）起算中心基.礎(chǔ)沒(méi)帷惟冒理值程圖錐護(hù)散指虻或段定劃電腫按虧汁實(shí)乖5杖

據(jù)務(wù)化析;故打析4超算中心基礎(chǔ)設(shè)施運(yùn)維實(shí)施步驟4.1建立完備的設(shè)備設(shè)施運(yùn)維CHECK制度應(yīng)秉承“設(shè)備不是修出來(lái)的，而是養(yǎng)出來(lái)的”的理念，將反應(yīng)性維護(hù)與預(yù)防性維護(hù)相結(jié)合，通過(guò)對(duì)采集基礎(chǔ)設(shè)施定量數(shù)據(jù)如：振動(dòng)、潤(rùn)滑、噪音、電流、電壓、溫度等各種關(guān)鍵運(yùn)行數(shù)據(jù)，觀察其趨勢(shì)的發(fā)生，判斷設(shè)施是否劣化，使得標(biāo)準(zhǔn)能隨著設(shè)施的安全生命周期進(jìn)行適當(dāng)?shù)恼{(diào)整，指導(dǎo)進(jìn)行針對(duì)性的維護(hù)工作，確保本項(xiàng)目?jī)?nèi)各項(xiàng)設(shè)備設(shè)施的良好運(yùn)行和及時(shí)養(yǎng)護(hù)維修，并達(dá)到延長(zhǎng)設(shè)備使用壽命的目標(biāo)。1） 建立健全各項(xiàng)設(shè)備設(shè)施臺(tái)賬，做到對(duì)設(shè)備參數(shù)、運(yùn)行狀態(tài)、操作規(guī)程、應(yīng)急處理流程心中有數(shù)，并將各項(xiàng)操作規(guī)程上墻，認(rèn)真落實(shí)持證上崗，定期對(duì)員工進(jìn)行實(shí)操培訓(xùn)；2） 根據(jù)設(shè)備養(yǎng)護(hù)需求，建立定期維修保養(yǎng)定期計(jì)劃，堅(jiān)持主動(dòng)預(yù)防式保養(yǎng)，將故障排除在隱患階段，保證設(shè)備完好；3） 建立機(jī)房負(fù)責(zé)人制度，確保對(duì)配電值班室、中控值班室、供水、排風(fēng)等各設(shè)備機(jī)房的定期巡查和養(yǎng)護(hù)；4） 根據(jù)設(shè)備檢測(cè)計(jì)劃，定期進(jìn)行配電系統(tǒng)、空調(diào)系統(tǒng)、控制系統(tǒng)、電梯等各項(xiàng)檢測(cè)，確保設(shè)備設(shè)施的運(yùn)行狀態(tài)良好。

5）對(duì)于未接管的設(shè)施設(shè)備，向甲方提出合理的管理措施，確保設(shè)備保值增值。4.2根據(jù)項(xiàng)目情況總結(jié)重點(diǎn)設(shè)備設(shè)施運(yùn)維要點(diǎn)由于系統(tǒng)的復(fù)雜性、施工交接還沒(méi)有完全到位，運(yùn)維團(tuán)隊(duì)將對(duì)設(shè)備設(shè)施存在的問(wèn)題進(jìn)行詳細(xì)的系統(tǒng)梳理，結(jié)合前一年試運(yùn)行時(shí)的情況及現(xiàn)場(chǎng)梳理各系統(tǒng)實(shí)際情況，總結(jié)分析出超算中心基礎(chǔ)設(shè)施運(yùn)維存在或預(yù)判問(wèn)題。目標(biāo)：::福量方某:超垸中心堇礎(chǔ)設(shè)施后維準(zhǔn)則，降似故障虬響4.3形成不斷完善目標(biāo)：::福量方某:超垸中心堇礎(chǔ)設(shè)