高密度機(jī)房規(guī)劃設(shè)計(jì)探討

1、高密度機(jī)房規(guī)劃設(shè)計(jì)探討文/中國(guó)石油集團(tuán)東方地球物理公司研究院 易良坤      摘要：本文結(jié)合功率密度和制冷技術(shù)的變化，把高密度機(jī)房分為三個(gè)等級(jí)，其中第一、二級(jí)為常規(guī)高密度機(jī)房，第三級(jí)為超常規(guī)高密度機(jī)房。文中提出用全模塊化和能量逆向法作為高密度機(jī)房規(guī)劃的基本思路。把常規(guī)高密度機(jī)房垂直分成六層，給出送風(fēng)層和回風(fēng)層高度與功率密度和送風(fēng)距離的經(jīng)驗(yàn)關(guān)系式。接著就機(jī)房節(jié)能進(jìn)行整體性思考，并把機(jī)房節(jié)能分成設(shè)施層、主機(jī)房層、主機(jī)設(shè)備層和業(yè)務(wù)層等共四個(gè)層次，并就機(jī)房節(jié)能的評(píng)估做了初步分析。最后，本文還就常見(jiàn)的500平米標(biāo)準(zhǔn)高密度機(jī)房模塊的規(guī)劃設(shè)計(jì)以案例形式進(jìn)行

2、了探討。關(guān)鍵詞：高密度機(jī)房、功率密度、規(guī)劃設(shè)計(jì)、機(jī)房節(jié)能      單機(jī)柜滿配I B M P 5 9 5 、1 U 集群功耗均超過(guò)10KVA，滿配刀片集群功耗接近40KVA。毫無(wú)疑問(wèn)，計(jì)算機(jī)主機(jī)系統(tǒng)的高密度化必然推動(dòng)計(jì)算機(jī)房的高密度化。目前，國(guó)內(nèi)有的主機(jī)房功率密度已達(dá)到每平2KVA，正在規(guī)劃和設(shè)計(jì)中的主機(jī)房已達(dá)到每平米5KVA以上。高密度、超高密度機(jī)房的規(guī)劃、設(shè)計(jì)、改造提上日程。一、高密度機(jī)房分級(jí)根據(jù)功率密度、制冷方式的差異，以主機(jī)房每平米視載功率為主要依據(jù)，結(jié)合機(jī)柜制冷方式的技術(shù)變革，可以把高密度機(jī)房分成一、二、三等共三個(gè)等級(jí)，分類(lèi)標(biāo)準(zhǔn)詳見(jiàn)表

3、1。一級(jí)高密度機(jī)房單機(jī)柜最高功耗為10KVA，在常規(guī)制冷技術(shù)的基礎(chǔ)上，采取初級(jí)的冷熱通道分離等措施，即可滿足設(shè)備散熱要求；二級(jí)高密度機(jī)房單機(jī)柜最高功耗為20KVA，在制冷方式上要采取較為嚴(yán)格的冷熱通道分離、提高環(huán)境溫濕度、加裝制冷風(fēng)帽、輔助氣流組織等措施，才能滿足設(shè)備的散熱要求；三級(jí)高密度機(jī)房單機(jī)柜最高功耗在20KVA以上，需要采用冷凍水機(jī)柜、芯片制冷等特殊措施，才能滿足機(jī)器設(shè)備的散熱要求。因此，第一、二級(jí)高密度機(jī)房可以稱為“常規(guī)高密度機(jī)房”，第三級(jí)高密度機(jī)房可稱為“超常規(guī)高密度機(jī)房”。二、高密度機(jī)房規(guī)劃思路      圍繞機(jī)房的規(guī)劃與設(shè)計(jì)標(biāo)準(zhǔn)

4、，我國(guó)國(guó)家標(biāo)準(zhǔn)有電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范GB50174-2008及相關(guān)的設(shè)計(jì)圖集和施工驗(yàn)收規(guī)范，國(guó)外有美國(guó)電信產(chǎn)業(yè)協(xié)會(huì)和美國(guó)標(biāo)準(zhǔn)學(xué)會(huì)共同頒布的數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)TIA942-2005。美國(guó)暖通空調(diào)工程師協(xié)會(huì)組建9.9技術(shù)委員會(huì)(簡(jiǎn)稱: ASHREA TC9.9)，就數(shù)據(jù)通訊基礎(chǔ)設(shè)施有關(guān)的熱工、用電、設(shè)計(jì)思路、流體制冷、結(jié)構(gòu)與抗震、節(jié)能、高密度數(shù)據(jù)中心、顆粒與氣體污染物等進(jìn)行系統(tǒng)研究，先后出版了八本專著。      大型高密度機(jī)房的規(guī)劃，個(gè)人認(rèn)為要采用“全模塊化”的設(shè)計(jì)思路進(jìn)行規(guī)劃，按照功率密度即能量進(jìn)行逆向設(shè)計(jì)。全模塊化要綜合考慮業(yè)務(wù)需求

5、、功率密度、供配電、制冷、建筑平面、綜合布線等因素，按照業(yè)務(wù)需求及相關(guān)性、設(shè)備功耗、可用性級(jí)別進(jìn)行歸并，然后設(shè)計(jì)成不同用途的機(jī)房模塊(參見(jiàn)表2.大型高密度機(jī)房模塊規(guī)劃示范表)；供配電從變電站開(kāi)始，進(jìn)行模塊化按序列編組，相鄰模塊的配電系統(tǒng)編排到不同組別，互為備用(參見(jiàn)圖5)；在系統(tǒng)級(jí)，供配電、制冷、綜合布線等要參照國(guó)家標(biāo)準(zhǔn)A級(jí)機(jī)房進(jìn)行規(guī)劃設(shè)計(jì)，如供配電要采用一級(jí)雙回路市電，配備一定量的自備柴油發(fā)電機(jī)，制冷要采用環(huán)路系統(tǒng)等(參見(jiàn)圖6)。具體單個(gè)模塊的可用級(jí)別，可以按國(guó)家標(biāo)準(zhǔn)A級(jí)、B級(jí)、C級(jí)甚至低于C級(jí)進(jìn)行考慮。      計(jì)算機(jī)房建筑承重，國(guó)家標(biāo)準(zhǔn)

6、、TIA942和ASHREATC9.9均給出了一些標(biāo)準(zhǔn)或參考。但對(duì)常規(guī)高密度機(jī)房，建議建筑承重要達(dá)到每平米10001500Kg，對(duì)超常規(guī)高密度機(jī)房，建筑承重要達(dá)到每平米1500-2000Kg。結(jié)構(gòu)強(qiáng)度增加對(duì)項(xiàng)目總費(fèi)用增加影響不大，但結(jié)構(gòu)強(qiáng)度設(shè)計(jì)的不足，對(duì)后期機(jī)房的適應(yīng)性和擴(kuò)展性具有致命影響。我接觸的不少機(jī)房改造，不少都受到承重不足的影響。對(duì)大型高密度機(jī)房而言，采用自備柴油發(fā)電機(jī)對(duì)所有設(shè)施提供第三路應(yīng)急供電是不現(xiàn)實(shí)的，其總用電容量可能超過(guò)一個(gè)小型電站的發(fā)電能力。根據(jù)業(yè)務(wù)需要和可用性要求進(jìn)行的模塊化設(shè)計(jì)，合理配備一定量的自備柴油發(fā)電機(jī)，就顯得非常重要。三、常規(guī)高密度機(jī)房垂直分層 

7、0;    圖1給出了常規(guī)高密度機(jī)房的垂直分層模型。該模型使用下送風(fēng)、上回風(fēng)制冷風(fēng)方式，從下到上分別為送風(fēng)層、機(jī)柜設(shè)備層、柜頂布線層、橋架布線層、回風(fēng)層和消防保護(hù)層共六層。19英寸42U工業(yè)標(biāo)準(zhǔn)機(jī)柜的高度為2米；柜頂布線層用于計(jì)算集群內(nèi)部或業(yè)務(wù)集群內(nèi)部綜合布線和強(qiáng)電連接，具有一個(gè)強(qiáng)電槽和兩個(gè)弱電槽，分別用于集群內(nèi)業(yè)務(wù)交換和設(shè)備管理；橋架布線層包括靠近冷通道的強(qiáng)電橋架和靠近熱通道的多層弱電橋架，弱電橋架一般包括設(shè)備管理、業(yè)務(wù)交換、光纖數(shù)據(jù)通道三種類(lèi)型的橋架，該層高度一般為60厘米；消防保護(hù)層用于部署消防報(bào)警和自動(dòng)滅火系統(tǒng)，高度為30厘米。  &#

8、160;   從該模型可以看出，機(jī)柜高度、柜頂布線層、橋架布線層、消防保護(hù)層的高度可以恒定，送風(fēng)層和回風(fēng)層的高度是不恒定的。送風(fēng)層的高度與功率密度、送風(fēng)距離、設(shè)定的環(huán)境溫濕度等有關(guān)。在經(jīng)驗(yàn)總結(jié)的基礎(chǔ)上，不考慮設(shè)定環(huán)境溫濕度的影響，可給出送風(fēng)層和回風(fēng)層高度的計(jì)算公式：送風(fēng)層(mm)300+0.6*功率密度(w/m2)*送風(fēng)距離(米)/18 (1)回風(fēng)層(mm)送風(fēng)層*1.4 (2)回風(fēng)層比送風(fēng)層高的主要原因是回風(fēng)是負(fù)壓形式，送風(fēng)是正壓箱形式，同樣的風(fēng)量回風(fēng)需要更高的空間。如果完全隔離冷熱通道，(2)式的系數(shù)可下調(diào)到1.2甚至更低。需要特別說(shuō)明的是，(1)和(2)給出的公式為經(jīng)

9、驗(yàn)關(guān)系式，并沒(méi)有經(jīng)過(guò)精確的理論計(jì)算，需要在實(shí)踐中進(jìn)一步檢驗(yàn)。根據(jù)公式(1)，可計(jì)算出地板送風(fēng)高度與送風(fēng)距離和功率密度的速查表，詳見(jiàn)表3。 四、機(jī)房節(jié)能      對(duì)于機(jī)房節(jié)能，個(gè)人認(rèn)為可以分為設(shè)施層、主機(jī)房層、主機(jī)設(shè)備層和業(yè)務(wù)層等共四個(gè)層次，這四個(gè)方面的有效工作均可以在機(jī)房節(jié)能中產(chǎn)生一定的效果。設(shè)施層節(jié)能要素主要有建筑保溫、高效供配電系統(tǒng)、高效制冷系統(tǒng)、高效UPS系統(tǒng)等，這些均是提高機(jī)房能效比(PUE值)的重要部分。圖2給出了平均PUE為2.17的12個(gè)被測(cè)數(shù)據(jù)中心的平均電力分配，可見(jiàn)制冷系統(tǒng)、UPS系統(tǒng)、照明及其它設(shè)施的電力總消耗超

10、過(guò)服務(wù)器自身的電力消耗。如在我國(guó)北方地區(qū)采用自由節(jié)能的冷凍水空調(diào)機(jī)組、水冷卻系統(tǒng)、雙冷源精密空調(diào)等，南方地區(qū)使用河道、湖泊進(jìn)行熱交換，可以提高制冷系統(tǒng)效率。使用轉(zhuǎn)換效率高的UPS系統(tǒng)，特別是低負(fù)載時(shí)轉(zhuǎn)換效率較高高的UPS，對(duì)A級(jí)機(jī)房節(jié)能具有較明顯的效果。(參見(jiàn)ASHREA TC9.9專著：Best Practices forDatacom Facility Energy Efficiency)主機(jī)房層節(jié)能主要有高效氣流組織、能滿足設(shè)備散熱要求的最佳溫濕度環(huán)境。在高效氣流組織方面，ASHREA TC9.9建議采用冷熱通道分離的布局，冷通道間距為7塊標(biāo)準(zhǔn)地板。為實(shí)現(xiàn)更好的氣流組織，也可以對(duì)冷通道或

11、熱通道做完全的封閉。熱通道要避開(kāi)建筑橫梁的影響，冷通道可設(shè)在建筑橫梁的正下方。為提高工作人員環(huán)境的舒適性，提高熱通道的傳輸效率，建議通過(guò)在冷通道頂部加裝阻燃玻璃蓋層、兩側(cè)安裝阻燃百葉豎條(便于工作人員應(yīng)急逃生)即可。為進(jìn)一步提高主機(jī)房的熱交換效率，ASHREA TC9.9推薦調(diào)整主機(jī)房的干球溫度和濕度。2008年推薦環(huán)境溫度為1827，濕度為5.5的露點(diǎn)69%相對(duì)濕度或15的露點(diǎn)。在推薦范圍內(nèi)，設(shè)定的冷通道環(huán)境溫度越高，空調(diào)交換效率就越高，越節(jié)能。       主機(jī)設(shè)備層節(jié)能因素主要有配置高效服務(wù)器電源、使用調(diào)速風(fēng)扇、減少無(wú)關(guān)器件、具

12、備休眠與喚醒等。使用高效服務(wù)器電源可降低UPS后端電力諧波，提高功率因素；可提高交直轉(zhuǎn)換效率，降低電源自身消耗和發(fā)熱。使用調(diào)速風(fēng)扇可降低服務(wù)器輕負(fù)載時(shí)風(fēng)扇的功耗。具備休眠與喚醒功能的服務(wù)器，可在服務(wù)器無(wú)業(yè)務(wù)時(shí)自動(dòng)進(jìn)入休眠狀態(tài)，大大降低服務(wù)器功耗和制冷系統(tǒng)功耗。      業(yè)務(wù)層就是圍繞節(jié)能，IT人員主動(dòng)從事的業(yè)務(wù)遷移與調(diào)度。對(duì)于可遷移的業(yè)務(wù)，特別是具有全球性業(yè)務(wù)的機(jī)房，可根據(jù)時(shí)差進(jìn)行有規(guī)律的業(yè)務(wù)遷移，以節(jié)約能耗。對(duì)于季節(jié)性、時(shí)效性較強(qiáng)的業(yè)務(wù)，可以通過(guò)合理調(diào)度，啟用、關(guān)停服務(wù)器設(shè)備甚至機(jī)房模塊以實(shí)現(xiàn)節(jié)能。評(píng)價(jià)一個(gè)機(jī)房節(jié)能，可以有不同的標(biāo)準(zhǔn)。如果不

13、考慮主機(jī)設(shè)備層和業(yè)務(wù)層的節(jié)能，可以使用PUE的方法來(lái)度量機(jī)房的節(jié)能狀況；如果包括主機(jī)設(shè)備層的節(jié)能，可以采用如MFlops/W的標(biāo)準(zhǔn)來(lái)度量機(jī)房的節(jié)能狀況；如再包括業(yè)務(wù)層節(jié)能，可以采用產(chǎn)值/MWH來(lái)度量機(jī)房的節(jié)能。      由于業(yè)務(wù)需求不同，大型高密度機(jī)房不同模塊之間的可用性級(jí)別可能存在差異，導(dǎo)致其支持設(shè)備配置存在S規(guī)劃設(shè)計(jì)OLUTION METHODS2010年05月· 23 ·機(jī)房技術(shù)與管理顯著差異；不同地區(qū)、不同季節(jié)、不同天氣的瞬時(shí)PUE因氣候原因可存在差異的；一些利于提高PUE的技術(shù)如自由空氣節(jié)能具有明顯的季節(jié)特性。以

14、上原因，使得以月、日甚至分鐘為單位測(cè)量的PUE值測(cè)量結(jié)果難以用于整體評(píng)估一個(gè)機(jī)房的節(jié)能情況。為更精確評(píng)估機(jī)房節(jié)能效果，建議以年度為單位、按可用性等級(jí)分別給予評(píng)價(jià)?？紤]到水資源、氣候因素的影響，可研究制訂全國(guó)的自由空氣節(jié)能和水冷卻系統(tǒng)圖，給全國(guó)的機(jī)房建設(shè)提供指導(dǎo)。五、高密度機(jī)房規(guī)劃案例      用戶需求為按照模塊化設(shè)計(jì)，每個(gè)模塊功率密度為每平米2KVA，按照“整體B級(jí)、局部高可用”的原則進(jìn)行規(guī)劃布局。局部高可用的涵義是指B級(jí)模塊內(nèi)的存儲(chǔ)、核心交換系統(tǒng)在供電保障上按照A級(jí)進(jìn)行設(shè)計(jì)。結(jié)合建筑平面布局，假定模塊尺寸為25米*2米，為避免局部過(guò)載的影響

15、，建筑承重要求達(dá)到每平米1500Kg。標(biāo)準(zhǔn)模塊可以有如下兩種布局方式：      A方案需要采用嚴(yán)格的冷熱通道分離措施，B方案冷熱通道沒(méi)有嚴(yán)格分離，在空調(diào)附近不可避免存在冷熱通道混合的問(wèn)題。       根據(jù)表3送風(fēng)高度與送風(fēng)距離和功率密度關(guān)系速查表，功率密度為每平米2KVA，送風(fēng)距離為9米(已扣減空調(diào)維護(hù)空間)，由該表查得送風(fēng)層高度為900mm，由此，回風(fēng)層高度為136mm，加上機(jī)柜高度、柜頂布線系統(tǒng)、橋架層和消防系統(tǒng)，樓板下凈高為5.36米，折合層高約為5.6米。       圖5為模塊化供配電系統(tǒng)邏輯圖，該連接能夠?qū)Σ煌瑢蛹?jí)的供配電故障，可以在0.4KV、10KV、35KV以上等級(jí)相應(yīng)做出供配電切換，能夠?qū)δK內(nèi)的存儲(chǔ)、核心