數(shù)據(jù)中心面臨制冷難題.ppt

1、數(shù)據(jù)中心面臨制冷難題,服務(wù)器等IT設(shè)備在處理能力得到提高的同時，其散熱量也越來越大，傳統(tǒng)的冷熱通道分開、風(fēng)冷等制冷技術(shù)在給機(jī)柜內(nèi)部以及整個數(shù)據(jù)中心制冷時遭遇到瓶頸，液體制冷技術(shù)開始走到了臺前。 最近用目前最熱 門的IBM BladeCenter服務(wù)器替換其舊服務(wù)器。通過這一舉措ILM公司將把數(shù)據(jù)中心單個機(jī)柜的電能消耗平均減少140千瓦，節(jié)省幅度達(dá)到84%。不過，新機(jī)柜中的熱密度現(xiàn)在更高了：每個機(jī)柜功率達(dá)28千瓦，而之前為24千瓦。這些電能最終都要轉(zhuǎn)換成熱能，而這些熱能必然會透過機(jī)柜散發(fā)到數(shù)據(jù)中心，最后由數(shù)據(jù)中心的空調(diào)系統(tǒng)帶走。,ILM公司主要進(jìn)行電腦特技制作，這些機(jī)柜組成渲染農(nóng)場用以對圖像進(jìn)行

2、處理。每個新機(jī)柜配有84臺刀片服務(wù)器，每個刀片服務(wù)器有2個四核處理器和32GB的內(nèi)存。這些服務(wù)器功能非常強(qiáng)大，與3年前采購的BladeCenter相比，一臺服務(wù)器的處理能力相當(dāng)于過去的7臺。然而，一個新的42U機(jī)柜產(chǎn)生的熱量相當(dāng)9個家用烤箱以最高溫度工作。為了制冷，ILM數(shù)據(jù)中心的空調(diào)系統(tǒng)幾乎是滿負(fù)荷工作。 惠普副總裁兼關(guān)鍵基礎(chǔ)設(shè)施服務(wù)部門總經(jīng)理Peter Gross介紹說，近年來新建的大多數(shù)數(shù)據(jù)中心其設(shè)計制冷能力大都為每平方英尺100200瓦，每個機(jī)柜的制冷能力為4千瓦。而一個數(shù)據(jù)中心的設(shè)計制冷能力達(dá)到200瓦時才能支持平均5千瓦的機(jī)柜熱密度。如果對氣流流向進(jìn)行精心設(shè)計和專門優(yōu)化，機(jī)房的空氣

3、調(diào)節(jié)系統(tǒng)最多可以滿足用電量25千瓦的機(jī)柜的制冷需求。而現(xiàn)在ILM公司的數(shù)據(jù)中心每個機(jī)柜用電達(dá)到28千瓦，這已經(jīng)是現(xiàn)有的機(jī)房空調(diào)系統(tǒng)所能承擔(dān)的最高負(fù)荷了，從事數(shù)據(jù)中心能效研究的IBM 研究員兼首席工程師Roger Schmidt說，“ILM是在挑戰(zhàn)30千瓦的極限，這注定是一個相當(dāng)艱苦的工作?！?計算密度 不宜繼續(xù)增加 現(xiàn)在的問題是:接下來會發(fā)生什么？“未來用電量如果繼續(xù)增加怎么辦？完全可能因為制冷問題無法解決，讓我們不能再往數(shù)據(jù)中心中添加任何設(shè)備。實際上，這個問題已經(jīng)開始顯現(xiàn)出來了。”Schmidt說。 Schmidt認(rèn)為超過30千瓦的高功率密度計算以后將不得不依賴于水冷。不過其他專家表示，數(shù)據(jù)

4、中心的相關(guān)設(shè)備制造商可以通過通力合作降低服務(wù)器的部署成本，使得服務(wù)器不用都擠在機(jī)柜中，而是分開擺放，這樣機(jī)柜中的熱密度就不至于越來越高。 ILM信息技術(shù)總監(jiān)凱文克拉克對采用新的刀片服務(wù)器后獲得的計算能力的提升和節(jié)電效果很滿意，他說這符合當(dāng)今節(jié)能環(huán)保的大趨勢。,根據(jù)IDC的研究，服務(wù)器的平均價格自2004年以來已經(jīng)下降了18，而CPU成本下降了70，達(dá)到715美元。但克拉克不知道如果計算密度成倍增長持續(xù)下去的話，自己的機(jī)房到底還能維持多久。“就現(xiàn)有的機(jī)房設(shè)備而言，如果計算密度加倍的話，從制冷的需求來考慮，是難以滿足需求的?！彼f。 他并不是唯一關(guān)注制冷問題的人。40多年來，計算機(jī)行業(yè)按照摩爾定律

5、規(guī)定的進(jìn)程快速發(fā)展，每兩年計算密度增加一倍?，F(xiàn)在一些工程師和數(shù)據(jù)中心的設(shè)計師們開始懷疑這條道路的可持續(xù)性，因為這條路似乎已走到了盡頭。現(xiàn)在面臨的困難不只是芯片制造商是否能夠克服制造更精密的晶體管所面臨的技術(shù)挑戰(zhàn)，還在于現(xiàn)代數(shù)據(jù)中心要運(yùn)行和管理如此多的高計算密度的機(jī)柜是否經(jīng)濟(jì)。 現(xiàn)代數(shù)據(jù)中心機(jī)柜中安裝的IT設(shè)備越來越多，這不僅意味著機(jī)柜用電量大大增加，還意味著后面的所有輔助設(shè)施的容量和用電量也相應(yīng)增加，包括冷卻系統(tǒng)、配電設(shè)備、UPS和發(fā)電機(jī)等都會按比例增加。這一點(diǎn)值得數(shù)據(jù)中心經(jīng)理注意。,IDC公司在2009年曾調(diào)查了1000家數(shù)據(jù)中心的負(fù)責(zé)人，接受調(diào)查者中21的人將電力和制冷列為數(shù)據(jù)中心當(dāng)前面臨

6、的最大挑戰(zhàn)。將近一半（43）的人說這是它們運(yùn)營成本增加的最主要原因，1/3的人說他們經(jīng)歷過因制冷問題或者電力問題導(dǎo)致的服務(wù)器宕機(jī)。 Christian Belady是微軟全球基礎(chǔ)服務(wù)集團(tuán)經(jīng)驗最豐富的基礎(chǔ)設(shè)施架構(gòu)師，負(fù)責(zé)設(shè)計和管理著微軟最近在美國華盛頓州昆西市建立的數(shù)據(jù)中心。他說，采用高架地板形式的數(shù)據(jù)中心單位建設(shè)成本太高，微軟在昆西的數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)成本占項目總成本的82。 “我們必須改變過去的那種計算密度越高越好的錯誤觀點(diǎn)。”Belady說，“要知道，計算密度加倍意味著所有的輔助設(shè)施、制冷系統(tǒng)容量都要加倍?！?格羅斯說，隨著數(shù)據(jù)中心內(nèi)單位面積上的計算密度增加，雖然整體機(jī)電成本變化不大，

7、但由于功率密度增加而帶來的運(yùn)營成本卻大大增加了。 IBM的施密特表示，對于新建的數(shù)據(jù)中心而言，最大的資金投入不是建筑本身，而是保證公司電力供應(yīng)的設(shè)備成本以及相應(yīng)的制冷成本。計算密度的增加已經(jīng)讓一些大型數(shù)據(jù)中心的建設(shè)項目資金突破了10億美元大關(guān)。 “很多總裁級的人聽說新建數(shù)據(jù)中心要這么高的投入都嚇了一跳?！笔┟芴卣f。 Gartner公司的分析師拉克什庫瑪說，從電力使用和成本的角度來說，功率密度不可能無休止地增長下去。幸運(yùn)的是，大多數(shù)企業(yè)的數(shù)據(jù)中心機(jī)柜的電力消耗暫時還沒有達(dá)到像ILM這樣的水平。Gartner的客戶中約有40其數(shù)據(jù)中心每個機(jī)柜的功率為89千瓦，而有些高達(dá)12至15千瓦，無一例外的是

8、，功率呈明顯上升趨勢。,現(xiàn)在，一些企業(yè)數(shù)據(jù)中心和一些對外提供托管服務(wù)的IDC開始對用電情況進(jìn)行監(jiān)測，并把它作為數(shù)據(jù)中心的依據(jù)之一，而它們在以前只是按照租用空間收費(fèi)的，根本就沒有考慮到底用多少電。更大膽一些的IDC則針對大客戶采用根據(jù)用電量決定收費(fèi)多少，由用戶先提出最高要用多少電，IDC再據(jù)此給其分配相應(yīng)的空間。 按用電量付費(fèi) 而不是空間 不過，指望客戶不僅知道他們需要租用什么樣的設(shè)備，還要了解安裝了這些設(shè)備的機(jī)柜大約需要用多少電，似乎不太現(xiàn)實。,“對于某些客戶來說，這是非?，F(xiàn)實的，”從事服務(wù)器托管服務(wù)的Terremark公司的高級副總裁斯圖爾特反駁說。事實上，Terremark采用這種方法也是

9、響應(yīng)客戶的需求?！翱蛻糁杏胁簧偃苏业轿覀冋f，他們最多需要多少電，讓我們?yōu)樗麄儼才趴臻g?！彼f。如果客戶不知道他的機(jī)柜要用多少電，Terremark也會單獨(dú)給這個公司配一根總電纜，通過這個電纜為客戶的機(jī)柜供電，到時用電情況也就清楚了。 IBM的施密特認(rèn)為，功率密度還有可能進(jìn)一步增加，但數(shù)據(jù)中心的制冷方案需要改變。 ILM的數(shù)據(jù)中心完成于2005年，設(shè)計供電能力為每平方英尺200瓦，從機(jī)房來說這個電力供應(yīng)和制冷能力已經(jīng)足夠了，現(xiàn)在的問題是沒有方法能有效地解決高密度機(jī)柜內(nèi)部的制冷。,ILM公司采用了冷/熱通道的設(shè)計，同時管理人員對通往冷通道的格柵板的數(shù)量和位置進(jìn)行了調(diào)整，從而對流經(jīng)機(jī)柜內(nèi)的氣流進(jìn)行了

10、優(yōu)化。即便如此，為了避免機(jī)柜內(nèi)的局部熱點(diǎn)，空調(diào)系統(tǒng)必須保證整個13500平方英尺的機(jī)房不超過18.5攝氏度。 克拉克知道這有些浪費(fèi)，今天的IT設(shè)備設(shè)計運(yùn)行溫度高達(dá)27攝氏度以上，所以他正在關(guān)注一種稱為冷通道密封的技術(shù)。 實際上，已經(jīng)有一些數(shù)據(jù)中心在試驗對一些高熱密度地方的冷熱通道進(jìn)行密封，包括通道兩端設(shè)上大門，為防止熱空氣和冷空氣通過機(jī)柜頂端到天花板之間的空隙混合，這些位置也用隔板封上。除了這些辦法之外，有的數(shù)據(jù)中心還讓冷空氣直接進(jìn)入機(jī)柜底部，在機(jī)柜內(nèi)與IT設(shè)備進(jìn)行熱交換，然后逐步上升，最后通過機(jī)柜頂部的出口進(jìn)入回風(fēng)道，再通過天花板頂部的管道返回，從而創(chuàng)造出一個閉環(huán)的制冷系統(tǒng)，徹底避免冷、熱氣

11、流的混合。,“冷/熱通道的方法其實還是傳統(tǒng)的方法，而不是最優(yōu)的?！卑Ｉ軘?shù)據(jù)中心技術(shù)經(jīng)理和運(yùn)營經(jīng)理Rocky Bonecutter說：“最新的趨勢是鋪設(shè)圍欄，對冷熱氣流進(jìn)行分流。” 據(jù)惠普的Gross估計，如果數(shù)據(jù)中心利用這種技術(shù)，普通的機(jī)房空調(diào)系統(tǒng)可以最高滿足每個機(jī)柜25千瓦左右的制冷需求?！爱?dāng)然，這需要仔細(xì)地對冷熱氣流進(jìn)行隔離、防止串流，還要對氣流路線進(jìn)行優(yōu)化。這些工作必須固定下來，成為一種例行工作。”他說。 雖然按照現(xiàn)在的標(biāo)準(zhǔn)來重新設(shè)計數(shù)據(jù)中心，能降低能耗和解決制冷的難題，然而，單個機(jī)柜的功率卻是越來越大，最新安裝刀片服務(wù)器的機(jī)柜每個功率已經(jīng)超過25千瓦。在過去的5年里，IT一直在不斷對

12、機(jī)柜、高架地板等進(jìn)行重新設(shè)計以及對氣流進(jìn)行優(yōu)化，最顯而易見的成果是提高了電能的利用率。如果機(jī)柜內(nèi)的熱密度繼續(xù)上升，安裝密封的圍欄將是確保機(jī)房制冷的最后一招了。,從風(fēng)冷換成液冷？,為了解決高熱密度機(jī)柜中的熱點(diǎn)問題，一些數(shù)據(jù)中心已經(jīng)開始轉(zhuǎn)向到液體制冷。最常用的液體冷卻技術(shù)稱為緊耦合制冷，也就是用管道將冷凍液（通常為水或乙二醇）輸送到高架地板之上或者直接把冷凍液輸送到機(jī)柜內(nèi)部，然后通過風(fēng)和冷凍液之間的熱交換達(dá)到給機(jī)柜內(nèi)部降溫的目的。庫瑪估計，Gartner 20的企業(yè)在使用某種類型的液體制冷，至少在一些高密度的機(jī)柜里已經(jīng)用到了液體制冷。 IBM的施密特說，那些采用機(jī)房整體制冷的數(shù)據(jù)中心，尤其是那些為

13、了應(yīng)對高熱密度不得不采用更大的柜式空調(diào)的數(shù)據(jù)中心，采用液體制冷可以節(jié)省一筆不小的電費(fèi)。 但微軟的Belady認(rèn)為液體制冷僅限于一個相對較窄的領(lǐng)域：高性能計算?！叭绻阆氚阎评溆玫囊后w送到芯片，成本馬上就會上升?！彼f，“遲早有人會問這樣一個問題：這種方法成本那么高，為什么我還要用？”,Belady認(rèn)為遏制計算密度不斷上漲勢頭的最好方法是改變數(shù)據(jù)中心的收費(fèi)方式。微軟如今已經(jīng)改變了它的成本分?jǐn)傓k法，不再是僅僅根據(jù)用戶的占地面積和機(jī)柜的利用率來收費(fèi)，而是開始把用戶的用電量考慮進(jìn)來。而采用這種收費(fèi)辦法之后，局面馬上得到了改觀，每個機(jī)柜的用電量開始下降?！叭绻杀景凑沼秒娏縼砜己说脑?，機(jī)柜內(nèi)的熱密度自然

14、會下降?！彼f。 自從微軟開始按照用電量收費(fèi)以來，其用戶的關(guān)注重點(diǎn)從在盡可能小的空間中獲得最強(qiáng)大的處理能力轉(zhuǎn)變?yōu)橛米钚〉碾娏ο墨@得最大的處理能力?！斑@并不是說收費(fèi)策略改變后機(jī)柜內(nèi)就一定不會出現(xiàn)高熱密度，最終要取決于所提出的解決方案總體能源效率。但是，如果你是按照占用空間的多少收費(fèi)，100會導(dǎo)致高熱密的?！?Belady說。,今天，很多IT設(shè)備供應(yīng)商的產(chǎn)品是按最高熱密度設(shè)計的，用戶往往也愿意為了節(jié)省機(jī)房地面空間而購買更貴的適應(yīng)高熱密度環(huán)境的服務(wù)器等設(shè)備。因為很多機(jī)房的收費(fèi)是按照占用的機(jī)房空間來計算的。殊不知，更高的用電量會帶來電力分配設(shè)備和制冷用電量的相應(yīng)增加，由此導(dǎo)致電能利用率下降。實際上，

15、營運(yùn)成本中80會隨著用電量的增加而增加，比如機(jī)電基礎(chǔ)設(shè)施必須為機(jī)柜輸送所需的電力，同時為這些機(jī)柜內(nèi)的設(shè)備制冷。 Belady以前曾是惠普公司的一名非常杰出的工程師，從事服務(wù)器的設(shè)計工作。他說，IT設(shè)備的設(shè)計就應(yīng)該考慮到讓設(shè)備能在較高的溫度下可靠工作。比如用電設(shè)備要設(shè)計為最高在27攝氏度以上的溫度下工作。目前的設(shè)計溫度是2004年制訂的，這一年ASHRAE（美國社會、制冷及空調(diào)工程師協(xié)會）規(guī)定設(shè)計溫度為72華氏度（22.2攝氏度）。,不過，Belady認(rèn)為數(shù)據(jù)中心設(shè)備在27度以上的溫度運(yùn)行，可能帶來更高的用電效率?！耙坏C(jī)房允許在較高的溫度下運(yùn)行，機(jī)會之門就被打開了。比如，你可以利用室外的空氣來

16、為機(jī)房降溫，這樣你就無需安裝這么多的冷卻設(shè)備，不過，機(jī)柜的熱密度不能太高。”他說，有些處于氣溫比較低的地方的數(shù)據(jù)中心已經(jīng)開始嘗試在冬天關(guān)閉冷卻機(jī)組，而直接使用室外的冷空氣來免費(fèi)給機(jī)房降溫。 如果IT設(shè)備可以在35攝氏度下正常工作，很多數(shù)據(jù)中心幾乎可以全年不用空氣冷卻器。Belady接著說:“而如果IT設(shè)備在50攝氏度下也可以正常工作，那世界上所有的數(shù)據(jù)中心都不再需要空調(diào)了，這將完全改變數(shù)據(jù)中心的運(yùn)營方式。不幸的是，至少現(xiàn)在看來是不太可能的?！?Belady希望IT設(shè)備能更結(jié)實一些，但他也認(rèn)為，服務(wù)器實際上比大多數(shù)數(shù)據(jù)中心的管理者所設(shè)想的要結(jié)實。他說整個行業(yè)需要重新思考如何運(yùn)營和管理分布式計算系

17、統(tǒng)。 Belady說，理想的策略是要開發(fā)出一種系統(tǒng)，這個系統(tǒng)中每個機(jī)柜是針對某個特定的功率密度和工作負(fù)載進(jìn)行專門優(yōu)化的，這可以確保每個機(jī)柜始終性能最佳、最節(jié)能。這樣，不管是供電還是制冷資源都將得到最有效的利用，既沒有過度利用也不浪費(fèi)。“如果你的基礎(chǔ)設(shè)施沒有得到充分使用，從可持續(xù)性的角度而言，與過度利用相比這是一個更大的問題?！彼f。,未來會怎么樣？ Belady認(rèn)為，未來數(shù)據(jù)中心可能向兩個方向演進(jìn):高性能計算將采用液體制冷，而其他的企業(yè)數(shù)據(jù)中心和基于互聯(lián)網(wǎng)的數(shù)據(jù)中心（如微軟的數(shù)據(jù)中心）仍然會繼續(xù)沿用風(fēng)冷的制冷方式。不過，這些數(shù)據(jù)中心可能會遷往地價更便宜、電力成本更低的地方，這樣才能繼續(xù)擴(kuò)大規(guī)模

18、。 戴爾企業(yè)產(chǎn)品部CTO Paul Prince認(rèn)為，大多數(shù)數(shù)據(jù)中心不會很快遇到高功率密度的問題。每個機(jī)架的平均功率密度仍然在機(jī)房空調(diào)系統(tǒng)可以承受的范圍內(nèi)。他說，冷熱通道分離的方法和設(shè)計圍欄進(jìn)行冷熱氣流隔離等方法人為地在機(jī)房中開辟出了一個“冷卻區(qū)”，在一定程度上解決數(shù)據(jù)中心局部熱點(diǎn)問題?！皵?shù)據(jù)中心的功率密度和熱密度肯定將繼續(xù)上升。但是，這種變化一定是漸進(jìn)的?！备嘈畔⒁?臺灣服務(wù)器 在ILM公司，克拉克注意到采用液體作為制冷劑的緊耦合制冷方式是一個大趨勢，不過，他和大多數(shù)同行一樣，對在數(shù)據(jù)中心用液體作為冷媒還有些不放心。但他也認(rèn)為，高性能的基礎(chǔ)設(shè)施必須采用這些新的辦法。 “雖然暫時有些難以接受，但是既然液體制冷是個大趨勢，我們會盡快改變我們的觀念，只要這些技術(shù)能真正幫助我們解決問題?！笨死苏f。,數(shù)據(jù)中心節(jié)能八招,1.升級服務(wù)器。新一代服務(wù)器提供更強(qiáng)大的處理能力，而且更節(jié)能。同時，盡量采購那些高能效標(biāo)準(zhǔn)的服務(wù)器設(shè)備，