數(shù)據(jù)中心運行的幾個坑

數(shù)據(jù)中心建設(shè)的幾個坑單位：中國移動北京公司日期：2014年7月目錄2我什么也不管，只要安全？1我什么都不懂，可什么都敢答應(yīng)？5方法介紹4DCIM的幾個建議3IDC機房界面IDC機房標(biāo)準(zhǔn)前言90年代，有位老師做了實驗，當(dāng)水溫60度的時候，青蛙就從水中跳出來了。所以大家都這么說，但實際上可能不是這么回事。IDC又何嘗不是一個溫水煮青蛙的故事。成本（萬元/年）民營電信北京移動帶寬購買費468-409網(wǎng)絡(luò)（按5年折舊）11025142271電費36021771355房租240-224人工成本300301288運維成本

1080663總成本147860725210成本收入率74%84%84%總機架數(shù)200900560每機架網(wǎng)絡(luò)投資2.892.794.06每機架電費（萬元.年）1.82.422.42每機架房租1.2-0.40每機架人工運維1.51.531.70每機架收入10811.09每機架平均成本7.396.759.30每機架毛利2.611.251.78凈利率20%12%12%2009年數(shù)據(jù)，當(dāng)時只有560個銷售機架，目前已經(jīng)有了6000多，5年成長了10倍以上我什么都不懂，可什么都敢答應(yīng)-小坑IDC到底掙錢不掙錢？是每個領(lǐng)導(dǎo)都要問的問題，所以需要大量的成本核算工作。我什么都不懂，可什么都敢答應(yīng)-小坑IDC機房是作為產(chǎn)品銷售的，在一個充分競爭的市場，銷售人員為了完成銷售指標(biāo)，以滿足客戶需求為宗旨，答應(yīng)了客戶各種合理或者不合理的要求。比如：1、機房溫度24度。冷熱通道的機房怎么解決？2、72小時柴油后備。上哪放那么大的油庫？安全合規(guī)嗎？3、全雙路供電，雙總線，還能提供直流供電。配電結(jié)構(gòu)一下復(fù)雜了？4、高密機柜要求水冷空調(diào)具有不間斷制冷能力。水泵配UPS，配得起嗎？再說就這么幾個高密，值嗎？5、外電不中斷。柴油發(fā)電機應(yīng)急演練怎么辦？6、3路外電，一路都不能少。當(dāng)初誰告訴他的呀？。。。。接待室、會議室、庫房、停車位、電力施工。。。最核心的問題：還沒當(dāng)過乙方，還不會當(dāng)乙方。態(tài)度生硬客戶跑了，一味從了的話，后臺支撐不了。我什么都不懂，可什么都敢答應(yīng)我什么都不懂，可什么都敢答應(yīng)我什么都不懂，可什么都敢答應(yīng)我什么都不懂，可什么都敢答應(yīng)-小坑我什么都不懂，可什么都敢答應(yīng)-小坑能耗密度[kw/架]我什么都不懂，可什么都敢答應(yīng)-大坑Capex：capitionexpense一般只資金、固定資產(chǎn)的投入。對數(shù)據(jù)中心來說，可以簡單理解為拿地、建樓、購買機房內(nèi)一切基礎(chǔ)設(shè)施及IT設(shè)備的一次性投資Opex：opreatingexpense既運營成本，可以理解為每年為了維持?jǐn)?shù)據(jù)中心運營的費用性支出，如電費、柴油、人力、維保等等，當(dāng)然還有折舊。IDC機房的建設(shè)基本上是拿地、地勘、報建、咨詢、建設(shè)設(shè)計、機房設(shè)計、it設(shè)計等等。但是這事正好干反了，因為IDC我們還不知道用戶是誰，他的主要功率密度，什么IT設(shè)備，所以，方案的靈活性要求很高，但是。。。。。。我什么也不管，只要安全？運維部門的KPI全年無重大故障，不影響業(yè)務(wù)能耗降低計劃部門考核要求：投資完成比建設(shè)部門考核要求：是否按時交資“考核什么，就得到什么”考核的是安全，收支兩條線，掙多少錢和維護的無關(guān)，有關(guān)的只有安全建設(shè)成本和維護無關(guān)我什么也不管，只要安全？每臺機柜占純機房面積約為2.5m2，TierIII標(biāo)準(zhǔn)純機房面積和總建筑面積比例約為1:3，比如3000臺IT機柜的機房面積約為7500m2，總建筑面積約為22500m2，如IT機房滅火方式為氣體滅火（根據(jù)氣體滅火設(shè)計規(guī)格要求每個防護區(qū)最大容積不宜大于3600m3）IT機房模塊約為15個，每個IT模塊約為為500+120m2（精密空調(diào)面積）；總建筑面積約為22500m2包括7500m2的IT模塊機房，高壓配電室、電力控制室、柴油發(fā)電機房、雨淋閥組間、冷凍站、消防控制室、電信介入間、氣體鋼瓶間、變電所及UPS室、電池間、網(wǎng)絡(luò)核心間等。目前移動公司的水平，10個平米出一個機柜。民營的可以做到5平米一個機柜。我什么也不管，只要安全？計算PUE，需要在如圖2所示的數(shù)據(jù)中心的供配電系統(tǒng)示意圖中，測量數(shù)據(jù)中心總耗電及IT設(shè)備耗電，具體測量點如下：1)數(shù)據(jù)中心總耗電在正常情況下，數(shù)據(jù)中心的電能由市電提供，測量點應(yīng)取市電輸入變壓器之前，即圖2中的M1點。當(dāng)市電故障情況下，柴油發(fā)電機產(chǎn)生的電力（圖2中的M2點）作為數(shù)據(jù)中心總耗電的測量點。如果是多用途機房樓，數(shù)據(jù)中心總耗電計算中，需減去在M4點測量的辦公等其它耗電。2)IT設(shè)備耗電嚴(yán)格來說，IT設(shè)備耗電應(yīng)該在各IT設(shè)備輸入電源處測量耗電量并進行加總，但由于IT設(shè)備數(shù)量較多，這一方法將大大增加測量工作量和成本。因此，在實際操作中，可在各路UPS輸出或者列頭柜配電輸入處進行測量后，將測量值加總作為IT設(shè)備耗電。每一路供電的IT設(shè)備測量點即圖2中的M3點。計量的顆粒度較粗。我什么也不管，只要安全？能耗指標(biāo)的數(shù)值受各種因素的影響，會隨季節(jié)、節(jié)假日和每天忙閑時段的改變發(fā)生變化，因此為全面、準(zhǔn)確了解數(shù)據(jù)中心的能效，應(yīng)采用固定測量儀表，對數(shù)據(jù)中心能耗進行持續(xù)、長期的測量和記錄。若數(shù)據(jù)中心未安裝固定測量設(shè)備，可采用鉗形功率計等設(shè)備測量數(shù)據(jù)中心及IT設(shè)備等的短時用電量。測量的周期和頻率如下：(a)每次測量不小于一小時；(b)每天測量不少于2次，在業(yè)務(wù)忙時和閑時進行測量；(c)每月不少于3天，可在5日、15日、25日進行測量。數(shù)據(jù)中心應(yīng)根據(jù)連續(xù)或多次短時累計的數(shù)據(jù)中心總耗電、IT設(shè)備耗電等測量值（單位為KWh）來計算PUE等能效指標(biāo)。如無特殊說明，數(shù)據(jù)中心的PUE、pPUE、CLF、PLF和RER等能效指標(biāo)，是指采用固定測量儀表，在指定測量點測量并記錄至少一年的數(shù)據(jù)。數(shù)據(jù)中心如果選擇公布季度、月份、周、天或小時發(fā)布能效數(shù)據(jù)，應(yīng)對其能效周期加以說明。其中季度可按照春季（3月～5月）、夏季（6月～8月）、秋季（9月～11月）、冬季（12月～2月）劃分。能耗計量的周期沒有固化。我什么也不管，只要安全？機柜密度：3KW/Rack，功率密度：1.26KW/m2–1.65KW/m2，PUE＝1.6-1.8平面布局：面對面，背靠背；冷通道1200mm，熱通道為1200mm

封閉冷通道，通過熱通道自然回風(fēng)；氣流組織:風(fēng)冷DX型空調(diào)與主設(shè)備機柜放置在同一房間內(nèi)，若單獨隔開，則需要額外15％－25％的空間（冷凍水或水冷卻型需要單獨隔開）；采用下送風(fēng)，上回風(fēng)設(shè)計；送風(fēng)距離小于15－20m時可以采用單排送風(fēng)，送風(fēng)距離大于15－20m時，要采用雙排送風(fēng)設(shè)計地板高度:500-600mm，機柜上方高度1000mm左右，走線方式：強電、弱電線槽均采用機柜上走線方式；機柜內(nèi)氣流：前進后出，服務(wù)器、交換機等設(shè)備間做盲板隔離，防止熱風(fēng)回流；冷通道送風(fēng)溫度：18度-24度（在允許情況下盡可能提高送風(fēng)溫度），送風(fēng)濕度：24攝氏度時,相對濕度為35%-60%；18攝氏度時，相對濕度為45%-80%之間；機房專用空調(diào)類型：冷凍水型、乙二醇干冷器水冷型、DX直接蒸發(fā)風(fēng)冷型；均可以使用自然冷卻技術(shù)，節(jié)能效果比較好的是冷凍水系統(tǒng)配板換自然冷卻技術(shù)，和乙二醇干冷器水冷型雙盤管自然冷卻技術(shù)；供電設(shè)計：雙總線供電設(shè)計或矩陣式多總線供電設(shè)計（3路或4路交錯供電）按照UptimeInstitute（正常運行時間研究所）的標(biāo)準(zhǔn)分為4類

TIER1: 簡單的非冗余建筑構(gòu)件

IT的簡單非冗余分配網(wǎng)絡(luò)TIER2: 冗余建筑構(gòu)件

IT的簡單非冗余分配網(wǎng)絡(luò)TIER3: 冗余建筑構(gòu)件

多分配網(wǎng)絡(luò)

(任何時候每臺服務(wù)器都只有一個分配網(wǎng)絡(luò))TIER4: 冗余建筑構(gòu)件

多分配網(wǎng)絡(luò)

(每臺服務(wù)器同時有多個分配網(wǎng)絡(luò))IDC機房標(biāo)準(zhǔn)IDC機房標(biāo)準(zhǔn)DCIM真的管用嗎？××UMG現(xiàn)場采集結(jié)構(gòu)圖

各級智能

配電柜

UPS

CRAH

水浸

煙感

門磁

紅外

采集器

PDU

電池組

油機

開關(guān)電源

電池監(jiān)測儀

各級非智

能配電柜

智能電量儀非智能

設(shè)備

變送器

環(huán)境傳感器

服務(wù)器

網(wǎng)絡(luò)、

存儲

設(shè)備

KVM

IQ

串口轉(zhuǎn)接頭

SP端口

IT基礎(chǔ)設(shè)施

智能動力基礎(chǔ)設(shè)施

非智能動力基礎(chǔ)設(shè)施

ModbusIPSNMPBACnetVelocity

BACnet

Rs485

Rs485

IO

IPMI

SSHTelnet

ModbusIPSNMP

UMG通用管理網(wǎng)關(guān)

數(shù)字溫濕度

數(shù)字漏水

檢測儀

電源分配單元PDU測定連接設(shè)備的能耗部分也可以測量溫度和濕度通過分析->找出節(jié)能點潛力->更高的服務(wù)器負(fù)荷開/關(guān)不用的設(shè)備(通過IP或者SNMP)DCIM的幾個建議購買：1、貴；2、水土不服；3、怎么升級；4、如何完善。DCIM的幾個建議自建：1、構(gòu)架；2、人員；3、操作VDI3922中規(guī)定的能源審計方法學(xué)能源審計//定義測量1.能源審計的方案建立聯(lián)系報價和簽約了解現(xiàn)狀展示和評價現(xiàn)狀數(shù)據(jù)材料充分嗎？合理利用能源的措施開發(fā)總體方案實施和成果監(jiān)控匯報和咨詢報告評估和措施篩選確定審計的范圍2.組織和規(guī)劃能源審計//能源審計的流程范圍窄寬精度粗細(xì)目的闡述建議能源審計的劃分2.組織和規(guī)劃能源審計//能源審計的流程范圍檢查模型分析模型針對系統(tǒng)的

能源審計

初步審計逐點審計預(yù)備性能源審計針對性能源審計綜合性能源審計精確度初步能源審計能源消費結(jié)構(gòu)不復(fù)雜的情況下大部分實際情況和措施事先都已經(jīng)明了

準(zhǔn)備性能源審計（初步審計）對于大型企業(yè)或者建筑物經(jīng)常以項目組的形式進行逐條能源審計（選擇性審計）未明確定義的審計領(lǐng)域或者工藝審計師可以自由選擇考查范圍針對性能源審計（目標(biāo)性審計）由用戶規(guī)定考察的范圍某些范圍可以排除在外綜合性能源審計（全面審計）最精確的一種審計（涉及到所有相關(guān)領(lǐng)域）開發(fā)所有可能的措施針對特定系統(tǒng)的能源審計選出任務(wù)領(lǐng)域（比如壓縮空氣、電力驅(qū)動等）2.組織和規(guī)劃能源審計//能源審計的流程能源審計的節(jié)點能源審計//能源審計的流程2.組織和規(guī)劃管理系統(tǒng)能源審計措施實施其他設(shè)施培訓(xùn)能源消耗記錄能源管理環(huán)境管理自覺意識形成的管理有關(guān)員工自覺意識的形成無成本措施低成本措施高成本措施框架條件環(huán)境活動質(zhì)量和安全標(biāo)準(zhǔn)典型的能源審計流程第一步：

啟動活動收集相關(guān)的一般性信息第二步：

現(xiàn)場考察獲得相關(guān)領(lǐng)域的概況第三步：

收集和分析現(xiàn)有文件分析和移交現(xiàn)有的相關(guān)資料第四步：

數(shù)據(jù)收集和測量收集并測量相關(guān)設(shè)備的數(shù)據(jù)第五步：

對相關(guān)領(lǐng)域進行約談收集和澄清相關(guān)領(lǐng)域的必要的信息第六步：

對能源供應(yīng)進行分析分析現(xiàn)有的測量系統(tǒng)/能源結(jié)算單評估2.組織和規(guī)劃能源審計//能源審計的流程典型的能源審計流程第七步：

措施開發(fā)節(jié)能措施的提出、規(guī)劃、可行性研究以及評估第八步：

經(jīng)濟性分析對措施的經(jīng)濟行進行分析第九步：

編寫審計報告編寫一份審計報告，包括措施以及經(jīng)濟性分析第十步：

展示能源審計結(jié)果向企業(yè)展示和匯報審計結(jié)果并融合企業(yè)的意見報告確定措施2.組織和規(guī)劃能源審計//能源審計的流程審計報告確定措施的清單羅列所有措施，包括能源、經(jīng)濟和生態(tài)評價等企業(yè)的基本數(shù)據(jù)能源價格能耗、生產(chǎn)數(shù)據(jù)、參照標(biāo)準(zhǔn)能量流、能量平衡相關(guān)的能源用戶確定的措施現(xiàn)狀描述展示優(yōu)化措施能源評價經(jīng)濟性評價生態(tài)評價所有措施的清單措施建議根據(jù)規(guī)定的標(biāo)準(zhǔn)對措施進行排序?qū)嵤┐胧┙M合的建議2.組織和規(guī)劃能源審計//能源審計的流程確定審計的目標(biāo)和范圍確定觀察界限選擇所包括的設(shè)備和能源方面，以及考察的詳細(xì)程度確定審計目標(biāo)選擇考察的領(lǐng)域（全面審計/專項審計）審計的范圍提出為達(dá)到審計目的所必需的時間和人力成本審計標(biāo)準(zhǔn)提出測量審計時應(yīng)遵循的標(biāo)準(zhǔn)，詳細(xì)程度確定框架條件定義公開的邊界條件（如能源價格）定義影響的程度（比如生產(chǎn)目標(biāo)，停產(chǎn)等）能源審計//能源審計的流程2.組織和規(guī)劃確定審計的目標(biāo)全面審計考察所有和能源有關(guān)的領(lǐng)域（通用技術(shù)和工藝技術(shù)），比如建筑物能源證明企業(yè)的能源審計二氧化碳審計專項審計考察一個企業(yè)內(nèi)部的單個領(lǐng)域（通用技術(shù)或者工藝技術(shù)），比如壓縮空氣審計電力驅(qū)動熱量圖能源審計//能源審計的流程通用技術(shù)：用途不僅僅局限在一個行業(yè)/部門的技術(shù)工藝技術(shù)：在各自行業(yè)內(nèi)應(yīng)用的不同的生產(chǎn)工藝2.組織和規(guī)劃全面審計專項審計壓縮空氣電力驅(qū)動照明熱能生產(chǎn)資源規(guī)劃/結(jié)構(gòu)和流程組織規(guī)劃確定為實現(xiàn)目標(biāo)所需的資金和物資

實現(xiàn)各個工作步驟各需要幾天時間？需要哪些物資（軟件/硬件）？人員規(guī)劃是否需要些外部專家？（比如進行測量和模擬等）根據(jù)專業(yè)能力和個人能力選擇審計團隊；審計師的中立性規(guī)劃組織構(gòu)成各項活動的責(zé)任規(guī)劃規(guī)劃日程組織需要進行的工作步驟的規(guī)劃能源審計//能源審計的流程2.組織和規(guī)劃能源審計//能源審計的流程典型的能源審計項目規(guī)劃2.組織和規(guī)劃日期和時間準(zhǔn)備編寫必要的問卷分發(fā)問卷準(zhǔn)備用戶數(shù)據(jù)對獲得的數(shù)據(jù)進行評估考察工廠項目啟動會議收集數(shù)據(jù)、進行測量對收集的數(shù)據(jù)進行評估確定節(jié)能措施項目思路的中期匯報制定措施，編寫報告對收集的數(shù)據(jù)進行詳細(xì)分析建立能量平衡和材料流建立能量流和對標(biāo)制定節(jié)能措施計算節(jié)能量和經(jīng)濟性分析文獻資料編寫中期報告提交中期報告客戶對中期報告進行評價提出意見編寫最終報告提交最終報告準(zhǔn)備匯報資料進行最終結(jié)果匯報結(jié)束考察典型的能源審計規(guī)劃能源審計//能源審計的流程活動建筑物工廠天數(shù)天數(shù)數(shù)據(jù)收集13數(shù)據(jù)評估13節(jié)能項目分析25編寫報告12編寫匯報材料0.81.3匯報0.20.22.組織和規(guī)劃典型的根據(jù)領(lǐng)域/活動進行安排的物資、人員和職責(zé)規(guī)劃能源審計//能源審計的流程領(lǐng)域/活動物資人員/職責(zé)分工能源中心煙氣分析專家A工藝A熱敏照相機專家A,B工藝B---專家C壓縮空氣電流卡鉗專家B污水處理設(shè)備---專家C編寫報告電腦專家A,B,C準(zhǔn)備匯報材料電腦專家A,B,C匯報電腦/投影儀專家A,B,C2.組織和規(guī)劃根據(jù)審計目標(biāo)制定詳細(xì)的審計內(nèi)容規(guī)劃需要哪些程序？工作步驟、模擬、測量編寫問卷提前收集相關(guān)領(lǐng)域的數(shù)據(jù)編寫審計的檢查清單審計過程的檢查清單能源審計//能源審計的流程檢查清單現(xiàn)有哪些與能源相關(guān)的設(shè)備在運行？現(xiàn)場采用了哪些與能源相關(guān)的工藝？現(xiàn)場與能源相關(guān)的設(shè)備是如何相互連接的？利用哪些參數(shù)確定單體設(shè)備的能耗？有否主體設(shè)備/工藝的能量平衡？2.組織和規(guī)劃典型的建筑物檢查清單何時建造？有多少層？總供熱面積是多少？存在哪些圖紙以及是否可供使用？外墻部分是如何構(gòu)建的？尺寸多大？安裝有哪種門窗，有多少？是否有相鄰建筑？建筑物內(nèi)是否有不同的溫度區(qū)間？熱水和室內(nèi)供暖是如何提供的？熱水和室內(nèi)供暖是如何分配的？熱水和室內(nèi)供暖的主導(dǎo)溫度是多少？供熱管網(wǎng)的分配管道是否保溫絕熱？建筑物內(nèi)的自然/機械換氣（通風(fēng)）率是多少？…..能源審計//能源審計的流程2.組織和規(guī)劃能源審計//能源審計的流程典型的工業(yè)企業(yè)檢查清單企業(yè)何時建成？企業(yè)生產(chǎn)何種產(chǎn)品？年產(chǎn)量多大？企業(yè)在什么時間生產(chǎn)？企業(yè)廠生產(chǎn)采用了哪些工藝步驟？是否有計劃年度停產(chǎn)？有否特殊的安全技術(shù)設(shè)備？企業(yè)有多少職工？企業(yè)使用何種能源載體？每年各種能源載體的消耗量是多少？每種能源載體的價格是多少？各種能源載體的主要用戶是哪些？是否有主要耗能用戶的資料？企業(yè)自己是否按照不同的部門、機器和驅(qū)動器等分類進行能耗測