數(shù)據(jù)中心運(yùn)行的幾個(gè)坑

數(shù)據(jù)中心建設(shè)的幾個(gè)坑單位：中國移動(dòng)北京公司日期：2014年7月目錄2我什么也不管，只要安全？1我什么都不懂，可什么都敢答應(yīng)？5方法介紹4DCIM的幾個(gè)建議3IDC機(jī)房界面IDC機(jī)房標(biāo)準(zhǔn)前言90年代，有位老師做了實(shí)驗(yàn)，當(dāng)水溫60度的時(shí)候，青蛙就從水中跳出來了。所以大家都這么說，但實(shí)際上可能不是這么回事。IDC又何嘗不是一個(gè)溫水煮青蛙的故事。成本（萬元/年）民營電信北京移動(dòng)帶寬購買費(fèi)468-409網(wǎng)絡(luò)（按5年折舊）11025142271電費(fèi)36021771355房租240-224人工成本300301288運(yùn)維成本

1080663總成本147860725210成本收入率74%84%84%總機(jī)架數(shù)200900560每機(jī)架網(wǎng)絡(luò)投資2.892.794.06每機(jī)架電費(fèi)（萬元.年）1.82.422.42每機(jī)架房租1.2-0.40每機(jī)架人工運(yùn)維1.51.531.70每機(jī)架收入10811.09每機(jī)架平均成本7.396.759.30每機(jī)架毛利2.611.251.78凈利率20%12%12%2009年數(shù)據(jù)，當(dāng)時(shí)只有560個(gè)銷售機(jī)架，目前已經(jīng)有了6000多，5年成長了10倍以上我什么都不懂，可什么都敢答應(yīng)-小坑IDC到底掙錢不掙錢？是每個(gè)領(lǐng)導(dǎo)都要問的問題，所以需要大量的成本核算工作。我什么都不懂，可什么都敢答應(yīng)-小坑IDC機(jī)房是作為產(chǎn)品銷售的，在一個(gè)充分競爭的市場，銷售人員為了完成銷售指標(biāo)，以滿足客戶需求為宗旨，答應(yīng)了客戶各種合理或者不合理的要求。比如：1、機(jī)房溫度24度。冷熱通道的機(jī)房怎么解決？2、72小時(shí)柴油后備。上哪放那么大的油庫？安全合規(guī)嗎？3、全雙路供電，雙總線，還能提供直流供電。配電結(jié)構(gòu)一下復(fù)雜了？4、高密機(jī)柜要求水冷空調(diào)具有不間斷制冷能力。水泵配UPS，配得起嗎？再說就這么幾個(gè)高密，值嗎？5、外電不中斷。柴油發(fā)電機(jī)應(yīng)急演練怎么辦？6、3路外電，一路都不能少。當(dāng)初誰告訴他的呀？。。。。接待室、會(huì)議室、庫房、停車位、電力施工。。。最核心的問題：還沒當(dāng)過乙方，還不會(huì)當(dāng)乙方。態(tài)度生硬客戶跑了，一味從了的話，后臺(tái)支撐不了。我什么都不懂，可什么都敢答應(yīng)我什么都不懂，可什么都敢答應(yīng)我什么都不懂，可什么都敢答應(yīng)我什么都不懂，可什么都敢答應(yīng)-小坑我什么都不懂，可什么都敢答應(yīng)-小坑能耗密度[kw/架]我什么都不懂，可什么都敢答應(yīng)-大坑Capex：capitionexpense一般只資金、固定資產(chǎn)的投入。對數(shù)據(jù)中心來說，可以簡單理解為拿地、建樓、購買機(jī)房內(nèi)一切基礎(chǔ)設(shè)施及IT設(shè)備的一次性投資Opex：opreatingexpense既運(yùn)營成本，可以理解為每年為了維持?jǐn)?shù)據(jù)中心運(yùn)營的費(fèi)用性支出，如電費(fèi)、柴油、人力、維保等等，當(dāng)然還有折舊。IDC機(jī)房的建設(shè)基本上是拿地、地勘、報(bào)建、咨詢、建設(shè)設(shè)計(jì)、機(jī)房設(shè)計(jì)、it設(shè)計(jì)等等。但是這事正好干反了，因?yàn)镮DC我們還不知道用戶是誰，他的主要功率密度，什么IT設(shè)備，所以，方案的靈活性要求很高，但是。。。。。。我什么也不管，只要安全？運(yùn)維部門的KPI全年無重大故障，不影響業(yè)務(wù)能耗降低計(jì)劃部門考核要求：投資完成比建設(shè)部門考核要求：是否按時(shí)交資“考核什么，就得到什么”考核的是安全，收支兩條線，掙多少錢和維護(hù)的無關(guān)，有關(guān)的只有安全建設(shè)成本和維護(hù)無關(guān)我什么也不管，只要安全？每臺(tái)機(jī)柜占純機(jī)房面積約為2.5m2，TierIII標(biāo)準(zhǔn)純機(jī)房面積和總建筑面積比例約為1:3，比如3000臺(tái)IT機(jī)柜的機(jī)房面積約為7500m2，總建筑面積約為22500m2，如IT機(jī)房滅火方式為氣體滅火（根據(jù)氣體滅火設(shè)計(jì)規(guī)格要求每個(gè)防護(hù)區(qū)最大容積不宜大于3600m3）IT機(jī)房模塊約為15個(gè)，每個(gè)IT模塊約為為500+120m2（精密空調(diào)面積）；總建筑面積約為22500m2包括7500m2的IT模塊機(jī)房，高壓配電室、電力控制室、柴油發(fā)電機(jī)房、雨淋閥組間、冷凍站、消防控制室、電信介入間、氣體鋼瓶間、變電所及UPS室、電池間、網(wǎng)絡(luò)核心間等。目前移動(dòng)公司的水平，10個(gè)平米出一個(gè)機(jī)柜。民營的可以做到5平米一個(gè)機(jī)柜。我什么也不管，只要安全？計(jì)算PUE，需要在如圖2所示的數(shù)據(jù)中心的供配電系統(tǒng)示意圖中，測量數(shù)據(jù)中心總耗電及IT設(shè)備耗電，具體測量點(diǎn)如下：1)數(shù)據(jù)中心總耗電在正常情況下，數(shù)據(jù)中心的電能由市電提供，測量點(diǎn)應(yīng)取市電輸入變壓器之前，即圖2中的M1點(diǎn)。當(dāng)市電故障情況下，柴油發(fā)電機(jī)產(chǎn)生的電力（圖2中的M2點(diǎn)）作為數(shù)據(jù)中心總耗電的測量點(diǎn)。如果是多用途機(jī)房樓，數(shù)據(jù)中心總耗電計(jì)算中，需減去在M4點(diǎn)測量的辦公等其它耗電。2)IT設(shè)備耗電嚴(yán)格來說，IT設(shè)備耗電應(yīng)該在各IT設(shè)備輸入電源處測量耗電量并進(jìn)行加總，但由于IT設(shè)備數(shù)量較多，這一方法將大大增加測量工作量和成本。因此，在實(shí)際操作中，可在各路UPS輸出或者列頭柜配電輸入處進(jìn)行測量后，將測量值加總作為IT設(shè)備耗電。每一路供電的IT設(shè)備測量點(diǎn)即圖2中的M3點(diǎn)。計(jì)量的顆粒度較粗。我什么也不管，只要安全？能耗指標(biāo)的數(shù)值受各種因素的影響，會(huì)隨季節(jié)、節(jié)假日和每天忙閑時(shí)段的改變發(fā)生變化，因此為全面、準(zhǔn)確了解數(shù)據(jù)中心的能效，應(yīng)采用固定測量儀表，對數(shù)據(jù)中心能耗進(jìn)行持續(xù)、長期的測量和記錄。若數(shù)據(jù)中心未安裝固定測量設(shè)備，可采用鉗形功率計(jì)等設(shè)備測量數(shù)據(jù)中心及IT設(shè)備等的短時(shí)用電量。測量的周期和頻率如下：(a)每次測量不小于一小時(shí)；(b)每天測量不少于2次，在業(yè)務(wù)忙時(shí)和閑時(shí)進(jìn)行測量；(c)每月不少于3天，可在5日、15日、25日進(jìn)行測量。數(shù)據(jù)中心應(yīng)根據(jù)連續(xù)或多次短時(shí)累計(jì)的數(shù)據(jù)中心總耗電、IT設(shè)備耗電等測量值（單位為KWh）來計(jì)算PUE等能效指標(biāo)。如無特殊說明，數(shù)據(jù)中心的PUE、pPUE、CLF、PLF和RER等能效指標(biāo)，是指采用固定測量儀表，在指定測量點(diǎn)測量并記錄至少一年的數(shù)據(jù)。數(shù)據(jù)中心如果選擇公布季度、月份、周、天或小時(shí)發(fā)布能效數(shù)據(jù)，應(yīng)對其能效周期加以說明。其中季度可按照春季（3月～5月）、夏季（6月～8月）、秋季（9月～11月）、冬季（12月～2月）劃分。能耗計(jì)量的周期沒有固化。我什么也不管，只要安全？機(jī)柜密度：3KW/Rack，功率密度：1.26KW/m2–1.65KW/m2，PUE＝1.6-1.8平面布局：面對面，背靠背；冷通道1200mm，熱通道為1200mm

封閉冷通道，通過熱通道自然回風(fēng)；氣流組織:風(fēng)冷DX型空調(diào)與主設(shè)備機(jī)柜放置在同一房間內(nèi)，若單獨(dú)隔開，則需要額外15％－25％的空間（冷凍水或水冷卻型需要單獨(dú)隔開）；采用下送風(fēng)，上回風(fēng)設(shè)計(jì)；送風(fēng)距離小于15－20m時(shí)可以采用單排送風(fēng)，送風(fēng)距離大于15－20m時(shí)，要采用雙排送風(fēng)設(shè)計(jì)地板高度:500-600mm，機(jī)柜上方高度1000mm左右，走線方式：強(qiáng)電、弱電線槽均采用機(jī)柜上走線方式；機(jī)柜內(nèi)氣流：前進(jìn)后出，服務(wù)器、交換機(jī)等設(shè)備間做盲板隔離，防止熱風(fēng)回流；冷通道送風(fēng)溫度：18度-24度（在允許情況下盡可能提高送風(fēng)溫度），送風(fēng)濕度：24攝氏度時(shí),相對濕度為35%-60%；18攝氏度時(shí)，相對濕度為45%-80%之間；機(jī)房專用空調(diào)類型：冷凍水型、乙二醇干冷器水冷型、DX直接蒸發(fā)風(fēng)冷型；均可以使用自然冷卻技術(shù)，節(jié)能效果比較好的是冷凍水系統(tǒng)配板換自然冷卻技術(shù)，和乙二醇干冷器水冷型雙盤管自然冷卻技術(shù)；供電設(shè)計(jì)：雙總線供電設(shè)計(jì)或矩陣式多總線供電設(shè)計(jì)（3路或4路交錯(cuò)供電）按照UptimeInstitute（正常運(yùn)行時(shí)間研究所）的標(biāo)準(zhǔn)分為4類

TIER1: 簡單的非冗余建筑構(gòu)件

IT的簡單非冗余分配網(wǎng)絡(luò)TIER2: 冗余建筑構(gòu)件

IT的簡單非冗余分配網(wǎng)絡(luò)TIER3: 冗余建筑構(gòu)件

多分配網(wǎng)絡(luò)

(任何時(shí)候每臺(tái)服務(wù)器都只有一個(gè)分配網(wǎng)絡(luò))TIER4: 冗余建筑構(gòu)件

多分配網(wǎng)絡(luò)

(每臺(tái)服務(wù)器同時(shí)有多個(gè)分配網(wǎng)絡(luò))IDC機(jī)房標(biāo)準(zhǔn)IDC機(jī)房標(biāo)準(zhǔn)DCIM真的管用嗎？××UMG現(xiàn)場采集結(jié)構(gòu)圖

各級(jí)智能

配電柜

UPS

CRAH

水浸

煙感

門磁

紅外

采集器

PDU

電池組

油機(jī)

開關(guān)電源

電池監(jiān)測儀

各級(jí)非智

能配電柜

智能電量儀非智能

設(shè)備

變送器

環(huán)境傳感器

服務(wù)器

網(wǎng)絡(luò)、

存儲(chǔ)

設(shè)備

KVM

IQ

串口轉(zhuǎn)接頭

SP端口

IT基礎(chǔ)設(shè)施

智能動(dòng)力基礎(chǔ)設(shè)施

非智能動(dòng)力基礎(chǔ)設(shè)施

ModbusIPSNMPBACnetVelocity

BACnet

Rs485

Rs485

IO

IPMI

SSHTelnet

ModbusIPSNMP

UMG通用管理網(wǎng)關(guān)

數(shù)字溫濕度

數(shù)字漏水

檢測儀

電源分配單元PDU測定連接設(shè)備的能耗部分也可以測量溫度和濕度通過分析->找出節(jié)能點(diǎn)潛力->更高的服務(wù)器負(fù)荷開/關(guān)不用的設(shè)備(通過IP或者SNMP)DCIM的幾個(gè)建議購買：1、貴；2、水土不服；3、怎么升級(jí)；4、如何完善。DCIM的幾個(gè)建議自建：1、構(gòu)架；2、人員；3、操作VDI3922中規(guī)定的能源審計(jì)方法學(xué)能源審計(jì)//定義測量1.能源審計(jì)的方案建立聯(lián)系報(bào)價(jià)和簽約了解現(xiàn)狀展示和評(píng)價(jià)現(xiàn)狀數(shù)據(jù)材料充分嗎？合理利用能源的措施開發(fā)總體方案實(shí)施和成果監(jiān)控匯報(bào)和咨詢報(bào)告評(píng)估和措施篩選確定審計(jì)的范圍2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程范圍窄寬精度粗細(xì)目的闡述建議能源審計(jì)的劃分2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程范圍檢查模型分析模型針對系統(tǒng)的

能源審計(jì)

初步審計(jì)逐點(diǎn)審計(jì)預(yù)備性能源審計(jì)針對性能源審計(jì)綜合性能源審計(jì)精確度初步能源審計(jì)能源消費(fèi)結(jié)構(gòu)不復(fù)雜的情況下大部分實(shí)際情況和措施事先都已經(jīng)明了

準(zhǔn)備性能源審計(jì)（初步審計(jì)）對于大型企業(yè)或者建筑物經(jīng)常以項(xiàng)目組的形式進(jìn)行逐條能源審計(jì)（選擇性審計(jì)）未明確定義的審計(jì)領(lǐng)域或者工藝審計(jì)師可以自由選擇考查范圍針對性能源審計(jì)（目標(biāo)性審計(jì)）由用戶規(guī)定考察的范圍某些范圍可以排除在外綜合性能源審計(jì)（全面審計(jì)）最精確的一種審計(jì)（涉及到所有相關(guān)領(lǐng)域）開發(fā)所有可能的措施針對特定系統(tǒng)的能源審計(jì)選出任務(wù)領(lǐng)域（比如壓縮空氣、電力驅(qū)動(dòng)等）2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程能源審計(jì)的節(jié)點(diǎn)能源審計(jì)//能源審計(jì)的流程2.組織和規(guī)劃管理系統(tǒng)能源審計(jì)措施實(shí)施其他設(shè)施培訓(xùn)能源消耗記錄能源管理環(huán)境管理自覺意識(shí)形成的管理有關(guān)員工自覺意識(shí)的形成無成本措施低成本措施高成本措施框架條件環(huán)境活動(dòng)質(zhì)量和安全標(biāo)準(zhǔn)典型的能源審計(jì)流程第一步：

啟動(dòng)活動(dòng)收集相關(guān)的一般性信息第二步：

現(xiàn)場考察獲得相關(guān)領(lǐng)域的概況第三步：

收集和分析現(xiàn)有文件分析和移交現(xiàn)有的相關(guān)資料第四步：

數(shù)據(jù)收集和測量收集并測量相關(guān)設(shè)備的數(shù)據(jù)第五步：

對相關(guān)領(lǐng)域進(jìn)行約談收集和澄清相關(guān)領(lǐng)域的必要的信息第六步：

對能源供應(yīng)進(jìn)行分析分析現(xiàn)有的測量系統(tǒng)/能源結(jié)算單評(píng)估2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程典型的能源審計(jì)流程第七步：

措施開發(fā)節(jié)能措施的提出、規(guī)劃、可行性研究以及評(píng)估第八步：

經(jīng)濟(jì)性分析對措施的經(jīng)濟(jì)行進(jìn)行分析第九步：

編寫審計(jì)報(bào)告編寫一份審計(jì)報(bào)告，包括措施以及經(jīng)濟(jì)性分析第十步：

展示能源審計(jì)結(jié)果向企業(yè)展示和匯報(bào)審計(jì)結(jié)果并融合企業(yè)的意見報(bào)告確定措施2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程審計(jì)報(bào)告確定措施的清單羅列所有措施，包括能源、經(jīng)濟(jì)和生態(tài)評(píng)價(jià)等企業(yè)的基本數(shù)據(jù)能源價(jià)格能耗、生產(chǎn)數(shù)據(jù)、參照標(biāo)準(zhǔn)能量流、能量平衡相關(guān)的能源用戶確定的措施現(xiàn)狀描述展示優(yōu)化措施能源評(píng)價(jià)經(jīng)濟(jì)性評(píng)價(jià)生態(tài)評(píng)價(jià)所有措施的清單措施建議根據(jù)規(guī)定的標(biāo)準(zhǔn)對措施進(jìn)行排序?qū)?shí)施措施組合的建議2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程確定審計(jì)的目標(biāo)和范圍確定觀察界限選擇所包括的設(shè)備和能源方面，以及考察的詳細(xì)程度確定審計(jì)目標(biāo)選擇考察的領(lǐng)域（全面審計(jì)/專項(xiàng)審計(jì)）審計(jì)的范圍提出為達(dá)到審計(jì)目的所必需的時(shí)間和人力成本審計(jì)標(biāo)準(zhǔn)提出測量審計(jì)時(shí)應(yīng)遵循的標(biāo)準(zhǔn)，詳細(xì)程度確定框架條件定義公開的邊界條件（如能源價(jià)格）定義影響的程度（比如生產(chǎn)目標(biāo)，停產(chǎn)等）能源審計(jì)//能源審計(jì)的流程2.組織和規(guī)劃確定審計(jì)的目標(biāo)全面審計(jì)考察所有和能源有關(guān)的領(lǐng)域（通用技術(shù)和工藝技術(shù)），比如建筑物能源證明企業(yè)的能源審計(jì)二氧化碳審計(jì)專項(xiàng)審計(jì)考察一個(gè)企業(yè)內(nèi)部的單個(gè)領(lǐng)域（通用技術(shù)或者工藝技術(shù)），比如壓縮空氣審計(jì)電力驅(qū)動(dòng)熱量圖能源審計(jì)//能源審計(jì)的流程通用技術(shù)：用途不僅僅局限在一個(gè)行業(yè)/部門的技術(shù)工藝技術(shù)：在各自行業(yè)內(nèi)應(yīng)用的不同的生產(chǎn)工藝2.組織和規(guī)劃全面審計(jì)專項(xiàng)審計(jì)壓縮空氣電力驅(qū)動(dòng)照明熱能生產(chǎn)資源規(guī)劃/結(jié)構(gòu)和流程組織規(guī)劃確定為實(shí)現(xiàn)目標(biāo)所需的資金和物資

實(shí)現(xiàn)各個(gè)工作步驟各需要幾天時(shí)間？需要哪些物資（軟件/硬件）？人員規(guī)劃是否需要些外部專家？（比如進(jìn)行測量和模擬等）根據(jù)專業(yè)能力和個(gè)人能力選擇審計(jì)團(tuán)隊(duì)；審計(jì)師的中立性規(guī)劃組織構(gòu)成各項(xiàng)活動(dòng)的責(zé)任規(guī)劃規(guī)劃日程組織需要進(jìn)行的工作步驟的規(guī)劃能源審計(jì)//能源審計(jì)的流程2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程典型的能源審計(jì)項(xiàng)目規(guī)劃2.組織和規(guī)劃日期和時(shí)間準(zhǔn)備編寫必要的問卷分發(fā)問卷準(zhǔn)備用戶數(shù)據(jù)對獲得的數(shù)據(jù)進(jìn)行評(píng)估考察工廠項(xiàng)目啟動(dòng)會(huì)議收集數(shù)據(jù)、進(jìn)行測量對收集的數(shù)據(jù)進(jìn)行評(píng)估確定節(jié)能措施項(xiàng)目思路的中期匯報(bào)制定措施，編寫報(bào)告對收集的數(shù)據(jù)進(jìn)行詳細(xì)分析建立能量平衡和材料流建立能量流和對標(biāo)制定節(jié)能措施計(jì)算節(jié)能量和經(jīng)濟(jì)性分析文獻(xiàn)資料編寫中期報(bào)告提交中期報(bào)告客戶對中期報(bào)告進(jìn)行評(píng)價(jià)提出意見編寫最終報(bào)告提交最終報(bào)告準(zhǔn)備匯報(bào)資料進(jìn)行最終結(jié)果匯報(bào)結(jié)束考察典型的能源審計(jì)規(guī)劃能源審計(jì)//能源審計(jì)的流程活動(dòng)建筑物工廠天數(shù)天數(shù)數(shù)據(jù)收集13數(shù)據(jù)評(píng)估13節(jié)能項(xiàng)目分析25編寫報(bào)告12編寫匯報(bào)材料0.81.3匯報(bào)0.20.22.組織和規(guī)劃典型的根據(jù)領(lǐng)域/活動(dòng)進(jìn)行安排的物資、人員和職責(zé)規(guī)劃能源審計(jì)//能源審計(jì)的流程領(lǐng)域/活動(dòng)物資人員/職責(zé)分工能源中心煙氣分析專家A工藝A熱敏照相機(jī)專家A,B工藝B---專家C壓縮空氣電流卡鉗專家B污水處理設(shè)備---專家C編寫報(bào)告電腦專家A,B,C準(zhǔn)備匯報(bào)材料電腦專家A,B,C匯報(bào)電腦/投影儀專家A,B,C2.組織和規(guī)劃根據(jù)審計(jì)目標(biāo)制定詳細(xì)的審計(jì)內(nèi)容規(guī)劃需要哪些程序？工作步驟、模擬、測量編寫問卷提前收集相關(guān)領(lǐng)域的數(shù)據(jù)編寫審計(jì)的檢查清單審計(jì)過程的檢查清單能源審計(jì)//能源審計(jì)的流程檢查清單現(xiàn)有哪些與能源相關(guān)的設(shè)備在運(yùn)行？現(xiàn)場采用了哪些與能源相關(guān)的工藝？現(xiàn)場與能源相關(guān)的設(shè)備是如何相互連接的？利用哪些參數(shù)確定單體設(shè)備的能耗？有否主體設(shè)備/工藝的能量平衡？2.組織和規(guī)劃典型的建筑物檢查清單何時(shí)建造？有多少層？總供熱面積是多少？存在哪些圖紙以及是否可供使用？外墻部分是如何構(gòu)建的？尺寸多大？安裝有哪種門窗，有多少？是否有相鄰建筑？建筑物內(nèi)是否有不同的溫度區(qū)間？熱水和室內(nèi)供暖是如何提供的？熱水和室內(nèi)供暖是如何分配的？熱水和室內(nèi)供暖的主導(dǎo)溫度是多少？供熱管網(wǎng)的分配管道是否保溫絕熱？建筑物內(nèi)的自然/機(jī)械換氣（通風(fēng)）率是多少？…..能源審計(jì)//能源審計(jì)的流程2.組織和規(guī)劃能源審計(jì)//能源審計(jì)的流程典型的工業(yè)企業(yè)檢查清單企業(yè)何時(shí)建成？企業(yè)生產(chǎn)何種產(chǎn)品？年產(chǎn)量多大？企業(yè)在什么時(shí)間生產(chǎn)？企業(yè)廠生產(chǎn)采用了哪些工藝步驟？是否有計(jì)劃年度停產(chǎn)？有否特殊的安全技術(shù)設(shè)備？企業(yè)有多少職工？企業(yè)使用何種能源載體？每年各種能源載體的消耗量是多少？每種能源載體的價(jià)格是多少？各種能源載體的主要用戶是哪些？是否有主要耗能用戶的資料？企業(yè)自己是否按照不同的部門、機(jī)器和驅(qū)動(dòng)器等分類進(jìn)行能耗測