IDC運(yùn)維可視化

1、WOR格式IDC運(yùn)維可視化刖言近兩年，互聯(lián)網(wǎng)相關(guān)產(chǎn)業(yè)發(fā)展非常迅速，互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展也是非常快。業(yè)務(wù)的增長也對數(shù)據(jù)中心IT設(shè)備需求量也急劇增加。數(shù)據(jù)中心的運(yùn)維和設(shè)備的運(yùn)維是一件非常煩瑣的事情，需要工程師進(jìn)行大量手工工作。在快速擴(kuò)張的過程中也遇到了諸多問題，我們在這方面做了很多的努力， 本文將會就這一主題與大家分享的一些經(jīng)驗(yàn)。一、IDC發(fā)展過程業(yè)務(wù)近幾年發(fā)展迅猛，四年前的設(shè)備量、IT設(shè)施相關(guān)設(shè)備不多，直到四年前在移動端、方案端開始發(fā)力，業(yè)務(wù)拓展非常迅速，對設(shè)備增加的需求也日趨迫切?，F(xiàn)在整個(gè)的設(shè)備規(guī)模是以萬來統(tǒng)計(jì)。設(shè)備增加，數(shù)據(jù)中心Rack的需求勢必增加。的Rack已經(jīng)達(dá)到以千來統(tǒng)計(jì)的規(guī)模。對于IDC

2、來說，機(jī)會的增加不可能把所有的業(yè)務(wù)放在同一個(gè)IDC，的IDC從最初的一個(gè)主要數(shù)據(jù)中心，迅速增加到兩個(gè)、三個(gè)，我們數(shù)據(jù)中心之間也進(jìn)行了這樣的一個(gè)互聯(lián)。的IDC建設(shè)經(jīng)歷了一下幾個(gè)階段：第一階段：自建IDC為主。從2000年開始，自建IDC ，但自建IDC存在不少問題：專業(yè)資料整理IDC是WOR格式.投入大、建設(shè)周期長：因?yàn)橐肐DC、要審批，要申請電力資源，因?yàn)橐粋€(gè)高耗電項(xiàng)目。然后再建樓，建設(shè)備？，一般來說，一個(gè)IDC的建設(shè)周期需要3年，這還是速度比較快的，有的需要五、六年?？蓴U(kuò)展能力受限制:IDC建設(shè)初期的需求是預(yù)估的，隨著業(yè)務(wù)的擴(kuò)展，對IDC的規(guī)模要求也就逐漸增加，需要進(jìn)行彈性擴(kuò)展。第二階段:

3、自建自有供應(yīng)商IDC現(xiàn)代互聯(lián)網(wǎng)要行業(yè)要求輕資產(chǎn)，花重資建IDC已經(jīng)不適應(yīng)市場規(guī)律，所以在業(yè)務(wù)快速發(fā)展過程中，在自建自有IDC的同時(shí)，也向供應(yīng)商或者是運(yùn)營商借用他們已經(jīng)建好的數(shù)據(jù)中心。但租用IDC存在各種不同于自建IDC的管理差異:機(jī)房情況不能及時(shí)獲取，包括機(jī)房的一些 UTS的監(jiān)控，溫度、濕度的監(jiān)控都在供應(yīng)商的管理之下。而且一般運(yùn)營商監(jiān)控的系統(tǒng)是不對外開放和對接的。監(jiān)控粒度粗，供應(yīng)商的監(jiān)控相對來說粗一些。他們只對某一個(gè)通道和角度，或者是某一個(gè)機(jī)柜、機(jī)組傳感器進(jìn)行監(jiān)管。響應(yīng)實(shí)效差，當(dāng)出現(xiàn)故障和問題時(shí)，響應(yīng)速度慢，他對你設(shè)備不了解，你對他環(huán)境不了解等，在協(xié)作方面也會有信息的不通暢。我們在做數(shù)據(jù)中心時(shí)

4、遇到的這些問題需要解決，但我們不能通過無限制的增加人力來應(yīng)對數(shù)據(jù)中心快速擴(kuò)張，運(yùn)維人員做的事情太基礎(chǔ)對運(yùn)維的效率、對運(yùn)維工程師的發(fā)展都存在很大的弊端。專業(yè)資料整理WOR格式如何以有限的人力資源去應(yīng)對快速增長的數(shù)據(jù)中心的運(yùn)維？如何實(shí)現(xiàn)運(yùn)維的精細(xì)化管理？我們怎樣努力地花好每一分錢，怎樣高效地響應(yīng)運(yùn)維的需求？針對以上的目標(biāo)，我們提出了一個(gè)IDC管理可視化的想法。二、IDC管理可視化數(shù)據(jù)中心快速發(fā)展，我們也碰到了很多解決亟待解決的問題。舉個(gè)例子來說，如何快速知悉數(shù)據(jù)中心空間使用情況？已經(jīng)存在多少設(shè)備 設(shè)備都在哪些機(jī)柜有多少個(gè)機(jī)柜還能放多少機(jī)柜*與哪些網(wǎng)絡(luò)設(shè)備連接在傳統(tǒng)的方式里面，可能你要去拿一個(gè)一個(gè)去

5、拉，或者一單個(gè)字母為索引來查詢一個(gè)數(shù)據(jù)記錄系統(tǒng)，如此，根本沒辦法地直觀地看到數(shù)據(jù)中心的情況。再看一個(gè)例子， 如果機(jī)房出現(xiàn)了故障，我如何能夠有效、及時(shí)地去評估這個(gè)故障對我的影響？專業(yè)資料整理WOR格式按照以前的方式我會打電話問我的供應(yīng)商，你機(jī)房是不是出問題了？你是哪個(gè)空調(diào)、風(fēng)機(jī)出問題了？還是UPS掉電了，影響多少個(gè)機(jī)柜，我怎么知道這些機(jī)柜有哪些網(wǎng)絡(luò)服務(wù)器、設(shè)備，我要不要做優(yōu)化、做流程？所以我們希望有一個(gè)系統(tǒng)或平臺可以直接看到我們IDC的一些情況：機(jī)房空間使用情況機(jī)房供電情況機(jī)房環(huán)境溫度曲機(jī)柜的布局展示，設(shè)備信息，硬件狀態(tài)設(shè)備警報(bào)處理知道了這些指標(biāo)，設(shè)備一旦掉線，就很容易被發(fā)現(xiàn)。并且，可以大大提升

6、運(yùn)維工程師的工作效率。基于這些指標(biāo)要求我們做了IDC可視化系統(tǒng)，如上圖所示。查看IDC狀態(tài)告警，系統(tǒng)中可以查看機(jī)房的溫度范圍，查看每個(gè)機(jī)柜的溫度范圍。后面我們還可以看到它設(shè)備定點(diǎn)產(chǎn)生的問題，比如說這個(gè)是不是A路電或者是B路電掉了。專業(yè)資料整理WOR格式可以查看整個(gè)機(jī)房的布局，整個(gè)機(jī)房功能的安排，比如：機(jī)房通道，機(jī)柜位置，及其功能標(biāo)識（是存儲類、還是網(wǎng)絡(luò)類或其他功能）。還可以查看機(jī)柜供電、網(wǎng)絡(luò)設(shè)備布局，以及整個(gè)機(jī)柜里面某一個(gè)設(shè)備的狀態(tài)情況以及這個(gè)機(jī)柜的溫度、功耗的歷史情況。在這個(gè)基礎(chǔ)上，我們還對IDC運(yùn)維工程師經(jīng)常要做的工作進(jìn)行了可視化。如上圖所示，我們可以對設(shè)備進(jìn)基于行各種參數(shù)的查詢：可以查看

7、某個(gè)機(jī)房里面某些設(shè)備的情況。也可以對單臺設(shè)備進(jìn)行操縱并可以查詢基本情況，可以看到子系統(tǒng)的狀態(tài)，比如CPU硬盤指標(biāo)。也可以看到這個(gè)設(shè)備曾經(jīng)做過的歷史的操作，比如說變更，比如說一些不良的數(shù)據(jù)。更能看到一些設(shè)備內(nèi)部子系統(tǒng)的詳情，比如當(dāng)有設(shè)備報(bào)警發(fā)生，典型的類似于ECC交元錯(cuò)誤，在可視化系統(tǒng)中可以直接看到它的內(nèi)存、容量等指標(biāo)，這樣在保修的時(shí)候，就有針對性，不讓廠商的工程師二次上門服務(wù)；可以看到設(shè)備歷史的日志、狀態(tài)，比如：功耗變化、溫度變化?？梢酝ㄟ^可視化界面對設(shè)備進(jìn)行硬重啟。專業(yè)資料整理WOR格式同時(shí)也提供了一些標(biāo)準(zhǔn)化的操作：當(dāng)設(shè)備維修完成以后，我們可以進(jìn)行標(biāo)準(zhǔn)化設(shè)置，可以把一些設(shè)備從出場時(shí)候的技能模

8、式擴(kuò)展成高性能運(yùn)行模式。實(shí)現(xiàn)上面的可視化，我們是基于結(jié)構(gòu)設(shè)計(jì)上的兩大關(guān)鍵點(diǎn)：基于CMDB的信息展示：CMDB是整個(gè)運(yùn)維用來配置數(shù)據(jù)的地方，我們所有的分享信息都用到CMDB,它是我們的基礎(chǔ)，是我們基本的信息。基于設(shè)備監(jiān)控的狀態(tài)展示：我們前面看到的機(jī)房、溫度都是基于設(shè)備的狀態(tài)信息。擁有完善的監(jiān)控系統(tǒng)，可以對線上每一臺開機(jī)狀態(tài)的服務(wù)器硬件狀態(tài)，運(yùn)營的狀態(tài)進(jìn)行發(fā)現(xiàn)，然后進(jìn)行聚合和計(jì)算，最終得到機(jī)房溫度、電的布局。基于設(shè)備商IPMI 、SNMP、以及SOAP的接口對設(shè)備進(jìn)行操作和日常維護(hù)。同時(shí)我們也對外提供了一些API，從服務(wù)器資源的準(zhǔn)備到最后運(yùn)維大部分都實(shí)現(xiàn)了自動化，在一些事件的處理上，可以利用API

9、對設(shè)備進(jìn)行操作。IDC的可視展示，給的IDC管理帶來了豐厚回報(bào)。專業(yè)資料整理WOR格式IDC的可視化管理提高了效率IDC的入口不像以前一樣拿一個(gè)表格去統(tǒng)計(jì)資源情況，使用情況，效率大大提高。IDC狀態(tài)的監(jiān)控更加可視化完成，不需要等到IDC人員通知我們，或者是等到服務(wù)器報(bào)警才去查驗(yàn)機(jī)房或者機(jī)房溫度、電的問題?？臻g管理、設(shè)備維護(hù)效率提高我們曾遇到機(jī)房里的空調(diào)、風(fēng)機(jī)出現(xiàn)故障，供應(yīng)商通過他的系統(tǒng)去看溫度是正常的23度，但是我們這里看到的是超溫報(bào)警。其實(shí)機(jī)房溫度不是一個(gè)很平衡的狀態(tài)，它各空調(diào)開啟的位置不一定能夠滿足全方位要求。比如說冷風(fēng)道，或者是某一個(gè)設(shè)備的散熱系統(tǒng)。這個(gè)時(shí)候就我們需要跟機(jī)房進(jìn)行交涉協(xié)調(diào)：

10、放一些小風(fēng)扇，或改善地面的出風(fēng)地板等來調(diào)整機(jī)房里的溫度分布，可以避免后續(xù)問題。應(yīng)急響應(yīng)的有效性IDC可視化當(dāng)中， 一個(gè)是信息的展示，一個(gè)是設(shè)備監(jiān)控狀態(tài)信息展示，在我們數(shù)據(jù)中心，需要采集數(shù)以萬臺的設(shè)備的基本信息，才能做到IDC可視化展示，如何保證CMDB的信息是準(zhǔn)確的呢？設(shè)備的自動化監(jiān)控，保證了信息采集的高效、準(zhǔn)確，而不是靠人工。三、設(shè)備接收自動化專業(yè)資料整理WOR格式數(shù)據(jù)中心有數(shù)萬臺設(shè)備，但每個(gè)月又要接收大量的設(shè)備，并且對它進(jìn)行安裝上架交付。對于用戶來說，申請資源，都希望資源快速到達(dá)手上。但是一般來說當(dāng)有一個(gè)很大的項(xiàng)目，需要申請上百臺或者是上千臺的服務(wù)器，肯定會涉及到這樣的過程。先申請、走商務(wù)

11、采購，設(shè)備到位后的初始化配置、要收貨、上架、連線、標(biāo)準(zhǔn)化操作系統(tǒng)，隨后部署應(yīng)用，去配置、監(jiān)控。除去資源申請和商務(wù)采購的商務(wù)流程，一般花費(fèi)時(shí)間最長的是收貨、上架和系統(tǒng)部署的環(huán)節(jié)，在傳統(tǒng)的手工模式下，準(zhǔn)備幾百臺服務(wù)器的時(shí)間很難想像，除非你有大量的工程師在機(jī)房做這個(gè)事情，這是造成收貨與部署時(shí)間長的原因。設(shè)備多，準(zhǔn)備時(shí)間長 ，正如上述所說，手工模式下，隨著規(guī)模越來越大，對 IT設(shè)備的需求越來越多，每次要購買的服務(wù)器也就越來越多，人工收貨上架準(zhǔn)備時(shí)間會越來越長。此外，服務(wù)器數(shù)量增加后，如果人工處理，需要掌握的技能就非常多。專業(yè)資料整理WOR格式品牌型號的差異都需要人工處理，針對不同品牌、不同型號、處理方

12、式不一樣，需要的技能也有差別。因此在做收貨、上架、部署的過程中，我們需要大量的手工錄入。于是又增加了 出錯(cuò)頻率比如說裝操作系統(tǒng)，要安裝，數(shù)據(jù)需要采集、錄入到CMDB、要裝上序列號，要人員裝標(biāo)簽等等。但人工錄入的出錯(cuò)率高。此外，設(shè)備驗(yàn)證也需要很大的工作量：這個(gè)機(jī)器是不是我買的機(jī)器？我買的128GB內(nèi)存，會不會給我少幾個(gè)硬盤，所以要做驗(yàn)證，這個(gè)驗(yàn)證的工作量很巨大，我們不可能每臺機(jī)器代碼打開，看看里面是不是差。所以驗(yàn)證的工作量非常大，而且問題發(fā)現(xiàn)晚。如何避免大量的人工操作的問題，我們分別從流程和技術(shù)兩個(gè)方面來講。IDC的供應(yīng)商先來看流程的優(yōu)化：首先是梳理分工，把我們所做的工作，供應(yīng)商所做的工作，以及

13、所做的工作進(jìn)行梳理，把工作定義清楚，第二個(gè)我們必須要做標(biāo)準(zhǔn)化工作標(biāo)準(zhǔn)化工作分三塊，自己的標(biāo)準(zhǔn)化、供應(yīng)商標(biāo)準(zhǔn)化，IDC的標(biāo)準(zhǔn)化自己的標(biāo)準(zhǔn)化：即，機(jī)房溫度的標(biāo)準(zhǔn)化、布線的標(biāo)準(zhǔn)化、收集信息的標(biāo)準(zhǔn)化我們把順序的工作并行，把工作梳理好了， 讓一些工作并行起來，把手工工作能夠后置的就后置。專業(yè)資料整理WOR格式邊布線邊上網(wǎng)絡(luò)設(shè)備，并行工序提高了效率。再來看技術(shù)方面的改進(jìn)：為了避免人工出錯(cuò)，我們采用了 二維碼或條碼 的方式。現(xiàn)在開發(fā)的手機(jī)客戶比較強(qiáng)大，拿手機(jī)掃一掃，就能知道設(shè)備的情況。我們還做了 硬件自動核對；設(shè)備的安裝和部署的自動化。系統(tǒng)的模塊設(shè)計(jì)如下圖所示：這里面最重要的是Baremetal,它和物理機(jī)

14、打交道，并且需要高效網(wǎng)絡(luò)處理來進(jìn)行交互。SRM來協(xié)調(diào)和驗(yàn)證，配置信息最終錄入到CMDB里面。系統(tǒng)設(shè)計(jì)的流程，設(shè)備的收集、信息的收集、應(yīng)用的標(biāo)準(zhǔn)化，然后OS安裝，配置的驗(yàn)證都是（英文）的事情。BareMetar是整個(gè)自動化接受和配置過程中最關(guān)鍵的方向，實(shí)現(xiàn)了設(shè)備自動化的接收以及設(shè)備的自動部署，避免了人工大量重復(fù)機(jī)械的操作。整個(gè)實(shí)現(xiàn)了服務(wù)器的發(fā)現(xiàn)，從服務(wù)器到網(wǎng)絡(luò)，網(wǎng)絡(luò)端Baremetal引導(dǎo)起來，然后這臺服務(wù)器硬件信息獲取上傳到CMDB 里面，和采購的信息進(jìn)行比對，驗(yàn)證是否準(zhǔn)確，然后就落到CMDB里面去了。專業(yè)資料整理WOR格式這個(gè)驗(yàn)證完了，設(shè)備沒有異樣才可以運(yùn)行，對它的管理卡等進(jìn)行一次標(biāo)準(zhǔn)化。這

15、些都做完了我們可以進(jìn)行操作系統(tǒng)的部署，這是交付前的最后一個(gè)環(huán)節(jié)。我們現(xiàn)在很多都是多種操作系統(tǒng)，因?yàn)楝F(xiàn)在我們的應(yīng)用環(huán)境相對來說還是比較復(fù)雜，我們有以前用的一些Windows之類的，我們希望利用這個(gè)系統(tǒng)把之前的所有覆蓋掉。然后底層是用 PXE和IPXE引導(dǎo)，用IPMI進(jìn)行網(wǎng)絡(luò)發(fā)現(xiàn)。由于Baremetal的重要性，我們對整個(gè)Baremetal整個(gè)的運(yùn)行進(jìn)行了監(jiān)控，可以定期分析它運(yùn)行的情況，中間是否出現(xiàn)了問題。因?yàn)橛布O(shè)備原有的操作不一定兼容新的設(shè)備，需要定期優(yōu)化。做了這些事情以后，整個(gè)設(shè)備的接收過程就變得比以前好很多。以前接收設(shè)備可能要一個(gè)星期、兩個(gè)星期。現(xiàn)在我們在接四、五百臺設(shè)備的情況下，我們只需

16、要1+1Days，第一天接受設(shè)備上架，第二天配置驗(yàn)證部署。我們需要多少人呢？我們現(xiàn)在如果是到一個(gè)數(shù)據(jù)中心接受設(shè)備只需要一個(gè)，而且只有收貨那天會去一趟。四、展望IDC可視化系統(tǒng)在現(xiàn)階段解決了我們的很多困難，但是與我們期待的長遠(yuǎn)目標(biāo)還是有很大差距。如果要將工作能夠做得更好，效率更高？我們今后將在以下方向進(jìn)行改進(jìn)和努力：專業(yè)資料整理WOR格式1. 在服務(wù)器的管理上不斷地進(jìn)行技術(shù)迭代-例如設(shè)備管理中的 Redfish2. 充分發(fā)揮監(jiān)控?cái)?shù)據(jù)的作用，使其在滿足運(yùn)維需要的基礎(chǔ)上，可以用來結(jié)合應(yīng)用的情況去做一些分享，去做機(jī)房的溫度、環(huán)境分析，結(jié)合應(yīng)用數(shù)據(jù)，優(yōu)化機(jī)房利用率，節(jié)省成本。3. 也希望根據(jù)應(yīng)用情況，根據(jù)五花八門的用戶需求，動態(tài)調(diào)整備用資源。4. 更希望做到減少人員，常見的報(bào)警能夠?qū)崿F(xiàn)自動化處理；5. 希望運(yùn)維人員能夠隨時(shí)隨地處理運(yùn)維工作，實(shí)現(xiàn)移動辦公除此之外，還有更多的工作等著我們IDC的工程師、服務(wù)器的工程師去進(jìn)行優(yōu)化。