技術(shù)盛宴數(shù)據(jù)中心自動化運(yùn)維技術(shù)探索之交換機(jī)零配置上線

1、5/5技術(shù)盛宴|數(shù)據(jù)中心自動化運(yùn)維技術(shù)探索之交換機(jī)零配置上線近幾年來，互聯(lián)網(wǎng)行業(yè)處于一個快速發(fā)展的快車道，一個又一個風(fēng)口不斷地涌向周邊行業(yè)。共享單車的出現(xiàn)解決了人們出行最后一公里的問題；新零售概念的提出，無人貨柜的出現(xiàn)，更是將線上和線下的數(shù)據(jù)打通，優(yōu)化了人們的購物體驗；以抖音為首的短視頻應(yīng)用，在一夜間爆紅，成為當(dāng)下社交與宣傳的重要載體。而數(shù)據(jù)中心作為支撐這些業(yè)務(wù)的基礎(chǔ)設(shè)施，其規(guī)模也隨著業(yè)務(wù)的激增逐漸擴(kuò)大，單集群超過數(shù)萬臺服務(wù)器的情況已不再罕見。面對如此龐大的服務(wù)器數(shù)量，在網(wǎng)絡(luò)建設(shè)之初的交換機(jī)網(wǎng)絡(luò)開局已成為網(wǎng)工的夢魘。數(shù)據(jù)中心開局現(xiàn)狀聚焦于數(shù)據(jù)中心場景，我們先來回顧一下傳統(tǒng)的交換機(jī)網(wǎng)絡(luò)開局流程。

2、圖1 傳統(tǒng)網(wǎng)絡(luò)設(shè)備開局流程提前準(zhǔn)備交換機(jī)的版本文件；根據(jù)部署的架構(gòu)場景選擇對應(yīng)的配置模板；開始“搬磚”，到達(dá)現(xiàn)場，設(shè)備拆箱集中堆放，加電啟動；使用U盤插到交換機(jī)，串口線連接設(shè)備，逐臺進(jìn)行版本升級（若需要）；根據(jù)配置模板結(jié)合實際設(shè)備的情況進(jìn)行VLAN、IP、路由以與其他基本信息的修訂，然后開始刷配置（另外按照各公司要求，還會協(xié)助收集設(shè)備的SN用于資產(chǎn)管理）；協(xié)調(diào)弱電同學(xué)幫忙搬到機(jī)房上架；基于Checklist完成連通性的測試工作。整套流程下來，既耗人力，又耗時間。據(jù)實際項目經(jīng)驗來看，在不堆疊的前提下完成一臺設(shè)備的升級和配置大約在10分鐘，堆疊情況下由于設(shè)備需要重啟，需要30分鐘才能完成?？偨Y(jié)來看

3、，對于支撐數(shù)萬臺服務(wù)器集群的數(shù)據(jù)中心網(wǎng)絡(luò)場景，如果按照這種傳統(tǒng)的開局模式來部署，會存在以下幾點不足：效率低下：靠手工方式進(jìn)行設(shè)備的版本升級、刷腳本，效率非常低；出錯率高：重復(fù)性的工作會導(dǎo)致網(wǎng)工疲于思考，稍有不慎出現(xiàn)失誤，需要額外的時間用于排查錯誤更正，產(chǎn)生一定的時間損耗。對此，各廠家做了許多的探索，比如零配置上線技術(shù)。二、數(shù)據(jù)中心自動化開局隨著數(shù)據(jù)中心規(guī)模的不斷增大，標(biāo)準(zhǔn)化的建設(shè)方式已經(jīng)成為主流。每個集群的服務(wù)器以與網(wǎng)絡(luò)設(shè)備的規(guī)模都是固定的，對應(yīng)到網(wǎng)絡(luò)設(shè)備的配置策略也是一致的（當(dāng)然IP等基礎(chǔ)信息會略有不同）。因此，在這樣標(biāo)準(zhǔn)化、規(guī)化的場景下，我們可以將這些重復(fù)性的、機(jī)械性的工作編成處理邏輯，交

4、給網(wǎng)絡(luò)設(shè)備自己去完成上線工作，進(jìn)而解放人力，同時也降低了人們出錯的風(fēng)險。廠商對于自動化上線技術(shù)的開發(fā)，主要是利用編程語言（比如Python、Go等）進(jìn)行邏輯處理，讓網(wǎng)絡(luò)設(shè)備自行加載，完成上線，例如ZAM（Zero-configure Automatic Manage，零配置自動管理）技術(shù)。交換機(jī)自動化上線的思路：新出廠或空配置的設(shè)備上電啟動后自動向文件服務(wù)器中獲取文件并加載（包括版本文件、配置文件、補(bǔ)丁文件等），實現(xiàn)設(shè)備的免現(xiàn)場配置、部署，從而避免了運(yùn)維人員重復(fù)地執(zhí)行刷腳本、升級等機(jī)械性操作，提升開局效率。以ZAM技術(shù)為例，首先要在運(yùn)維端搭建統(tǒng)一的DHCP服務(wù)器和TFTP服務(wù)器（可以是同一臺服

5、務(wù)器），基于架構(gòu)標(biāo)準(zhǔn)化設(shè)計和項目信息提前生成每臺設(shè)備的完整配置文件以與版本文件，同時這些文件的文件名需要與設(shè)備的SN關(guān)聯(lián)起來，確保每個配置文件可以對應(yīng)唯一一臺具體的物理設(shè)備。圖2 零配置上線方案架構(gòu)交換機(jī)加電起機(jī)后會主動發(fā)起DHCP請求，通過Option拿到TFTP服務(wù)器的地址以與腳本名稱。通過TFTP的方式下載到腳本文件后，解析并執(zhí)行。然后自動進(jìn)行版本的升級以與配置文件的加載，重啟后完成設(shè)備開局。主要流程如下：圖3 零配置上線流程細(xì)節(jié)可以分拆成幾個階段來理解：DHCP&TFTP獲取階段設(shè)備加電后，首先判斷自身是否存在配置文件，如果不存在則進(jìn)入ZAM模式；如果存在則正常加載現(xiàn)有配置文件啟動；進(jìn)

6、入ZAM模式后，會先嘗試從MGMT口上發(fā)起DHCP請求，無應(yīng)答后會從業(yè)務(wù)口上廣播該請求報文。DHCP Server在回應(yīng)報文過Option66（或者150）、67選項，將TFTP Server的IP以與Python腳本名稱同步給設(shè)備；圖4 典型的DHCP配置交換機(jī)設(shè)備（需要支持Python的運(yùn)行環(huán)境）進(jìn)行Python腳本的下載。自動化執(zhí)行階段初始化：首先要進(jìn)行初始化，與此同時要清空之前運(yùn)行過的本地文件，目的是為了避免那些通過錯誤邏輯模塊到達(dá)該處時文件錯亂的情況，因此需要執(zhí)行初始化操作；上傳SN：初始化完成后需要上傳設(shè)備自身的SN到指定的目錄下，目的是提示TFTP Server該設(shè)備已經(jīng)開始啟動

7、。即上傳 sn. ZAM到 /ZAM_STARTUP/, 若上傳失敗則寫0到/etc/zam.txt （通告zam執(zhí)行失?。?，退出；配置參數(shù)文件下載：上傳SN之后，會基于SN去下載對應(yīng)的配置參數(shù)文件（.PARAM格式），下載路徑在代碼中已經(jīng)寫好，若下載失敗則跳到錯誤處理；配置參數(shù)文件解析：下載成功后解析該文件，判斷是否需要升級版本，若解析失敗則跳到錯誤處理；配置文件下載：通常情況下，腳本中會默認(rèn)寫好配置文件的下載路徑，設(shè)備會基于SN到該路徑下載配置文件 sn.CFG, 若下載失敗跳到錯誤處理；版本文件下載：如果配置參數(shù)文件中存在bin文件的標(biāo)識，則到指定的路徑去進(jìn)行bin文件的下載，若下載失敗

8、則跳到錯誤處理；版本文件升級：如果存在bin的文件，則進(jìn)行升級bin文件，若升級失敗則跳到錯誤處理；配置文件重命名：執(zhí)行代碼做配置文件的重命名，更改成config.txt的格式后重啟（不同廠家配置文件命名不同，這里以銳捷為例）；設(shè)備重啟加載：重啟設(shè)備后則再次進(jìn)行配置文件的判斷，發(fā)現(xiàn)此時存在配置文件，則不進(jìn)入ZAM模式，正常加載配置文件并啟動。信息同步校驗階段成功處理：設(shè)備成功上線后上傳 sn.log 到 /ZAM_LOG/上傳 sn.ok 到 /ZAM_STATUS/寫1到/etc/zam.txt （通告zam執(zhí)行成功）清空本地本次執(zhí)行相關(guān)文件（sn.CFG, sn.ZAM, sn.param

9、s, sn.ok, sn.error）圖5 ZAM文件夾目錄圖6 成功執(zhí)行ZAM流程失敗處理主邏輯任意一個節(jié)點發(fā)生故障，跳到故障處理時，執(zhí)行下列動作上傳 sn.log 到 /ZAM_LOG/上傳 sn.error 到 /ZAM_STATUS/寫0到/etc/zam.txt（通告zam執(zhí)行失敗）清空本地本次執(zhí)行相關(guān)文件（sn.CFG, sn.ZAM, sn.params, sn.ok, sn.error）三、探索創(chuàng)新隨著網(wǎng)絡(luò)設(shè)備對于類似Python的高級編程語言環(huán)境的支持愈加成熟，零配置上線技術(shù)在IDC場景中得到了普遍的應(yīng)用。一方面加快了設(shè)備的開局速度，降低了人為操作失誤的風(fēng)險，節(jié)省人力投入；另一方面，對于后期設(shè)備的運(yùn)維工作（比如擴(kuò)容、故障替換等），只需要上報或者替換SN就可以自動完成加載，也不需要人工的參與。那么，除了IDC場景有這樣的需求之外，對于其他場景，是否也存在類似的運(yùn)維痛呢？銳捷網(wǎng)絡(luò)秉承著創(chuàng)新、探索與實踐的思路，在新零售門店場景，也做了深入的市場調(diào)研與分析。最近火爆的新零售門店，其特點就是數(shù)量眾多，業(yè)務(wù)的激增導(dǎo)致開店速度尤其快。但是門店不會有專業(yè)的運(yùn)維同學(xué)駐場，所以網(wǎng)絡(luò)開局時需要網(wǎng)工四處出差；日常遇到故障，如果遠(yuǎn)程不能解決也需要網(wǎng)工到現(xiàn)場處理，人力投入極大。對此，聚焦于