正式惠州tcl升級方案

1、TCL 云三期升級擴(kuò)容方案1.1 規(guī)劃建設(shè)目標(biāo)隨著信息化建設(shè)與應(yīng)用的不斷深入，IT 基礎(chǔ)設(shè)施和出五個方面的，一是主機(jī)、網(wǎng)絡(luò)、數(shù)據(jù)庫和中間件等 IT 基礎(chǔ)資源按需供應(yīng)能力，導(dǎo)致系統(tǒng)上線部署周期較長；二是 IT 基礎(chǔ)資源的動態(tài)擴(kuò)展和回收能力，導(dǎo)致支撐業(yè)務(wù)負(fù)載變化能力較差；三是跨域分布式計算能力，導(dǎo)致數(shù)據(jù)縱向搬動頻繁；四是開發(fā)、測試和發(fā)布能力，導(dǎo)致無法快速響應(yīng)業(yè)務(wù)需求變化；五是 IT 基礎(chǔ)設(shè)施標(biāo)準(zhǔn)化程度較低和系統(tǒng)的實現(xiàn)，導(dǎo)致運(yùn)維復(fù)雜度和成本較高。近年來，由于公司業(yè)務(wù)發(fā)展迅速，在運(yùn)營效益、客戶服務(wù)及拓展新業(yè)務(wù)等方面，對能力提出了更高要求。TCL 在 2015 年根據(jù)建設(shè)了自身技術(shù)特點，引入基于 Ope

2、nStack 技術(shù)的構(gòu)建了測試開發(fā)云，并且投入到測試環(huán)境使用。在 2016 年把物流生產(chǎn)系統(tǒng)構(gòu)建在云中，實現(xiàn)從測試開發(fā)到生產(chǎn)的驗證歷程。經(jīng)過三年的技術(shù)實踐，云的可靠性、穩(wěn)定性得到了驗證，支撐了大量開發(fā)測試工作的任務(wù)，云的資源使用效率得到顯著的提高，團(tuán)隊自我運(yùn)維能力也得到了很大的。隨著測試開發(fā)的訴求增多，資源非常緊缺急需擴(kuò)容；此外隨著云的技術(shù)發(fā)展，引入新技術(shù)支持業(yè)務(wù)的發(fā)展也勢在必行。因此 TCL 提出了對現(xiàn)有云進(jìn)行擴(kuò)容升級，及增加新的云功能模塊的訴求。1.2 規(guī)劃分析1.2.1 一期機(jī)房改造規(guī)劃 現(xiàn)狀基于 J 版本部署，管理節(jié)點 3 臺（2*el 2630，128G 內(nèi)存），計算融合節(jié)點 9 臺

3、（2*el 2650，256G 內(nèi)存）；部署節(jié)點 1 臺；萬兆交換機(jī) 2 臺；千兆交換機(jī)2 臺。目標(biāo)：1)管理節(jié)點 3 臺：2*el2630 128G 內(nèi)存；2)計算分離：5 臺計算節(jié)點 5*el 2650 256G 內(nèi)存；4 臺節(jié)點 2*el 2650 64G 內(nèi)存；2*300G SAS;1*DC P3700 PCIe 400GB；10*1.8T SAS；3)J 版本(ESCloud3.4)升級至 N 版(ECS 5.0)：升級改造完成后，與東平機(jī)房的 OpenStack版本一致，可以構(gòu)建為私有云同城雙活的兩朵云，提供兩個不同的供用戶使用。 升級方法及遷移步驟基于目前的技術(shù)現(xiàn)狀，對于版本升級

4、采取以下三種策略方案：1. 兩套集群方案：a.跨版本太多的情況下，資源、概念元素等都有了較大差距，應(yīng)用對停機(jī)時間有嚴(yán)苛的要求,采用轉(zhuǎn)移應(yīng)用的方式進(jìn)行升級。b.使用新版本部署新的集群，新部署的應(yīng)用運(yùn)行到新集群。這樣保持新舊兩套集群同時運(yùn)行。通過停用舊集群中的應(yīng)用，同步增量數(shù)據(jù)到新集群，再啟用新集群中的應(yīng)用來切換，應(yīng)用停機(jī)時間為小時級。通過實時同步業(yè)務(wù)數(shù)據(jù)，切換為分鐘級。IP 的方式切換，應(yīng)用停機(jī)時間通過實時同步業(yè)務(wù)數(shù)據(jù)，使用負(fù)載均衡服務(wù)將新、舊集群中的應(yīng)用組建成資源池，之后切換負(fù)載均衡流量的方式切換，應(yīng)用停機(jī)時間為秒級。c.舊集群中資源清空后，拆除所有的節(jié)點，以全新節(jié)點加入到新集群中，控制節(jié)點在

5、調(diào)整完必須的硬件后，以計算節(jié)點/節(jié)點加入到新集群中。d.對資源的冗余要求較高。2. 停機(jī)遷移方案：a.跨版本太多的情況下，資源、概念元素等都有了較大差距，應(yīng)用對停機(jī)時間沒有嚴(yán)苛的要求，采用離線轉(zhuǎn)移應(yīng)用的方式進(jìn)行升級。b.將舊集群中的應(yīng)用下線，然后將應(yīng)用相關(guān)的信息、鏡像保存，進(jìn)行離線。c.使用新版本創(chuàng)建一個新的集群，并在新集群中依據(jù)保存的信息、鏡像創(chuàng)建新的應(yīng)用。逐步將應(yīng)用恢復(fù)到新集群。d.停機(jī)遷移方案需要時間較長，通常為 2-3 周時間。升級方案：3.a. 兩相鄰版本的升級，如果改動較小，可采用升級 RPM包的方式進(jìn)行。線上應(yīng)用將保持不變。在升級的過程中會對應(yīng)用及配置等進(jìn)行備份，以便回滾操作。綜

6、合考量 TCL 現(xiàn)有環(huán)境的情況，建議本次升級采用停機(jī)遷移方案?？剂康囊罁?jù)是：1.OpenStack 產(chǎn)品從 J 版本升級到 N 版本，了五個版本，數(shù)據(jù)庫、邏輯結(jié)構(gòu)變化很大。2.底層操作系統(tǒng)從開源版本的 CentOS 6 升級到 ECS Cloud Linux(CentOS 7 兼容內(nèi)核)，版本很大，沒有平滑升級的方案。3.Cep本從 0.94 升級至 10.2.5。由于升級跨度很大，沒有平滑升級的方案。4.資源池中的業(yè)務(wù)為研發(fā)測試業(yè)務(wù)，對業(yè)務(wù)停機(jī)時間不敏感。本次升級后的 ECS 5.0 版本使用容器技術(shù)對管理服務(wù)進(jìn)行封裝，可實現(xiàn)任一組件服務(wù)的升級，也支持動態(tài)添加新的服務(wù)能力，后續(xù)的升級可以采用

7、升級方案。 網(wǎng)絡(luò)資源需求ECS5.0 網(wǎng)絡(luò)資源需求如下，標(biāo)注為（新增）的需要在現(xiàn)有集群網(wǎng)絡(luò)資源的基礎(chǔ)上增加。序號網(wǎng)絡(luò)類型云網(wǎng)絡(luò)代碼新增VLAN需求備注1.2.2 二期東平機(jī)房的規(guī)劃 現(xiàn)況機(jī)房采用通用的 SSD+SAS 混合池部署，IO 吞吐量，業(yè)務(wù)性能受到影響，亟需擴(kuò)容。目標(biāo)：新增高性能的 Ceph資源池，采用 ECS5.0 內(nèi)置的 10.2.5（Luminous）版的 Ceph，既能支撐高 IO 負(fù)載的業(yè)務(wù)，又便于未來東平私有云升級。配置：指標(biāo)項技術(shù)參數(shù)處理器型號要求el Xeon E5 處理器或以上,主頻2.10GHz,每顆 CPU 內(nèi)核數(shù)8，L3 緩存8MB配置當(dāng)前配置2 顆物理 CPU

8、內(nèi)存內(nèi)存類型及配置DDR4 頻率2400 或更高規(guī)格內(nèi)存128G（單條16G）1管理網(wǎng)絡(luò)帶外管理IPMIacsvlan控制節(jié)點與 IPMI 網(wǎng)絡(luò)通信2管理網(wǎng)絡(luò)MGMTtrunk vlan管理組件通信3部署網(wǎng)絡(luò)PXEnative vlan云發(fā)現(xiàn)服務(wù)器和部署基礎(chǔ)環(huán)境網(wǎng)絡(luò)4外部業(yè)務(wù)網(wǎng)絡(luò)業(yè)務(wù)網(wǎng)絡(luò)PUBLICtrunk vlanIDC 業(yè)務(wù) IP5私有業(yè)務(wù)網(wǎng)絡(luò)私有網(wǎng)絡(luò)PRIVATEtrunk vlanML2 模式下數(shù)據(jù)的通信通道6VXLAN 管理網(wǎng)絡(luò)VXLAN是trunk vlanSDN 模式下 VXLAN 數(shù)據(jù)的通信通道7機(jī)管理網(wǎng)絡(luò)BM（Bare Metal）是acsvlan為 機(jī)推送操作系統(tǒng)8網(wǎng)絡(luò)前

9、端網(wǎng)絡(luò)Ceph Publictrunk vlan連接池數(shù)據(jù)9后端網(wǎng)絡(luò)Ceph Privatetrunk vlan副本同步使用 BlueStore 的 OSD 驅(qū)動模型，顯著磁盤的讀寫效率；配置 2 副本，磁盤空間的利用率。因此集群建議配置的服務(wù)器至少為 3 臺，每臺可先配置較少的 SSD 磁盤，未來隨著業(yè)務(wù)容量的增長進(jìn)行容量上的擴(kuò)容。 升級方法及遷移步驟由于需要使用 ECS5.0 的部署服務(wù)器來推送集群（包括 SSD 池和備份池），因此需要按照 ECS5.0 的最小集群要求完成 Ceph 集群的部署。因此除了新采購的分布式服務(wù)器外，還需要：1. 復(fù)用二期東平機(jī)房的部署服務(wù)器，用于部署 ECS5

10、.0 的部署服務(wù)；2. 借用一臺 128G 內(nèi)存的服務(wù)器，作為臨時的控制節(jié)點?；蛘?. 借用一臺 128G 內(nèi)存的服務(wù)器，啟用 Linux KVM 虛擬化，部署一個 ECS5.0 的部擴(kuò)展性最大可配置512G，最大內(nèi)存插槽總數(shù)16內(nèi)存保護(hù)支持內(nèi)存鏡像支持陣列控制器配置標(biāo)配陣列卡，雙通道；支持 RAID0、RAID1、RAID5、RAID10、JBOD陣列控制器管理功能支持更換硬盤、擴(kuò)容硬盤1 塊 400G NVMe SSD 硬盤4 塊 800G SATA SSD 硬盤硬盤最大支持?jǐn)?shù)12 個 2.5 寸盤網(wǎng)絡(luò)千兆網(wǎng)卡2 塊雙口千兆以太網(wǎng)卡高性能網(wǎng)卡2 塊雙口萬兆光纖以太網(wǎng)卡，支持網(wǎng)絡(luò)，支持 TO

11、E 或 IOAT擴(kuò)展槽PCI 插槽4 個 PCI-Express 插槽電源功率提供電源功率數(shù)值，同時提出對機(jī)房電源的相關(guān)要求可靠性配置數(shù)量必須大于等于 2 個、支持熱插拔風(fēng)扇風(fēng)扇配置數(shù)量必須滿足 2N 冗余、支持熱插拔（N：設(shè)備正常運(yùn)行的必須數(shù)量）署節(jié)點和 1 個臨時的 ECS 5.0 控制節(jié)點。部署步驟如下：1.在部署服務(wù)器上部署 ECS5.0 的部署服務(wù)。2.申請 1 控制、1 計算、3的證。3.由 ECS5.0 的部署服務(wù)推送 1 臺控制、1 臺計算、2 臺節(jié)點的集群。為了保證推送集群的網(wǎng)絡(luò)的 IP 復(fù)用東平二期集群的網(wǎng)絡(luò)，并不與現(xiàn)有集群中的節(jié)點的 IP，需要在發(fā)現(xiàn)節(jié)點之間將 ECS5.

12、0 的部署服務(wù)中初始節(jié)點的值設(shè)置為 100 以上。4.停用 1 臺計算節(jié)點上的計算服務(wù)。5.在 3 臺節(jié)點上部署 Ceph服務(wù)，之后停用控制節(jié)點上的 Ceph服務(wù)。6.停用控制節(jié)點。7.將之前的池全部清空，使用 CRUSH Map 配置兩個獨立的物理服務(wù)器組，并分別在兩個物理服務(wù)器組劃分 SSD 池、備份池兩個邏輯池。8.完成調(diào)優(yōu)測試。9.在二期東平的云中增加新的后端 L 版本的 Ceph SSD 池。10.在二期東平的云中將原備份池更要為新的后端 L 版本的 Ceph 備份池11.使用服務(wù)的卷遷移，完成高 IO 數(shù)據(jù)卷向 SSD池的遷移。 網(wǎng)絡(luò)資源需求由于部署過程需要臨時使用 ECS5.0

13、的部署服務(wù)。因此需要按照 ECS5.0 的網(wǎng)絡(luò)需求申請臨時的網(wǎng)絡(luò)資源，并在部署完成后非類的網(wǎng)絡(luò)資源。的網(wǎng)絡(luò)拓?fù)淙缦拢?.2.3 一期機(jī)房資源池擴(kuò)容 現(xiàn)狀機(jī)房的資源池目前利用率達(dá)到 70%，需要降低風(fēng)險；目標(biāo)：增加節(jié)點，將利用率從 70%降低至 50%；配置（與現(xiàn)有節(jié)點配置一樣）： 升級方法及遷移步驟使用東平機(jī)房二期的部署服務(wù)，可擴(kuò)容分布式的節(jié)點，不會影響業(yè)務(wù)。設(shè)備類型用途機(jī)器配置數(shù)量/臺服務(wù)器擴(kuò)容1. 2 路el E5-26502. 64G 內(nèi)存3. 2 塊 SAS（系統(tǒng)盤） 300G，10 塊 1.8T SAS(2.5 寸), 1 塊 400GB DC P3710 PCIe SSD 硬盤21

14、.2.4 新增備份池 現(xiàn)況目前沒有單獨構(gòu)建備份資源池，云構(gòu)建的快照都是存放在現(xiàn)有資源池中，數(shù)據(jù)的安全保護(hù)也僅采用分布式系統(tǒng)自身的多副本實現(xiàn)。目標(biāo)：建立獨立的備份池，實現(xiàn)云的獨立備份；建議配置：使用 BlueStore 的 OSD 驅(qū)動模型，顯著磁盤的讀寫效率；配置 8+3 的糾刪碼，磁盤空間的利用率。 升級方法及遷移步驟按照“ 升級方法及遷移步驟”中的實施步驟執(zhí)行。1.2.5 東平機(jī)房升級參考一期機(jī)房改造的升級方法和步驟。東平機(jī)房的升級會安排在機(jī)房穩(wěn)定運(yùn)行三個月之后進(jìn)行。完成兩個集群的部署后，按照 OpenStack 的 Multi-Region 的實施步驟完成兩個集群的管理。1.2.6 大數(shù)

15、據(jù)私有云服務(wù)ECS 可通過集成 OpenStack Sahara 項目，進(jìn)一步擴(kuò)展其大數(shù)據(jù)功能項。1)Sahara 組件的基本特性Sahara 的目標(biāo)是為用戶提供簡單部署 Hadoop、Spark、Storm 集群的能力。用戶可通過提供簡單的參數(shù)，如：版本信息、集群結(jié)構(gòu)、節(jié)點硬件信息等，Sahara 可以在數(shù)分鐘之內(nèi)將集群部署起來，同時也支持集群的按需擴(kuò)容和減容。設(shè)備類型用途機(jī)器配置數(shù)量/臺服務(wù)器備份1. 2 路el E5-265064G 內(nèi)存2 塊 SAS（系統(tǒng)盤） 300G，10 塊 2T SATA(2.5 寸)硬盤至少 4 臺2)Sahara 應(yīng)用場景其應(yīng)用場景包括：1）提供在 Open

16、Stack 上快速配置和部署大數(shù)據(jù)集群的能力；2）充分利用 OpenStack層的計算能力；3）提供分析即服務(wù)（ytics as a Service，AaaS）的數(shù)據(jù)分析業(yè)務(wù)，有點像亞馬遜的 EMR。3)Sahara 特性Sahara 主要的特性包括：1）Sahara 作為 OpenStack 的一個組件；2）通過 OpenStack 的 Dashboard 調(diào)用 REST API 來管理；3）支持不同的大數(shù)據(jù)框架，如：Hadoop、Spark、Storm，以及 Hadoop 安裝插件、以及管理工具的集成4）可配置的 Hadoop 配置模板。4)Sahara 和云操作系統(tǒng)其它組件的關(guān)系Saha

17、ra 組件和下列云操作系統(tǒng)服務(wù)有交互：界面(horizon)提供 GUI 界面；認(rèn)證(keystone)確認(rèn)用戶和權(quán)限；計算(nova)提供大數(shù)據(jù)處理的虛擬機(jī)；部署(heat)提供大數(shù)據(jù)集群編排部署功能；映像(glance)保存虛擬機(jī)的映像（image），每個映像包括基礎(chǔ)的操作系統(tǒng)以及預(yù)安裝的大數(shù)據(jù)框架服務(wù)；對象(swift)用來存放大數(shù)據(jù)任務(wù)創(chuàng)建和處理的數(shù)據(jù)；塊(cinder)用來提供虛擬機(jī)的塊；網(wǎng)絡(luò)(neutron)提供大數(shù)據(jù)集群的網(wǎng)絡(luò)服務(wù)；(ceilometer)收集集群的使用情況數(shù)據(jù)，用于系統(tǒng)。5)Sahara 進(jìn)行大數(shù)據(jù)安裝部署Sahara 進(jìn)行大數(shù)據(jù)安裝部署的相關(guān)工作流程如下圖所示

18、：1）選擇 Hadoop 或其它框架的版本；2）選擇基礎(chǔ)鏡像，可選預(yù)安裝的大數(shù)據(jù)框架服務(wù)（如果鏡像中沒有預(yù)安裝大數(shù)據(jù)框架，Sahara 也支持后續(xù)通過安裝插件進(jìn)行大數(shù)據(jù)安裝）；3）設(shè)置集群的參數(shù)，包括大小、拓?fù)?、框架的相關(guān)參數(shù)，并提供標(biāo)準(zhǔn)模版；4）創(chuàng)建集群：Sahara 會進(jìn)行虛擬機(jī)的安裝和大數(shù)據(jù)的配置；5）大數(shù)據(jù)集群管理：包括添加或者刪除節(jié)點；6）若集群不再需要，可進(jìn)行刪除。6)Sahara 進(jìn)行大數(shù)據(jù)分析服務(wù)Sahara 進(jìn)行大數(shù)據(jù)分析服務(wù)相關(guān)工作流程如下圖所示：通用的分析服務(wù)工作流程如下：1）通過圖形界面選擇一個預(yù)定義的大數(shù)據(jù)框架版本；2）編輯任務(wù)參數(shù)：a)選擇任務(wù)類型：pig、hive

19、、jar-file 等；b)提供任務(wù)的地址或者 jar 包的位置；c)選擇輸入輸出數(shù)據(jù)的位置；d)選擇日志的位置；3）設(shè)置集群的大??；4）通過插件（Vendors Plugins）啟動大數(shù)據(jù)服務(wù)，通過 EDP（Elastic DataProsing）調(diào)度大數(shù)據(jù)分析任務(wù)，集群創(chuàng)建和任務(wù)執(zhí)行過程對最終用戶是不可見的；5）獲取任務(wù)執(zhí)行結(jié)果。7)Sahara 模塊分析Sahara 架構(gòu)包含以下模塊：鑒權(quán)模塊（Auth）：負(fù)責(zé)鑒權(quán)和，和 keystone 進(jìn)行交換；DAL（Data Acs Layer）：和數(shù)據(jù)庫相關(guān)；安全層（Secure Storage Acs Layer）：保存在安全中的和私鑰的驗證

20、數(shù)據(jù)。供應(yīng)引擎（Proviing Engine）：用于和組件 Nova、Heat、Cinder、Glance交換；插件（Vendors Plugins）：用于在虛擬機(jī)上配置和啟動大數(shù)據(jù)服務(wù)。已有的解決方案包括：Apache 的 Ambari 和 Cloudera Management Console；EDP（Elastic Data Prosing）：負(fù)責(zé)調(diào)度和管理 Sahara 提供的大數(shù)據(jù)集群上的計算任務(wù)；REST API：通過 REST HTTP 接口使用 Sahara 功能；Sahara 的客戶端：類似其它 OpenStack 組件，Sahara 也有自己的客戶端；Sahara 的 G

21、UI 頁面：Horizon 上提供 Sahara 相關(guān)的 GUI。各模塊如下圖所示：1.2.7 容器管理服務(wù)ECS 已經(jīng)實現(xiàn)了 OpenStackKubernetes 的產(chǎn)品化定制交付，目的是通過 OpenStack 擴(kuò)展集成容器及容器編排技術(shù)，實現(xiàn)在同一個控制平面對為用戶提供 OpenStack 虛擬化服務(wù)和 Docker 容器服務(wù)。OpenStackKubernetes 功能視圖如下：ECS（標(biāo)準(zhǔn)提供；基于 OpenStack，計算網(wǎng)絡(luò)，及服務(wù)，如文件共享數(shù)據(jù)庫大數(shù)據(jù)等）ECS 容器：KubernetesDocker（可選模塊；可集成Jenkis/Git，構(gòu)建輕量級PAAS）技術(shù)實現(xiàn)架構(gòu)如下圖所示：實現(xiàn) KubernetesDocker 容器自動部署提供容器編排集群管理提供容器應(yīng)用管理實現(xiàn)應(yīng)用 Auto-Scaling實現(xiàn)容器集群節(jié)點 Auto-Scaling交付更加安全等容器運(yùn)行環(huán)境，借助 OpenStack Multi-Tenants提供容器持久化數(shù)據(jù)管理(Cinder)1.2.8物理主機(jī)服務(wù)ECS 已經(jīng)實現(xiàn)了 OpenStackKubernetes 的產(chǎn)品化定制交付，目的是通過 OpenStack 擴(kuò)展集成容器及容器編排技術(shù)，實現(xiàn)在同一個控制平面對為用戶提供 OpenStack 虛擬化服務(wù)和 Docker 容器服務(wù)。1.3 實施計劃實施計劃涉及一期