Openstack云平臺(tái)實(shí)施方案

1、云平臺(tái)實(shí)施方案文檔屬性屬性內(nèi)容保密級(jí)別文檔級(jí)別文檔編號(hào)編寫人審核人文件修訂記錄在耳J 丁 P版本號(hào)簡(jiǎn)要說明修訂日期變更人審核人備注1V1.0創(chuàng)建20180605 李目錄一、概述 41.1 方案編寫目的 41.2 方案適用人員 41.3 方案內(nèi)容與范圍 5二、項(xiàng)目總架構(gòu)圖 52.1 物理拓?fù)湓O(shè)計(jì)圖 錯(cuò)誤！未定義書簽。2.2 軟件架構(gòu)圖 10三、網(wǎng)絡(luò)規(guī)劃 113.1 網(wǎng)絡(luò) VLAN 規(guī)劃 113.2 網(wǎng)絡(luò)IP規(guī)劃11四、OpenStack組件HA及分布 134.1 控制節(jié)點(diǎn)服務(wù)HA 134.2 所有節(jié)點(diǎn)服務(wù)列表 15五、分布式存儲(chǔ)設(shè)計(jì) 17六、服務(wù)器需求 226.1 云平臺(tái)服務(wù)器磁盤RAID配置

2、226.2 云平臺(tái)服務(wù)器BIOS配置23七、服務(wù)器網(wǎng)卡接線示意圖 24八、云平臺(tái)實(shí)施步驟 2510 / 25、概述1.1 方案編寫目的的順利實(shí)施，根書撰寫此文的主要目的是為了指導(dǎo)“云平臺(tái)項(xiàng)目”戶的現(xiàn)狀和發(fā)展需求，確定云平臺(tái)的實(shí)施方案。在實(shí)際實(shí)施工作中，將網(wǎng)絡(luò)和服務(wù)器的需求任務(wù)明確。1.2 方案適用人員本文檔主要面向負(fù)責(zé)“ 云平臺(tái)項(xiàng)目”的設(shè)計(jì)和實(shí)施的網(wǎng)絡(luò)設(shè)計(jì)人員、 管理人員、管理人員以及 實(shí)施小組成員，以便通過參考本文檔資料順利完成項(xiàng)目溝通和實(shí)施。1.3 方案內(nèi)容與范圍本方案主要就以下幾點(diǎn)進(jìn)行了分析和闡述：項(xiàng)目總架構(gòu)網(wǎng)絡(luò)規(guī)劃明細(xì)OpenStack 組件分布 HA 服務(wù)器配置需求分布式存儲(chǔ)Ceph

3、 需求服務(wù)器接線示意云平臺(tái)項(xiàng)目實(shí)施步驟二、項(xiàng)目總架構(gòu)圖云平臺(tái)部署簡(jiǎn)述：環(huán)境共需求14臺(tái)服務(wù)器：部署節(jié)點(diǎn)1個(gè)，控制節(jié)點(diǎn)3臺(tái)，計(jì)算存 儲(chǔ)融合節(jié)點(diǎn)10臺(tái)。本次為標(biāo)準(zhǔn)環(huán)境部署，業(yè)務(wù)網(wǎng)絡(luò)走二層。存在的風(fēng)險(xiǎn)：1、網(wǎng)卡沒有冗余；2、所有網(wǎng)絡(luò)流量均走一塊千兆網(wǎng)卡，ceph rebalance 是會(huì)造 成網(wǎng)絡(luò)阻塞3、服務(wù)器的千兆網(wǎng)口所連交換機(jī)為百兆交換機(jī)，會(huì)造成性能 低下本次安裝要有1個(gè)部署節(jié)點(diǎn)，為了支撐后續(xù)的擴(kuò)容和在部署節(jié)點(diǎn) 上安裝云平臺(tái)監(jiān)控系統(tǒng)，部署節(jié)點(diǎn)的服務(wù)器配置與控制節(jié)點(diǎn)一樣即 可。編號(hào)角色配置數(shù)量1部署節(jié)點(diǎn)服務(wù)器型號(hào)：SAS 盤：3 x 147GB內(nèi)存大?。?GCPU 型號(hào)：Intel E5406（8

4、 核）CPU 主頻：2.3GHz1CPU 數(shù):1個(gè)網(wǎng)卡數(shù)：2x2端口千兆板載網(wǎng)卡Raid 卡:支持raid1,raid 要后2G cache卡配鋰電池控制節(jié)點(diǎn)3臺(tái)組成HA ,保證OpenStack服務(wù)高可用，可隨機(jī)宕 掉任意節(jié)點(diǎn)不影響云平臺(tái)正常運(yùn)行編號(hào)角色配置數(shù)量1控制節(jié)點(diǎn)服務(wù)器型號(hào)：SAS 盤：3x 600GB內(nèi)存大?。?4GCPU 型號(hào)：Intel E5-2667 v4（8核）CPU 主頻：2.3GHzCPU數(shù)：2個(gè)網(wǎng)卡數(shù)：2x 2端口力兆網(wǎng)卡31 x 2千兆板載網(wǎng)卡Raid卡：支持raid1,raid 要后2G cache 卡配鋰電池融合節(jié)點(diǎn)10臺(tái)服務(wù)器，將會(huì)設(shè)置HOST HA功能，保證

5、某個(gè)計(jì)算節(jié)點(diǎn) 意外宕機(jī)，該計(jì)算節(jié)點(diǎn)內(nèi)虛機(jī)可以遷移到其他計(jì)算節(jié)點(diǎn)，保證業(yè)務(wù)繼續(xù) 運(yùn)行。編號(hào)角色配置數(shù)量2融合節(jié)點(diǎn)服務(wù)器型號(hào)：SAS 盤：2 x 300GBSAS 盤：3 x 600GBSSD 盤：1 x 240GB內(nèi)存大?。?28GB8CPU 型號(hào)：Intel E5-2667 v4（8 核）CPU 主頻：2.7GHz CPU 數(shù):2 個(gè)網(wǎng)卡數(shù)：2 x 2端口力兆網(wǎng)卡1x 2千兆板載網(wǎng)卡Raid卡：支持raid1,raid 要后2G cache 卡配鋰電池2.1軟件架構(gòu)圖1.2.3.Gli nee圖2-2 : OpenStack軟件架構(gòu)圖Pr-EH* JMdhlcwSVM所有用戶通過Horizon

6、登陸Dashboard 并使用Keystone認(rèn)證，認(rèn)證用戶可進(jìn)行云平臺(tái)管理和日常操作。Nova和Neutron分別進(jìn)行計(jì)算和網(wǎng)絡(luò)資源的虛擬化，Glance提供鏡像服務(wù)，通過Glance、Nova和Neutron 等組件用戶可以完成虛機(jī)的部署以及日常操作。Cinder基于Ceph提供云硬盤服務(wù)，給虛機(jī)提供持久化的存儲(chǔ)后端。11/ 25三、網(wǎng)絡(luò)規(guī)劃3.1 網(wǎng)絡(luò)VLAN規(guī)劃網(wǎng)絡(luò)類型VLAN ID網(wǎng)段網(wǎng)關(guān)地址范圍PXE100010.10.1.0/24/Public1001192.168.1.0/24192.168.1.254/MGMT1002192.168.2.0/24/Ceph Pub100319

7、2.168.3.0/24/Storage1004192.168.4.0/24/Private1005-1009/VXLAN1010192.168.5.0/24/IPMI100010.10.1.0/24/圖3-1:云平臺(tái)網(wǎng)絡(luò) VLAN規(guī)戈IJ3.2 網(wǎng)絡(luò)IP規(guī)劃服務(wù)器角色網(wǎng)卡BondVLAN角色控制節(jié)點(diǎn)Eth0千兆電口/10001001100210031004100510091010PXE Public Private MGMT Storage Ceph PubVXLAN/管理口/1000IPMI融合節(jié)點(diǎn)Eth0千兆電口/10001001100210031004100510091010PXE P

8、ublic Private MGMT Storage Ceph Pub VXLAN/管理口/1000IPMI部署節(jié)點(diǎn)Eth0千兆電口/10001001PXEPublic圖3-2:云平臺(tái)網(wǎng)絡(luò)IP規(guī)劃3.3網(wǎng)絡(luò)角色介紹網(wǎng)絡(luò)類型用途備注PXE用于推送操作系統(tǒng)已經(jīng)OpenStack部署操作系統(tǒng)和 OpenStack ,內(nèi)部網(wǎng)絡(luò)publicDashBoard 訪問以及floating 網(wǎng)絡(luò)與平臺(tái) DashBoard 訪問網(wǎng)絡(luò)，需要外部訪 問CephPublicCeph讀寫數(shù)據(jù)流量存儲(chǔ)網(wǎng)絡(luò)，內(nèi)部網(wǎng)絡(luò)，ceph南北向流量的網(wǎng)絡(luò)StoragetCeph內(nèi)部Cluster流里，副本的同步、rebalance 流

9、里絡(luò)，存儲(chǔ)網(wǎng)絡(luò)，內(nèi)部網(wǎng)絡(luò)，ceph東西向流量的網(wǎng)絡(luò)MgmtOpenStack 內(nèi)部通信用丁 OpenStack各個(gè)組件通/，內(nèi)部網(wǎng)絡(luò)Private生產(chǎn)網(wǎng)絡(luò)虛擬機(jī)業(yè)務(wù)網(wǎng)絡(luò)IPMI服務(wù)器的帶外管理口網(wǎng)絡(luò)需要與控制節(jié)點(diǎn)的 Public網(wǎng)絡(luò)互通，實(shí)現(xiàn) Host HAVXLANOverlay 網(wǎng)絡(luò)Overlay 網(wǎng)絡(luò)表3-3:網(wǎng)絡(luò)類型說明四、OpenStack 組件HA 及分布4.1控制節(jié)點(diǎn)服務(wù)HAPacemaker管理的是有狀態(tài)的服務(wù)28 / 25ControllerControllerControllerPaceMakercetlonerer-centralPaceMaksrPace MakerAc

10、twlnactivecdlomeier-centralAdive/Inactiveceilometer centralceilometer-al a rmceilometer alarm ceilometer alarmMysql-GaleraRabbbitMQActive/ActiveM/sql GaleraRabbbitMOAclive/AcliveMysql GaleraRabbbitMQNeutronhaproxyNeutronNeutronhaproxyhaproxyPacemaker管理服務(wù)列表（crm status）Ceilometer:openstack-ceilometer-

11、centra"活）openstack-ceilometer-alarm-evaluator印活）Mysql（全活）Rabbitmq-server除活）Haproxy（全活）Neutron：neutron-openvswitch-agent（全活）neutron-metadata-agent（全活）neutron-dhcp-agent（全活）neutron-l3-agent（全活）Haproxy代理的是無狀態(tài)的 API訪問，起到loadblance的作用Cdrittol lerHorfzonkeystonenova aninown nietEldciUinova-novncnroxvn

12、un Ironce-apiglance-registryceilometer apimvsaldracloscrift,glance recjstryhorizon keystone nova-api nova- metadata-api cinder-api neutron-api glance-api glanceregistry ceilometer-api rabbitmq mysqld radosgw nova-novncproxyHA ProxyControllerI lorizonkeyanenovaeiovei rTictLidiitanova novncproxvneutro

13、nglance- aptglance-registryceilometer-rd imy saidrndoscjuvregistryControllerHOizonkeystcxiea-aplncn/a-nietadat a-apinova-ncvncproxvnetiuon-api目Iance第iglance-registryceil oneier apisqldradsgwglance-registry4.2所有節(jié)點(diǎn)服務(wù)列表ControllerControllerContnDllerceilometerceilometerceilometerglanceglanceglaninovanov

14、anovacindercindercindi開NeutronNeutronNcuiti口 nceph-monitorceph-monitorceph-rn(in it or 1Computenova-computeopenvswitch-auentceilorneter-corDputeCompuE&Siaagenova-cornpuieopenvswiicli-acientceilonieter-cornputeceph-osdStoregeceph-iasdGlanceNovaNeutronCinderCeilometerCephglance-apinova-certneutron

15、-l3-age ntcinder-apiceilometer-col lectormonglance-registrynova-novncpr oxyneutron-ns-m etadata-proxycinder-volumeceilometer-ag ent-centralradosgwnova-objectsto reneutron-serve rcinder-schedul erceilometer-ala rm-notifiernova-consolea uthneutron-open vswitch-agentceilometer-apinova-apineutron-rootw

16、rapceilometer-ag ent-notificationGlanceNovaNeutronCinderCeilometerCephnova-schedule rneutron-meta data-agentnova-conducto rneutron-dhcpagentnova-api五、分布式存儲(chǔ)設(shè)計(jì)Nova , Glance和Cinder提供了超融合的分布式存儲(chǔ)后 Ceph ,其提供了豐富的REST API以供OpenStack調(diào)用，兩個(gè)完美結(jié)合實(shí)現(xiàn)存儲(chǔ)資源的虛擬化KEYSTONE AP I SWIFT APIH¥P£RU1$0ft |舊空期CEPH OBJE

17、CT GATEWAYCEPH BLOCK DEVICE(RGW)RBDVolumesCopy-on-WriteEphemeralSnapshots圖5-1: OpenStack與Ceph融合架構(gòu)Cinder采用Ceph后端，為虛機(jī)提供多樣化、持久性的云硬盤為了使分布存儲(chǔ)系統(tǒng)發(fā)揮最高性能，把存儲(chǔ)的訪問網(wǎng)絡(luò)（前端）和存儲(chǔ)集群內(nèi)部數(shù)據(jù)同步網(wǎng)絡(luò)（背面）網(wǎng)絡(luò)分開，存儲(chǔ)系統(tǒng)功能包括：1. 存儲(chǔ)池橫向擴(kuò)展： Ceph 資源池的規(guī)模和容量沒有限制，可以輕松擴(kuò)展至PB 級(jí)；理論上， Ceph 分布式存儲(chǔ)的性能也是隨著集群的橫向擴(kuò)展線性增加。2. 網(wǎng)絡(luò)隔離：存儲(chǔ)系統(tǒng)分為 Public（ 前端網(wǎng)絡(luò)，主要是虛機(jī)等cl

18、ient 端針對(duì)Ceph 的讀寫流量）和 Cluster（ 后端網(wǎng)絡(luò)，主要是Ceph 內(nèi)部數(shù)據(jù)同步流量）兩個(gè)網(wǎng)絡(luò)，實(shí)現(xiàn)了流量的有效隔離，在進(jìn)行數(shù)據(jù)同步的同時(shí)盡量不影響業(yè)務(wù)生產(chǎn)。3. 云硬盤：基于 Ceph 提供云硬盤服務(wù)，在 web UI 以及后端命令行實(shí)現(xiàn)云硬盤的創(chuàng)建、掛載、擴(kuò)展和刪除等功能。并且為了確保云硬盤的可用性，在刪除云硬盤之前必須先從云主機(jī)內(nèi)部取消映射。4. 備份功能：云硬盤提供了多種備份功能，例如快照和完全備份，保證了數(shù)據(jù)的安全性和完整性。5. 超融合存儲(chǔ)：基于 Ceph 提供統(tǒng)一存儲(chǔ)， Nova 、 Cinder 和 Glance 均采用Ceph 作為其存儲(chǔ)后端。以下是我們?yōu)樵?/p>

19、平臺(tái)設(shè)計(jì)的存儲(chǔ)池:5-3 ： Ceph 存儲(chǔ)架構(gòu)1. Ceph 存儲(chǔ)池的 Ceph Monitor 安裝在三臺(tái)控制節(jié)點(diǎn)，并做了集群，保證Monitor 的高可用。2. 南北向?yàn)?Ceph Public 流量，為 Ceph 內(nèi)部通信流量和外部client 訪問Ceph 存儲(chǔ)進(jìn)行讀寫的流量。3. 東西向?yàn)?Ceph 內(nèi)部 Cluster 流量，副本的同步、 OSD down 以及 HOST down 機(jī)時(shí)發(fā)生的 rebalance 流量。4. 推薦副本數(shù)為三份，三份數(shù)據(jù)會(huì)分別落在不同主機(jī)的 OSD 上，保證數(shù)據(jù) 的安全性。5. 本方案中容量型存儲(chǔ)采用 900GB 的 SAS 盤作為 Ceph OS

20、D ，由于 SAS 的 性能較低，采用 SSD 作為 OSD 的日志盤。由于 Ceph 每次操作都要先將描述寫入日志，然后才把操作應(yīng)用到文件系統(tǒng)，以此提高讀寫性能。6. 我們推薦 Ceph 日志盤和數(shù)據(jù)盤的比率是1:4，最高不建議超過1:5。六、服務(wù)器需求6.1 云平臺(tái)服務(wù)器磁盤 RAID配置節(jié)點(diǎn)角色系統(tǒng)盤/RAID日志盤+SAS存儲(chǔ)資源池OSD部署節(jié)點(diǎn)RollerDeploy900G SAS *4-> RAID5/控制節(jié)點(diǎn)node-1Controller900G SAS *2-> RAID1900G SAS *2-> RAID1/node-2/node-3/計(jì)算節(jié)點(diǎn)node

21、-4Compute900G SAS *2-> RAID1/node-5node-6node-7node-8node-9node-10node-11node-12node-13存儲(chǔ)節(jié)點(diǎn)node-14Storage900G SAS *2-> RAID1(日志盤)800G SSD *3->non-RAID or JBOD(OSD)900G SAS * 15-> 單盤 RAID0node-15node-16node-17node-18表5-1:生產(chǎn)環(huán)境服務(wù)器磁盤配置需求表注：服務(wù)器RAID卡必須帶有專有電池，優(yōu)先將磁盤陣列配置為write-back模式6.2 云平臺(tái)服務(wù)器BIOS配置進(jìn)BIOS內(nèi)，調(diào)整服務(wù)器啟動(dòng)順序，將 PXE設(shè)為第一啟動(dòng)項(xiàng)，將磁盤啟動(dòng)設(shè)第二 啟動(dòng)項(xiàng)。進(jìn)入BIOS,禁用UEFI啟動(dòng)改為legacy-only 啟動(dòng),設(shè)置管理網(wǎng)絡(luò)的網(wǎng)卡為PXE啟動(dòng)，其他網(wǎng)卡禁止從 PXE啟動(dòng)。按照前面的系統(tǒng)盤、日志盤和存儲(chǔ) OSD的RAID規(guī)劃配置磁盤的RAID信息。CPU需要支持虛擬化