長沙銀行生產(chǎn)云平臺(tái)建設(shè)實(shí)施方案v3

1、EasyStack 長沙生產(chǎn)云實(shí)施方案2017.12.15文檔屬性文件修訂序號(hào)版本號(hào)簡要說明修訂日期變更人審核人備注1V1.0Init.201712152V2.0按照20個(gè)節(jié)點(diǎn)規(guī)劃20171215劉海平3456屬 性內(nèi) 容級(jí)別文檔級(jí)別文檔編 寫 人EasyStack 長沙項(xiàng)目小組審 核 人劉海平目錄第 1 章云總體架構(gòu)設(shè)計(jì)41.1物理拓?fù)湓O(shè)計(jì)圖41.2軟件架構(gòu)圖7第 2 章云網(wǎng)絡(luò)規(guī)劃72.1邏輯網(wǎng)絡(luò)架構(gòu)圖82.2網(wǎng)絡(luò)規(guī)劃明細(xì)9第 3 章方案中角色說明103.1網(wǎng)絡(luò)角色說明103.2服務(wù)器角色說明11第 4 章OpenStack 服務(wù)分布及 HA124.1控制節(jié)點(diǎn)服務(wù) HA124.2所有服務(wù)列表

2、14第 5 章服務(wù)器配置165.1磁盤陣列配置165.2BIOS 配置17第 6 章服務(wù)器接線示意圖18第 7 章分布式.19第1章 云總體架構(gòu)設(shè)計(jì)1.1 硬件資源調(diào)整基于構(gòu)建穩(wěn)定可靠的云環(huán)境，生產(chǎn)云采用計(jì)算與分離的模式部署，故需將原有融合節(jié)點(diǎn)資源予重新組合，調(diào)整的原則如下：1、控制節(jié)點(diǎn)，需要增加內(nèi)存至 128G，由于控制節(jié)點(diǎn)同時(shí)承載ceph monitor的角色和openstack 眾多API 的服務(wù)，需要較多內(nèi)存資源；2、計(jì)算節(jié)點(diǎn)，內(nèi)存調(diào)整原有的 128G 增加至 384G，保留 2 塊硬盤，用于操作系統(tǒng)；3、節(jié)點(diǎn)，內(nèi)存由 256G 調(diào)整為 128G，硬盤數(shù)量為 2 塊 900G SAS

3、用于操作系統(tǒng)，16 塊 900G SAS 用于Ceph 數(shù)據(jù)，4 塊 480G SSD 用于Ceph 日志盤，數(shù)據(jù)盤與日志盤比為1:4，其中單臺(tái)機(jī)器配備16 塊盤是Ceph 在生產(chǎn)中最佳實(shí)踐，防止單臺(tái)osd 節(jié)點(diǎn)數(shù)量過多影響數(shù)據(jù)同步和穩(wěn)定性；資源調(diào)整情況情況如下：節(jié)點(diǎn)調(diào)整前調(diào)整后內(nèi)存256G128G磁盤SAS 900G*12SSD 480G*2SAS 900G*18SSD 480G*4計(jì)算節(jié)點(diǎn)調(diào)整前調(diào)整后內(nèi)存256G384G磁盤SAS 900G*12SAS 900G*2控制節(jié)點(diǎn)調(diào)整前調(diào)整后內(nèi)存64G128G磁盤SAS 900G*4SAS 900G*41.2物理拓?fù)湓O(shè)計(jì)圖圖 1:架構(gòu)圖方案簡述：

4、共 20 臺(tái)服務(wù)器：分別為控制節(jié)點(diǎn)三臺(tái)，計(jì)算節(jié)點(diǎn) 8 臺(tái)，臺(tái)機(jī)器用于部署服務(wù)器；節(jié)點(diǎn) 8 臺(tái)，1控制節(jié)點(diǎn)三臺(tái)組成 HA，保證 OpenStack 高可用，可隨機(jī)宕掉任意節(jié)點(diǎn)不影響業(yè)務(wù)；計(jì)算節(jié)點(diǎn) 8 臺(tái)組成計(jì)算集群，計(jì)算節(jié)點(diǎn)承載虛擬機(jī)。節(jié)點(diǎn) 8 臺(tái)搭建分布式集群，承載虛擬機(jī)所需要的數(shù)據(jù)，節(jié)點(diǎn)由 4 塊 480G 的SSD 用于ceph journal，16 塊 900G 的SAS 盤用于ceph data，副本數(shù)為 3 個(gè)；（備注：其中 16 塊盤已是最高配置，是 ceph 生產(chǎn)最佳實(shí)踐）所有的節(jié)點(diǎn)服務(wù)器的兩根千兆網(wǎng)卡綁定用于承載 PXE 和 public 網(wǎng)絡(luò)；，由不同物理交換機(jī)承載?？刂乒?jié)點(diǎn)

5、網(wǎng)絡(luò)規(guī)劃，兩根萬兆網(wǎng)卡綁定用于storage-pub 和mgmt 網(wǎng)絡(luò)。計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)規(guī)劃，兩根萬兆網(wǎng)卡綁定用于 storage-pub 和mgmt 網(wǎng)絡(luò)，另外兩根萬兆網(wǎng)卡綁定用于 Prv-product（vm 生產(chǎn)網(wǎng)絡(luò)）流量；另外兩個(gè)千兆綁定用于承載Prv-mgmt（vm 管理網(wǎng)絡(luò)）流量。節(jié)點(diǎn)網(wǎng)絡(luò)規(guī)劃，兩根萬兆網(wǎng)卡綁定用于 storage-pub 和mgmt 網(wǎng)絡(luò)，另外兩根萬兆網(wǎng)卡綁定用于storage 網(wǎng)絡(luò)。1.3可用資源由 8 臺(tái)計(jì)算節(jié)點(diǎn)和 8 臺(tái)節(jié)點(diǎn)組成的計(jì)算資源集群和資源集群，為云提供云主機(jī)服務(wù)和云硬盤服務(wù)，針對(duì)云要遵循如下原則：的資源情況，對(duì)資源設(shè)置超售比，需CPU 計(jì)算資源的超售比

6、設(shè)置為 1:4；內(nèi)存資源設(shè)置為 1:1.資源使用ceph 作為分布式，將多臺(tái)節(jié)點(diǎn)組成分布式，其中3.2 塊 900G 的磁盤用于系統(tǒng)盤，另外 16 塊磁盤用于做 ceph 數(shù)據(jù)盤，使用 3 個(gè)副本，超售比使用 1:1；網(wǎng)卡采用兩張網(wǎng)卡做 bond，采用主備模式，交換機(jī)設(shè)定為 trunk，4.由云openvswtich 設(shè)定 bond 模式，一組 bond 承載 prv-product 流量，另外一組bond 承載prv-mgmt 流量。如下是計(jì)算分離后，云整體資源的情況：1. 單臺(tái)節(jié)點(diǎn)容量：2.資源總共可用：資源類型可用資源CPU(總)40 個(gè)core*8 臺(tái)*4 超售比=1280內(nèi)存(總)3

7、84G*8 臺(tái)*1.0 超售比=3072 G(可用)4.8T*8 臺(tái)*1.0 超售比=38.4T網(wǎng)絡(luò)(總)prv-product Prv-mgmt10G*1*8*100%=80G1G*1*8*100%=8G資源類型資源數(shù)據(jù)量資源小結(jié)CPU2*E5-2640V42*10*2=40內(nèi)存24*16G 2133 DDR424*16=384G16*900GB SAS disk16*900/3=4.8T網(wǎng)絡(luò)：prv-productPrv-mgmt10G network Card 1G network Card10G(bond 做主備模式) 1G(bond 做主備模式)1.4軟件架構(gòu)圖圖 2：OpenSta

8、ck 軟件架構(gòu)圖第2章 云網(wǎng)絡(luò)規(guī)劃2.1 邏輯網(wǎng)絡(luò)架構(gòu)圖圖 3：OpenStack 網(wǎng)絡(luò)邏輯架構(gòu)圖2.2 網(wǎng)絡(luò)規(guī)劃明細(xì)表 1：網(wǎng)絡(luò)規(guī)劃明細(xì)注意： 其中 public 和 private 需要三層可路由，private 根據(jù)業(yè)務(wù)的情況可設(shè)定多個(gè) vlan，其他網(wǎng)絡(luò)，包括 mgmt，pxe，ceublic，storage 網(wǎng)絡(luò)均為云內(nèi)部通信網(wǎng)絡(luò)，只需要二層網(wǎng)絡(luò)互聯(lián)即可。節(jié)點(diǎn)類型數(shù)量/臺(tái)網(wǎng)絡(luò)接口網(wǎng)絡(luò)角色網(wǎng)絡(luò)號(hào)碼vlan號(hào)碼交換機(jī)模式控制節(jié)點(diǎn)32*1GPXE172.19.0.0/242000trunkpublic172.19.1.0/2520012*10Gmgmt172.19.2.0/242002tr

9、unkStorage-pub172.19.3.0/242003計(jì)算節(jié)點(diǎn)82*1GPXE172.19.0.0/242000trunkpublic172.19.1.0/2520012*10Gmgmt172.19.2.0/242002trunkStorage-pub172.19.3.0/2420032*1GPrv-mgmt172.19.100.0/242100trunk2*10GPrv-product172.19.101.0/242101節(jié)點(diǎn)82*1GPXE172.19.0.0/242000trunkpublic172.19.1.0/2520012*10Gmgmt172.19.2.0/242002t

10、runkStorage-pub172.19.3.0/2420032*10GStorage172.19.4.0/252104trunk安裝部署11*1GPXE172.19.0.0/242000acs1*1Gpublic172.19.1.0/252001acs第 章方案中角色說明 網(wǎng)絡(luò)角色說明本方案中 ESCloud 網(wǎng)絡(luò)分為七類：Public:控制節(jié)點(diǎn)集群網(wǎng)絡(luò)，對(duì)外提供 OpenStack Dashboard，需要連通公司網(wǎng)絡(luò)，千兆網(wǎng)絡(luò)即可，若作為 floating 網(wǎng)絡(luò)則需萬兆，本方案中采用萬兆網(wǎng)絡(luò)。MGMT:OpenStack 內(nèi)部組件通信，建議千兆，本方案中使用萬兆。Prv-product

11、:虛機(jī)的業(yè)務(wù)網(wǎng)絡(luò)，需要連通業(yè)務(wù)生產(chǎn)網(wǎng)絡(luò)，配置成 trunk，根據(jù)業(yè)務(wù)的類型可劃分多個(gè) vlan 提供給不同的業(yè)務(wù)系統(tǒng)。Prv-mgmt:虛機(jī)的管理網(wǎng)絡(luò)，需要連通公司管理網(wǎng)絡(luò)，配置成trunk，根據(jù)業(yè)務(wù)的類型可劃分多個(gè) vlan 提供給不同的業(yè)務(wù)系統(tǒng)。PXE:僅用于部署各節(jié)點(diǎn)的操作系統(tǒng)和自動(dòng)推送安裝 OpenStack。的 public 網(wǎng)絡(luò)，建議萬兆，用于 ceph 前Storagepub:ceph端，本方案采用萬兆網(wǎng)卡。的 Cluster 網(wǎng)絡(luò)，建議萬兆，用于 ceph 內(nèi)部Storage:ceph數(shù)據(jù)通信和拷貝，本方案采用萬兆網(wǎng)卡承載。 服務(wù)器角色說明ESCloud 服務(wù)器角色分為四類:E

12、SRoller:用于部署安裝操作系統(tǒng)和 OpenStack，對(duì)網(wǎng)絡(luò)要求不高，千兆網(wǎng)絡(luò)即可。Controller:包含 OpenStack 各個(gè)組件，例如 keystone、Cinder、neutron、nova、glance 等，并作高可用，控制節(jié)點(diǎn)集成網(wǎng)絡(luò)節(jié)點(diǎn)。Network: 負(fù)責(zé)云的網(wǎng)絡(luò)API 功能實(shí)現(xiàn)，如 dhcp 地址分配，。NATCompute: 提供計(jì)算資源，用于承載虛擬機(jī)業(yè)務(wù)。Storage:每臺(tái)節(jié)點(diǎn)使用 16 個(gè) osd 組建分布式儲(chǔ)服務(wù)。，為 vm 提供存第 章 5VKT9ZGIQ 服務(wù)分布及 . 控制節(jié)點(diǎn)服務(wù) .Pacemaker 管理的是有狀態(tài)的服務(wù)圖 4：控制節(jié)點(diǎn)有狀

13、態(tài)服務(wù) HAPacemaker 管理服務(wù)列表(sus)Ceilometer:openstack-ceilometer-central(單活)openstack-ceilometer-alarm-evaluator(單活)()Rabbitmq-server()Haproxy()Neutron：neutron-openvswitch-agent()neutron-metadata-agent()eutron-dhcp-agent(neutron-l3-agent()的是無狀態(tài)的API，起到loadblance 的作用Haproxy圖 5：控制節(jié)點(diǎn)無狀態(tài)服務(wù) HAhorizonkeystone no

14、va-apinova-metadata-api cinder-apineutron-api glance-api glance-registry ceilometer-api rabbitmqd radosgwnova-novncproxy4.2 所有服務(wù)列表圖 6：服務(wù)列表GlanceNovaNeutronCinderCeilometerCeph表 2：服務(wù)列表glance-apinova-certneutron-l3-age ntcinder-apiceilometer-col lectormonglance-registrynova-novncpr oxyneutron-ns-m eta

15、data-proxycinder-volumeceilometer-ag ent-centralradosgwnova-objectsto reneutron-serve rcinder-schedul erceilometer-ala rm-notifiernova-consolea uthneutron-open vswitch-agentceilometer-apinova-apineutron-rootw rapceilometer-ag ent-notificatio nnova-schedule rneutron-meta data-agentnova-conducto rneut

16、ron-dhcp- agentnova-api第5章 服務(wù)器配置5.1 磁盤陣列配置表 3：服務(wù)器配置節(jié)點(diǎn)類型節(jié)點(diǎn)角色系統(tǒng)盤/RIADMongoDB日志盤/RIADOSD/RAID部署節(jié)點(diǎn)rollerDeploy900G SAS *2- RAID1/控制集群node-1Controller900G SAS *2- RAID1/node-2node-3計(jì)算節(jié)點(diǎn)node-4Compute900G SAS *2- RAID1/node-5node-10node-11節(jié)點(diǎn)node-12Storage900G SAS *2- RAID1/480G SSD *4- RAID0900G SAS *16-RA

17、ID0node-13node-18node-195.2 BIOS 配置進(jìn) BIOS 內(nèi)，調(diào)整服務(wù)器啟動(dòng)順序，將 PXE 設(shè)為第一啟動(dòng)項(xiàng)，將磁盤啟動(dòng)設(shè)為第二啟動(dòng)項(xiàng)。進(jìn)入 BIOS，禁用 UEFI 啟動(dòng)改為 legacy-only 啟動(dòng)，設(shè)置管理網(wǎng)絡(luò)的網(wǎng)卡為PXE 啟動(dòng)，其他網(wǎng)卡從PXE 啟動(dòng)。按照前面的系統(tǒng)盤、日志盤和OSD 的RAID 規(guī)劃配置磁盤的RAID 信息。CPU 需要支持虛擬化技術(shù)，BIOS 中啟用默認(rèn)開啟。el-VT or AMD-d 技術(shù)，一般 BIOS關(guān)閉節(jié)能模式。服務(wù)器磁盤RAID 和BIOS 配置根據(jù)實(shí)際情況進(jìn)行設(shè)置。第6章 服務(wù)器接線示意圖圖 7:網(wǎng)絡(luò)接線示意圖此僅為示意

18、圖，如是雙網(wǎng)卡綁定的情況，可參考此示例，如為單網(wǎng)卡接入，可忽略；圖中示意主要為雙網(wǎng)卡綁定的示例，兩個(gè)綁定的網(wǎng)口必須分布在不同的網(wǎng)卡上，以達(dá)到冗余的目的；所有服務(wù)器網(wǎng)卡插槽如均一致，請(qǐng)確保相同資源池的接線順序也保持一致。如對(duì)接線方式有疑問，可與我聯(lián)系確認(rèn)。第7章 分布式圖 8:OpenStack 與Ceph 融合架構(gòu)圖 9:Ceph架構(gòu)為了使分布系統(tǒng)發(fā)揮最高性能，把的網(wǎng)絡(luò)（前端）和集群內(nèi)部數(shù)據(jù)同步網(wǎng)絡(luò)（背面）網(wǎng)絡(luò)分開：1.系統(tǒng)分為 Public(前端網(wǎng)絡(luò)，主要是虛機(jī)等 cnt 端針對(duì) Ceph 的讀寫流量)和 Cluster(后端網(wǎng)絡(luò)，主要是 Ceph內(nèi)部數(shù)據(jù)同步流量)兩個(gè)網(wǎng)絡(luò)，實(shí)現(xiàn)了流量的有效，在進(jìn)行數(shù)據(jù)同步的同時(shí)盡量不影響生產(chǎn)業(yè)務(wù)。2.SAS池的 Ceph Monitor 安裝在三臺(tái)控制節(jié)點(diǎn)，并做了集群，保證 Monitor 的高可用。3.南北向?yàn)?Ceublic 流量，為 Ceph 內(nèi)部通信流量