l016-老男孩高級架構(gòu)師體系cloudstack云平臺實戰(zhàn)113節(jié)

理論基 部署安 CLOUDSTACK安裝前的準(zhǔn) 網(wǎng)絡(luò)配 添加hosts文件實現(xiàn)集群主機之間相互能夠解 關(guān)閉 安裝epel 安裝cloudstack 安裝 先決條 Agent安 系統(tǒng)配 搭建一個http服務(wù) 制作模 服務(wù)方 在企業(yè)中搭建自己的私有 部署架 高級網(wǎng) 企業(yè)使 使用glusterfs主要的要 啟用了HA的虛擬 主機的 性能調(diào) 設(shè)置和每個主機的總VM數(shù)限 CLOUDSTACKAPI調(diào) 文檔地 API簽 及故障處 系統(tǒng)............................................................................................................................... 清理 使用GLUSTERFS報 理論基礎(chǔ)云計算的出基本上，基本上，云計算只是一種把IT資源當(dāng)作服務(wù)來提 段。幾乎所有IT資源都可以作為云服務(wù)提供：應(yīng)用程序、計算能力 容量、聯(lián)網(wǎng)、編程工具，以至于通信服務(wù)和協(xié)作工具IT新的員工或咨 、不需要租賃設(shè)施、沒有任何種類的基建投資，而且還沒有隱性成本。只是一種用表測量出來的、根據(jù)使用情況支付的訂購費或固定的訂購費。只是用您所需的量，而且只按使用 把基礎(chǔ)設(shè)施當(dāng)做服務(wù)（把基礎(chǔ)設(shè)施當(dāng)作服務(wù)把基礎(chǔ)設(shè)施當(dāng)作服務(wù))處于最低層級而且是一種作為標(biāo)準(zhǔn)化服務(wù)在網(wǎng)上提供基 和計能 系統(tǒng)、交換機、路由器和其他系統(tǒng)協(xié)作(例如，通過虛擬化技術(shù))處理特定型的工作負(fù)載—從批處理到峰值負(fù)載期間的服務(wù)器 擴(kuò)大最著名的商業(yè)示例是AmazonWeb服務(wù)(AWS)，其EC2和S3服務(wù)分別提供基本計算和 平臺的虛擬化技術(shù)的好處利利用率更高—在虛擬化之前，企業(yè)數(shù)據(jù)中心的服務(wù)器 利用率一般平均不到50%(事實上，常利用率為10%到15%)。通過虛擬化，可以把工作負(fù)載封裝一并轉(zhuǎn)移到空閑或使用不足的系統(tǒng)，這就 資源整合—虛擬化使得整合多個IT資源成為可能。除服務(wù)器 節(jié)省電能/成本服務(wù)器硬件上每花 ，就會在電費上增加 (包括服務(wù)器運行和散熱方面的成本)。利用虛擬進(jìn)行整合使得降低總能耗和節(jié)約大 成為可能節(jié)約空間—服務(wù)器膨脹仍然是多數(shù)企業(yè)數(shù)據(jù)中心的一個嚴(yán)重問題，可擴(kuò)大數(shù)據(jù)中心并不總是一恢復(fù)(Disasterrecovery)/業(yè)務(wù)連續(xù)(BusinessContinuity)—虛擬化可提高總體 Cloudstack介CloudStackCloudStack是一個開源的云AmazonEC2那樣的公共云服務(wù)。CloudStack可以通過組織和協(xié)調(diào)用戶的虛擬化資源，構(gòu)建一個和諧的環(huán)境。Cloudstack支持管理大部分主流的hypervisors，如KVM，XenServer，VMware，OracleVM，Xen等。CloudstackZone：Zone對應(yīng)于現(xiàn)實中的一個數(shù)據(jù)中心，它是CloudStackzonepodpodclusterhost。提供點（Pods多個提供點，提供點中包含主機和主服務(wù)器，CloudStack的管理通信配置一個預(yù)留IP地址范圍。預(yù)留的IP范圍對云中的每個區(qū)域來說必須唯一。集群（ClustersCluster同一個cluster中的主機有相同的硬件，相同的Hypervisor，和共用同樣的。同一cluster集群由一個或多個宿主機和一個或多個主要服務(wù)器構(gòu)成集群的大小取決于下層虛擬器管理。管理員必須在本產(chǎn)品中登記vCenter。每個zone下可以有多個vCenter服務(wù)器。每vCenterVMware集群主機（HostsHost就是運行的虛擬機（VM）都裝有虛擬機來運行虛擬機。比如一個開啟了kvm支持的服務(wù)器，一個思杰XenServerESXi服務(wù)器都可以作為宿主機。CloudStack點，而區(qū)域中包含提供點（就是在邏輯概念上zone>pod>cluster>host，新增的宿主機可以CloudStackCloudStack中存在兩種：Primarystorage：一級與cluster關(guān)聯(lián)，它為該cluster中的主機的全部虛擬機提供磁盤卷。一個cluster至少有一個一級，且在部署時位置要主機以提供高性能。Secondarystorage：二級與zone關(guān)聯(lián)，它模板文件，IS像和磁盤卷快照。部署安裝cloudstack安裝前的準(zhǔn)電腦一臺，內(nèi)存電腦一臺，內(nèi)存安裝VirtualBox或VMWAREWorkstation虛擬機 安裝好2臺CentOS-6-x86_64（6.6以上）的虛擬機。M內(nèi)存+50G硬盤M內(nèi)存+50G硬盤網(wǎng)絡(luò)選擇：網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）包選擇：BasicServer。關(guān)閉iptables和SELinux。系統(tǒng)配置安網(wǎng)絡(luò)配eth0一個網(wǎng)絡(luò)接口。Cloudstack也同樣不適合；您需修改配置文件，IP地址，網(wǎng)絡(luò)掩碼等信息修改主機用vi編輯器，里面有一行HOSTNAME=localhost.local(如果是默認(rèn)的話），修改localhost.local為你的主機名。打開該文件，會有一行l(wèi)ocalhost.locallocalhost。其中是本地環(huán)路（alias將上面兩個文件修改完后，并不能立刻生效。如果要立刻生效的話，可以用hostnameyour-hostname作臨時修改，它只是臨時地修改主機名，系統(tǒng)重啟后會恢復(fù)原樣的。但修改上面兩個文件是的，重啟系統(tǒng)會得到新的主機名。hostnamehostname–fqdn添加hosts文件實現(xiàn)集群主機之間相互能夠解修改每臺機器的修改每臺機器的localhost localhost 01關(guān)閉關(guān)閉sedi's/SELINUX=enforcing/SELINUX=disabled/'/etc/sysconfig/selinuxsed-i's/SELINUX=enforcing/SELINUX=disabled/'也可以用viepelcloudstackcloudstackyumepelyum-yinstallepel-cloudstack添加CloudStack倉庫，創(chuàng)建/etc/yum.repos.d/cloudstack.repo文件，并添加如下信息或者把安裝包到本NTP##yum-yinstallNTP#chkconfigntpdon##chkconfigntpdon#servicentpdstart本文檔將配置的環(huán)境使用NFS做為主和輔助，需配置兩個NFS共享 前需先安裝nfs-utils：##yum-yinstallnfs-NFS提供兩個不同的掛載點。通過編輯/etc/exports文件即可簡單實現(xiàn)。確保/export/secondary/export/secondary/export/primary 限，對應(yīng)令如下所示：##mkdir-p#mkdir格式化Master節(jié)點掛載給/export/secondary 節(jié)點掛載 在 文件中加Master xfsdefaults00 xfsdefaults0echo"/dev/sdb/export/secondaryext4defaults00">>/etc/fstabAgent節(jié)點echo"/dev/sdb/export/primaryext4defaults00">>mount-CentOS6.xNFSv4設(shè)置為以下內(nèi)容：在/etc/sysconfig/nfs文件中取消如下選項的注釋：-AINPUT-mstate--stateNEW-p-AINPUT-mstate--stateNEW-pudp--dport662-j-------111-j-------111-j-------2049-j-------32803-j-------32769-j-------892-j-------892-j-------892-j-------875-j-------875-j-------662-jiptables##serviceiptablesNFS##servicerpcbindstart#servicenfsstart#chkconfigrpcbind#chkconfig管理服務(wù)器安CloudStack安裝管理##yum-yinstallcloudstack- 數(shù)據(jù)庫安裝和配MySQLCloudStack運行正常。##yum-yinstallmysql-MySQL安裝完成后，需更改其配置文 log-bin=mysql-binlog-format=MySQL##servicemysqld#chkconfigmysqld設(shè)置mysql及范圍權(quán)mysqladminmysqladmin-urootpasswordmysql-uroot-p123456-e"GRANTALLPRIVILEGESON*.*TOroot@'%'IDENTIFIEDBY'123456'";系統(tǒng)初始##cloudstack-setup-databasescloud:123456@localhost--deploy-thedatabase.”。##cloudstack-setup-上傳系統(tǒng)模 mon/scripts/storage/secondary/cloud-install-sys-lt-m/export/secondary/-f/opt/systemvm64template-2016-05-18-4.7.1-2.bz2-hkvm-用戶界要CloudStack的WEB界面僅需在瀏覽器，agent節(jié)點及配先決條配置ClouStackAgent安安裝KVM僅僅需要一條簡單令，但之后我們需要進(jìn)行一些配置#yum-yinstallcloudstack- 虛擬化配KVMlibvirt#KVMQEMUVNC#DNS/etc/libvirt/libvirtd.conflisten_tlslisten_tls=listen_tcp=tcp_port="16059"auth_tcp="none"mdns_adv=0僅僅在libvirtd.conf中啟用”listen_tcp”LIBVIRTD_ARGS="-LIBVIRTD_ARGS="-libvirt##servicelibvirtdKVM554963377721ForthesakeofcompletenessyoushouldcheckifKVMis554963377721系統(tǒng)配登陸到用戶界http://<management-server-ip-CloudStack提供一個基于web的UI，管理員和終端用戶能夠使用這個界面。用戶界面版本依賴于登陸時使用的憑證不同而不同。用戶界面是適用于大多數(shù)流行的瀏覽器包括IE7,IE8,IE9,FirefoxChrome等。URL是:(用你自己的管理控務(wù)器IP地址代替)http://<management-server-ip-你賬號的用戶ID。默認(rèn)用戶名是admin->用戶ID對應(yīng)的 是password。域->如果你是root用戶，此處留空即可。你賬號的用戶ID。默認(rèn)用戶名是admin->用戶ID對應(yīng)的 是password。域->如果你是root用戶，此處留空即可。CloudStackISO、數(shù)據(jù)卷和快照、賓客網(wǎng)絡(luò)，以及IP地址。如果用戶是一個或多個CloudStack根管理員界面的概在管理服務(wù)器安裝并且運行后,你就可以運行CloudStack的用戶界面.了在這里通打開你自己喜歡的瀏覽器并這個URL。請把IP地址替換成你自己的管理服務(wù)器的IP。如果你看到第一次的向?qū)聊?可以選擇下面步驟之一進(jìn)行。**繼續(xù)執(zhí)行基本安裝。**CloudStack，請選擇這個，并且這樣你可以CloudStack的機器和使用NFS協(xié)議的；一個運行VMs的XenServer或hypervisor我之前用過CloudStack。CloudStackUICitrixXenServer、KVM、VMwarevSphere根管理員的顯示出來UICloudStack以及其他僅限于已執(zhí)行的操作。在初始安CloudStack時，請務(wù)必修改默認(rèn)為http://<management-server-ip-http://<management-server-ip-使用當(dāng)前root用戶的IDUI。缺省為admin，pawword。點擊更 按鈕輸入 ，然后點擊確認(rèn)初始化配選擇“基礎(chǔ)架 添加區(qū)域”按照截圖進(jìn)行配置 起始IP：70 結(jié)束IP：89網(wǎng)關(guān) 掩碼 起始 填寫被添加主機的root用戶和）名稱：primary（default，都不是固定的，自己根據(jù)需要進(jìn)行區(qū)分）協(xié)議：選擇nfs Path：/mnt/mycloud/primary（在第一部分里創(chuàng)建的primary NFS服務(wù)器 路徑：/mnt/mycloud/secondary（在第一部分里創(chuàng)建 VM5-10分鐘啟動成功，如果啟動失敗，查看日志文件進(jìn)行改進(jìn)！VM是否啟動成功可以查看其狀態(tài)是否為Running：SecondaryStorageVM：簡稱為SSVM，用于管理二級的相關(guān)操作，如模板跟鏡ConsoleProxyVM：用于在web界面上展示控制臺。啟動虛擬機實搭建一個http服務(wù)httpISO系統(tǒng)和鏡像模板master節(jié)點安裝nginxyumyum-yinstall80端口-A-AINPUT-ptcp-mstate--stateNEW-mtcp--dport80-j編輯 autoindexautoindexon;#autoindex_exact_sizeon;#顯示文件大autoindex_localtimeon;#顯示文件時到 刪除所有文件，啟動/etc/init.d/nginx/etc/init.d/nginxISO修改全局設(shè)置secstorage.allowed設(shè)置，二級IS像和模板可以，IP網(wǎng)制作模一一種是通過KVM制作的qcow2或raw文另外就是直接上傳ISO文件作為模版文URL輸入ISO的地ISOcentosIP對于CentOSudev持久設(shè)備規(guī)rmrm-frm-fSSHVMsSSHKeys都不相同，否則這樣會降低虛擬機的rmrm-f清除日志文從主模板移除舊的日志文件是一個好catcat/dev/null>/var/log/audit/audit.logcat/dev/null>/var/log/wtmp2>/dev/nulllogrotatecat/dev/null>/var/log/wtmp2>/dev/nulllogrotate-f/etc/logrotate.conf2>/dev/nullrm-f/var/log/*-*/var/log/*.gz清除用戶歷bashhistoryhistory-unsethalt-創(chuàng)建模板服務(wù)方除了云中的物理和邏輯基礎(chǔ)設(shè)施以及CloudStack服務(wù)器，你還需要一個用戶服務(wù)層資源，如通過模版創(chuàng)建虛擬機，磁盤等等。計算和磁盤服務(wù)方一個服務(wù)方案是一個虛擬硬件特征集合比如CPU數(shù)量和速度內(nèi)存已經(jīng)磁盤大小。CloudStack管理員可以建立各種方案，接著終端用戶在建立一個新虛擬機時就可以選擇可用方案?；谟脩舻倪x擇方案，CloudStack可以發(fā)送整合在計費系統(tǒng)中的使用記錄。CloudStack管理員必須定義一些服務(wù)方案的特征，同時留下一些未定義的，讓終端用戶輸入自己需要的值。這個對于降低CloudStack管理員定義的方案的數(shù)量很有用處。代替為每（可選CloudStack管理員未定義，用戶可選擇磁盤大小。為了創(chuàng)建一個新的計算CloudStack點擊添加計算方案 框中，選擇如下操作**名稱**:****可類型*：磁盤類型應(yīng)該被分配。系統(tǒng)VM運行時所在主機掛載 作為本地分配。通過的******HA方案**:如果必要，管理員可以選擇系統(tǒng)VM和盡可能采用高可用。以管理員權(quán)限登錄CloudStack用戶界面。在左側(cè)導(dǎo)航欄中，點擊服務(wù)方案。在企業(yè)中搭建自己的私有機器建議配CPU:CPU:2C×10核XeonE5-2650v3XeonE5-2650內(nèi)存：256G（16G*16，單條內(nèi)存無要求，按照最高性價比采購網(wǎng)卡：10G*2（模塊與目前機房的萬兆交換機匹配磁盤：600G×2塊SAS盤（系統(tǒng)盤，，大小無特殊規(guī)定，按公司標(biāo)準(zhǔn)采購6×4TSATA部署架點需要2臺機器保障控制節(jié)點高可用，計算節(jié)點由多臺機器（最少2臺）組成一個或多個集控制節(jié)點架cloudstack管理端、MYSQL和分布式文件系統(tǒng)作為二需求使用一對硬件負(fù)載均衡對Web請求進(jìn)行分流。另一備份管理節(jié)點可使用遠(yuǎn)端站點的MySQL數(shù)據(jù)以增加恢復(fù)能力計算節(jié)點架私有云整體架輔助服務(wù)器接入管理網(wǎng)絡(luò)高級網(wǎng)CloudStack中選擇并配置區(qū)域的網(wǎng)絡(luò)類型，就無法再修改。網(wǎng)絡(luò)功基本網(wǎng)高級網(wǎng)網(wǎng)絡(luò)功基本網(wǎng)高級網(wǎng)支持否是1:1Source否是是在物理路由器上：sFlowHypervisor和虛DNS是是分VLAN來流量。如果你在物理網(wǎng)絡(luò)中劃分了VLAN，確保VLAN的數(shù)值在獨立cloudstack中使OpenvSwitch（OVS）NiciraNetworks主導(dǎo)的，運行在虛擬化平臺（例如KVM，Xen）上的虛擬交換機。在虛擬化平臺上，OVS2層交openvswitch安裝kmod-openvswitch-1.9.3-kmod-openvswitch-1.9.3-openvswitch-1.9.3-添加如下配置信息到/etc/cloudstack/agent/pertiesCloudStackOpenvSwitch OpenvSwitch是否正確安##lsmod|grep78045#ovs-用橋接的方式 用OVS的方式 bridge的OVSOVS主要是用來在虛擬化環(huán)境中。虛擬機之間一個虛擬機和之間的通信所用，如下是VNICVNICvnet數(shù)據(jù)包從vnetNIC出來，到達(dá)橋（虛擬交換機）br100上eth0出去的時候，是按照物理節(jié)點上的路由以及默認(rèn)網(wǎng)關(guān)操作的，這個時候該OVSrootbr0表示網(wǎng)橋名稱，eth0#ovs-vsctladd-bropenvswitch#ovs-vsctllist-#ovs-vsctlbr-exists#ovs-vsctladd-portbr0eth0#ovs-vsctllist-portsbr0#ovs-vsctlport-to-bropenvswitchovs-vsctl#vs-vsctldel-portbr0#ovs-vsctldel-br企業(yè)使CloudStack定義了兩種：主和輔助。主可以使用iSCSI或NFS協(xié)議。SSD媒介磁盤、模板和快照的格支持支持，通過Shared支持支持，通過Shared支持是支持本是超否是是glusterfs主要的要optionoptionbase-port##cat/etc/glusterfs/glusterd.volvolumemanagementoptionworking-directory/var/lib/glusterdoptiontransport-typesocket,rdmaoptiontransport.socket.keepalive-time10optiontransport.socket.read-fail-logoffoptionrpc-auth-allow-insecureonoptionbase-portend-glusterglustervolumeset<volname>server.allow-insecure添加主如下圖所示系統(tǒng)可靠性與高可用管理服務(wù)器的CloudStack管理服務(wù)器可以部署為多節(jié)點的配置，使得它不容易受到單個服務(wù)器故障影響。管理服務(wù)器(MySQL數(shù)據(jù)庫)本身是無狀態(tài)的，可以被部署在負(fù)載均衡設(shè)備后面。停止的所有管理服務(wù)不會影響主機的正常操作。所有VM將繼續(xù)工作。VMsUI、APIHA都啟用HA的虛擬衡虛擬機自動開啟了高可用特性。當(dāng)CloudStack檢測到開啟了高可用特性的虛擬機時將會在相同的可用資源與中自動重新啟動該虛擬機。高可用特性不會跨資源域執(zhí)行。高可用特性只在使用共享主的時候才可以使用不支持使用本地作為主的高主機衡虛擬機自動開啟了高可用特性。當(dāng)CloudStack檢測到開啟了高可用特性的虛擬機時將會在相同的可用資源與中自動重新啟動該虛擬機。高可用特性不會跨資源域執(zhí)行。性能調(diào)增加管理服務(wù)器到最大內(nèi)JVM的最大內(nèi)存分配可能不足。增加內(nèi)存:Tomcat配置文件：-XmxNNNmN-Xmx128m-Xmx1024m或更高。#servicecloudstack-management設(shè)置數(shù)據(jù)庫緩沖池大MySQL數(shù)據(jù)庫提供足夠的內(nèi)存空間來緩存數(shù)據(jù)和索引是很重要的：MySQL配置文件：f在[mysqld]部分的datadir下面如下行。使用適合您情況的值。如果MySQL和管理服我們建議設(shè)置為內(nèi)存的70%。下面的示例假設(shè)一臺的服務(wù)器的內(nèi)存為1024M。MySQL服務(wù)#servicemysqld設(shè)置和每個主機的總VM數(shù)限請咨詢您所選擇hypervisor的文檔，了解此hypervisor能支持的最大虛擬機數(shù)量，并將此數(shù)值設(shè)置在CloudStack的全局設(shè)置里。每個群集里虛擬機的活躍程序，并將活躍虛擬機N個主機，而你只能讓其中任一主機的停機時間不超過特定時間。那么，你能在此集群達(dá)到此數(shù)量，必須在CloudStack的用戶界面中向此群集分配新的虛擬機。CloudstackAPI調(diào)文檔地cloudstackAPI調(diào)用方CloudStackAPIHTTPGET/POST,關(guān)令和參數(shù).無論是HTTP或HTTPS,一個請求都CloudStackAPIURL:WebAPI命令:Web,一個磁盤卷:一個APIGET請求的樣例看起來像這樣:?每一個API請求格式的組是基本URL+API路徑+命令字串簽名API簽二次開可以做，資產(chǎn)管理6及故障處系統(tǒng)使使用zabbix自帶模板即可。Cpu、內(nèi)存、主機存活、磁盤空間、主機運行時間、系統(tǒng)load。日常情 使用服務(wù)器日grep-i-E'exception|unable|fail|invalid|leak|warn|error'/var/log/cloudst為了方便系統(tǒng)，CloudStack管理服務(wù)器在/var/log/cloud/management/下grep-i-E'exception|unable|fail|invalid|leak|warn|error'/var/log/cloudstopenvswitch/var/log/openvswitchlibvirt、qemu日志：/var/log/libvirtglusterfsbrick日志日志：/var/log/glusterfscloustackmanagement、agent的日志日志：/var/log/cloudstack恢復(fù)丟失的虛擬路由癥主機的計劃與模你可以使一臺主機進(jìn)入模式。當(dāng)激活模式時，這臺主機將不會接納新的VMs，同時上面的VMs會無縫地遷移到其他非模式的主機上。這個遷移使用遷移技術(shù)并cpu分配到85%就再也建不了虛機#1.00（0~1主機故障后，openvswitch信息不一致ovs-vsctlshow例如：ovs-vsctldel-portglusterfs報<disktype='network'<drivername='qemu'type='qcow2'<disktype='network'<drivername='qemu'type='qcow2'<sourceprotocol='gluster'name='dda5volume/329036b7-5155-4808-9731-1110a71<hostname