云計算的基本介紹和應(yīng)用

1、云計算的基本介紹和應(yīng)用序20世紀(jì)80、90年代出生的我們是非常幸運的。因為我們不僅經(jīng)歷了PC、互聯(lián)網(wǎng)兩次信息革命，體驗到了信息革命給我們的生活工作帶來了巨大影響與改變，如今又非常幸運地成為云計算時代的“弄潮兒”，有機會深度參與第三次IT革命云計算之所以能被稱為第三次IT革命，主要因為云計算是近10年來少見的能夠同時引起互聯(lián)網(wǎng)、IT和電信業(yè)共同關(guān)注的新領(lǐng)域。在我看來，其主要原因在于云計算是一個融合了互聯(lián)網(wǎng)商業(yè)模式、革命性的IT技術(shù)和電信服務(wù)運營的新生事物。它將資源更多地依賴于互聯(lián)網(wǎng)的大環(huán)境實現(xiàn)“云”化，原來承擔(dān)很多任務(wù)的用戶端設(shè)備將逐漸獲得“解放”，變得更加簡單和便捷美國國家標(biāo)準(zhǔn)與技術(shù)研究院定義

2、：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問， 進(jìn)入可配置的計算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。云計算的基本介紹OpenStackCloud FoundryKubernetes云計算的基本介紹傳統(tǒng)架構(gòu)傳統(tǒng)架構(gòu)的缺點1.資源利用率低2.擴展性差3.部署慢4.成本高云計算的基本介紹云計算架構(gòu)云計算的基本介紹？云計算的基本介紹云計算的基本介紹云計算的基本介紹云計算的應(yīng)用存儲計算云數(shù)據(jù)庫網(wǎng)盤大數(shù)據(jù)企業(yè)級應(yīng)用平臺機器學(xué)習(xí)彈性計算云殺毒云計算的基本介紹IaaS , Inf

3、rastructure-as-a-Service基礎(chǔ)設(shè)施即服務(wù)它把數(shù)據(jù)中心、基礎(chǔ)設(shè)施硬件資源通過Web分配給用戶使用的商業(yè)模式。Amazon的Elastic Compute Cloud， Vmware的PaaS，Platform-as-a-Service（平臺即服務(wù)）它把計算環(huán)境、開發(fā)環(huán)境等平臺作為一種服務(wù)提供給供程序開發(fā)人員使用的商業(yè)模式提供。Google的App引擎，微軟的Azure。SaaS,Software-as-a-service（軟件即服務(wù)）它是一種通過互聯(lián)網(wǎng)，為用戶提供軟件及應(yīng)用程序的服務(wù)方式。只有在用戶需要時才被使用，SaaS也被稱為“按需”軟件。云計算云計算的落地方式云計算的

4、基本介紹 Traditional ITStorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeYou ManageO/S PaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYou ManageManaged by PlatformAgility and Cost SavingsO/S IaaSStorageServersNetworkingMiddlewareVirtualizationDataAppli

5、cationsRuntimeYou ManageManaged by Platform云計算的基本介紹最初由公司開發(fā)，分商業(yè)和開源兩個版本，后成為Apache的正式項目。采用集中式的單體架構(gòu)，開發(fā)語言以java為主基于VMwarevSphere、VMwarevCenter、VMwarevCloudDirector和VMwarevShield構(gòu)建的，它實現(xiàn)了既在企業(yè)內(nèi)部交付又通過由vCloud驅(qū)動的服務(wù)提供商交付的企業(yè)級云計算。是一個由NASA（美國國家航空航天局）和Rackspace合作研發(fā)并發(fā)起的，以Apache許可證授權(quán)的自由軟件和開放源代碼項目。OpenStack采用分布式架構(gòu)，整個平臺

6、按照功能不同分為多個模塊項目，以python為主CloudStackvCloud AirOpenStack云計算的基本介紹OpenStack分布式架構(gòu)圖CloudStack集中式架構(gòu)圖云計算的基本介紹云計算公有云私有云如阿里云等由服務(wù)提供商承建并面向公眾運營，客戶按使用量付費的云平臺。由企業(yè)搭建并僅供內(nèi)部使用的云平臺。云計算的基本介紹私有云的服務(wù)形態(tài)系統(tǒng)集成：通過培訓(xùn)、現(xiàn)場支持，賣人天等方式支持建設(shè)你的私有云。包括OpenStack培訓(xùn)和技術(shù)支持等發(fā)行版：通過把OpenStack各個復(fù)雜的組件打包，與操作系統(tǒng)緊密綁定，思路與當(dāng)年的Linux發(fā)行版類似，主要解決安裝、部署和自動化配置的問題托管云

7、：這是私有云領(lǐng)域一個較新的模式，英文一般用Managed Private Cloud，更時髦的可以說Private Cloud as a Service私有軟件：指對開源的OpenStack進(jìn)行各種組合和優(yōu)化，加上一些私有的閉源的組件，讓整個OpenStack更好用、更易管理，其授權(quán)模式與VMware接近，一般按Socket收取License費用。云計算的基本介紹云計算與大數(shù)據(jù)的聯(lián)系與區(qū)別云計算就是硬件資源的虛擬化大數(shù)據(jù)就是海量數(shù)據(jù)的高效處理云計算作為計算資源的底層，支撐著上層的大數(shù)據(jù)處理比如云計算平臺Openstack提供對hadoop里HDFS的支持,兩者協(xié)作云計算的基本介紹OpenSta

8、ckCloud FoundryKubernetesOpenStack是一個可以管理整個數(shù)據(jù)中心里大量資源池的云操作系統(tǒng)，包括計算、存儲及網(wǎng)絡(luò)資源。管理員可以通過管理臺管理整個系統(tǒng)，并可以通過web接口為用戶劃定資源。OpenStack是一個由NASA（美國國家航空航天局）和Rackspace合作研發(fā)并發(fā)起的，以Apache許可證授權(quán)的自由軟件和開放源代碼項目。OpenStack是一個開源的云計算管理平臺項目，由幾個主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的云環(huán)境，項目目標(biāo)是提供實施簡單、可大規(guī)模擴展、豐富、標(biāo)準(zhǔn)統(tǒng)一的云計算管理平臺。OpenStack作為基礎(chǔ)設(shè)施即服務(wù)

9、（IaaS）資源的通用前端，每個服務(wù)提供API以進(jìn)行集成，其首要任務(wù)是簡化云的部署過程并為其帶來良好的可擴展性。計算資源：OpenStack可以規(guī)劃并管理大量虛機，從而允許企業(yè)或服務(wù)提供商按需提供計算資源；開發(fā)者可以通過API訪問計算資源從而創(chuàng)建云應(yīng)用，管理員與用戶則可以通過web訪問這些資源；存儲資源：OpenStack可以為云服務(wù)或云應(yīng)用提供所需的對象及塊存儲資源；因?qū)π阅芗皟r格有需求，很多組織已經(jīng)不能滿足于傳統(tǒng)的企業(yè)級存儲技術(shù)，因此OpenStack可以根據(jù)用戶需要提供可配置的對象存儲或塊存儲功能；網(wǎng)絡(luò)資源：如今的數(shù)據(jù)中心存在大量的設(shè)置，如服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、安全設(shè)備，而它們還將

10、被劃分成更多的虛擬設(shè)備或虛擬網(wǎng)絡(luò)；這會導(dǎo)致IP地址的數(shù)量、路由配置、安全規(guī)則將爆炸式增長；傳統(tǒng)的網(wǎng)絡(luò)管理技術(shù)無法真正的可高擴展、高自動化地管理下一代網(wǎng)絡(luò)；因而OpenStack提供了插件式、可擴展、API驅(qū)動型的網(wǎng)絡(luò)及IP管理；以Python編程語言編寫整合Tornado(一個高性能的網(wǎng)絡(luò)服務(wù)器框架，由FriendFeed團(tuán)隊開發(fā))網(wǎng)頁服務(wù)器、Nebula(是一個互聯(lián)互通的數(shù)字圖書館服務(wù)網(wǎng)絡(luò))運算平臺使用Twisted(一個基于Python高效的網(wǎng)絡(luò)開發(fā)框架，因此它幾乎可以在任何平臺運行)軟件框架遵循Open Virtualization Format、AMQP、SQLAlchemy等標(biāo)準(zhǔn)虛擬

11、機器軟件支持包括：KVM、Xen、VirtualBox、QEMU、 LXC 等1、Scalabilityand elasticity are our main goals（可擴展性和伸縮性是我們的主要目標(biāo)）2、Any featurethat limits our main goals must be optional（任何影響到可擴展性和伸縮性的功能都必須是可選的）3、Everythingshould be asynchronous，If you cant do something asynchronously, see #2（所有的環(huán)節(jié)必須是異步的，如果不能異步實現(xiàn)，參考第二條設(shè)計原理）4、

12、All requiredcomponents must be horizontally scalable（所有的基礎(chǔ)組件必須能橫向擴展）5、Always useshared nothing architecture (SN) or sharding，If you cant Share nothing/shard, see #2（始終使用無共享的架構(gòu)，如果不能實現(xiàn)，參見第二條）6、Distributeeverything，especiallylogic. Move logic to where state naturally exists.（所有的都是分布式的，尤其是邏輯。把邏輯放在狀態(tài)應(yīng)該存在

13、的地方）7、Accepteventual consistency and use it where it is appropriate.（接受最終一致性，并在適合的條件下使用）8、Testeverything（充足的測試）設(shè)計原則組件名稱作用簡介Nova計算（Compute）負(fù)責(zé)虛擬機創(chuàng)建、開機、關(guān)機、掛起、暫停、調(diào)整、遷移、重啟、銷毀等操作，配置CPU、內(nèi)存等信息規(guī)格。Swift對象存儲（Object Storage）實現(xiàn)對象存儲的系統(tǒng)Glance鏡像服務(wù)（Image Service）創(chuàng)建上傳鏡像、刪除鏡像、編輯鏡像基本信息Keystone身份服務(wù)（Identity Service）提供身份

14、驗證、服務(wù)規(guī)則和服務(wù)令牌的功能Neutron網(wǎng)絡(luò)&地址管理（Network）為OpenStack其他服務(wù)提供網(wǎng)絡(luò)連接服務(wù)Cinder塊存儲 (Block Storage)為運行實例提供穩(wěn)定的數(shù)據(jù)塊存儲服務(wù)HorizonUI 界面 (Dashboard)OpenStack中各種服務(wù)的Web管理門戶Ceilometer測量 (Metering)為計費和監(jiān)控以及其它服務(wù)提供數(shù)據(jù)支撐Heat部署編排 (Orchestration)實現(xiàn)云基礎(chǔ)設(shè)施軟件運行環(huán)境（計算、存儲和網(wǎng)絡(luò)資源）的自動化部署Trove數(shù)據(jù)庫（Database Service）提供可擴展和可靠的關(guān)系和非關(guān)系數(shù)據(jù)庫引擎服務(wù)Sahara連接

15、Hadoop為用戶提供一種簡單快捷部署以及管理Hadoop集群的方案Magnum提供容器支持管理員能夠在Openstack中創(chuàng)建基于容器的服務(wù)。VMSwiftNeutronHarizonHeatKeystoneCellometerCinderGlance部署云Nova提供UI服務(wù)提供網(wǎng)絡(luò)連接監(jiān)控提供VM提供認(rèn)證提供鏡像存儲鏡像備份卷Nova套件主要提供部署與管理虛擬機器的功能。工程師可利用API開發(fā)云端應(yīng)用程序，而IT管理人員則可透過網(wǎng)頁式的接口查看或管理硬件資源運作的狀況，并可重啟、暫停、調(diào)整，甚至直接關(guān)閉虛擬機器。IT人員可將Nova套件部署在多家廠商的虛擬化平臺上，目前來說，以KVM和X

16、en虛擬化平臺最為穩(wěn)定。除了支持不同的虛擬化平臺之外，在硬件架構(gòu)的部份，OpenStack支持x86架構(gòu)、ARM架構(gòu)等。另外，Nova套件還支持Linux輕量級的虛擬化技術(shù)LXC，能夠再切割虛擬機器，分出更多的虛擬化執(zhí)行環(huán)境。Nova套件還具有管理LAN網(wǎng)絡(luò)的功能，可程序化的分配IP地址與VLAN，快速部署網(wǎng)絡(luò)與資源安裝功能。Nova套件還可將某幾臺虛擬機器設(shè)為群組，和不同群組作隔離，并有基于角色的訪問控制（RBAC）功能，可根據(jù)使用者的角色確?？纱嫒〉馁Y源為何。 Nova計算套件Nova彈性云包含以下主要部分：lAPIServer（nova-api）l消息隊列（rabbit-mqserver

17、）l運算工作站（nova-compute）l網(wǎng)絡(luò)控制器（nova-network）l卷管理（nova-volume）l調(diào)度器（nova-scheduler）Nova計算套件API服務(wù)器（nova-api）API服務(wù)器提供了云設(shè)施與外界交互的接口，它是外界用戶對云實施管理的唯一通道。通過使用web服務(wù)來調(diào)用各種EC2的API，接著API服務(wù)器便通過消息隊列把請求送達(dá)至云內(nèi)目標(biāo)設(shè)施進(jìn)行處理。作為對EC2-api的替代，用戶也可以使用OpenStack的原生API，我們把它叫做“OpenStackAPI”。運算工作站（nova-compute） 運算工作站的主要任務(wù)是管理實例的整個生命周期。他們通過

18、消息隊列接收請求并執(zhí)行，從而對實例進(jìn)行各種操作。在典型實際生產(chǎn)環(huán)境下，會架設(shè)許多運算工作站，根據(jù)調(diào)度算法，一個實例可以在可用的任意一臺運算工作站上部署。卷工作站（nova-volume）卷工作站管理基于LVM的實例卷，它能夠為一個實例創(chuàng)建、刪除、附加卷，也可以從一個實例中分離卷。卷管理為何如此重要？因為它提供了一種保持實例持續(xù)存儲的手段，比如當(dāng)結(jié)束一個實例后，根分區(qū)如果是非持續(xù)化的，那么對其的任何改變都將丟失?？墒牵绻麖囊粋€實例中將卷分離出來，或者為這個實例附加上卷的話，即使實例被關(guān)閉，數(shù)據(jù)仍然保存其中。這些數(shù)據(jù)可以通過將卷附加到原實例或其他實例的方式而重新訪問。因此，為了日后訪問，重要數(shù)據(jù)

19、務(wù)必要寫入卷中。這種應(yīng)用對于數(shù)據(jù)服務(wù)器實例的存儲而言，尤為重要。消息隊列（RabbitMQServer）OpenStack內(nèi)部在遵循AMQP（高級消息隊列協(xié)議）的基礎(chǔ)上采用消息隊列進(jìn)行通信。Nova對請求應(yīng)答進(jìn)行異步調(diào)用，當(dāng)請求接收后便則立即觸發(fā)一個回調(diào)。由于使用了異步通信，不會有用戶的動作被長置于等待狀態(tài)。例如，啟動一個實例或上傳一份鏡像的過程較為耗時，API調(diào)用就將等待返回結(jié)果而不影響其它操作，在此異步通信起到了很大作用，使整個系統(tǒng)變得更加高效。調(diào)度器（nova-scheduler）調(diào)度器負(fù)責(zé)把nova-API調(diào)用送達(dá)給目標(biāo)。調(diào)度器以名為“nova-schedule”的守護(hù)進(jìn)程方式運行，并

20、根據(jù)調(diào)度算法從可用資源池中恰當(dāng)?shù)剡x擇運算服務(wù)器。有很多因素都可以影響調(diào)度結(jié)果，比如負(fù)載、內(nèi)存、子節(jié)點的遠(yuǎn)近、CPU架構(gòu)等等。強大的是nova調(diào)度器采用的是可插入式架構(gòu)。目前nova調(diào)度器使用了幾種基本的調(diào)度算法：隨機化：主機隨機選擇可用節(jié)點；可用化：與隨機相似，只是隨機選擇的范圍被指定；簡單化：應(yīng)用這種方式，主機選擇負(fù)載最小者來運行實例。負(fù)載數(shù)據(jù)可以從別處獲得，如負(fù)載均衡服務(wù)器。網(wǎng)絡(luò)控制器（nova-network）網(wǎng)絡(luò)控制器處理主機的網(wǎng)絡(luò)配置，例如IP地址分配，配置項目VLAN，設(shè)定安全群組以及為計算節(jié)點配置網(wǎng)絡(luò)。Glance套件提供提供硬盤或服務(wù)器的鏡像文件尋找、注冊以及服務(wù)交付等功能,解

21、決虛機鏡像的管理問題。儲存的鏡像文件可作為新服務(wù)器部署所需的范本，加快服務(wù)上線速度。若是有多臺服務(wù)器需要配置新服務(wù)，就不需要額外花費時間單獨設(shè)置，也可做為備份時所用。 Glance構(gòu)件lGlance控制器lGlance注冊器Glance鏡像Swift對象存儲Swift提供與AWS(amason webservice)S3類似的功能, 具有以下用途:a)作為IaaS的存儲服務(wù);b)與nova一compute對接 ,為其存儲鏡像 ; c)文檔存儲 ; d)存儲需要長時間保存的數(shù)據(jù),如logo；e)存儲網(wǎng)站圖片、縮略圖等Swift的基本架構(gòu)克服了 NAS(可擴展性差)和 SAN( 不容易安全地共享數(shù)

22、據(jù))的缺點 !綜合了二者的優(yōu)點 ,即同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢 ,提供了具有高性能 、高可靠性、跨平臺以及安全的數(shù)據(jù)共享存儲體系結(jié)構(gòu)。Swift對象Swift使用RESTful API對外提供服務(wù)，目前版本所提供的功能:lAccount（存儲賬戶）的GET、HEADlContainer（存儲容器，與S3的bucket相同）的GET、PUT、HEAD、DELETElObject（存儲對象）的GET、PUT、HEAD、DELETE、DELETElAccount、Container、Object的元數(shù)據(jù)支持l大文件（無上限，單個無文件最大5G，大于5G的文件在客戶端切分上傳

23、，并上傳manifest文件）、l訪問控制、權(quán)限控制l臨時對象存儲（過期對象自動刪除）l存儲請求速率限制l臨時鏈接（讓任何用戶訪問對象，不需要使用Token）l表單提交（直接從HTML表單上傳文件到Swift存儲，依賴與臨時鏈接）l靜態(tài)WEB站點（用Swift作為靜態(tài)站點的WEB服務(wù)器）Cinder塊存儲Cinder是塊存儲套件，允許區(qū)塊儲存設(shè)備能夠整合商業(yè)化的企業(yè)儲存平臺，像是NetApp、Nexenta、SolidFire等。區(qū)塊儲存系統(tǒng)可讓IT人員設(shè)置服務(wù)器和區(qū)塊儲存設(shè)備的各項指令，包括建立、連接和分離等，并整合了運算套件，可讓IT人員查看儲存設(shè)備的容量使用狀態(tài)。Cinder套件提供快照

24、管理功能，可保護(hù)虛擬機器上的數(shù)據(jù)，作為系統(tǒng)恢復(fù)時所用?？煺丈踔量捎脕斫⒁粋€新的區(qū)塊儲存容量。 Cinder 架構(gòu)圖與其他 OpenStack 項目類似，Cinder 的功能通過 API 暴露給儀表板和命令行。它能夠通過具有具象狀態(tài)傳輸 (Representational State Transfer, REST) 的 HTTP API 來訪問對象存儲，并使用一個名為 Auth Manager 的 Python 類將身份驗證納入 OpenStack Keystone。API 解析所有傳入的請求并將它們轉(zhuǎn)發(fā)給消息隊列，調(diào)度程序和卷服務(wù)器在該隊列中執(zhí)行實際的工作。在創(chuàng)建新的卷時，調(diào)度程序?qū)Q定哪

25、臺主機應(yīng)對該卷負(fù)責(zé)。默認(rèn)情況下，它會選擇擁有最多可用空間的節(jié)點。卷管理程序管理著可動態(tài)附加的塊存儲設(shè)備，這些設(shè)備也被稱為卷。它們可用作虛擬實例的啟動設(shè)備，或作為輔助存儲進(jìn)行添加。Cinder 還為快照（卷的只讀副本）提供了一種設(shè)備。然后可以使用這些快照來創(chuàng)建新的卷，以供讀寫使用。Cinder塊存儲Neutron網(wǎng)絡(luò)Neutron 是 OpenStack 核心項目之一，提供云計算環(huán)境下的虛擬網(wǎng)絡(luò)功能。它是個可擴展、隨插即用，透過API來管理的網(wǎng)絡(luò)架構(gòu)系統(tǒng)，確保IT人員在部署云端服務(wù)時，網(wǎng)絡(luò)服務(wù)不會出現(xiàn)瓶頸，或是成為無法部署的因素之一。- 支持插件式網(wǎng)絡(luò)組件，像Open vSwitch，Cisco

26、，Linux Bridge，Nicira NVP等等- 支持位于不同的2層網(wǎng)絡(luò)的IP地址重疊- 支持基本的3層轉(zhuǎn)發(fā)和多路由器- 支持隧道技術(shù)（Tunneling）- 支持3層代理和DHCP代理的多節(jié)點部署，增強了擴展性和可靠性- 提供穩(wěn)定的負(fù)載均衡API- 支持端到端的IPSec VPN- 面向租戶的防火墻服務(wù)OpenStack 網(wǎng)絡(luò)類型Neutron網(wǎng)絡(luò)用于OpenStack各組件間進(jìn)行內(nèi)部通信用于云部署中虛擬數(shù)據(jù)間的通信公共網(wǎng)絡(luò)，外部或internet可以訪問的網(wǎng)絡(luò)開放所有的Openstack API給用戶們 Keystone（OpenStack Identity Service）是Ope

27、nStack框架中，負(fù)責(zé)身份驗證、服務(wù)規(guī)則和服務(wù)令牌的功能， Keystone套件作為OpenStack的身份認(rèn)證系統(tǒng)，具有中央目錄，能查看哪位使用者可存取哪些服務(wù)，并且提供了多種驗證方式，包括使用者賬號密碼、Token（令牌）以及類似AWS的登陸機制。它實現(xiàn)了OpenStack的Identity API。Keystone類似一個服務(wù)總線， 或者說是整個Openstack框架的注冊表， 其他服務(wù)通過keystone來注冊其服務(wù)的Endpoint（服務(wù)訪問的URL），任何服務(wù)之間相互的調(diào)用， 需要經(jīng)過Keystone的身份驗證， 來獲得目標(biāo)服務(wù)的Endpoint來找到目標(biāo)服務(wù)。OpenStack

28、服務(wù)KeyStone令牌服務(wù)目錄服務(wù)策略服務(wù)KeyStone架構(gòu)圖Keystone認(rèn)證Keystone采用兩種授權(quán)方式，一種基于用戶名/密碼，另一種基于令牌（Token）。除此之外，Keystone提供以下三種服務(wù)：l 令牌服務(wù)：含有授權(quán)用戶的授權(quán)信息l目錄服務(wù)：含有用戶合法操作的可用服務(wù)列表l策略服務(wù)：利用Keystone具體指定用戶或群組某些訪問權(quán)限Keystone認(rèn)證Horizon UI界面Horizon套件提供IT人員一個圖形化的網(wǎng)頁接口，讓IT人員可以綜觀云端服務(wù)目前的規(guī)模與狀態(tài)，并且能夠統(tǒng)一存取、部署與管理所有云端服務(wù)所使用到的資源。Horizon套件是個可擴展的網(wǎng)頁式App。所以

29、，Horizon套件可以整合第三方的服務(wù)或是產(chǎn)品，像是計費、監(jiān)控或是額外的管理工具。 Trove數(shù)據(jù)庫Trove潛在支持多種數(shù)據(jù)存儲，例如mysql、redis、mongodb。用戶可以從云運維人員設(shè)定的數(shù)據(jù)存儲列表中進(jìn)行選擇，創(chuàng)建所需要的數(shù)據(jù)庫實例。另外一個功能是從數(shù)據(jù)庫增量備份中進(jìn)行恢復(fù)。Trove數(shù)據(jù)庫trove-guestagent運行于數(shù)據(jù)庫虛擬機實例的內(nèi)部，負(fù)責(zé)管理和實際執(zhí)行對數(shù)據(jù)庫管理程序的任務(wù)。guestagent在消息總線上監(jiān)聽RPC消息，執(zhí)行要求的操作。trove-conductor 負(fù)責(zé)從guestagents收集狀態(tài)信息然后將其寫入Trove的后端數(shù)據(jù)庫,其與guest

30、agent交互基于RPC實現(xiàn)。這個組件的引入就是為了避免db instance內(nèi)的gusestagent直接與trove的后端數(shù)據(jù)庫相連。trove-api 提供REST風(fēng)格的API,支持json和xml,API server與兩個組件通信，所有復(fù)雜異步任務(wù)它都交給taskmanager去完成trove-taskmanager 負(fù)責(zé)配置、管理數(shù)據(jù)庫虛擬機實例的生命周期和執(zhí)行對實例的各種操作.監(jiān)聽消息隊列服務(wù)器的RPC service。Heat負(fù)載均衡Heat是OpenStack的負(fù)責(zé)編排計劃的主要項目。它可以基于模板來實現(xiàn)云環(huán)境中資源的初始化，依賴關(guān)系處理，部署等基本操作，也可以解決自動收縮,

31、負(fù)載均衡等高級特性。Heat主要是基于模板文件對應(yīng)用進(jìn)行管理，在模板文件中可以定義應(yīng)用需要的資源，資源可以包括多種類型（CFN以及HOT支持的資源類型可能會存在一定的差別）例如IP,網(wǎng)絡(luò)，鏡像，用戶，實例等。定義資源的同時也可以指定資源之間的依賴關(guān)系，例如使用云硬盤創(chuàng)建創(chuàng)建一個實例時，可以指定在創(chuàng)建實例時必須要創(chuàng)建云硬盤。編輯完模板文件后，可以使用該模板文件創(chuàng)建Stack,創(chuàng)建的過程中Heat引擎會根據(jù)模板文件中定義的資源，調(diào)用對應(yīng)的資源插件創(chuàng)建資源。創(chuàng)建完Stack之后，Heat可以管理Stack中所有資源的生命周期,例如可以刪除資源，也可以通過更新模板的方式來更新Stack中資源的定義。M

32、agnum容器Magnum為OpenStack云提供營提供了一種為云用戶提供容器來托管服務(wù)的自助解決方案。Mangum簡化了與OpenStack集成的要求且允許云用戶在在已經(jīng)投入Nova實例，Cinder 卷服務(wù)，Trove數(shù)據(jù)庫服務(wù)等基礎(chǔ)上創(chuàng)建應(yīng)用容器。提供了超過現(xiàn)有云資源之外的能力。用戶用來創(chuàng)建IAAS資源的token，也可以用來創(chuàng)建應(yīng)用，且能夠自動重新創(chuàng)建一個實例。Magnum支持指定應(yīng)用實例個數(shù)的方式進(jìn)行應(yīng)用伸縮，能夠在應(yīng)用實例失敗的情況下自動重新啟動應(yīng)用實例，與虛擬機比起來能夠?qū)?yīng)用跟更緊的打包一起。11Openstack架構(gòu)組成Openstack Compute 邏輯架構(gòu)Opens

33、tack Compute 系統(tǒng)架構(gòu)Openstack Compute 服務(wù)架構(gòu)Openstack Compute 物理架構(gòu)vvvvOpenstack Compute 邏輯架構(gòu)nova-api接收外部的請求并通過Message Queue將請求發(fā)送給其他服務(wù)組件 ,該組件也兼容ECZ API ,所以也可以用ECZ的管理工具對Nova進(jìn)行日常管理 ; nova-compute一般運行在計算節(jié)點上, 通過 Message Queue接收VM生命周期管理指令并實施具體的管理工作 ,如VM的創(chuàng)建、終止、遷移或Resize等操作 ;nova-volume一般運行在存儲節(jié)點上(類似于Agent的作用), 主

34、要執(zhí)行卷(vol ulne) 相關(guān)的功能 , 如創(chuàng)建卷，為VM綁定卷或解綁定卷等 ;Nova-network為Nova提供網(wǎng)絡(luò)服務(wù) , 有Flat、FlatDHCP和VLAN，3種網(wǎng)絡(luò)模式可以擇;13nova-api守護(hù)進(jìn)程是OpenStack Compute的中心。它為所有API查詢(OpenStack API 或 EC2 API)提供端點，初始化絕大多數(shù)部署活動(比如運行實例)，以及實施一些策略(絕大多數(shù)的配額檢查)。b)nova-compute進(jìn)程主要是一個創(chuàng)建和終止虛擬機實例的Worker守護(hù)進(jìn)程。其過程相當(dāng)復(fù)雜，但是基本原理很簡單：從隊列中接收行為，然后在更新數(shù)據(jù)庫的狀態(tài)時，執(zhí)行一系

35、列的系統(tǒng)命令執(zhí)行他們。c) nova-volume管理映射到計算機實例的卷的創(chuàng)建、附加和取消。這些卷可以來自很多提供商，比如，ISCSI和AoE。d)Nova-network worker守護(hù)進(jìn)程類似于nova-compute和nova-volume。它從隊列中接收網(wǎng)絡(luò)任務(wù)，然后執(zhí)行任務(wù)以操控網(wǎng)絡(luò)，比如創(chuàng)建bridging interfaces或改變iptables rules。e) Queue提供中心hub，為守護(hù)進(jìn)程傳遞消息。當(dāng)前用RabbitMQ實現(xiàn)。但是理論上能是python ampqlib支持的任何AMPQ消息隊列。Openstack Compute 系統(tǒng)架構(gòu)OpenStack Co

36、mpute建立在無共享、基于消息的架構(gòu)上。Cloud controller通過HTTP與internal object store交互，通過AMQP和scheduler、network controller、 和volume controller 來進(jìn)行通信。為了避免在等待接收時阻塞每個組件，OpenStack Compute用異步調(diào)用的方式。OpenStack Compute由一些主要組件組成。Cloud controller提供Nova-api服務(wù)，為所有API查詢提供一個端點，初始化絕大多數(shù)的部署活動，以及實施一些策略。API 服務(wù)器起cloud controller web Servi

37、ce前端的作用。典型包含compute service，Object Store component可選地提供存儲服務(wù)。Auth manager提供認(rèn)證和授權(quán)服務(wù)。Volume controller為compute servers提供快速和持久的塊級別存儲。Network controller提供虛擬網(wǎng)絡(luò)使compute servers彼此交互以及與公網(wǎng)進(jìn)行交互。Scheduler選擇最合適的compute controller來管理(host)一個實例。Openstack Compute 服務(wù)架構(gòu)包括兩個主要的部分，分別是API server和Registry server(s)。 API

38、Server起通信hub的作用。比如各種各樣的客戶程序，鏡像元數(shù)據(jù)的注冊，實際包含虛擬機鏡像數(shù)據(jù)的存儲系統(tǒng)，都是通過它來進(jìn)行通信的。API server轉(zhuǎn)發(fā)客戶端的請求到鏡像元數(shù)據(jù)注冊處和它的后端倉儲。OpenStack Image Service就是通過這些機制來實際保存進(jìn)來的虛擬機鏡像的。 Openstack Compute 物理架構(gòu)OpenStack Compute采用無共享、基于消息的架構(gòu)，非常靈活，我們能安裝每個nova- service在單獨的服務(wù)器上，這意味著安裝OpenStack Compute有多種可能的方法 ：a) 單結(jié)點：一臺服務(wù)器運行所有的nova- services。

39、這種配置只為嘗試OpenStack Compute，或者為了開發(fā)目的; b) 雙結(jié)點：一個cloud controller 結(jié)點運行除nova-compute外的所有nova-services，compute結(jié)點運行nova-compute。一臺客戶計算機很可能需要打包鏡像，以及和服務(wù)器進(jìn)行交互，但是并不是必要的。這種配置主要用于概念和開發(fā)環(huán)境的證明。 c) 多結(jié)點：通過簡單部署nova-compute在一臺額外的服務(wù)器以及拷貝文件到這個新增的結(jié)點，你能在兩結(jié)點的基礎(chǔ)上，添加更多的compute結(jié)點，形成多結(jié)點部署。在較為復(fù)雜的多結(jié)點部署中，還能增加一個volume controller 和一

40、個network controller作為額外的結(jié)點。對于運行多個需要大量處理能力的虛擬機實例，至少是4個結(jié)點是最好的。 手工部署需要相當(dāng)?shù)腛penStack實際調(diào)試經(jīng)驗，另外如果支持Active-Active，則工作量很大DevStack一般部署單節(jié)點做開發(fā)測試用，幾乎沒人用于部署生產(chǎn)RDORed Hat為使用紅帽系統(tǒng)的用戶提供的在線快速安裝工具，研發(fā)測試生產(chǎn)都有，但需要了解Answer File、Packstack，一定的Puppet經(jīng)驗Mirantis Fuel足以部署生產(chǎn)環(huán)境，而且功能非常多。同時用于生產(chǎn)環(huán)境還是要經(jīng)常關(guān)注該版本修補的Bug，及時打補丁由Rackspace發(fā)起、全球開發(fā)

41、者共同參與的開源項目，旨在打造易于部署、功能豐富且易于擴展的云計算平臺。OpenStack企圖成為數(shù)據(jù)中心的操作系統(tǒng)，即云操作系統(tǒng)。從項目發(fā)起之初，OpenStack就幾乎贏得了所有IT巨頭的關(guān)注，在各種OpenStack技術(shù)會議上人們激情澎湃，幾乎所有人都成為OpenStack的信徒。OpenStack魅力非凡，它如同Linux一樣，旨在構(gòu)建一個內(nèi)核，所有的軟件廠商都圍繞著它進(jìn)行工作。OpenStack有許多子項目，用于對云計算平臺中的各種資源（如計算能力、存儲、網(wǎng)絡(luò)）提供敏捷管理。這些項目雖然剛剛起步，但卻雄心勃勃。另一方面，OpenStack也提供了對虛擬化技術(shù)的支持。OpenStack

42、現(xiàn)狀OpenStack2010年10月表示支持OpenStack與Windows Server 2008 R2整合2012年4月，IBM宣布加入OpenStack項目，并作為主要贊助商2015年7月19日，Google簽約為贊助商，并且將Kubernetes整合OpenStack源碼主要貢獻(xiàn)者之一OpenStack源碼主要貢獻(xiàn)者及社區(qū)推動者Ubuntu OpenStackIBM BlueMixVmware vCloud AirHP Helion OpenStackOpenStackOpenStack應(yīng)用領(lǐng)域領(lǐng)導(dǎo)者RedHat RDOOpenStackMirantisOpenstackHuawe

43、iFusionSphereAlibaba阿里云OpenStack從目前看來是傳統(tǒng)廠商對應(yīng)去IEO的一個出路，比如，華為/VMware支持OpenStack，甚至拿OpenStack架構(gòu)去替代自己的核心產(chǎn)品架構(gòu)。幾乎所有的硬件廠商都在嘗試往OpenStack加入對自己存儲或網(wǎng)絡(luò)硬件的支持，對于服務(wù)器，OpenStack幾乎不挑活，只要是x86架構(gòu)，均能較好地支持。代碼貢獻(xiàn)度-按公司代碼貢獻(xiàn)度-按模塊OpenStack在小米的應(yīng)用機器計算節(jié)點:DELL720CPU：E5-2640v2*2(32核)MEM：16G*24磁盤：2*600GSAS（Raid1)+6*4T（Raid5）SATA網(wǎng)卡:1G*

44、2+10G*2(Intel 82599EB 10-Gigabit SFI/SFP+ )控制節(jié)點:DELL_R620CPU：E5-2630v2*2 (24核)MEM：16G*4磁盤：2*600GSAS（Raid1)+2*240GSSD(Raid1)網(wǎng)卡:1G*2+10G*2(Intel 82599EB 10-Gigabit SFI/SFP+ )OpenStack在小米的應(yīng)用OpenStack在小米的應(yīng)用版本操作系統(tǒng)選擇: UbuntuvsCentos發(fā)行版：RDO優(yōu)點：簡單快速部署，支持多種網(wǎng)絡(luò)結(jié)構(gòu)缺點：添加計算節(jié)點是個坑，存在各種兼容性問題（packstack版本，qpid版本，libvirt

45、版本）解決方法：建立自己的源，手勱添加計算節(jié)點OpenStack在小米的應(yīng)用網(wǎng)絡(luò)組件選擇：NeutronvsNova-network網(wǎng)絡(luò)模型選擇：FLAT，GRE，VLAN網(wǎng)絡(luò)節(jié)點選擇：有vs無結(jié)論：Vlan,無網(wǎng)絡(luò)節(jié)點，高效穩(wěn)定的虛擬網(wǎng)絡(luò)坑：Neutron的穩(wěn)定性確實不高，經(jīng)常斷掉，導(dǎo)致OpenVswtich無法配置網(wǎng)絡(luò)策略O(shè)penStack在小米的應(yīng)用塊存儲組件選擇：CephvsGlusterFS原因：各有千秋，無完美方案，Ceph逐漸成熟，性能不夠GlusterFS，GlusterFS有Bug好處：共享存儲能夠提供毫秒級別的實時遷移，對虛擬機的負(fù)載均衡、主機維護(hù)非常有用?？樱壕W(wǎng)絡(luò)中斷30

46、s以上會造成文件系統(tǒng)Readonly，導(dǎo)致用戶對共享存儲失去信心備注:Ceph是一個 Linux PB 級分布式文件系統(tǒng)OpenStack在小米的應(yīng)用OpenStack在小米的應(yīng)用OpenStack在小米的應(yīng)用OpenStack在小米的應(yīng)用實時監(jiān)控圖OpenStack在小米的應(yīng)用使用情況：可用度：99.99%（運行16個月，2次故障）使用率：平均40%(物理機利用率)，1虛12覆蓋度：小米所有產(chǎn)品線業(yè)務(wù)類型：開發(fā)，測試，線上（線下70%）云計算的基本介紹OpenStackCloud FoundryKubernetesCloud Foundry是VMware于推出的業(yè)界第一個開源PaaS云平臺，

47、專為私有云計算環(huán)境、企業(yè)級數(shù)據(jù)中心和公有云服務(wù)提供商所打造，可以簡化現(xiàn)代應(yīng)用程序的開發(fā)、交付和運行過程，它支持多種框架、語言、運行時環(huán)境、云平臺及應(yīng)用服務(wù)，使開發(fā)人員能夠在幾秒鐘內(nèi)進(jìn)行應(yīng)用程序的部署和擴展，無需擔(dān)心任何基礎(chǔ)架構(gòu)的問題。 Traditional ITStorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeYou ManageO/S PaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYou M

48、anageManaged by PlatformAgility and Cost SavingsO/S IaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYou ManageManaged by Platform開源Github上開放源碼，并鼓勵社區(qū)貢獻(xiàn)和check-in目前所有核心模塊都已經(jīng)開源開放的開發(fā)平臺和流程，VMware與社區(qū)開發(fā)者采用相同的代碼審核和簽入流程Apache 2開源許可協(xié)議開放支持多種語言、框架、服務(wù)和底層IaaS基礎(chǔ)平臺支持多種運維方式，公有，私有自動化應(yīng)用和服務(wù)的自動

49、化配置Spring for Java，.NET，Ruby on Rails，Grails，Scala on Lift，Python，PHPPostgreSQL，MySQL，SQL Server，MongoDB，RedisvSphere/vCloud，AWS，OpenStack，Rackspace開發(fā)框架應(yīng)用服務(wù)云環(huán)境Cloud Foundry運維自動化平臺開放性按需服務(wù)彈性伸縮架構(gòu)運維自動化運維自動化運維自動化彈性伸縮架構(gòu)平臺開放性平臺開放性平臺開放性PC 瀏覽器訪問health managerVMC clientMobile App訪問STS Plugin Router 路由 (Nginx

50、+ Locator Service) NATS 消息總線service poolMySQLMongoDBRadisRabbitMQcc - dbuaa - dbuaa - AuthNcloud controllerStagerpackage cacheblobstoreWardencontainer核心業(yè)務(wù)dea poolWardencontainerCRM系統(tǒng)service gatewayCaldecottServicenodeOracleservice brokerLegacyApp企業(yè)私有云架構(gòu)圖RouterRouter是整個平臺的流量入口，負(fù)責(zé)分發(fā)所有的請求到對應(yīng)的組件，包括來自外部用

51、戶對app的請求和平臺內(nèi)部的管理請求。Router是PaaS平臺中至關(guān)重要的一個組件，它在內(nèi)存中維護(hù)了一張路由表，記錄了域名與實例的對應(yīng)關(guān)系，所謂的實例自動遷移，靠得就是這張路由表，某實例宕掉了，就從路由表中剔除，新實例創(chuàng)建了，就加入路由表。Authentication這塊包含兩個組件，一個是Login Server，負(fù)責(zé)登錄，一個是OAuth2 Server(UAA)，UAA是個Java的項目Cloud ControllerCloud Controller負(fù)責(zé)管理app的整個生命周期。用戶通過命令行工具cf與CloudFoundry Server打交道，實際主要就是和Cloud Contro

52、ller交互。用戶把app push給Cloud Controller，Cloud Controller將其存放在Blob Store，在數(shù)據(jù)庫中為該app創(chuàng)建一條記錄，存放其meta信息，并且指定一個DEA節(jié)點來完成打包動作，產(chǎn)出一個droplet（是一個包含Runtime的包，在任何dea節(jié)點都可以通過warden run起來），完成打包之后，droplet回傳給Cloud Controller，仍然存放在Blob Store，然后Cloud Controller根據(jù)用戶要求的實例數(shù)目，調(diào)度相應(yīng)的DEA節(jié)點部署運行該droplet。另外，Cloud Controller還維護(hù)了用戶組織關(guān)系

53、org、space，以及服務(wù)、服務(wù)實例等等。Health ManagerHealth Manager主要有四個核心功能：監(jiān)控app的實際運行狀態(tài)（比如：running, stopped, crashed等等），版本，實例數(shù)目等信息。DEA會持續(xù)發(fā)送心跳包，匯報它所管轄的實例信息，如果某個實例掛了，會立馬發(fā)送“droplet.exited”消息，HM9000據(jù)此更新app的實際運行數(shù)據(jù)通過dump Cloud Controller數(shù)據(jù)庫的方式，獲取app的期望狀態(tài)、版本、實例數(shù)目持續(xù)比對app的實際運行狀態(tài)和期望狀態(tài)，如果發(fā)現(xiàn)app正在運行的實例數(shù)目少于要求的實例數(shù)目，就發(fā)命令給Cloud Co

54、ntroller，要求啟動相應(yīng)數(shù)目的實例。HM9000本身，不會要求DEA做些什么。它只是收集數(shù)據(jù)，比對，再收集數(shù)據(jù)，再比對用戶通過cf命令行工具是可以控制app各個實例的啟停狀態(tài)的，如果app的狀態(tài)發(fā)生變化，就會命令Cloud Controller做出相應(yīng)調(diào)整Application Execution(DEA)DEA，即Droplet Execution Agent，部署在所有物理節(jié)點上，管理app實例，將狀態(tài)信息廣播出去。比如我們創(chuàng)建一個app，實例的創(chuàng)建命令最終會下發(fā)到DEA，DEA調(diào)用warden的接口創(chuàng)建container，如果用戶要刪除某個app，實例的銷毀命令最終也會下發(fā)到DEA

55、，DEA調(diào)用warden的接口銷毀對應(yīng)的container。Service Brokersapp在運行的時候通常需要依賴外部的一些服務(wù)，比如數(shù)據(jù)庫服務(wù)、緩存服務(wù)、短信郵件服務(wù)等等。Service Broker就是app接入服務(wù)的一種方式。比如我們要接入MySQL服務(wù)，只要實現(xiàn)CloudFoundry要求的Service Broker API即可。但實際情況是在我們使用CloudFoundry之前，MySQL服務(wù)已經(jīng)由DBA做了服務(wù)化、產(chǎn)品化，用起來已經(jīng)很方便了。Message BusCloudFoundry使用NATS作為內(nèi)部組件之間通信的媒介，NATS是一個輕量級的基于pub-sub機制的分

56、布式消息隊列系統(tǒng)，是整個系統(tǒng)可以松散耦合的基石。我們以向router注冊路由為例來說明NATS的作用。不管是外部用戶對平臺上的應(yīng)用發(fā)起的請求，還是對內(nèi)部組件（比如Cloud Controller、UAA）發(fā)起的請求，都是經(jīng)由router做的轉(zhuǎn)發(fā)，要能讓router轉(zhuǎn)發(fā)則首先需要向router注冊路由。大體邏輯實現(xiàn)如下：router啟動時，會訂閱這個channel，同時也會定時的向這個channel發(fā)送數(shù)據(jù)其他需要向router注冊的組件，啟動時會訂閱這個channel。一旦接收到消息，會立刻收集需要注冊的信息（如ip、port等），然后向這個channel發(fā)送消息。router接收到消息后立即

57、更新路由信息以上過程不停循環(huán)，使router的狀態(tài)時刻保持最新Logging and StatisticsMetrics Collector會從各個模塊收集監(jiān)控數(shù)據(jù)，運維工程師可以據(jù)此來監(jiān)控CloudFoundry，出了問題及時發(fā)現(xiàn)并處理。物理機的硬件監(jiān)控則可以采用傳統(tǒng)的一些監(jiān)控系統(tǒng)來做，比如zabbix之類的。Log這塊是個大話題，CloudFoundry提供了Log Aggregator來收集app的log。我們也可以通過其他手段直接把log通過網(wǎng)絡(luò)打出來，比如syslog、scribe之類的。企業(yè)私有云部署圖云計算的基本介紹OpenStackCloud FoundryKubernetes

58、容器DockerDocker是一個由GO語言寫的程序運行的“容器”（Linux containers， LXCs）； 目前云服務(wù)的基石是操作系統(tǒng)級別的隔離，在同一臺物理服務(wù)器上虛擬出多個主機。Docker則實現(xiàn)了一種應(yīng)用程序級別的隔離； 它改變我們基本的開發(fā)、操作單元，由直接操作虛擬主機（VM）,轉(zhuǎn)換到操作程序運行的“容器”上來。Docker虛擬機與Docker架構(gòu)對比圖（1）docker有著比虛擬機更少的抽象層。由于docker不需要Hypervisor實現(xiàn)硬件資源虛擬化，運行在docker容器上的程序直接使用的都是實際物理機的硬件資源。因此在CPU、內(nèi)存利用率上docker將會在效率上有明

59、顯優(yōu)勢。（2）docker利用的是宿主機的內(nèi)核，而不需要Guest OS。因此，當(dāng)新建一個容器時，docker不需要和虛擬機一樣重新加載一個操作系統(tǒng)內(nèi)核。從而避免引導(dǎo)、加載操作系統(tǒng)內(nèi)核這個比較費時費資源的過程，當(dāng)新建一個虛擬機時，虛擬機軟件需要加載Guest OS，這個新建過程是分鐘級別的。而docker由于直接利用宿主機的操作系統(tǒng)，則省略了這個過程，因此新建一個docker容器只需要幾秒鐘。docker能在幾秒鐘之內(nèi)啟動大量的容器，這是虛擬機無法辦到的（1）2顆英特爾xeon E5-2655 處理器，主頻2.4-3.0 GHz。每顆處理器有8個核，因此總共有16個核。（2）256 GB RA

60、M.在測試中是通過運算Linpack程序來獲得計算能力數(shù)據(jù)的。DockerCPU性能對比Docker內(nèi)存性能對比在隨機內(nèi)存訪問性能上容器與虛擬機的性能差距變得比較明顯，容器的內(nèi)存訪問性能明顯比虛擬機優(yōu)秀Docker快運行時的性能可以獲取極大提升（經(jīng)典的案例是提升97%）管理操作（啟動，停止，開始，重啟等等） 都是以秒或毫秒為單位的。敏捷比VM小，比VM快，Docker容器的尺寸減小相比整個虛擬機大大簡化了分布到云和從云分發(fā)靈活輕量你會擁有足夠的“操作系統(tǒng)”，僅需添加或減小鏡像即可。在一臺服務(wù)器上可以布署1001000個Containers容器。便宜開源的，免費的，低成本的。由現(xiàn)代Linux內(nèi)核