云計算發(fā)展概述

1、 云計算發(fā)展概述目 錄 TOC o 1-3 h z u HYPERLINK l _Toc533503526 第一階段：合，即物理設(shè)備 PAGEREF _Toc533503526 h 3 HYPERLINK l _Toc533503527 物理設(shè)備簡介 PAGEREF _Toc533503527 h 4 HYPERLINK l _Toc533503528 物理設(shè)備的缺點 PAGEREF _Toc533503528 h 4 HYPERLINK l _Toc533503529 第二階段：分，即虛擬化 PAGEREF _Toc533503529 h 5 HYPERLINK l _Toc53350353

2、0 虛擬化簡介 PAGEREF _Toc533503530 h 5 HYPERLINK l _Toc533503531 虛擬化解決的問題 PAGEREF _Toc533503531 h 5 HYPERLINK l _Toc533503532 虛擬化時代的生態(tài) PAGEREF _Toc533503532 h 6 HYPERLINK l _Toc533503533 虛擬化的缺點 PAGEREF _Toc533503533 h 7 HYPERLINK l _Toc533503534 第三階段：合，即云計算 PAGEREF _Toc533503534 h 7 HYPERLINK l _Toc53350

3、3535 云計算解決的問題 PAGEREF _Toc533503535 h 7 HYPERLINK l _Toc533503536 私有云與公有云廠商的聯(lián)系與區(qū)別 PAGEREF _Toc533503536 h 8 HYPERLINK l _Toc533503537 公有云生態(tài)及老二的逆襲 PAGEREF _Toc533503537 h 9 HYPERLINK l _Toc533503538 OpenStack帶來私有云市場的紅海 PAGEREF _Toc533503538 h 10 HYPERLINK l _Toc533503539 公有還是私有？網(wǎng)易云的選擇 PAGEREF _Toc533

4、503539 h 11 HYPERLINK l _Toc533503540 第四階段：分，即容器 PAGEREF _Toc533503540 h 11 HYPERLINK l _Toc533503541 容器的誕生 PAGEREF _Toc533503541 h 13云計算概述云計算主要解決了四個方面的內(nèi)容：計算，網(wǎng)絡(luò)，存儲，應(yīng)用。計算就是CPU和內(nèi)存，例如“1+1”這個最簡單的算法就是把“1”放在內(nèi)存里面，然后CPU做加法，返回的結(jié)果“2”又保存在內(nèi)存里面。網(wǎng)絡(luò)就是你插根網(wǎng)線能上網(wǎng)。存儲就是你下個電影有地方放。本次討論就是圍繞這四個部分來講的。其中，計算、網(wǎng)絡(luò)、存儲三個是IaaS層面，應(yīng)用是

5、PaaS層面。云計算發(fā)展脈絡(luò)云計算整個發(fā)展過程，用一句話來形容，就是“分久必合，合久必分”。第一階段：合，即物理設(shè)備物理設(shè)備簡介在互聯(lián)網(wǎng)發(fā)展初期，大家都愛用物理設(shè)備：服務(wù)器用物理機，像戴爾、惠普、IBM、聯(lián)想等物理服務(wù)器，隨著硬件設(shè)備的進步，物理服務(wù)器越來越強大了，64核128G內(nèi)存都算是普通配置；網(wǎng)絡(luò)用的是硬件交換機和路由器，例如思科的，華為的，從1GE到10GE，現(xiàn)在有40GE和100GE，帶寬越來越牛；存儲方面有的用普通的磁盤，也有更快的SSD盤。容量從M，到G，連筆記本電腦都能配置到T，更何況磁盤陣列；物理設(shè)備的缺點部署應(yīng)用直接使用物理機，看起來很爽，有種土豪的感覺，卻有大大的缺點：人

6、工運維。如果你在一臺服務(wù)器上安裝軟件，把系統(tǒng)安裝壞了，怎么辦？只有重裝。當(dāng)你想配置一下交換機的參數(shù)，需要串口連上去進行配置；當(dāng)你想增加一塊磁盤，要買一塊插進服務(wù)器，這些都需要人工來，而且很大可能要求機房。你們公司在北五環(huán)，機房在南六環(huán)，這酸爽。浪費資源。其實你只想部署一個小小的網(wǎng)站，卻要用128G的內(nèi)存?；熘渴鸢桑陀懈綦x性的問題。隔離性差。你把好多的應(yīng)用部署在同一臺物理機上，他們之間搶內(nèi)存、搶CPU，一個寫滿了硬盤，另一個就沒法用了，一個弄掛了內(nèi)核，另一個也跟著掛了，如果部署兩個相同的應(yīng)用，端口還會沖突，動不動就會出錯。第二階段：分，即虛擬化虛擬化簡介因為物理設(shè)備的以上缺點，就有了第一次“

7、合久必分”的過程，叫做虛擬化。所謂虛擬化，就是把實的變成虛的：物理機變?yōu)樘摂M機。CPU是虛擬的，內(nèi)存是虛擬的，內(nèi)核是虛擬的，硬盤是虛擬的；物理交換機變?yōu)樘摂M交換機。網(wǎng)卡是虛擬的，交換機是虛擬的，帶寬也是虛擬的；物理存儲變成虛擬存儲。多塊硬盤虛擬成一大塊。虛擬化解決的問題虛擬化很好地解決了在物理設(shè)備階段存在的三個問題：人工運維。虛擬機的創(chuàng)建和刪除都可以遠程操作，虛擬機被玩壞了，刪了再建一個分鐘級別的。虛擬網(wǎng)絡(luò)的配置也可以遠程操作，創(chuàng)建網(wǎng)卡、分配帶寬都是調(diào)用接口就能搞定的；資源浪費。虛擬化了以后，資源可以分配地很小很小，比如1個CPU，1G內(nèi)存，1M帶寬，1G硬盤，都可以被虛擬出來；隔離性差。每個

8、虛擬機都有獨立的CPU、 內(nèi)存、硬盤、網(wǎng)卡，不同虛擬機之間的應(yīng)用互不干擾。虛擬化時代的生態(tài)在虛擬化階段，領(lǐng)跑者是VMware，可以實現(xiàn)基本的計算、網(wǎng)絡(luò)、存儲的虛擬化。如同這個世界有閉源就有開源、有Windows就有Linux、有Apple就有Android一樣，有VMware，就有Xen和KVM。在開源虛擬化方面，Xen 的Citrix做的不錯，后來Redhat在KVM發(fā)力不少；對于網(wǎng)絡(luò)虛擬化，有Openvswitch，可以通過命令創(chuàng)建網(wǎng)橋、網(wǎng)卡、設(shè)置VLAN、設(shè)置帶寬；對于存儲虛擬化，本地盤有LVM，可以將多個硬盤變成一大塊盤，然后在里面切出一小塊給用戶。虛擬化的缺點但是虛擬化也有缺點。通過

9、虛擬化軟件創(chuàng)建虛擬機，需要人工指定放在哪臺機器上、硬盤放在哪個存儲設(shè)備上，網(wǎng)絡(luò)的VLAN ID、帶寬的具體配置等，都需要人工指定。所以僅使用虛擬化的運維工程師往往有一個Excel表格，記錄有多少臺物理機，每臺機器部署了哪些虛擬機。受此限制，一般虛擬化的集群數(shù)目都不是特別大。第三階段：合，即云計算云計算解決的問題為了解決虛擬化階段遺留的問題，于是有了分久必合的過程。這個過程我們可以形象地稱為池化。虛擬化將資源分得很細，但是如此細分的資源靠Excel去管理，成本太高。池化就是將資源打成一個大的池，當(dāng)需要資源的時候，幫助用戶自動地選擇，而非用戶指定。這個階段的關(guān)鍵點：調(diào)度器Scheduler。私有云

10、、公有云的兩極分化。這樣，VMware有了自己的Vcloud；也有了基于Xen和KVM的私有云平臺CloudStack（后來Citrix將其收購后開源）。當(dāng)這些私有云平臺在用戶的數(shù)據(jù)中心里賣得奇貴無比、賺得盆滿缽盈的時候，有其他的公司開始了另外的選擇。這就是AWS和Google，他們開始了公有云領(lǐng)域的探索。AWS最初就是基于Xen技術(shù)進行虛擬化的，并且最終形成了公有云平臺。也許AWS最初只是不想讓自己的電商領(lǐng)域的利潤全部交給私有云廠商吧，所以自己的云平臺首先支撐起了自己的業(yè)務(wù)。在這個過程中，AWS嚴肅地使用了自己的云計算平臺，使得公有云平臺并不是對資源的配置更加友好，而是對應(yīng)用的部署更加友好，

11、最終大放異彩。私有云與公有云廠商的聯(lián)系與區(qū)別如果仔細觀察就會發(fā)現(xiàn)，私有云和公有云雖然使用的是類似的技術(shù)，但在產(chǎn)品設(shè)計上卻是完全不同的兩種生物。私有云廠商和公有云廠商也擁有類似的技術(shù)，但在產(chǎn)品運營上呈現(xiàn)出完全不同的基因。私有云廠商是賣資源的，所以往往在賣私有云平臺的時候伴隨著賣計算、網(wǎng)絡(luò)、存儲設(shè)備。在產(chǎn)品設(shè)計上，私有云廠商往往會對客戶強調(diào)其幾乎不會使用的計算、網(wǎng)絡(luò)、存儲的技術(shù)參數(shù)，因為這些參數(shù)可以在和友商對標的過程中占盡優(yōu)勢。私有云的廠商幾乎沒有自己的大規(guī)模應(yīng)用，所以私有云廠商的平臺做出來是給別人用的，自己不會大規(guī)模使用，所以產(chǎn)品往往圍繞資源展開，而不會對應(yīng)用的部署友好。公有云的廠商往往都是有自

12、己大規(guī)模的應(yīng)用需要部署，所以其產(chǎn)品的設(shè)計可以將常見的應(yīng)用部署需要的模塊作為組件提供出來，用戶可以像拼積木一樣，拼接一個適用于自己應(yīng)用的架構(gòu)。公有云廠商不必關(guān)心各種技術(shù)參數(shù)的PK，不必關(guān)心是否開源，是否兼容各種虛擬化平臺，是否兼容各種服務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備。你管我用什么，客戶部署應(yīng)用方便就好。公有云生態(tài)及老二的逆襲公有云的第一名AWS活的自然很爽，作為第二名Rackspace就不那么舒坦了。沒錯，互聯(lián)網(wǎng)行業(yè)基本上就是一家獨大，那第二名如何逆襲呢？開源是很好的辦法，讓整個行業(yè)一起為這個云平臺出力。于是Rackspace與美國航空航天局（NASA）合作創(chuàng)始了開源云平臺OpenStack。Op

13、enStack現(xiàn)在發(fā)展的和AWS有點像了，所以從OpenStack的模塊組成可以看到云計算池化的方法，OpenStack的核心組件：計算池化模塊Nova：OpenStack的計算虛擬化主要使用KVM，然而到底在哪個物理機上開虛擬機呢，這要靠Nova-Scheduler。網(wǎng)絡(luò)池化模塊Neutron：OpenStack的網(wǎng)絡(luò)虛擬化主要使用OpenvSwitch，然而對于每一個OpenvSwitch的虛擬網(wǎng)絡(luò)、虛擬網(wǎng)卡、VLAN、帶寬的配置，不需要登錄到集群上配置，Neutron可以通過SDN的方式進行配置；存儲池化模塊Cinder: OpenStack的存儲虛擬化，如果使用本地盤，則基于LVM，使

14、用哪個LVM上分配的盤，也是通過scheduler來的。后來就有了將多臺機器的硬盤打成一個池的方式Ceph，而調(diào)度的過程，則在Ceph層完成。OpenStack帶來私有云市場的紅海有了OpenStack，所有的私有云廠商都瘋了，原來VMware在私有云市場賺的實在太多了，眼巴巴的看著，沒有對應(yīng)的平臺可以和他抗衡。現(xiàn)在有了現(xiàn)成的框架，再加上自己的硬件設(shè)備，幾乎所有的IT廠商巨頭，全部都加入到社區(qū)里，將OpenStack開發(fā)為自己的產(chǎn)品，連同硬件設(shè)備一起，殺入私有云市場。公有還是私有？網(wǎng)易云的選擇網(wǎng)易云當(dāng)然也沒有錯過這次風(fēng)口，上線了自己的OpenStack集群，網(wǎng)易云基于OpenStack自主研發(fā)

15、了IaaS服務(wù)，在計算虛擬化方面，通過裁剪KVM鏡像，優(yōu)化虛擬機啟動流程等改進，實現(xiàn)了虛擬機的秒級別啟動。在網(wǎng)絡(luò)虛擬化方面，通過SDN和OpenvSwitch技術(shù)，實現(xiàn)了虛擬機之間的高性能互訪。在存儲虛擬化方面，通過優(yōu)化Ceph存儲，實現(xiàn)高性能云盤。但是網(wǎng)易云并沒有殺進私有云市場，而是使用OpenStack支撐起了自己的應(yīng)用，這是互聯(lián)網(wǎng)的思維。而僅僅是資源層面彈性是不夠的，還需要開發(fā)出對應(yīng)用部署友好的組件。例如數(shù)據(jù)庫，負載均衡，緩存等，這些都是應(yīng)用部署必不可少的，也是網(wǎng)易云在大規(guī)模應(yīng)用實踐中，千錘百煉過的。這些組件稱為PaaS。第四階段：分，即容器現(xiàn)在來談?wù)?，?yīng)用層面，即PaaS層。前面一直在

16、講IaaS層的故事，也即基礎(chǔ)設(shè)施即服務(wù)，基本上在談計算、網(wǎng)絡(luò)、存儲的事情。現(xiàn)在應(yīng)該說說應(yīng)用層，即PaaS層的事情了。1. PaaS的定義與作用IaaS的定義比較清楚，PaaS的定義就沒那么清楚了。有人把數(shù)據(jù)庫、負載均衡、緩存作為PaaS服務(wù)；有人把大數(shù)據(jù)Hadoop,、Spark平臺作為PaaS服務(wù)；還有人將應(yīng)用的安裝與管理，例如Puppet、 Chef,、Ansible作為PaaS服務(wù)。其實PaaS主要用于管理應(yīng)用層。我總結(jié)為兩部分：一部分是你自己的應(yīng)用應(yīng)當(dāng)自動部署，比如Puppet、Chef、Ansible、 Cloud Foundry等，可以通過腳本幫你部署；另一部分是你覺得復(fù)雜的通用應(yīng)

17、用不用部署，比如數(shù)據(jù)庫、緩存、大數(shù)據(jù)平臺，可以在云平臺上一點即得。要么就是自動部署，要么就是不用部署，總的來說就是應(yīng)用層你也少操心，就是PaaS的作用。當(dāng)然最好還是都不用去部署，一鍵可得，所以公有云平臺將通用的服務(wù)都做成了PaaS平臺。另一些你自己開發(fā)的應(yīng)用，除了你自己其他人不會知道，所以你可以用工具變成自動部署。2. PaaS的優(yōu)點PaaS最大的優(yōu)點，就是可以實現(xiàn)應(yīng)用層的彈性伸縮。比如在雙十一期間，10個節(jié)點要變成100個節(jié)點，如果使用物理設(shè)備，再買90臺機器肯定來不及，僅僅有IaaS實現(xiàn)資源的彈性是不夠的，再創(chuàng)建90臺虛擬機，也是空的，還是需要運維人員一臺一臺地部署。所以有了PaaS就好了

18、，一臺虛擬機啟動后，馬上運行自動部署腳本，進行應(yīng)用的安裝，90臺機器自動安裝好了應(yīng)用，才是真正的彈性伸縮。3. PaaS部署的問題當(dāng)然這種部署方式也有一個問題，就是無論Puppet、 Chef、Ansible把安裝腳本抽象的再好，說到底也是基于腳本的，然而應(yīng)用所在的環(huán)境千差萬別。文件路徑的差別，文件權(quán)限的差別，依賴包的差別，應(yīng)用環(huán)境的差別，Tomcat、 PHP、 Apache等軟件版本的差別，JDK、Python等版本的差別，是否安裝了一些系統(tǒng)軟件，是否占用了哪些端口，都可能造成腳本執(zhí)行的不成功。所以看起來是一旦腳本寫好，就能夠快速復(fù)制了，但是環(huán)境稍有改變，就需要把腳本進行新一輪的修改、測試、聯(lián)調(diào)。例如在數(shù)據(jù)中心寫好的腳本移到AWS上就不一定直接能用，在AWS上聯(lián)調(diào)好了，遷移到Google Cloud上也可能會再出問題。容器的誕生1. 容器的定義于是容器便應(yīng)運而生。容器是Container，Container另一個意思是集裝箱，其實容器的思想就是要變成軟件交付的集裝箱。集裝箱的