第1章云計(jì)算概述

云計(jì)算翟健宏課程的性質(zhì)和任務(wù)云計(jì)算課程是介紹目前信息技術(shù)領(lǐng)域熱點(diǎn)“云計(jì)算”的現(xiàn)狀及其發(fā)展，探討云計(jì)算的主要技術(shù)發(fā)展及趨勢(shì)。課程主要內(nèi)容包括：云計(jì)算概述，Google云計(jì)算，Hadoop，MapReduce，HDFS，Hbase等。通過本課程的學(xué)習(xí)，讓學(xué)生了解云計(jì)算概念、知識(shí)體系、目前云計(jì)算領(lǐng)域的主要技術(shù)，理解Hadoop、MapReduce等技術(shù)理論及編程思想，掌握云計(jì)算基本理論原理與當(dāng)今的云計(jì)算技術(shù)及最新發(fā)展，并能夠構(gòu)建簡(jiǎn)單的云計(jì)算環(huán)境。課程基本要求學(xué)習(xí)本課程，首先明確：云計(jì)算的概念、體系架構(gòu)、主要技術(shù)及發(fā)展應(yīng)用，重點(diǎn)掌握：Google云計(jì)算的技術(shù)結(jié)構(gòu)及主要應(yīng)用，Hadoop、MapReduce、HDFS、Hbase等關(guān)鍵技術(shù)的基本思想和技術(shù)細(xì)節(jié)。學(xué)習(xí)本課程，要求學(xué)生保質(zhì)保量地完成課后作業(yè)，撰寫一篇綜述性論文，最后參加結(jié)課考試。其中綜述性論文應(yīng)由學(xué)員本人認(rèn)真、獨(dú)立完成，在閱讀五篇云計(jì)算方向論文的基礎(chǔ)上，對(duì)這五篇論文進(jìn)行綜述分析點(diǎn)評(píng)，論文格式嚴(yán)格按哈工大學(xué)報(bào)格式規(guī)范要求。參考書目1、《云計(jì)算（第二版）》（電子工業(yè)出版社

劉鵬主編）2、《Hadoop權(quán)威指南》(清華大學(xué)出版社

TomWhite[美]著)

授課內(nèi)容云計(jì)算概述

Google云計(jì)算

MapReduce

HDFS

Hbase

節(jié)能計(jì)算第1章

云計(jì)算概述翟健宏一、本章學(xué)習(xí)要點(diǎn)了解云計(jì)算的意義及思想了解目前主要云計(jì)算的現(xiàn)狀和發(fā)展了解云計(jì)算的體系結(jié)構(gòu)，重點(diǎn)掌握相關(guān)概念二、教學(xué)內(nèi)容和重點(diǎn)知識(shí)解析主要講授:

云計(jì)算的概念及發(fā)展現(xiàn)狀，云計(jì)算實(shí)現(xiàn)機(jī)制，網(wǎng)格計(jì)算與云計(jì)算，云計(jì)算的發(fā)展環(huán)境，云計(jì)算的成本優(yōu)勢(shì)提綱云計(jì)算的概念云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制網(wǎng)格計(jì)算與云計(jì)算云計(jì)算的發(fā)展環(huán)境云計(jì)算壓倒性的成本優(yōu)勢(shì)9

云計(jì)算（CloudComputing）,2007年第3季度才誕生的新名詞，僅過了半年多，其受到關(guān)注程度就超過網(wǎng)格計(jì)算（GridComputing），而且關(guān)注度至今一直居高不下

云計(jì)算的不同解釋及定義11Wiki定義：云計(jì)算是一種通過Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化的資源的計(jì)算模式。美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院定義：云計(jì)算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，進(jìn)入可配置的計(jì)算資源共享池（資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用軟件，服務(wù)），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。網(wǎng)格計(jì)算：分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)，常用來執(zhí)行一些大型任務(wù)；效用計(jì)算：IT資源的一種打包和計(jì)費(fèi)方式，比如按照計(jì)算、存儲(chǔ)分別計(jì)量費(fèi)用，像傳統(tǒng)的電力等公共設(shè)施一樣；自主計(jì)算：具有自我管理功能的計(jì)算機(jī)系統(tǒng)。云計(jì)算的定義云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算能力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算有什么特點(diǎn)？在動(dòng)態(tài)、多機(jī)構(gòu)參與的虛擬組織中協(xié)同共享資源和求解問題同時(shí)使用多種計(jì)算資源解決計(jì)算問題將需要巨大計(jì)算能力的問題分成許多小部分進(jìn)行處理，最后綜合結(jié)果分布式計(jì)算

并行計(jì)算網(wǎng)格計(jì)算

云計(jì)算云計(jì)算的設(shè)計(jì)目標(biāo)超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務(wù)極其廉價(jià)

云計(jì)算服務(wù)類型SaaS0302PaaS01IaaS將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用

對(duì)資源的抽象層次更進(jìn)一步，提供用戶應(yīng)用程序運(yùn)行環(huán)境

針對(duì)性更強(qiáng)，它將某些特定應(yīng)用軟件功能封裝成服務(wù)

提綱云計(jì)算的概念云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制網(wǎng)格計(jì)算與云計(jì)算云計(jì)算的發(fā)展環(huán)境云計(jì)算壓倒性的成本優(yōu)勢(shì)1、歐盟第七框架計(jì)劃（FP7）2、歐盟視覺云（Vision）項(xiàng)目3、英國(guó)政府云（G-Cloud）1、十二五戰(zhàn)略新興產(chǎn)業(yè)2、云計(jì)算創(chuàng)新發(fā)展試點(diǎn)示范工作3、“中國(guó)云”國(guó)家規(guī)劃即將推出韓國(guó)云計(jì)算全面振興計(jì)劃日本總務(wù)省云計(jì)算特區(qū)工程澳大利亞政府：出臺(tái)云計(jì)算戰(zhàn)略1、美國(guó)能源部麥哲倫（Magellan）項(xiàng)目2、美國(guó)航天局（Nebula）項(xiàng)目研發(fā)了彈性計(jì)算云EC2（ElasticComputingCloud）和簡(jiǎn)單存儲(chǔ)服務(wù)S3（SimpleStorageService）為企業(yè)提供計(jì)算和存儲(chǔ)服務(wù)收費(fèi)項(xiàng)目包括存儲(chǔ)空間、帶寬、CPU資源以及月租費(fèi)誕生不到兩年的時(shí)間內(nèi)，Amazon的注冊(cè)用戶就多達(dá)44萬人，其中包括為數(shù)眾多的企業(yè)級(jí)用戶Google搜索引擎建立在“分布在30多個(gè)站點(diǎn)、超過200萬臺(tái)服務(wù)器構(gòu)成的云計(jì)算設(shè)施”的支撐之上，這些設(shè)施的數(shù)量正在迅猛增長(zhǎng)Google的一系列成功應(yīng)用，包括Google地球、地圖、Gmail、Docs等也同樣使用了這些基礎(chǔ)設(shè)施目前，Google已經(jīng)允許第三方在Google的云計(jì)算中通過GoogleAppEngine運(yùn)行大型并行應(yīng)用程序Hadoop模仿了Google的實(shí)現(xiàn)機(jī)制◎IBM在2007年11月推出了“改變游戲規(guī)則”的“藍(lán)云”計(jì)算平臺(tái)，為客戶帶來即買即用的云計(jì)算平臺(tái)?！騃BM正在與17個(gè)歐洲組織合作開展名為RESERVOIR云計(jì)算項(xiàng)目，以“無障礙的資源和服務(wù)虛擬化”為口號(hào)。歐盟提供了1.7億歐元作為部分資金?！騃BM已在全球范圍內(nèi)建立了13個(gè)云計(jì)算中心，并且已幫助數(shù)個(gè)客戶成功部署了云計(jì)算中心微軟于2008年10月推出了WindowsAzure操作系統(tǒng)。Azure(譯為“藍(lán)天”)是繼Windows取代DOS之后，微軟的又一次顛覆性轉(zhuǎn)型。微軟在2010年10月的PDC大會(huì)上，公布了WindowsAzure云計(jì)算平臺(tái)的未來藍(lán)圖，跳出單純的基礎(chǔ)架構(gòu)作服務(wù)的框架，將WindowsAzure定位為平臺(tái)作服務(wù)中國(guó)2008年，IBM先后在無錫和北京建立了兩個(gè)云計(jì)算中心阿里巴巴成立了阿里云公司。還有許多公司觸云：騰訊、盛大、廣達(dá)、800APP、世紀(jì)互聯(lián)…中國(guó)移動(dòng)研究院已經(jīng)建立起1024個(gè)CPU的云計(jì)算試驗(yàn)中心；中國(guó)電信、中國(guó)聯(lián)通都有相應(yīng)動(dòng)作。華為、中興都轉(zhuǎn)入了云計(jì)算研發(fā)作為云計(jì)算技術(shù)的一個(gè)分支，云安全技術(shù)通過大量客戶端的參與和大量服務(wù)器端的統(tǒng)計(jì)分析來識(shí)別病毒和木馬，取得了巨大成功

2008年11月25日，中國(guó)電子學(xué)會(huì)專門成立了云計(jì)算專家委員會(huì)

2009年5月22日，中國(guó)電子學(xué)會(huì)隆重舉辦首屆中國(guó)云計(jì)算大會(huì)，1200多人與會(huì)，盛況空前。2010年5月，將舉辦第二屆，規(guī)模將達(dá)3000人;

2009年12月，舉辦中國(guó)首屆云計(jì)算學(xué)術(shù)會(huì)議

2010年5月，舉辦第二屆中國(guó)云計(jì)算大會(huì)

2011年5月，舉辦第三屆中國(guó)云計(jì)算大會(huì)

2012年5月，舉辦第四屆中國(guó)云計(jì)算大會(huì)提綱云計(jì)算的概念云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制網(wǎng)格計(jì)算與云計(jì)算云計(jì)算的發(fā)展環(huán)境云計(jì)算壓倒性的成本優(yōu)勢(shì)云計(jì)算技術(shù)體系結(jié)構(gòu)SOA構(gòu)建層

管理中間件層

物理資源層資源池層

計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫(kù)和軟件等封裝云計(jì)算能力成標(biāo)準(zhǔn)的WebServices服務(wù)，并納入到SOA體系云計(jì)算的資源管理，并對(duì)眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)

將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池云計(jì)算體系結(jié)構(gòu)均衡使用云資源節(jié)點(diǎn)，檢測(cè)節(jié)點(diǎn)故障并試圖恢復(fù)或屏蔽之，并對(duì)資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì)資源管理

任務(wù)管理安全管理

用戶管理

云計(jì)算的管理中間件層

執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象（Image）的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等實(shí)現(xiàn)云計(jì)算商業(yè)模式的一個(gè)必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識(shí)別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對(duì)用戶的使用進(jìn)行計(jì)費(fèi)等保障云計(jì)算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計(jì)等簡(jiǎn)化的IaaS實(shí)現(xiàn)機(jī)制圖

提綱云計(jì)算的概念云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制網(wǎng)格計(jì)算與云計(jì)算云計(jì)算的發(fā)展環(huán)境云計(jì)算壓倒性的成本優(yōu)勢(shì)網(wǎng)格計(jì)算——在動(dòng)態(tài)、多機(jī)構(gòu)參與的虛擬組織中協(xié)同共享資源和求解問題云計(jì)算與網(wǎng)格計(jì)算是什么關(guān)系？計(jì)算網(wǎng)格

提供集成各種計(jì)算資源的、虛擬化的計(jì)算基礎(chǔ)設(shè)施

信息網(wǎng)格

一體化智能信息處理平臺(tái)，集成各種信息系統(tǒng)和信息資源，消除信息孤島，使用戶能按需獲取集成后精確信息知識(shí)網(wǎng)格

研究一體化的智能知識(shí)處理和理解平臺(tái)，使得用戶能方便地發(fā)布、處理和獲取知識(shí)

網(wǎng)格計(jì)算云計(jì)算目標(biāo)共享高性能計(jì)算力和數(shù)據(jù)資源，實(shí)現(xiàn)資源共享和協(xié)同工作提供通用的計(jì)算平臺(tái)和存儲(chǔ)空間，提供各種軟件服務(wù)資源來源不同機(jī)構(gòu)同一機(jī)構(gòu)資源類型異構(gòu)資源同構(gòu)資源資源節(jié)點(diǎn)高性能計(jì)算機(jī)服務(wù)器/PC虛擬化視圖虛擬組織虛擬機(jī)計(jì)算類型緊耦合問題為主松耦合問題應(yīng)用類型科學(xué)計(jì)算為主數(shù)據(jù)處理為主用戶類型科學(xué)界商業(yè)社會(huì)付費(fèi)方式免費(fèi)（政府出資）按量計(jì)費(fèi)標(biāo)準(zhǔn)化有統(tǒng)一的國(guó)際標(biāo)準(zhǔn)OGSA/WSRF尚無標(biāo)準(zhǔn)，但已經(jīng)有了開放云計(jì)算聯(lián)盟OCC概念比較網(wǎng)格計(jì)算與云計(jì)算的關(guān)系，就像是OSI與TCP/IP之間的關(guān)系

云計(jì)算是網(wǎng)格計(jì)算的一種簡(jiǎn)化形態(tài)，網(wǎng)格不僅要集成異構(gòu)資源，還要解決許多非技術(shù)的協(xié)調(diào)問題，也不像云計(jì)算有成功的商業(yè)模式推動(dòng)，所以實(shí)現(xiàn)起來要比云計(jì)算難度大很多。但對(duì)于許多高端科學(xué)或軍事應(yīng)用而言，云計(jì)算是無法滿足需求的，必須依靠網(wǎng)格來解決。

不久的將來，建立在云計(jì)算之上的“商業(yè)2.0”與建立在網(wǎng)格計(jì)算之上的“科學(xué)2.0”都將取得成功。

網(wǎng)格技術(shù)主要解決分布在不同機(jī)構(gòu)的各種信息資源的共享問題，而云計(jì)算主要解決計(jì)算力和存儲(chǔ)空間的集中共享使用問題。

Gloud（云格）=Grid+Cloud

提綱云計(jì)算的概念云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制網(wǎng)格計(jì)算與云計(jì)算云計(jì)算的發(fā)展環(huán)境云計(jì)算壓倒性的成本優(yōu)勢(shì)云計(jì)算物聯(lián)網(wǎng)

3G

三網(wǎng)融合

移動(dòng)互聯(lián)網(wǎng)

云計(jì)算發(fā)展環(huán)境3G將為云計(jì)算帶來數(shù)以億計(jì)的寬帶移動(dòng)用戶。用戶的終端計(jì)算能力和存儲(chǔ)空間有限，卻有很強(qiáng)的聯(lián)網(wǎng)能力，對(duì)云計(jì)算有著天然的需求云計(jì)算能夠給3G用戶提供更好的用戶體驗(yàn)。云計(jì)算有強(qiáng)大的計(jì)算能力、接近無限的存儲(chǔ)空間，并支撐各種各樣的軟件和信息服務(wù)，能夠?yàn)?G用戶提供前所未有的服務(wù)體驗(yàn)3G與云計(jì)算是互相依存、互相促進(jìn)的關(guān)系

物聯(lián)網(wǎng)與云計(jì)算是交互輝映的關(guān)系從量上看，物聯(lián)網(wǎng)采集驚人的數(shù)據(jù)需要通過無線傳感網(wǎng)、寬帶互聯(lián)網(wǎng)向某些存儲(chǔ)和處理設(shè)施匯聚，而使用云計(jì)算來承載這些具有非常顯著的性價(jià)比優(yōu)勢(shì)；從質(zhì)上看，使用云計(jì)算設(shè)施對(duì)這些數(shù)據(jù)進(jìn)行處理、分析、挖掘，可以更加迅速、準(zhǔn)確、智能地對(duì)物理世界進(jìn)行管理和控制物聯(lián)網(wǎng)將成為云計(jì)算最大的用戶，將為云計(jì)算取得更大商業(yè)成功奠定基石

移動(dòng)互聯(lián)網(wǎng)和云計(jì)算是相輔相成的通過云計(jì)算技術(shù)，軟硬件獲得空前的集約化應(yīng)用移動(dòng)互聯(lián)網(wǎng)時(shí)代來臨，對(duì)用戶來講，最好的體驗(yàn)是淡化有線和無線的概念。云計(jì)算有望突破各種終端，顯示的內(nèi)容、應(yīng)用都能保持一致性和同步性云計(jì)算對(duì)于云和端兩側(cè)都具有傳統(tǒng)模式不可比擬的優(yōu)勢(shì)

三網(wǎng)融合為云計(jì)算提供切實(shí)的應(yīng)用機(jī)會(huì)

云計(jì)算技術(shù)使得一些從事傳統(tǒng)行業(yè)的企業(yè)也能搭上三網(wǎng)融合和下一代廣電網(wǎng)的快車

云計(jì)算在三網(wǎng)融合及下一代廣電網(wǎng)中的應(yīng)用，涉及數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)再處理、軟件開發(fā)、數(shù)據(jù)傳輸、網(wǎng)絡(luò)協(xié)同等多個(gè)方面提綱云計(jì)算的概念云計(jì)算發(fā)展現(xiàn)狀云計(jì)算實(shí)現(xiàn)機(jī)制網(wǎng)格計(jì)算與云計(jì)算云計(jì)算的發(fā)展環(huán)境云計(jì)算壓倒性的成本優(yōu)勢(shì)全球企業(yè)IT開銷Source:IBMCorporateStrategyanalysisofIDCdata,Sept.2007能耗成本數(shù)據(jù)中心規(guī)模經(jīng)濟(jì)性項(xiàng)目中型數(shù)據(jù)中心成本特大型數(shù)據(jù)中心成本比率網(wǎng)絡(luò)$95每Mb/秒/月$13每Mb/秒/月7.1存儲(chǔ)$2.20每GB/月$0.40每GB/月5.7管理每個(gè)管理員約管理140個(gè)服務(wù)器每個(gè)管理