云計算與大數(shù)據(jù)處理技術(shù)知識講解

1、云計算與大數(shù)據(jù)處理技術(shù)今天，隨著 IT 規(guī)模越來越大，數(shù)據(jù)規(guī)模呈幾何級數(shù)增長，已經(jīng)超出了傳統(tǒng)技術(shù)方法所能解決的范疇。為此，人們把目光轉(zhuǎn)向了剛剛興起的云計算，希望通過云計算來實施海量數(shù)據(jù)處理解決方案，實現(xiàn)以更小的成本來處理更大規(guī)模數(shù)據(jù)的目標(biāo)，并成為目前云計算應(yīng)用所面對的極大挑戰(zhàn)。本課程基本思想如下：1,目前， “云計算”已經(jīng)不是一個剛剛流行的時髦概念了， 在一些傳統(tǒng) IT 方法顯得無能為力的場合，云計算正在開始大展拳腳，表現(xiàn)了強大的解決問題的能力，海量數(shù)據(jù)存儲與處理正是屬于這種場合。我們?nèi)绾卧谠朴嬎惴植际江h(huán)境下正確設(shè)計大數(shù)據(jù)量數(shù)據(jù)模型？如何在設(shè)計中解決資源、效率、安全性、可靠性等一系列極難平衡的

2、問題？如何通過云計算幫助我們解決在傳統(tǒng) IT 技術(shù)中看似解決不了的敏感問題？這些都是我們在云計算架構(gòu)設(shè)計中需要深入研究的鍵問題。2,理解問題最好的方法是分析成功案例，本課程分別從多個角度分析在面對海量數(shù)據(jù)處理的困難時，不同的應(yīng)用體系是如何解決問題并獲得成功的。研究這些已有的體系不是目的，而是希望學(xué)員能夠通過學(xué)習(xí)這些解決問題的方法和思路，通過歸納整理深入理解，再根據(jù)自己所面對的領(lǐng)域特征，形成解決具體實際問題的方案。這也是讓云計算在海量數(shù)據(jù)處理領(lǐng)域真正發(fā)揮作用的有效途徑。3,云計算是一種服務(wù)，在云計算應(yīng)用架構(gòu)設(shè)計中，就必須考慮作為服務(wù)與普通的產(chǎn)品設(shè)計有哪些不同？需要考慮的產(chǎn)品的服務(wù)特征有哪些？如何

3、搭建面向不同層次、 合適的服務(wù)平臺？在這個過程中， 我們需要考慮哪些問題？有哪些成功的案例？有些什么解決方案?4,云計算應(yīng)用最重要的問題是安全問題。安全不是一個后期需要解決的獨立問題，而是在前期就需要投入巨大精力來考慮的產(chǎn)品策略?？梢哉f，安全性與可用性是云計算能否順利實施與應(yīng)用的關(guān)鍵點，也是云計算架構(gòu)設(shè)計的關(guān)鍵因素。我們應(yīng)該如何考慮安全問題？如何解決諸如數(shù)據(jù)安全、網(wǎng)絡(luò)安全、主機安全、數(shù)據(jù)管理以及災(zāi)難恢復(fù)等一系列問題？如何制定合適的安全性與可用性策略？在實踐中有什么經(jīng)驗和教訓(xùn)？5,為了把傳統(tǒng)數(shù)據(jù)中心改造為基于云計算的服務(wù)系統(tǒng)，虛擬化是一個重要手段。我們必須深入研究虛擬化技術(shù)是如何實現(xiàn)的。虛擬化技

4、術(shù)有哪幾個層面的問題？如何正確應(yīng)用虛擬化技術(shù)來實現(xiàn)把基礎(chǔ)設(shè)施向服務(wù)轉(zhuǎn)型？各種虛擬化技術(shù)有些什么優(yōu)點？有哪些陷阱？如何規(guī)劃技術(shù)解決方案？如何正確進行云計算體系結(jié)構(gòu)設(shè)計？本課程不是一個泛泛的理論性、概念性的介紹課程，而是針對問題討論解決方案的深入課程。教師對于上述領(lǐng)域有深入的理論研究與實踐經(jīng)驗，在課程中將會針對這些問題與學(xué)員一起進行研究，在關(guān)鍵點上還會搭建實驗環(huán)境進行實踐研究，以加深對于這些解決方案的理解。通過本課程學(xué)習(xí)，希望推動國內(nèi)云計算項目開發(fā)上升到一個新水平。云計算與大數(shù)據(jù)處理技術(shù)第一講云計算的概念與現(xiàn)狀1）云計算的概念2）云計算發(fā)展現(xiàn)狀3）云計算實現(xiàn)機制4）云計算的發(fā)展環(huán)境5）云計算的優(yōu)勢

5、第二講從 Google 云計算體系，理解海量數(shù)據(jù)處理的方法1）如何構(gòu)建海量存儲文件系統(tǒng)？GFS 系統(tǒng)架構(gòu)GFS 容錯機制GFS 系統(tǒng)管理技術(shù)MapReduce 產(chǎn)生背景MapReduce 編程模型MapReduce 實現(xiàn)機制MapReduce 案例分析2）如何提供鎖服務(wù)解決分布式數(shù)據(jù)一致性問題？Chubby 的設(shè)計思路Chubby 中的 Paxos 算法Chubby 文件系統(tǒng)3）如何建立規(guī)模龐大的高性能表結(jié)構(gòu)？BigTable 設(shè)計目標(biāo)BigTable 系統(tǒng)架構(gòu)BigTable 服務(wù)器BigTable 性能優(yōu)化4）如何建立高可用性和高可擴展性的數(shù)據(jù)系統(tǒng)？Megastore 設(shè)計目標(biāo)Megast

6、ore 數(shù)據(jù)模型Megastore 事務(wù)及并發(fā)控制Megastore 基本架構(gòu)Dapper 監(jiān)控系統(tǒng)Dapper 關(guān)鍵性技術(shù)Dapper 工具第三講從 Hadoop 云計算項目，進一步研究云數(shù)據(jù)處理方法1) HDFS:高可靠性處理機制及應(yīng)用Hadoop 項目簡介HDFS 體系結(jié)構(gòu)HDFS 關(guān)鍵運行機制HadoopvsGoogleHadoopAPIHadoop 環(huán)境搭建2) HBASE:龐大、極其稀疏的可擴展性數(shù)據(jù)模型Hbase 簡介HBase 的運行機制HBase 與 HDFSHBase 的對外接口ZooKeeper 的數(shù)據(jù)模型ZooKeeper 的讀寫機制ZooKeeper 的使用方法第四講

7、從 WindowsAzure,理解平臺即服務(wù)的本質(zhì)1)微軟云計算平臺2)微軟云操作系統(tǒng) WindowsAzure3）微軟云關(guān)系數(shù)據(jù)庫 SQLAzure4） AzureAppFabric5） AzureMarketplace第五講從 Amazon 云計算，討論如何提供云服務(wù)1）Dynamo 基礎(chǔ)存儲架構(gòu)2）彈性計算云 EC23）簡單存儲服務(wù) S34）簡單隊列服務(wù) SQS5）簡單數(shù)據(jù)庫服務(wù) SimpleDB6）關(guān)系數(shù)據(jù)庫服務(wù) RDS7）內(nèi)容推送服務(wù) CloudFront第六講實施云計算的關(guān)鍵點：安全策略1）云計算安全是一個必須前期重視的策略2）云計算的特征與安全挑戰(zhàn)3）云計算的安全體系與關(guān)鍵技術(shù)4）基礎(chǔ)架構(gòu)云安全框架5）云計算安全平臺第七講當(dāng)前數(shù)據(jù)中心如何向云計算環(huán)境轉(zhuǎn)變？1）VMware 云產(chǎn)品2）云管理平臺 vCenter3） vCloudServiceDirector4） VMware 的網(wǎng)絡(luò)和存儲虛擬化5）主流商業(yè)云計算解決方案比較6）主流開源云計算系統(tǒng)比較7）國內(nèi)代表性云計算平臺比較第八講基礎(chǔ)設(shè)施即服務(wù)（IaaS）關(guān)鍵實現(xiàn)技術(shù)1）IaaS 技術(shù)體系概述2）服務(wù)器虛擬化技術(shù)CPU 虛擬化內(nèi)存虛擬化I/O 虛擬化3）存儲虛擬化技術(shù)存儲系統(tǒng)概述存儲設(shè)備層的存儲虛擬化塊聚合層的存儲虛擬化文件/記錄層的存儲虛擬化4）主