云計(jì)算綜述之一——GFS,Bigtable,Mapreduce技術(shù)ppt課件

1、云計(jì)算綜述2019.10.21;云計(jì)算研究現(xiàn)狀綜述 李喬、鄭嘯Computer Science 2019云計(jì)算及其關(guān)鍵技術(shù) 陳全等計(jì)算機(jī)應(yīng)用 2021Cloud Computing Security Threats and Responses ICCSN, IEEE 3rd International Conference 2019文獻(xiàn)：; 1.云計(jì)算研究現(xiàn)狀綜述1.什么是云計(jì)算什么是云計(jì)算1 ) 云計(jì)算將IT相關(guān)的能力以服務(wù)的方式提供給用戶, 允許用戶在不了解提供服務(wù)的技術(shù)、沒有相關(guān)知識(shí)以及設(shè)備操作能力的情況下, 通過Internet 獲取需要的服務(wù)。維基百科2 ) 云計(jì)算是分布式計(jì)算分布式

2、處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計(jì)算(Grid Computing)的發(fā)展, 或者說是這些科學(xué)概念的商業(yè)實(shí)現(xiàn)。 中國(guó)云計(jì)算網(wǎng)3 ) 文章定義: 云計(jì)算是由網(wǎng)格計(jì)算發(fā)展而來的, 前臺(tái)采用按時(shí)付費(fèi)的方式通過Internet向用戶提供服務(wù)。云系統(tǒng)后臺(tái)由大量的集群使用虛擬機(jī)的方式, 通過網(wǎng)絡(luò)互連, 組成大型的虛擬資源池。這些虛擬資源可自主管理和配置。用數(shù)據(jù)冗余的方式保證虛擬資源的高可靠性。并具有分布式存儲(chǔ)和計(jì)算、 高擴(kuò)展性、高可用性等特征。;圖1 云計(jì)算架構(gòu)圖部署角度：私有云、社區(qū)云、公共云和混合云。私有云被一個(gè)組織管理操作 社

3、區(qū)云由多個(gè)組織共同管理操作具有一致的任務(wù)調(diào)度和安全策略 公共云由一個(gè)組織管理維護(hù)提供對(duì)外的云服務(wù)可以被公眾所擁有。服務(wù)角度：基礎(chǔ)設(shè)施Iaas、平臺(tái)即服務(wù)Paas、軟件即服務(wù)Saas;代表性的云服務(wù)Iaas：管理硬件資源的軟件服務(wù)，通過他可以租用硬件Paas：管理軟件資源的服務(wù)，通過他可以開發(fā)、管理軟件服務(wù)Saas：應(yīng)用軟件服務(wù)，用戶可以直接租用服務(wù)圖2 幾種云服務(wù)比較; 2.云計(jì)算的關(guān)鍵技術(shù) 數(shù)據(jù)存儲(chǔ)技術(shù)以GFS為例數(shù)據(jù)管理技術(shù)以BigTable為例編程模型以Map-Reduce為例;2.1 數(shù)據(jù)存儲(chǔ)技術(shù)以GFS為例GFS系統(tǒng)由1個(gè)Master和大量塊服務(wù)器Chunk構(gòu)成。Master存放文件

4、系統(tǒng)的所有元數(shù)據(jù)名字空 間、存取控制、文件分塊信息、文件塊的位置信息等）。 GFS 中文件默認(rèn)切分為 64MB的塊存儲(chǔ)?？煽啃裕喝哂啻鎯?chǔ)。每份數(shù)據(jù)在系統(tǒng)中保存 3 個(gè)以上的備份 , 對(duì)于數(shù)據(jù)的所有修改需要在所有的備份上進(jìn)行, 并用版本號(hào)的方式來確保所有備份處于一致的狀態(tài)。客戶端不通過 Master 讀取數(shù)據(jù), 避免了大量 讀操作使Master成為系統(tǒng)瓶頸。客戶端從Master 獲取目標(biāo)數(shù)據(jù)塊的位置信息后, 直接和塊服務(wù)器交互進(jìn)行讀操作。GFS的寫操作將寫操作控制信號(hào)和數(shù)據(jù)流分開。 即客戶端在獲取Master的寫授權(quán)后, 將數(shù)據(jù)傳輸給所有的數(shù)據(jù)副本, 在所有副本都收到修改的數(shù)據(jù)后, 客戶端才發(fā)出

5、寫請(qǐng)求控制信號(hào)。在所 有副本更新完數(shù)據(jù)后,由主副本向客戶端發(fā)出寫操作完成控制信號(hào)。圖3 寫控制信號(hào)和寫數(shù)據(jù)流文件名，chunk索引Chunk句柄、位置;2.2 數(shù)據(jù)管理技術(shù)以BIGTABLE為例Bigtable是一個(gè)鍵值key-value映射。Bigtable的鍵有三維，分別是行鍵row key）、列鍵column key和時(shí)間戳timestamp），行鍵和列鍵都是字節(jié)串，時(shí)間戳是64位整型；而值是一個(gè)字節(jié)串。 (row:string, column:string,time:int64)string圖5 BigTable采用類似B+樹三級(jí)層次化的方式來存儲(chǔ)位置信息圖4 bigTable結(jié)構(gòu)圖此

6、文件屬于Chubby服務(wù)的一部分，它保存著root tablet的位置，以保證主服務(wù)器唯一。為了保證樹的深度不變，root tablet從不分裂。元數(shù)據(jù)片，它和root tablet一起組成完整的元數(shù)據(jù)表。每個(gè)元數(shù)據(jù)片都包含了許多用戶片的位置信息。;2.3 編程模型以MAP-REDUCE為例編寫Map-Reduce程序，一般需要實(shí)現(xiàn)兩個(gè)函數(shù)：mapper中的map函數(shù)和reducer中的reduce;map: (in_key,in_value) (keyj,valuej)|j=1kreduce: (key,value1, valuem) (key,final_value）/已歸并 Map -

7、Reduce模型具有很強(qiáng)的容錯(cuò)性, 當(dāng)worker節(jié)點(diǎn)出現(xiàn)錯(cuò)誤時(shí), 只需要將該worker節(jié)點(diǎn)屏蔽在系統(tǒng)外等待修復(fù), 并將該worker上執(zhí)行的程序遷移到其他worker上重新執(zhí)行,同時(shí)將該遷移信息通過Master發(fā)送給對(duì)應(yīng)該節(jié)點(diǎn)處理 。; 3. CLOUD COMPUTING SECURITY THREATS AND RESPONSES Cloud computing is a network-based environment that focuses on sharing computations or resources. In cloud environments, several

8、kinds of virtual machines are hosted on the same physical server as infrastructure. Using Cloud results applications and data will move under third-party control.;3.1 CLOUD RAS ISSUESlData Leakagel use Data Leakage Prevention(DLP) applications to protect sensitive data. Machine in IaaS to achieve so

9、me control over data associated. But in SaaS and PaaS ,DLP agents is impossible except when the provider put ability of it to its service. lCloud security issueslDDoS attacks against Cloudl Infrastructure is shared by large number of clients, DDoS attacks make have the potential of having much great

10、er impact than against single tenanted architectures.lCloud against DDoS attacksl Websites experiencing DDoS attacks which have limitation in server resources can take advantage of using cloud that provides more resource to tolerate such attacks. l;3.2 SOLUTIONSl Access control in cloud servicesl In the SaaSlcloud provider is responsible for managing all aspects of the network, server, and application infrastructure.l In the PaaSlthe Cloud provider is responsible for managing access control to the network, servers and application platform infrastructure.l In the