Google-云計算平臺-解析課件

Google的云計算平臺解析[參與者名單]1Google的云計算平臺解析[參與者名單]11.概論Google的云計算技術是針對Google特定的網(wǎng)絡應用程序而定制的。針對內部網(wǎng)絡數(shù)據(jù)規(guī)模超大的特點，Google提出了一整套基于分布式并行集群方式的基礎架構，利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點失效問題。21.概論Google的云計算技術是針對Google特定的網(wǎng)1.概論Google使用的云計算基礎架構模式包括四個相互獨立又緊密結合在一起的系統(tǒng)：建立在集群之上的文件系統(tǒng)GoogleFileSystem針對Google應用程序的特點提出的Map/Reduce編程模式分布式的鎖機制Chubby模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable。31.概論Google使用的云計算基礎架構模式包括四個相互獨2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：概述為滿足Google迅速增長的數(shù)據(jù)處理需求而建立與其他云系統(tǒng)的共性：性能、可伸縮性、可靠性以及可用性等受到Google應用負載和技術環(huán)境的影響而設計的新特性：42.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性集群中的節(jié)點失效是一種常態(tài)，而不是一種異常由于參與運算與處理的節(jié)點數(shù)目非常龐大，通常會使用上千個節(jié)點進行共同計算，因此，每時每刻總會有節(jié)點處在失效狀態(tài)。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動態(tài)運行狀況，偵測錯誤，并且將容錯以及自動恢復系統(tǒng)集成在系統(tǒng)中。52.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小概念不一樣，文件大小通常以G字節(jié)計。

文件系統(tǒng)中的文件含義與通常文件不同，一個大文件可能包含大量數(shù)目的通常意義上的小文件。所以，設計預期和參數(shù)，例如I/O操作和塊尺寸都要重新考慮。62.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。

在Google應用(如搜索)中對大部分文件的修改，不是覆蓋原有數(shù)據(jù)，而是在文件尾追加新數(shù)據(jù)。對文件的隨機寫是幾乎不存在的。對于這類巨大文件的訪問模式，客戶端對數(shù)據(jù)塊緩存失去了意義，追加操作成為性能優(yōu)化和原子性(把一個事務看做是一個程序。它要么被完整地執(zhí)行，要么完全不執(zhí)行)保證的焦點。72.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性文件系統(tǒng)的某些具體操作不再透明，而且需要應用程序的協(xié)助完成

應用程序和文件系統(tǒng)API的協(xié)同設計提高了整個系統(tǒng)的靈活性。例如，放松了對GFS一致性模型的要求，這樣不用加重應用程序的負擔，就大大簡化了文件系統(tǒng)的設計。還引入了原子性的追加操作，這樣多個客戶端同時進行追加的時候，就不需要額外的同步操作了。82.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：結構下圖表示了單個GFS的結構。92.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構下圖表示GoogleFileSystem的系統(tǒng)架構。一個GFS集群包含一個主服務器和多個塊服務器，被多個客戶端訪問。文件被分割成固定尺寸的塊。在每個塊創(chuàng)建的時候，服務器分配給它一個不變的、全球惟一的64位塊句柄對它進行標識。塊服務器把塊作為linux文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。為了保證可靠性，每個塊都會復制到多個塊服務器上，缺省保存三個備份。102.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構下圖表示GoogleFileSystem的系統(tǒng)架構。主服務器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信息，以及塊當前所在的位置。GFS客戶端代碼被嵌入到每個程序里，它實現(xiàn)了Google文件系統(tǒng)API，幫助應用程序與主服務器和塊服務器通信，對數(shù)據(jù)進行讀寫?？蛻舳烁鞣掌鹘换ミM行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務器進行的。客戶端提供的訪問接口類似于POSIX接口，但有一定的修改，并不完全兼容POSIX標準。112.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述為了讓內部非分布式系統(tǒng)方向背景的員工能夠將應用程序建立在大規(guī)模的集群基礎上非分布式專業(yè)的程序編寫人員可以通過此環(huán)境為大規(guī)模的集群編寫應用程序而不用去顧慮集群的可靠性、可擴展性等問題。應用程序編寫人員只需要將精力放在應用程序本身，而關于集群的處理問題則交由平臺來處理。122.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述122.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結構通過“Map(映射)”和“Reduce(化簡/規(guī)約)”這樣兩個簡單的概念來參加運算Map操作是可以高度并行的，這對高性能要求的應用以及并行計算領域的需求非常有用Reduce操作指的是對一個列表的元素進行適當?shù)暮喜ⅲ玫阶罱K的結果132.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結構132.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介紹是基于分布式平臺的數(shù)據(jù)庫系統(tǒng)由于一般的關系數(shù)據(jù)庫的強一致性要求，很難將其擴展到很大的規(guī)模為了處理Google內部大量的格式化以及半格式化數(shù)據(jù)，BigTable是一種具有弱一致性要求的大規(guī)模數(shù)據(jù)庫系統(tǒng)142.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結構152.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結構上圖示BigTable模型中的數(shù)據(jù)模型

數(shù)據(jù)模型包括行列以及相應的時間戳，所有的數(shù)據(jù)都存放在表格中的單元里。BigTable的內容按照行來劃分，將多個行組成一個小表，保存到某一個服務器節(jié)點中。這一個小表就被稱為Tablet。162.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結3.Google的云應用

特點：基于其自身的云計算基礎設施應用了Web2.0技術具有強大的多用戶交互能力173.Google的云應用特點：173.Google的云應用

例子：GoogleDocs基于Web的編輯工具與MicrosoftOffice相近的編輯界面易用的文檔權限管理以及多用戶操作記錄適用于多人協(xié)作編輯、項目進度監(jiān)控等多種應用183.Google的云應用例子：GoogleDocs184.問題及展望問題：Google的云計算平臺是私有的環(huán)境，特別是Google的云計算基礎設施還沒有開放出來。除了開放有限的應用程序接口之外，Google并沒有將云計算的內部基礎設施共享給外部的用戶使用，上述的所有基礎設施都是私有的。194.問題及展望問題：194.問題及展望問題：部分應用缺乏可行的發(fā)展模式，如被關閉的GoogleWave近期爆出的FCC(FederalCommunicationsCommission)對google云服務信息安全性的質疑，也讓用戶對其安全性打了問號204.問題及展望問題：204.問題及展望展望：平臺以及接口的進一步開放更強壯的云盈利模式更多方便快捷的云應用……214.問題及展望展望：21謝謝！22謝謝！22Google的云計算平臺解析[參與者名單]23Google的云計算平臺解析[參與者名單]11.概論Google的云計算技術是針對Google特定的網(wǎng)絡應用程序而定制的。針對內部網(wǎng)絡數(shù)據(jù)規(guī)模超大的特點，Google提出了一整套基于分布式并行集群方式的基礎架構，利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點失效問題。241.概論Google的云計算技術是針對Google特定的網(wǎng)1.概論Google使用的云計算基礎架構模式包括四個相互獨立又緊密結合在一起的系統(tǒng)：建立在集群之上的文件系統(tǒng)GoogleFileSystem針對Google應用程序的特點提出的Map/Reduce編程模式分布式的鎖機制Chubby模型簡化的大規(guī)模分布式數(shù)據(jù)庫BigTable。251.概論Google使用的云計算基礎架構模式包括四個相互獨2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：概述為滿足Google迅速增長的數(shù)據(jù)處理需求而建立與其他云系統(tǒng)的共性：性能、可伸縮性、可靠性以及可用性等受到Google應用負載和技術環(huán)境的影響而設計的新特性：262.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性集群中的節(jié)點失效是一種常態(tài)，而不是一種異常由于參與運算與處理的節(jié)點數(shù)目非常龐大，通常會使用上千個節(jié)點進行共同計算，因此，每時每刻總會有節(jié)點處在失效狀態(tài)。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動態(tài)運行狀況，偵測錯誤，并且將容錯以及自動恢復系統(tǒng)集成在系統(tǒng)中。272.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小概念不一樣，文件大小通常以G字節(jié)計。

文件系統(tǒng)中的文件含義與通常文件不同，一個大文件可能包含大量數(shù)目的通常意義上的小文件。所以，設計預期和參數(shù)，例如I/O操作和塊尺寸都要重新考慮。282.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性Google文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。

在Google應用(如搜索)中對大部分文件的修改，不是覆蓋原有數(shù)據(jù)，而是在文件尾追加新數(shù)據(jù)。對文件的隨機寫是幾乎不存在的。對于這類巨大文件的訪問模式，客戶端對數(shù)據(jù)塊緩存失去了意義，追加操作成為性能優(yōu)化和原子性(把一個事務看做是一個程序。它要么被完整地執(zhí)行，要么完全不執(zhí)行)保證的焦點。292.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：特性文件系統(tǒng)的某些具體操作不再透明，而且需要應用程序的協(xié)助完成

應用程序和文件系統(tǒng)API的協(xié)同設計提高了整個系統(tǒng)的靈活性。例如，放松了對GFS一致性模型的要求，這樣不用加重應用程序的負擔，就大大簡化了文件系統(tǒng)的設計。還引入了原子性的追加操作，這樣多個客戶端同時進行追加的時候，就不需要額外的同步操作了。302.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：結構下圖表示了單個GFS的結構。312.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構下圖表示GoogleFileSystem的系統(tǒng)架構。一個GFS集群包含一個主服務器和多個塊服務器，被多個客戶端訪問。文件被分割成固定尺寸的塊。在每個塊創(chuàng)建的時候，服務器分配給它一個不變的、全球惟一的64位塊句柄對它進行標識。塊服務器把塊作為linux文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。為了保證可靠性，每個塊都會復制到多個塊服務器上，缺省保存三個備份。322.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)：架構下圖表示GoogleFileSystem的系統(tǒng)架構。主服務器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信息，以及塊當前所在的位置。GFS客戶端代碼被嵌入到每個程序里，它實現(xiàn)了Google文件系統(tǒng)API，幫助應用程序與主服務器和塊服務器通信，對數(shù)據(jù)進行讀寫?？蛻舳烁鞣掌鹘换ミM行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務器進行的?？蛻舳颂峁┑脑L問接口類似于POSIX接口，但有一定的修改，并不完全兼容POSIX標準。332.產(chǎn)品介紹GoogleFileSystem文件系統(tǒng)2.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述為了讓內部非分布式系統(tǒng)方向背景的員工能夠將應用程序建立在大規(guī)模的集群基礎上非分布式專業(yè)的程序編寫人員可以通過此環(huán)境為大規(guī)模的集群編寫應用程序而不用去顧慮集群的可靠性、可擴展性等問題。應用程序編寫人員只需要將精力放在應用程序本身，而關于集群的處理問題則交由平臺來處理。342.產(chǎn)品介紹MapReduce分布式編程環(huán)境：概述122.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結構通過“Map(映射)”和“Reduce(化簡/規(guī)約)”這樣兩個簡單的概念來參加運算Map操作是可以高度并行的，這對高性能要求的應用以及并行計算領域的需求非常有用Reduce操作指的是對一個列表的元素進行適當?shù)暮喜ⅲ玫阶罱K的結果352.產(chǎn)品介紹MapReduce分布式編程環(huán)境：結構132.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介紹是基于分布式平臺的數(shù)據(jù)庫系統(tǒng)由于一般的關系數(shù)據(jù)庫的強一致性要求，很難將其擴展到很大的規(guī)模為了處理Google內部大量的格式化以及半格式化數(shù)據(jù)，BigTable是一種具有弱一致性要求的大規(guī)模數(shù)據(jù)庫系統(tǒng)362.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：介2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結構372.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結2.產(chǎn)品介紹分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable：結構上圖示BigTable模型中的數(shù)據(jù)模型

數(shù)據(jù)模型包括行列以及相應的時間戳，