云計算的分布式計算框架

1、.思特奇分布式計算技術介紹（V1.0）北京神州數碼思特奇信息技術股份有限公司二二二二年十一月；.文檔信息文檔名稱電子文檔Microsoft WORD 2003文件狀態(tài) 草 稿 正式發(fā)布 正在修改編 寫 人日 期2009年02月27日校 對 人日 期年 月 日審 核 人日 期年 月 日批 準 人日 期年 月 日變更記錄變更序號變更原因變更頁碼變更前版本號變更后版本號更改人批準人生效日期備 注1文檔建立0.11 引言框架中最核心的設計就是：MapReduce和HDFS。MapReduce就是“任務的分解與結果的匯總”。HDFS是分布式文件系統(tǒng)，為分布式計算存儲提供了底層支持。MapReduce先將

2、一個任務分解成為多個任務，“Reduce”就是將分解后多任務處理的結果匯總起來，得出最后的分析結果。在分布式系統(tǒng)中， 機器集群把硬件看作資源池，將并行的任務拆分，然后交由每一個空閑機器資源去處理，能夠極大地提高計算效率，同時這種資源無關性，對于計算集群的擴展 無疑提供了最好的設計保證。分布式計算就好比螞蟻吃大象，廉價的機器群可以匹敵任何高性能的計算機。任務分解處理以后，那就需要將處理以后的結果再匯總起來，這就是Reduce要做的工作。2 HDFS分布式文件系統(tǒng)HDFS是分布式計算的存儲基石，具有如下幾個特點：a) 對于整個集群單一的命名空間。b) 數據一致性。適合一次寫入多次讀取的模型，客戶端

3、在文件沒有被成功創(chuàng)建之前無法看到文件存在。c) 文件會被分割成多個文件塊，每個文件塊被分配存儲到數據節(jié)點上，而且根據配置會由復制文件塊來保證數據的安全性。HDFS采用master/slave架構。一個HDFS集群由一個Namenode和一定數目的Datanode組成。Namenode是一個中心服務器，負責管理文件系統(tǒng)的namespace和客戶端對文件的訪問。Datanode在集群中一般是一個節(jié)點一個，負責管理節(jié)點上它們附帶的存儲。在內 部，一個文件分成一個或多個block，這些block存儲在Datanode集合里。Namenode執(zhí)行文件系統(tǒng)的namespace操作，例如 打開、關閉、重命名

4、文件和目錄，同時決定block到具體Datanode節(jié)點的映射。Datanode在Namenode的指揮下進行block的創(chuàng) 建、刪除和復制。Namenode和Datanode都是設計成可以跑在普通的廉價的運行l(wèi)inux的機器上。HDFS的設計特點：a) 數據安全：一個Block會有三份備份，一份放在NameNode指定的DataNode，另一份放在與指定DataNode非同一Rack上 的DataNode，最后一份放在與指定DataNode同一Rack上的DataNode上。b) 心跳檢測DataNode的健康狀況，如果發(fā)現(xiàn)問題就采取數據備份的方式來保證數據的安全性。c) 數據復制：平衡Da

5、taNode的存儲利用率、數據交互壓力等情況。d) 數據交驗：采用CRC32作數據交驗。e) 數據管道性的寫入：當客戶端要寫入文件到DataNode上，首先客戶端讀取一個Block然后寫到第一個DataNode上，然后由第一個 DataNode傳遞到備份的DataNode上，一直到所有需要寫入這個Block的NataNode都成功寫入，客戶端才會繼續(xù)開始寫下一個 Block。f) 安全模式：當分布式文件系統(tǒng)處于安全模式的情況下，文件系統(tǒng)中的內容不允許修改也不允許刪除，直到安全模式結束。3 思特奇分布式計算框架結構Master主要負責NameNode的工作以及JobTracker的工作。JobTracker的主要職責就是啟 動、跟蹤和調度各個Slave的任務執(zhí)行。Slave通常具有DataNode的功能并負責TaskTracker的工作。 TaskTracker根據應用要求來結合本地數據執(zhí)行Map任務以及Reduce任務。思特奇分布式計算框架特點a) 可擴展：不論是存儲的可擴展還是計算的可擴展都是設計根本。b) 經濟：框架可以運行在任何普通的PC上。c) 可靠：分布式文件系統(tǒng)的備份恢復機制以及MapRedu