chp9大數(shù)據(jù)與海量存儲

1InGodwetrust;allothersmustbringdata. -W.EdwardsDeming,statistician,professor,author,lecturer,andconsultant第8介紹了移動通信技術的發(fā)展，重點介紹了我國使用的第三代移動通信技術和標準（TD-SCDMA，W-CDMA，CDMA2000），并討論了移動互聯(lián)網(wǎng)的典型應用。2內容回顧9.1從網(wǎng)絡化存儲到數(shù)據(jù)中心9.2數(shù)據(jù)中心建設9.3數(shù)據(jù)中心技術9.4典型的數(shù)據(jù)中心9.5數(shù)據(jù)中心的研究熱點9.6數(shù)據(jù)中心與云存儲3本章內容4數(shù)據(jù)存儲的發(fā)展歷史甲骨文→紙質書籍→數(shù)字化存儲全球信息總量迅猛增長2007年產生的數(shù)據(jù)量為281EB（1EB=10億GB），2011年1.8ZB物聯(lián)網(wǎng)中對象的數(shù)量將龐大到以百億為單位大數(shù)據(jù)無法在一定時間內用常規(guī)軟件工具對其內容進行抓取管理和處理的數(shù)據(jù)數(shù)量大（Volume），種類多（Variety），速度快（Velocity）導致了網(wǎng)絡化存儲和大型數(shù)據(jù)中心的誕生5物聯(lián)網(wǎng)對海量信息存儲

的需求9.1從網(wǎng)絡化存儲到數(shù)據(jù)中心9.2數(shù)據(jù)中心建設9.3數(shù)據(jù)中心技術9.4典型的數(shù)據(jù)中心9.5數(shù)據(jù)中心的研究熱點9.6數(shù)據(jù)中心與云存儲6本章內容直接附加存儲（Direct-AttachedStrorage，DAS）

將存儲系統(tǒng)通過纜線直接與服務器或工作站相連一般包括多個硬盤驅動器，與主機總線適配器通過電纜或光纖在存儲設備和主機總線適配器之間不存在其他網(wǎng)絡設備實現(xiàn)了計算機內存儲到存儲子系統(tǒng)的跨越7直接附加存儲網(wǎng)絡附加存儲（NetworkAttachedStorage，NAS）文件級的計算機數(shù)據(jù)存儲架構計算機連接到一個僅為其它設備提供基于文件級數(shù)據(jù)存儲服務的網(wǎng)絡NAS與DAS的區(qū)別DAS是一種對已有服務器的簡單擴展，并沒有真正實現(xiàn)網(wǎng)絡互聯(lián)。NAS則是將網(wǎng)絡作為存儲實體，更容易實現(xiàn)文件級別的共享。NAS性能上比DAS有所增強8網(wǎng)絡附加存儲存儲區(qū)域網(wǎng)絡（StorageAreaNetwork，SAN）通過網(wǎng)絡方式連接存儲設備和應用服務器的存儲架構由服務器、存儲設備和SAN連接設備組成SAN的特點存儲共享支持服務器從SAN直接啟動9存儲區(qū)域網(wǎng)絡10三種網(wǎng)絡存儲結構的比較DAS管理容易，結構簡單；集中式體系結構，不能滿足大規(guī)模數(shù)據(jù)訪問的需求；存儲資源利用率低，資源共享能力差，造成“信息孤島”。NAS網(wǎng)絡的存儲實體，容易實現(xiàn)文件級別共享；性能嚴重依賴于網(wǎng)絡流量，用戶數(shù)過多，讀寫過頻繁時性能受限。SAN存儲管理簡化，存儲容量利用率提高；無直接文件級別的訪問能力，但可在SAN基礎上建立文件系統(tǒng)。11三種網(wǎng)絡存儲結構的比較（續(xù)）9.1從網(wǎng)絡化存儲到數(shù)據(jù)中心9.2數(shù)據(jù)中心建設9.3數(shù)據(jù)中心技術9.4典型的數(shù)據(jù)中心9.5數(shù)據(jù)中心的研究熱點9.6數(shù)據(jù)中心與云存儲12本章內容維基百科：“數(shù)據(jù)中心是一整套復雜的設施。它不僅僅包括計算機系統(tǒng)和其它與之配套的設備（例如通信和存儲系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設備、監(jiān)控設備以及各種安全裝置。”Google：“多功能的建筑物，能容納多個服務器以及通信設備。這些設備被放置在一起是因為它們具有相同的對環(huán)境的要求以及物理安全上的需求，并且這樣放置便于維護?！?3什么是數(shù)據(jù)中心14數(shù)據(jù)中心的起源與發(fā)展大型機微型機大規(guī)模數(shù)據(jù)中心(MegaDataCenter)15數(shù)據(jù)中心的起源與發(fā)展（續(xù)）大規(guī)模數(shù)據(jù)中心已經(jīng)得到推廣數(shù)據(jù)中心建設者面對的難題如何規(guī)劃一個新的數(shù)據(jù)中心？怎樣對數(shù)據(jù)中心進行升級？數(shù)據(jù)中心的標準對相關經(jīng)驗進行了總結ANSI/TIA/EIA-942（簡稱TIA-942）：數(shù)據(jù)中心標準電信產業(yè)協(xié)會（TIA）提出美國國家標準學會（ANSI）批準16數(shù)據(jù)中心標準選址：需要考慮多方面因素建設和運營成本應用需求政策優(yōu)惠…布局：按功能區(qū)域劃分17數(shù)據(jù)中心標準：TIA-942功能區(qū)域組成TIA-942還對纜線系統(tǒng)，可靠性分級，能源系統(tǒng)和降溫系統(tǒng)等做了規(guī)定。18數(shù)據(jù)中心標準：TIA-942（續(xù)）纜線系統(tǒng)規(guī)格如何放置纜線能源系統(tǒng)外部電力供應電池組發(fā)電機降溫系統(tǒng)降溫設備架空地板冷通道與熱通道9.1從網(wǎng)絡化存儲到數(shù)據(jù)中心9.2數(shù)據(jù)中心建設9.3數(shù)據(jù)中心技術9.4典型的數(shù)據(jù)中心9.5數(shù)據(jù)中心的研究熱點9.6數(shù)據(jù)中心與云存儲19本章內容簡介全球共建有近40個大規(guī)模數(shù)據(jù)中心單個數(shù)據(jù)中心需要至少50兆瓦功率，約等于一個小型城市所有家庭的用電量獨特的硬件設備：定制的以太網(wǎng)交換機、能源系統(tǒng)等自行研發(fā)的軟件技術：GoogleFileSystem、MapReduce、BigTable等20Google數(shù)據(jù)中心GFS的設計觀念組件失效不再被認為是意外，而是被看做正常的現(xiàn)象GFS的文件非常巨大對文件的操作具有特定的模式應用程序和文件系統(tǒng)API的協(xié)同設計提高了整個系統(tǒng)的靈活性21GoogleFileSystem一個GFS集群包含一個主服務器和多個塊服務器，并被多個客戶端訪問。文件分成固定大小的“塊”。每個塊在創(chuàng)建時都由主服務器分配一個固定不變的64位句柄唯一標識。塊服務器把塊作為Linux文件存儲在本地磁盤上，并根據(jù)指定的塊句柄和字節(jié)范圍對數(shù)據(jù)塊進行讀寫操作。22GFS的設計架構主服務器維護所有文件系統(tǒng)的元數(shù)據(jù)，包括名字空間、訪問控制信息、文件到塊的映射信息以及塊當前的位置。此外，主服務器還控制其它系統(tǒng)級的活動。主服務器周期性地與塊服務器通信，以下達指令和收集狀態(tài)。GFS客戶端代碼被嵌入到每個應用中。它實現(xiàn)了文件系統(tǒng)API，實現(xiàn)主服務器與塊服務器的通信從而代表應用實現(xiàn)讀寫操作?？蛻舳伺c服務器交互從而實現(xiàn)元數(shù)據(jù)操作，但所有的數(shù)據(jù)操作都通過直接與塊服務器交互而完成。23GFS的設計架構（續(xù)）MapReduce是一種針對超大規(guī)模數(shù)據(jù)集的編程模型和系統(tǒng)用MapReduce開發(fā)出的程序可在大量商用計算機集群上并行執(zhí)行、處理計算機的失效以及調度計算機間的通信MapReduce的基本思想用戶寫的兩個程序：Map和Reduce一個在計算機集群上執(zhí)行多個程序實例的框架24MapReduceMapReduce程序的執(zhí)行過程25MapReduce（續(xù)）BigTable是一種用來在海量數(shù)據(jù)規(guī)模下（例如包含以PB為單位的數(shù)據(jù)量和數(shù)千臺廉價計算機的應用）管理結構化數(shù)據(jù)的分布式存儲系統(tǒng)。應用Google地球網(wǎng)頁索引RSS閱讀器…26BigTable每個BigTable都是一個稀疏的、分布式的多維有序圖，按行鍵值、列鍵值和時間戳建立索引27BigTable（續(xù)）什么是Hadoop？Apache開源組織的一個分布式計算開源框架用于在大型集群的廉價服務器設備上運行數(shù)據(jù)密集型分布式應用程序在早期實際上是Google文件系統(tǒng)與MapReduce分布式計算框架及相關IT基礎服務的開源實現(xiàn)Hadoop包括多個子項目HDFS、MapReduce、HBase、Chukwa、Pig、ZooKeeper等28HadoopHadoopDistributedFileSystem29HDFS9.1從網(wǎng)絡化存儲到數(shù)據(jù)中心9.2數(shù)據(jù)中心建設9.3數(shù)據(jù)中心技術9.4典型的數(shù)據(jù)中心9.5數(shù)據(jù)中心的研究熱點9.6數(shù)據(jù)中心與云存儲30本章內容Google數(shù)據(jù)中心選址：能源、水源、空地面積、與其他數(shù)據(jù)中心間距離、稅收等在俄勒岡州，規(guī)劃建設3個約6400平方米的中心機房31Google數(shù)據(jù)中心Google數(shù)據(jù)中心在全球的分布數(shù)據(jù)中心能耗比（PUE）普遍在2左右Google達到1.16，業(yè)界領先中心高溫化特殊定制的網(wǎng)絡服務器與Google研制的集成了電池的能源系統(tǒng)兼容提高效率，降低能耗32Google數(shù)據(jù)中心9.1從網(wǎng)絡化存儲到數(shù)據(jù)中心9.2數(shù)據(jù)中心建設9.3數(shù)據(jù)中心技術9.4典型的數(shù)據(jù)中心9.5數(shù)據(jù)中心的研究熱點9.6數(shù)據(jù)中心與云存儲33本章內容2006年Google在數(shù)據(jù)中心項目上的花費為19億美元，而2007年該項支出增加到24億美元。Google在俄勒岡州的數(shù)據(jù)中心有近100兆瓦的功率，滿負荷運行時消耗的電力基本上和紐卡斯爾（Newcastle）一個城市所有家庭的用電量加起來一樣多。研究熱點：如何在保證服務質量的前提下降低成本？34數(shù)據(jù)中心的研究熱點Google在俄勒岡州哥倫比亞河邊的數(shù)據(jù)中心基礎設施部分包括能源系統(tǒng)、降溫系統(tǒng)、各種防火設備、安保設備等。降低這一部分成本往往涉及到機械設備制造技術或政策優(yōu)惠等因素，與計算機學科的關聯(lián)程度相對較低。我們分別從服務器，網(wǎng)絡設備，能源三個方面對造成高成本的原因和目前的解決方法進行簡要介紹35數(shù)據(jù)中心的成本構成服務器的實際利用效率較低分配到各服務器的應用不能完全利用某些組件對應用需求的預測比較難，無法做到按需分配為了提高系統(tǒng)的可靠性，一般都留有冗余設備提高服務器利用率的關鍵在于及時應對需求的動態(tài)變化36服務器成本主要來源交換機、路由器、負載均衡設備傳統(tǒng)的數(shù)據(jù)中心使用樹形結構，核心交換機和路由器構成流量瓶頸，且造價昂貴研究熱點：新的數(shù)據(jù)中心網(wǎng)絡結構以交換機為中心的多層樹形結構：例如Fat-Tree以服務器為中心的互聯(lián)結構：例如DCell37網(wǎng)絡設備成本研究熱點降低服務器工作能耗降低同等性能設備能耗提高同等能耗設備性能可調整負載的服務器減少降溫系統(tǒng)能耗精細、精準的溫度控制集裝箱式模塊化數(shù)據(jù)中心38能源成本9.1從網(wǎng)絡化存儲到數(shù)據(jù)中心9.2數(shù)據(jù)中心建設9.3數(shù)據(jù)中心技術9.4典型的數(shù)據(jù)中心9.5數(shù)據(jù)中心的研究熱點9.6數(shù)據(jù)中心與云存儲39本章內容Google的數(shù)據(jù)中心屬于“自產自銷”模式，同時提供產品和服務Amazon開創(chuàng)了云存儲和云計算的商業(yè)模式彈性計算云：提供海量數(shù)據(jù)計算服務簡單存儲服務(S3)：可伸縮、可靠、高可用、低成本的存儲服務Dropbox后臺即架設于S3之上未來物聯(lián)網(wǎng)不同商業(yè)機構共享云存儲，而不需要建立自己的數(shù)據(jù)中心對海量數(shù)據(jù)的分析和處理也可以依托云計算進行40數(shù)據(jù)中心與云存儲內容回顧本章介紹了三種基本的網(wǎng)絡存儲體系結構，并討論了數(shù)據(jù)中心的基本概念，以Google數(shù)據(jù)中心和Hadoop為例，簡要介紹了數(shù)據(jù)中心的相關技術，指出了數(shù)據(jù)中