2023學(xué)年完整公開課版Google的“三駕馬車”

Google的“三駕馬車”1、了解Google的“三駕馬車”0102目錄谷歌的“三駕馬車”導(dǎo)語導(dǎo)語1導(dǎo)語

Google的偉大之處，不僅因為它建立了一個很好很強大的搜索引擎，而且還在于它創(chuàng)造了3項革命性技術(shù)：GFS、MapReduce和BigTable，即所謂的Google三駕馬車。三駕馬車GFSMapReduceBigTable谷歌的“三駕馬車”2谷歌的“三駕馬車”谷歌的“三駕馬車”是為谷歌的核心搜索業(yè)務(wù)服務(wù)的。谷歌搜索要存儲整個互聯(lián)網(wǎng)的內(nèi)容，同時要基于該內(nèi)容構(gòu)建倒排索引。為了能夠大幅提升計算效率并降低硬件成本，谷歌開發(fā)的三項技術(shù)。谷歌的“三駕馬車”谷歌文件系統(tǒng)（GFS）基于大量的廉價個人計算機構(gòu)建分布式海量數(shù)據(jù)存儲系統(tǒng)，它可以輕松的存儲整個互聯(lián)網(wǎng)的內(nèi)容。海量數(shù)據(jù)計算引擎（MapRecude）主要用來大規(guī)模的處理整個互聯(lián)網(wǎng)的所有文檔，建立倒排索引。雖然有天然的缺陷，但是其大幅提升了倒排索引的計算效率。鍵值存儲系統(tǒng)（BigTable）可以存儲一個主鍵不同時期的多個版本的值，通過使用互聯(lián)網(wǎng)地址作為主鍵的方式可實現(xiàn)增量更新索引。谷歌的“三駕馬車”

2003年10月19—22日，Google在美國紐約召開的第19屆ACM操作系統(tǒng)原理研討會（SymposiumonOperatingSystemsPrinciples，SOSP）上，發(fā)表了論文《Google文件系統(tǒng)》，系統(tǒng)地介紹了Google面向大規(guī)模數(shù)據(jù)密集型應(yīng)用的、可伸縮的分布式文件系統(tǒng)——GFS。GFS是一個可擴展的大型數(shù)據(jù)密集型應(yīng)用的分布式文件系統(tǒng)，該文件系統(tǒng)可在廉價的硬件上運行，并具有可靠的容錯能力，該文件系統(tǒng)可為用戶提供極高的計算性能，而同時具備最小的硬件投資和運營成本。谷歌的“三駕馬車”

2004年12月5日，Google在美國舊金山召開的第6屆操作系統(tǒng)設(shè)計與實現(xiàn)研討會（OperatingSystemsDesignandImplementation，OSDI）上，發(fā)表了論文《MapReduce：超大集群的簡單數(shù)據(jù)處理》，向全世界介紹了MapReduce系統(tǒng)的編程模式、實現(xiàn)、技巧、性能和經(jīng)驗?；贛apReduce編寫的程序是在成千上萬的普通PC機上被并行分布式自動執(zhí)行的。它將所有服務(wù)器中的處理器有效地利用起來計算保存在谷歌文件系統(tǒng)中的海量數(shù)據(jù)并得到想要的結(jié)果。谷歌的“三駕馬車”

2006年11月6—8日，Google在美國西雅圖召開的第7屆操作系統(tǒng)設(shè)計與實現(xiàn)研討會上，發(fā)表了論文《BigTable：結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)》，分析了設(shè)計用于處理海量數(shù)據(jù)的分布式結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)BigTable的工作原理。谷歌的“三駕馬車”

3篇重量級論文的發(fā)表，不僅使大家理解了Google搜索引擎背后強大的技術(shù)支撐，而且論文和相關(guān)的開源技術(shù)極大地普及了云計算中非常核心的分布式技術(shù)。隨后，克隆這3項技術(shù)的開源產(chǎn)品如雨后春筍般涌現(xiàn)，Hadoop就是其中的一個。而Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。Hadoop以