2023學年完整公開課版Google的“三駕馬車”

Google的“三駕馬車”1、了解Google的“三駕馬車”0102目錄谷歌的“三駕馬車”導語導語1導語

Google的偉大之處，不僅因為它建立了一個很好很強大的搜索引擎，而且還在于它創(chuàng)造了3項革命性技術：GFS、MapReduce和BigTable，即所謂的Google三駕馬車。三駕馬車GFSMapReduceBigTable谷歌的“三駕馬車”2谷歌的“三駕馬車”谷歌的“三駕馬車”是為谷歌的核心搜索業(yè)務服務的。谷歌搜索要存儲整個互聯(lián)網(wǎng)的內(nèi)容，同時要基于該內(nèi)容構建倒排索引。為了能夠大幅提升計算效率并降低硬件成本，谷歌開發(fā)的三項技術。谷歌的“三駕馬車”谷歌文件系統(tǒng)（GFS）基于大量的廉價個人計算機構建分布式海量數(shù)據(jù)存儲系統(tǒng)，它可以輕松的存儲整個互聯(lián)網(wǎng)的內(nèi)容。海量數(shù)據(jù)計算引擎（MapRecude）主要用來大規(guī)模的處理整個互聯(lián)網(wǎng)的所有文檔，建立倒排索引。雖然有天然的缺陷，但是其大幅提升了倒排索引的計算效率。鍵值存儲系統(tǒng)（BigTable）可以存儲一個主鍵不同時期的多個版本的值，通過使用互聯(lián)網(wǎng)地址作為主鍵的方式可實現(xiàn)增量更新索引。谷歌的“三駕馬車”

2003年10月19—22日，Google在美國紐約召開的第19屆ACM操作系統(tǒng)原理研討會（SymposiumonOperatingSystemsPrinciples，SOSP）上，發(fā)表了論文《Google文件系統(tǒng)》，系統(tǒng)地介紹了Google面向大規(guī)模數(shù)據(jù)密集型應用的、可伸縮的分布式文件系統(tǒng)——GFS。GFS是一個可擴展的大型數(shù)據(jù)密集型應用的分布式文件系統(tǒng)，該文件系統(tǒng)可在廉價的硬件上運行，并具有可靠的容錯能力，該文件系統(tǒng)可為用戶提供極高的計算性能，而同時具備最小的硬件投資和運營成本。谷歌的“三駕馬車”

2004年12月5日，Google在美國舊金山召開的第6屆操作系統(tǒng)設計與實現(xiàn)研討會（OperatingSystemsDesignandImplementation，OSDI）上，發(fā)表了論文《MapReduce：超大集群的簡單數(shù)據(jù)處理》，向全世界介紹了MapReduce系統(tǒng)的編程模式、實現(xiàn)、技巧、性能和經(jīng)驗?；贛apReduce編寫的程序是在成千上萬的普通PC機上被并行分布式自動執(zhí)行的。它將所有服務器中的處理器有效地利用起來計算保存在谷歌文件系統(tǒng)中的海量數(shù)據(jù)并得到想要的結果。谷歌的“三駕馬車”

2006年11月6—8日，Google在美國西雅圖召開的第7屆操作系統(tǒng)設計與實現(xiàn)研討會上，發(fā)表了論文《BigTable：結構化數(shù)據(jù)的分布式存儲系統(tǒng)》，分析了設計用于處理海量數(shù)據(jù)的分布式結構化數(shù)據(jù)存儲系統(tǒng)BigTable的工作原理。谷歌的“三駕馬車”

3篇重量級論文的發(fā)表，不僅使大家理解了Google搜索引擎背后強大的技術支撐，而且論文和相關的開源技術極大地普及了云計算中非常核心的分布式技術。隨后，克隆這3項技術的開源產(chǎn)品如雨后春筍般涌現(xiàn)，Hadoop就是其中的一個。而Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。Hadoop以