大數(shù)據(jù)知識點總結(jié)

大數(shù)據(jù)知識點總結(jié)1、Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。

2、Hadoop實現(xiàn)了一個分布式文件系統(tǒng)硬件上；而且它提供高吞吐量，它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為HDFS提供存儲塊。由于僅存在一個NameNode，因此這是HDFS的一個缺點Sqoop：在HADOOP與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞。

Sqoop是一個Hadoop和關(guān)系型數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)移工具?？蓪㈥P(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到Hadoop的HDFS中，也可將HDFS中的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。

10、Hadoop1.x與Hadoop2.x的區(qū)別：

Hadoop2.x中有兩個重要的變更：

2、DataDiscovery來創(chuàng)建和訪問表單。

j、支持協(xié)同開發(fā)，Zeppelin的notebook，可以被多人同時使用，任何一個人的改動都會被實時的同步到其他協(xié)作者的頁面上。

k、Zeppelinnotebook上產(chǎn)生的圖表，可以被獨立發(fā)布，通過iframe，可以嵌入到別的網(wǎng)頁上。

l、100%開源的Apache項目。

15、Ambari是一個開源的分布式Hadoop集群安裝，部署，監(jiān)控和管理的平臺。

16、Ambari主要由三個部分組成，AmbariServer，AmbariWeb和AmbariAgent。

AmbariServer：AmbariServer是整個Ambari的統(tǒng)一入口，只能運行在集群中的一臺機器上。負責(zé)管理所有的AmbariAgent。

AmbariWeb：AmbariWeb和AmbariServer運行在同一臺機器上，作為AmbariServer的一部分功能存在，提供Web和RestAPI的方式訪問AmbariServer。

AmbariAgent：AmbariAgent需要在集群中的每個節(jié)點上都運行一個，負責(zé)監(jiān)控宿主機器的狀態(tài)信息，執(zhí)行從AmbariServer上發(fā)送過來的操作指令。

17、Spark是UCBerkeleyAMPlab所開源的類HadoopMapReduce的通用的并行計算框架，Spark基于mapreduce算法實現(xiàn)的分布式計算，擁有HadoopMapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的mapreduce的算法。

18、Spark與Hadoop的對比，每組任務(wù)被稱為Stage，也稱TaskSet

RDD：ResilientDistributedDatasets的簡稱，彈性分布式數(shù)據(jù)集，是Spark最核心的模塊和類

Transformation/Action：SparkAPI的兩種類型；Transformation返回值還是一個RDD，Action返回值不少一個RDD，而是一個Scala的集合；所有的Transformation都是采用的懶策略，如果只是將Transformation提交是不會執(zhí)行計算的，計算只有在Action被提交時才會被觸發(fā)。

DataFrame：帶有Schema信息的RDD，主要是對結(jié)構(gòu)化數(shù)據(jù)的高度抽象。

DataSet：結(jié)合了DataFrame和RDD兩者的優(yōu)勢，既允許用戶很方便的操作領(lǐng)域?qū)ο螅志哂蠸QL執(zhí)行引擎的高效表現(xiàn)。

28、RDD提供了兩種類型的操作：transformation和action

1，transformation是得到一個新的RDD，方式很多，比如從數(shù)據(jù)源生成一個新的RDD，從RDD生成一個新的RDD

2，action是得到一個值，或者一個結(jié)果和寬依賴。窄依賴是指父RDD的每個分區(qū)都只被子RDD的一個分區(qū)所使用。相應(yīng)的，那么寬依賴就是指父RDD的分區(qū)被多個子RDD的分區(qū)所依賴。例如，map就是一種窄依賴，而join則會導(dǎo)致寬依賴

依賴關(guān)系分類的特性：

第一，窄依賴可以在某個計算節(jié)點上直接通過計算父RDD的某塊數(shù)據(jù)計算得到子RDD對應(yīng)的某塊數(shù)據(jù)；

第二，數(shù)據(jù)丟失時，對于窄依賴只需要重新計算丟失的那一塊數(shù)據(jù)來恢復(fù)；

35、數(shù)據(jù)分析常見模式：

1、IterativeAlgorithms，

2、RelationalQueries，

3、Map