Hadoop大數(shù)據(jù)應用開發(fā)智慧樹知到期末考試答案章節(jié)答案2024年深圳信息職業(yè)技術(shù)學院

Hadoop大數(shù)據(jù)應用開發(fā)智慧樹知到期末考試答案+章節(jié)答案2024年深圳信息職業(yè)技術(shù)學院Zookeeper：針對谷歌Chubby的一個開源實現(xiàn)，是高效可靠的協(xié)同工作系統(tǒng)。（）

答案:對.Spark集群相比于SparkRDDAPI，SparkSQL對結(jié)構(gòu)化數(shù)據(jù)的操作更加高效和方便。（）

答案:對SparkonYarn模式提交任務后，會依次進行6個過程：①啟動SparkContext；②任務構(gòu)建成DAG圖；③executor向SparkContext進行注冊；④向Yarn申請executor資源；⑤進行Stage劃分與TaskSet生成；⑥Task發(fā)送給executor執(zhí)行。（）

答案:錯Hadoop特SparkMLlib是機器學習的算法包，包含了機器學習的一些常用的算法和處理工具。（）

答案:對YARN既是資源管理調(diào)度框架，也是一個計算框架。

答案:錯第二名稱節(jié)點(SecondaryNameNode)是HDFS架構(gòu)中的一個組成部分，它是用來保存名稱節(jié)點中對HDFS元數(shù)據(jù)信息的備份，并減少名稱節(jié)點重啟的時間。（）

答案:對.Hadoop的特點包括高可靠性、高擴展性、高效性、高容錯性、高成本。（）

答案:錯在一個基本的Hadoop集群中，DataNode主要負責存儲被拆分的數(shù)據(jù)塊？（）

答案:對在Hadoop中，安裝完全分布式ApacheHadoop的核心配置文件有core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。（）

答案:對Hadoop的兩大核心是HDFS和MapReduce，HDFS用來存儲數(shù)據(jù)，MapReduce用來處理數(shù)據(jù)。（）

答案:對分布式文件系統(tǒng)HDFS是谷歌分布式文件系統(tǒng)GFS（GoogleFileSystem）的一種開源實現(xiàn)。（）

答案:對SparkSQL目前暫時不支持Lisp語言（）

答案:對進行基于Hadoop的MapReduce編程環(huán)境配置時，必須要的步驟包括配置SSH、配置Java環(huán)境變量、配置Eclipse和配置Hadoop環(huán)境變量。（）

答案:錯Hive是一個基于Hadoop的數(shù)據(jù)倉庫工具，用于對Hadoop文件中的數(shù)據(jù)集進行數(shù)據(jù)整理、特殊查詢和分析存儲。（）

答案:對Hadoop框架是用Java實現(xiàn)的，MapReduce應用程序則一定要用Java來寫。

答案:錯Hadoop項目包括（）

答案:HadoopDistributedFileSystem;HadoopMapReduce;HadoopCommon下列關(guān)于Scala的說法正確的是:（）

答案:Scala是Spark的主要編程語言，但Spark還支持Java、Python、R作為編程語言;Scala運行于Java平臺，兼容現(xiàn)有的Java程序;Scala具備強大的并發(fā)性，支持函數(shù)式編程;Scala是一種多范式編程語言MapReduce相較于傳統(tǒng)的并行計算框架有什么優(yōu)勢？（）

答案:what，簡單;非共享式，容錯性好;普通PC機，便宜，擴展性好;批處理、非實時、數(shù)據(jù)密集型下列說法中，哪些選項描述正確？（）

答案:Spark在借鑒HadoopMapReduce優(yōu)點的同時，很好地解決了MapReduce所面臨的問題;Spark的計算模式也屬于MapReduce，但不局限于Map和Reduce操作關(guān)于SecondaryNameNode的說法錯誤的是（）

答案:SecondaryNameNode應與NameNode部署到一個節(jié)點;是NameNode的備份;對內(nèi)存沒有要求下列關(guān)于傳統(tǒng)并行計算框架（比如MPI）和MapReduce并行計算框架比較正確的是（）

答案:前者所需硬件價格貴，可擴展性差，后者硬件便宜，擴展性好;前者適用于實時、細粒度計算、計算密集型，后者適用于批處理、非實時、數(shù)據(jù)密集型;前者是共享式(共享內(nèi)存/共享存儲)，容錯性差，后者是非共享式的，容錯性好;前者相比后者學習起來更難對新一代資源管理調(diào)度框架YARN的理解正確的是:（）

答案:MapReduce2.0是運行在YARN之上的計算框架，由YARN來為MapReduce提供資源管理調(diào)度服務;YARN的體系結(jié)構(gòu)包含三個組件：ResourceManager，NodeManager，ApplicationMaster;YARN可以實現(xiàn)“一個集群多個框架”，即在一個集群上部署一個統(tǒng)一的資源調(diào)度管理框架Spark支持的分布式布署方式中哪個是（）。

答案:SparkonYARN;standalone;SparkonMesos啟動HDFS集群時，（）

答案:磁盤元數(shù)據(jù)的大小會影響HDFS集群啟動時長;先啟動NameNode，再啟動DataNodeMapReduce體系結(jié)構(gòu)主要由以下那幾部分構(gòu)成？（）

答案:Task;Client;JobTracker;TaskTracker在一個基本的Hadoop集群中，DataNode主要負責什么（）

答案:存儲被拆分的數(shù)據(jù)塊以下哪項不屬于Hadoop運行的模式（）

答案:完全分布式Spark中的Executor是（）

答案:執(zhí)行器以下名詞解釋不正確的是（）

答案:HBase：提供高可靠性、高性能、分布式的行式數(shù)據(jù)庫，是谷歌BigTable的開源實現(xiàn)SparkSQL目前暫時不支持下列哪種語言（）

答案:LispHDFS的優(yōu)點不包括（）

答案:適合低延遲數(shù)據(jù)訪問在HDFS根目錄下創(chuàng)建一個文件夾/test，且/test文件夾內(nèi)還包含一個文件夾dir，正確的shell命令是（）

答案:hadoopfs-mkdir-p/test/dir下列關(guān)于Scala特性的描述，錯誤的是哪一項？（）

答案:Scala語法復雜，但是能提供優(yōu)雅的API計算下面哪個程序負責分布式文件系統(tǒng)HDFS的數(shù)據(jù)存儲（）

答案:DataNode在Hadoop生態(tài)系統(tǒng)中，Kafka主要解決Hadoop中存在哪些的問題？（）

答案:Hadoop生態(tài)系統(tǒng)中各個組件和其他產(chǎn)品之間缺乏統(tǒng)一的、高效的數(shù)據(jù)交換中介HDFS中的文件塊默認保存幾份（）

答案:3份以下哪項通常是搭建Hadoop集群面臨的瓶頸（）

答案:磁盤IO在HDFS中，NameNode的主要功能是什么？（）

答案:存儲元數(shù)據(jù)第三次信息化浪潮的標志是（）

答案:云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)技術(shù)的普及在一個基本的Hadoop集群中，SecondaryNameNode主要負責什么（）

答案:協(xié)調(diào)數(shù)據(jù)計算任務以下不屬于Hadoop生態(tài)圈的組件是（）

答案:Matlab下列關(guān)于MapReduce工作流程，哪個描述是正確的（）

答案:所有的數(shù)據(jù)交換都是通過MapReduce框架自身去實現(xiàn)的上傳一個大小為500MB的文件data.txt，到Hadoop2.6搭建的集群上。這個文件會占用多少個HDFS文件塊？（）。

答案:4個以下哪些組件不是Hadoop的生態(tài)系統(tǒng)的組件（）

答案:MapReduce在Hadoop項目結(jié)構(gòu)中，MapReduce指的是什么（）

答案:分布式并行編程模型Kafka中的最小消息單元是什么？（）

答案:消息Kafka的消費者可以在消費時指定從哪個偏移量開始消費消息，這個偏移量可以是：（）

答案:ABC都是Kafka使用什么作為消息的唯一標識符？（）

答案:偏移量Kafka中的ISR是指什么？（）

答案:副本集合Kafka的副本有什么作用？（）

答案:提高消息處理的容錯性Kafka支持哪些消息保證機制？（）

答案:ABC都支持Flume主要用于哪些場景？（）

答案:數(shù)據(jù)采集和傳輸FlumeAgent的三個核心組件是Source、Channel和Sink。（）

答案:對Flume內(nèi)部數(shù)據(jù)傳輸?shù)幕締卧荁yte。（）

答案:錯Flume中，用于存儲數(shù)據(jù)的組件是什么？（）

答案:Channel設計Flume架構(gòu)時，Sink組件的數(shù)據(jù)可以流向一個新的Agent的Channel組件。（）

答案:錯Flume中，可以使用哪個選項來指定配置文件的路徑？（）

答案:--configHive是一個基于Hadoop的數(shù)據(jù)倉庫工具，依賴HDFS存儲數(shù)據(jù)，依賴MapReduce處理數(shù)據(jù)。（）

答案:對Hive不支持索引。（）

答案:錯以下不屬于Hive的復合數(shù)據(jù)類型是（）

答案:SET下列選項中，修改數(shù)據(jù)表屬性的語法格式中用于修改數(shù)據(jù)表屬性操作的子句是（）

答案:SETTBLPROPERTIES以下不屬于Hive的原始數(shù)據(jù)類型是（）

答案:LONG下列對HBase的理解正確的是：（）

答案:HBase是針對谷歌BigTable的開源實現(xiàn);HBase多用于存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)下列對HBase數(shù)據(jù)模型的描述錯誤的是（）

答案:HBase中執(zhí)行更新操作時，會刪除數(shù)據(jù)舊的版本，并生成一個新的版本關(guān)于HBaseShell命令解釋錯誤的是（）

答案:list：顯示表的所有數(shù)據(jù)HBase是一個行式分布式數(shù)據(jù)庫，是Hadoop生態(tài)系統(tǒng)中的一個組件（）

答案:錯HBase是一種什么數(shù)據(jù)庫（）

答案:列式數(shù)據(jù)庫HBase和傳統(tǒng)關(guān)系型數(shù)據(jù)庫的區(qū)別在于哪些方面:（）

答案:存儲模式;數(shù)據(jù)操作;數(shù)據(jù)模型;數(shù)據(jù)索引MapReduce的作業(yè)主要包括什么？（）

答案:計算數(shù)據(jù)，即CPU密集工作;從磁盤或從網(wǎng)絡讀取數(shù)據(jù)，即IO密集工作Hadoop框架是用Java實現(xiàn)的，因此MapReduce應用也必須要用Java編程語言完成。（）

答案:錯Spark的計算模式也屬于MapReduce，但編程模型比HadoopMapReduce更靈活。（）

答案:對MapReduce集群一般使用大量低端服務器，因此節(jié)點硬件失效和軟件出錯是常態(tài)。（）

答案:對在MapReduce工作流程中，所有的數(shù)據(jù)交換都是通過MapReduce框架自身去實現(xiàn)的（）

答案:對傳當前目錄下的本地文件file.txt到分布式文件系統(tǒng)HDFS的“/path”目錄下的Shell命令是（）

答案:hdfsdfs-putfile.txt/path在Hadoop項目結(jié)構(gòu)中，HDFS指的是什么（）

答案:分布式文件系統(tǒng)以下哪個命令無法用來操作HDFS文件（）

答案:hdfsfs假設已經(jīng)配置好環(huán)境變量，啟動Hadoop和關(guān)閉Hadoop的命令分別是（）

答案:start-dfs.sh，stop-dfs.sh對HDFS通信協(xié)議的理解正確的是:（）

答案:名稱節(jié)點和數(shù)據(jù)節(jié)點之間則使用數(shù)據(jù)節(jié)點協(xié)議進行交互;客戶端與數(shù)據(jù)節(jié)點的交互是通過RPC（RemoteProcedureCall）來實現(xiàn)的;客戶端通過一個可配置的端口向名稱節(jié)點主動發(fā)起TCP連接，并使用客戶端協(xié)議與名稱節(jié)點進行交互JobTracker主要包括哪三大功能？（）

答案:任務監(jiān)控;資源管理;任務調(diào)度以下哪個不