Spark大數(shù)據(jù)技術與應用知到章節(jié)答案智慧樹2023年山西職業(yè)技術學院

Spark大數(shù)據(jù)技術與應用知到章節(jié)測試答案智慧樹2023年最新山西職業(yè)技術學院第一章測試

與MapReduce相比，Spark更適合處理以下哪種類型的任務（）

參考答案:

較多迭代次數(shù)的短任務

Standalone模式下配置Spark集群時，master節(jié)點的工作端口號需要在conf文件夾下的哪個文件指明（）

參考答案:

spark-env.sh

以下關于SPARK中的sparkcontext，描述錯誤的是：（）

參考答案:

控制整個application的生命周期

以下對Spark中Work的主要工作描述錯誤的是（）

參考答案:

會運行業(yè)務邏輯代碼

配置Standalone模式下的Spark集群，Worker節(jié)點需要在conf文件夾下的哪個文件中指明（）

參考答案:

slaves

Spark支持的分布式部署方式中哪個是錯誤的（）

參考答案:

Sparkonlocal

Spark單機偽分布式模式，它的特點是在一臺節(jié)點上既有Master服務，又有Worker服務（）

參考答案:

對

在部署Spark獨立模式時，配置spark內部通信的端口為（）

參考答案:

7077

在部署Spark獨立模式時，配置spark的web端口為（）

參考答案:

7077

Spark的bin目錄是spark運行腳本目錄，該目錄中包含了加載spark的配置信息，提交作業(yè)等執(zhí)行命令的腳本（）

參考答案:

對

第二章測試

valrdd=sc.parallelize(1to10).filter(_%2==0)rdd.collect上述代碼的執(zhí)行結果為（）

參考答案:

Array(2,4,6,8,10)

下面哪個操作是窄依賴（）

參考答案:

filter

下面哪個操作肯定是寬依賴（）

參考答案:

reduceByKey

以下操作中，哪個不是SparkRDD編程中的操作。（）

參考答案:

getLastOne()

valwords=Array("one"，"two"，"two"，"three"，"three","three")

valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))

wordCountsWithReduce=wordPairsRDD.reduceByKey(_+_)上述語句的執(zhí)行結果wordCountsWithReduce中包含的元素是（）。

參考答案:

(“one”,1)，(“two”,2)，(“three”,3)

有一個鍵值對RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.keys操作得到的RDD中所包含的元素是（)。

參考答案:

(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)

有一個RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark"，1)、("Hive",1)和("Spark",1)，則pairRDD.values操作得到的RDD中所包含的元素是（）。

參考答案:

1，1，1，l

有一個鍵值對RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.mapValues(x=>x+1)操作得到的RDD中所包含的元素是（）。

參考答案:

("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)

RDD操作包括哪兩種類型。（）

參考答案:

行動(Action);轉換(Transformation）

以下操作中，哪些是行動（(Action）操作。（）

參考答案:

collect();reduce()

第三章測試

SparkSession內部封裝了SparkContext，所以底層計算還是由SparkContext完成的。（）

參考答案:

對

DataFrame的sort方法可以按照多個字段對數(shù)據(jù)進行排序。（）

參考答案:

對

SparkSQL支持從哪些格式的外部結構化數(shù)據(jù)文件中讀取數(shù)據(jù)創(chuàng)建DataFrame。（）

參考答案:

csv;txt;parquet;json

DataFrame的show（）方法默認展示多少條數(shù)據(jù)（）

參考答案:

20

DataFrame的first()方法返回的數(shù)據(jù)類型是（）

參考答案:

Row

對于stuDF數(shù)據(jù)下列哪些方法不能對按age進行降序排列（）

參考答案:

stuDF.orderBy(“age”，desc)

DataFrame數(shù)據(jù)輸出中mode方法的參數(shù)不正確的是（）

參考答案:

warn

DataFrame數(shù)據(jù)輸出保存文件類型錯誤的是（）

參考答案:

pandas

DataSet支持從哪些類型進行創(chuàng)建錯誤的是（）

參考答案:

從已經(jīng)存在的文件創(chuàng)建

Spark中DataFrame和RDD最大的區(qū)別是？（）

參考答案:

多了schema

第四章測試

通過調用（）中定義的各種操作算子來定義我們需要的各種實時計算邏輯。

參考答案:

DStream

DStream底層是基于（）實現(xiàn)

參考答案:

RDD

通過HDFS文件系統(tǒng)創(chuàng)建（），所以先要在HDFS上新建存放數(shù)據(jù)文件的目錄。

參考答案:

DStream

DStream中提供了很多轉換操作函數(shù)，通過（）函數(shù)會生成一個新的DStream。

參考答案:

轉換操作

window窗口操作函數(shù)是基于源DStream產(chǎn)生的窗口化的批數(shù)據(jù)，計算后會得到一個新的DStream。（）

參考答案:

對

下列是常用的輸出操作方法有（）

參考答案:

saveAsTextFiles方法;print()方法;saveAsObjectFiles方法;saveAsHadoopFiles方法;foreachRDD()方法

（）窗口操作函數(shù)是利用func對滑動窗口的元素進行聚合操作，得到一個新的DStream。

參考答案:

reduceByWindow

使用transform操作后，除了可以使用DStream提供的一些轉換方法之外，還能夠通過transform中的（）參數(shù)直接調用任意RDD上的操作函數(shù)。