《大數(shù)據(jù)平臺搭建與配置管理》期中試題試卷及答案2套AB卷

大數(shù)據(jù)平臺搭建與配置管理第21頁共21頁《大數(shù)據(jù)平臺搭建與配置管理》期中試題期中試題（閉卷A）題號一二三四五六七八九十成績滿分30202030100得分【本套試卷共有4大題，計66小題】一、選擇題（20題，每題1.5分，共30分）1、Client端上傳文件的時候下列正確的是（）。A.數(shù)據(jù)經(jīng)過NameNode傳給DataNodeB.Client只上傳數(shù)據(jù)到一臺DataNodeC.Client端將文件切分為Block，依次上傳D.NameNode負(fù)責(zé)Block復(fù)制工作2、HDFS的NameNode負(fù)責(zé)管理文件系統(tǒng)的命名空間，將所有的文件和文件夾的元數(shù)據(jù)保存在一個文件系統(tǒng)樹中，這些信息也會在硬盤上保存成一下文件（）。A.日志B.命名空間鏡像C.兩者都是D.以上都不是3、MapReduce框架提供了一種序列化鍵/值對的方法，支持這種序列化的類能夠在Map和Reduce過程中充當(dāng)鍵或值，以下說法錯誤的是？（）A.實現(xiàn)Writable接口的類是值B.實現(xiàn)WritableComparable接口的類可以是值或鍵C.Hadoop的基本類型Text并不實現(xiàn)WritableComparable接口D.鍵和值的數(shù)據(jù)類型可以超出Hadoop自身支持的基本類型4、對MapReduce的體系結(jié)構(gòu)，以下說法不正確的是（）A.分布式編程架構(gòu)B.以數(shù)據(jù)為中心，更看重吞吐率C.分而治之的思想D.將一個任務(wù)合并成多個子任務(wù)5、在創(chuàng)建Linux分區(qū)時，一定要創(chuàng)建（）兩個分區(qū)。A.FAT/NTFSB.FAT/SWAPC.NTFS/SWAPD.SWAP/根分區(qū)6、下面哪個命令是用來定義shell的全局變量（）。A.exportfsB.aliasC.exportsD.export7、ZooKeeper可以實現(xiàn)（）。A.高吞吐量和低延遲數(shù)量B.高吞吐量和高延遲數(shù)量C.低吞吐量和低延遲數(shù)量D.低吞吐量和高延遲數(shù)量8、分布式應(yīng)用正在運行的一組系統(tǒng)稱為（）。A.集群B.分布式系統(tǒng)C.單元D.組9、查詢速度的提升是以額外的（）為代價的。A.創(chuàng)建索引B.創(chuàng)建索引和存儲索引C.刪除索引D.存儲索引10、Hive的元數(shù)據(jù)不能夠存儲在哪些位置？（）A.mysqlB.derbyC.oracleD.文本文件11、HBase依賴（）提供消息通信機制。A.ZookeeperB.ChubbyC.RPCD.Socket12、LSM含義是？（）A.日志結(jié)構(gòu)合并樹B.二叉樹C.平衡二叉樹D.長平衡二叉樹13、HFile數(shù)據(jù)格式中的Data字段用于（）。A.存儲實際的KeyValue數(shù)據(jù)B.存儲數(shù)據(jù)的起點C.指定字段的長度D.存儲數(shù)據(jù)塊的起點14、下列不屬于StreamGrouping方式的是（）。A.ShuffleGroupingB.AllGroupingC.FieldsGroupingD.newGrouping15、Storm會在集群內(nèi)分配對應(yīng)并行度個數(shù)的（）來同時執(zhí)行這一組件。A.哈希值B.ThriftC.task線程D.Worker進程16、Storm可以用來實時處理新數(shù)據(jù)和（）。A.刪除數(shù)據(jù)庫B.更新數(shù)據(jù)庫C.刪除節(jié)點D.更新表17、MapReduce編程模型，鍵值對<key,value>的key必須實現(xiàn)哪個接口？（）。A.WritableComparableB.ComparableC.WritableD.LongWritable18、HBase數(shù)據(jù)庫的BlockCache緩存的數(shù)據(jù)塊中，哪一項不一定能提高效率（）。A.–ROOT-表B..META.表C.HFileindexD.普通的數(shù)據(jù)塊19、HBase的Region組成中，必須要有以下哪一項（ ）。A.StoreFileB.MemStoreC.MetaStoreD.HFile20、設(shè)計分布式數(shù)據(jù)倉庫hive的數(shù)據(jù)表時，為取樣更高效，一般可以對表中的連續(xù)字段進行什么操作（）。A.分桶B.分區(qū)C.索引D.分表二、填空題（20題，每題1分，共10分）21、Spouts會從外部讀取流數(shù)據(jù)并持續(xù)發(fā)出。22、當(dāng)Spout或者Bolt發(fā)送元組時，它會把元組發(fā)送到每個訂閱了該的Bolt上進行處理。23、Storm采用了來作為分布式協(xié)調(diào)組件。24、HBase分布式模式最好需要個節(jié)點。25、LSM結(jié)構(gòu)的數(shù)據(jù)首先存儲在。26、HBase中Hmaster負(fù)責(zé)監(jiān)控的生命周期。27、Hive遠(yuǎn)程服務(wù)通過方式訪問Hive。28、Hive不支持的更新。29、Hive非常適合于對那些只在文本末尾添加數(shù)據(jù)的大型數(shù)據(jù)集進行。30、分布式應(yīng)用程序可以基于Zookeeper實現(xiàn)諸如數(shù)據(jù)發(fā)布/訂閱、、命名服務(wù)、分布式協(xié)調(diào)/通知、、、分布式鎖和分布式隊列等功能。31、注冊成臨時節(jié)點后，再服務(wù)端出問題時，節(jié)點會自動的從zookeeper上。32、ZooKeeper提供了一項基本服務(wù)是。33、計算過程高度抽象到兩個函數(shù)和。34、每一個小數(shù)據(jù)都可以完全地進行處理。35、大規(guī)模數(shù)據(jù)集的處理包括兩個核心環(huán)節(jié)。36、ResourceManager默認(rèn)的WebUI訪問端口號為：。37、Hadoop集群搭建中常用的4個配置文件為：、hdfs-site.xml、mapred-site.xml、。38、HA產(chǎn)生的背景是。39、網(wǎng)絡(luò)管理兩個重要任務(wù)分別是：和。40、命令是刪除文件命令。三、判斷題，正確填“T”，錯誤填“F”（20題，每題1分，共20分）41、Hadoop支持?jǐn)?shù)據(jù)的隨機讀寫（）。42、NameNode負(fù)責(zé)管理元數(shù)據(jù)信息metadata，client端每次讀寫請求，它都會從磁盤中讀取或會寫入metadata信息并反饋給client端（）。43、MapReduce的inputsplit一定是一個block（）。44、鏈?zhǔn)組apReduce計算中，對任意一個MapReduce作業(yè)，Map和Reduce階段可以有無限個Mapper，但Reducer只能有一個（）。45、HBase對于空（NULL）的列，不需要占用存儲空間。（）。46、MapReduce適于PB級別以上的海量數(shù)據(jù)在線處理（）。47、MapReduce計算過程中，相同的key默認(rèn)會被發(fā)送到同一個reducetask處理（）。48、HBase可以有列，可以沒有列族（columnfamily）（）。49、/tmp目錄主要用于存儲程序運行時生成的臨時文件（）。50、Linux系統(tǒng)以文本文件的形式保存大備份系統(tǒng)日志，如lastlog（）。51、Hadoop是Java開發(fā)的，所以MapReduce只支持Java語言編寫（）。52、NameNode負(fù)責(zé)管理metadata，client端每次讀寫請求，它都會從磁盤中讀取或者會寫入metadata信息并反饋給client端（）。53、MapReduce程序可以直接讀取HBase內(nèi)存儲的數(shù)據(jù)內(nèi)容。（）54、所有消息交換都是通過MapReduce框架自身去實現(xiàn)的。（）55、更新ZooKeeper操作是非阻塞式的。（）56、在分布式鎖服務(wù)中，就是通過對集群進行Master選舉，來解決分布式系統(tǒng)中的單點故障。（）57、分區(qū)的主要好處是加快查詢速度。（）58、Hive創(chuàng)建內(nèi)部表時，會將數(shù)據(jù)移動到數(shù)據(jù)倉庫指向的路徑。（）。59、MapReduce程序可以直接讀取HBase內(nèi)存儲的數(shù)據(jù)內(nèi)容。（）60、使用Shell命令insert對HBase中的一張表進行數(shù)據(jù)添加操作。（）四、簡答題（6題，每題5分，共30分）61、簡述HBase的主要技術(shù)特點。答：62、HBase有哪些類型的訪問接口？答：63、是否所有的MapReduce程序都需要經(jīng)過Map和Reduce這兩個過程？如果不是，請舉例說明。答：64、請描述HDFSHA架構(gòu)組成組建及其具體功能。答：65、hadoop節(jié)點動態(tài)上線下線怎么操作?答：66、HAnamenode是如何工作的？答：《大數(shù)據(jù)平臺搭建與配置管理》期中標(biāo)答期中標(biāo)答A（閉卷）題號一二三四五六七八九十成績滿分30202030100得分一、選擇題（20題，每題1.5分，共30分）1-5：CCCDD 6-10：DAABD11-15：AAADC16-20：BADBA二、填空題（20題，每題1分，共20分）21、Tuple 22、Stream23、Zookeeper24、325、內(nèi)存中26、RegionServer27、JDBC28、級別29、批處理30、負(fù)載均衡集群管理Master選舉31、刪除32、分布式鎖33、MapReduce34、并行35、分布式存儲和分布式計算36、808837、core-site.xmlyarn-site.xml38、為了解決單NN那可能會出現(xiàn)宕機導(dǎo)致集群不可用或數(shù)據(jù)丟失的問題39、監(jiān)控控制40、rm三、判斷題（20題，每題1分，共20分）41-45：FFFTT46-50：FFFTF51-55：FFTTT56-60：TTTTF四、簡答題（6題，每題5分，共60分）61、答：（1）列式存儲（2）表數(shù)據(jù)是稀疏的多維映射表（3）讀寫的嚴(yán)格一致性（4）提供很高的數(shù)據(jù)讀寫速度（5）良好的線性可擴展性（6）提供海量數(shù)據(jù)（7）數(shù)據(jù)會自動分片（8）對于數(shù)據(jù)故障，hbase是有自動的失效檢測和恢復(fù)能力。（9）提供了方便的與HDFS和MAPREDUCE集成的能力62、答：HBase提供了NativeJavaAPI,HBaseShell，ThriftGateway,RESTGateWay,Pig,Hive等訪問接口。63、答：不是。略64、答：在一個典型的HA集群中，一般設(shè)置兩個名稱節(jié)點，其中一個名稱節(jié)點處于“活躍”狀態(tài)，另一個處于“待命”狀態(tài)。處于活躍狀態(tài)的名稱節(jié)點負(fù)責(zé)對外處理所有客戶端的請求，而處于待命狀態(tài)的名稱節(jié)點則作為備用節(jié)點，保存了足夠多的系統(tǒng)元數(shù)據(jù)，當(dāng)名稱節(jié)點提供了“熱備份”，一旦活躍名稱節(jié)點出現(xiàn)故障，就可以立即切換到待命名稱節(jié)點，不會影響到系統(tǒng)的正常對外服務(wù)。65、答：1）節(jié)點上線操作：當(dāng)要新上線數(shù)據(jù)節(jié)點的時候，需要把數(shù)據(jù)節(jié)點的名字追加在dfs.hosts文件中（1）關(guān)閉新增節(jié)點的防火墻（2）在NameNode節(jié)點的hosts文件中加入新增數(shù)據(jù)節(jié)點的hostname（3）在每個新增數(shù)據(jù)節(jié)點的hosts文件中加入NameNode的hostname（4）在NameNode節(jié)點上增加新增節(jié)點的SSH免密碼登錄的操作（5）在NameNode節(jié)點上的dfs.hosts中追加上新增節(jié)點的hostname,（6）在其他節(jié)點上執(zhí)行刷新操作：hdfsdfsadmin-refreshNodes（7）在NameNode節(jié)點上，更改slaves文件，將要上線的數(shù)據(jù)節(jié)點hostname追加到slaves文件中（8）啟動DataNode節(jié)點（9）查看NameNode的監(jiān)控頁面看是否有新增加的節(jié)點2）節(jié)點下線操作：（1）修改/conf/hdfs-site.xml文件（2）確定需要下線的機器，dfs.osts.exclude文件中配置好需要下架的機器，這個是阻止下架的機器去連接NameNode。（3）配置完成之后進行配置的刷新操作./bin/hadoopdfsadmin-refreshNodes,這個操作的作用是在后臺進行block塊的移動。（4）當(dāng)執(zhí)行三的命令完成之后，需要下架的機器就可以關(guān)閉了，可以查看現(xiàn)在集群上連接的節(jié)點，正在執(zhí)行Decommission，會顯示：DecommissionStatus:Decommissioninprogress執(zhí)行完畢后，會顯示：DecommissionStatus:Decommissioned（5）機器下線完畢，將他們從excludes文件中移除。66、答：ZKFailoverController主要職責(zé)1）健康監(jiān)測：周期性的向它監(jiān)控的NN發(fā)送健康探測命令，從而來確定某個NameNode是否處于健康狀態(tài)，如果機器宕機，心跳失敗，那么zkfc就會標(biāo)記它處于一個不健康的狀態(tài)。2）會話管理：如果NN是健康的，zkfc就會在zookeeper中保持一個打開的會話，如果NameNode同時還是Active狀態(tài)的，那么zkfc還會在Zookeeper中占有一個類型為短暫類型的znode，當(dāng)這個NN掛掉時，這個znode將會被刪除，然后備用的NN，將會得到這把鎖，升級為主NN，同時標(biāo)記狀態(tài)為Active。3）當(dāng)宕機的NN新啟動時，它會再次注冊zookeper，發(fā)現(xiàn)已經(jīng)有znode鎖了，便會自動變?yōu)镾tandby狀態(tài)，如此往復(fù)循環(huán)，保證高可靠，需要注意，目前僅僅支持最多配置2個NN。4）master選舉：如上所述，通過在zookeeper中維持一個短暫類型的znode，來實現(xiàn)搶占式的鎖機制，從而判斷那個NameNode為Active狀態(tài)《大數(shù)據(jù)平臺搭建與配置管理》期中試題期中試題（閉卷B）題號一二三四五六七八九十成績滿分30202030100得分【本套試卷共有4大題，計66小題】一、選擇題（20題，每題1.5分，共30分）1、欲把當(dāng)前目錄下的file1.txt復(fù)制為file2.txt，以下正確的命令是（）。A.copyfile1.txtfile2.txtB.cpfile1.txt|file2.txtC.catfile2.txtfile1.txtD.catfile1.txt>file2.txt2、下面哪個命令可以用來切換使用者的身份（）。A.passwdB.logC.whoD.su3、以下哪個不是HDFS的守護進程（）。A.datanodeB.namenodeC.secondarynamenodeD.mrappmaster/yarnchild4、Hadoop-2.6.5集群中的HDFS的默認(rèn)的數(shù)據(jù)塊的大小是（）。A.32MBB.64MBC.128MBD.256MB5、HDFS集群中的namenode職責(zé)不包括（）。A.維護HDFS集群的目錄樹結(jié)構(gòu)B.維護HDFS集群的所有數(shù)據(jù)塊的分布、副本數(shù)和負(fù)載均衡C.負(fù)責(zé)保存客戶端上傳的數(shù)據(jù)D.響應(yīng)客戶端的所有讀寫數(shù)據(jù)請求6、下列關(guān)于HDFS的描述正確的是（）。A.如果NameNode宕機，SecondaryNameNode會接替它使集群繼續(xù)工作B.HDFS集群支持?jǐn)?shù)據(jù)的隨機讀寫C.NameNode磁盤元數(shù)據(jù)不保存Block的位置信息D.DataNode通過長連接與NameNode保持通信7、MapReduce是（）上的并行計算。A.運行于大規(guī)模集群B.運行于磁盤C.運行于小規(guī)模集群D.運行在復(fù)雜的系統(tǒng)中8、MapReduce框架會將Map程序就近地在（）數(shù)據(jù)所在的節(jié)點運行。A.HDFSB.SparkC.MapReduceD.Zookeeper9、MapReduce為了保證任務(wù)的正常執(zhí)行，采用（）等多種容錯機制。A.重復(fù)執(zhí)行B.重新開始整個任務(wù)C.直接丟棄執(zhí)行效率低的作業(yè)D.以上都是10、ZooKeeper是集群的（），監(jiān)視著集群中各個節(jié)點的狀態(tài)根據(jù)節(jié)點提交的反饋進行下一步合理操作。A.領(lǐng)導(dǎo)者B.執(zhí)行者C.管理者D.以上都不是11、ZK提供了一定的（）可以用來獲取一個順序增長的，可以在集群環(huán)境下使用的ID。A.函數(shù)B.接口C.方法D.類12、名稱空間由（）組成。A.磁盤寄存器B.表C.內(nèi)存寄存器D.數(shù)據(jù)寄存器13、hive數(shù)據(jù)倉庫中的數(shù)據(jù)，不可能的來源有哪些？（）A.Mysql或Oracle數(shù)據(jù)庫B.行為數(shù)據(jù)C.業(yè)務(wù)數(shù)據(jù)系統(tǒng)D.娛樂資料14、解壓.tar.gz結(jié)尾的HBase壓縮包使用的Linux命令是什么？（）A.tar-vfB.tarC.tar-zxD.tar-zxvf15、下以下數(shù)據(jù)第三列，應(yīng)該用哪種數(shù)據(jù)類型存儲:1,zhangsan,[90,79.88]。（）A.mapB.intC.arrayD.struct16、查詢速度的提升是以額外的（）為代價的。A.創(chuàng)建索引B.創(chuàng)建索引和存儲索引C.刪除索引D.存儲索引17、當(dāng)客戶端發(fā)起一個Put請求時，首先它從（）表中查出該Put數(shù)據(jù)。A.hbase:metaB.hbase:valueC.-ROOT-D.hbase:key18、HBase構(gòu)建二級索引的實現(xiàn)方式有哪些？（）A.MapReduceB.HiveC.BloomFilterD.Filter19、Storm將（）組成的網(wǎng)絡(luò)抽象成Topology。A.Spouts和BoltsB.字段C.GFSD.Tuple20、Storm運行在分布式集群中，其運行任務(wù)的方式與（）類似。A.HDFSB.HBaseC.HadoopD.Zookeeper二、填空題（20題，每題1分，共10分）21、鏈接分為：。22、JDK下解釋執(zhí)行Java的程序是。23、是客戶端需要執(zhí)行的一個工作單元。24、HDFS在設(shè)計上采取了多種機制保證在硬件出錯的環(huán)境中實現(xiàn)數(shù)據(jù)的。25、HDFS不適合用在的應(yīng)用場合。26、HDFS集群中只有唯一一個名稱節(jié)點，該節(jié)點負(fù)責(zé)所有的。27、Map的輸出結(jié)果首先被寫入。28、磁盤包含機械部件，它是通過和來尋址定位數(shù)據(jù)。29、Shuffle優(yōu)化的原則是給Shuffle過程盡可能多的。30、ZooKeeper允許分布式進程通過共享的相互協(xié)調(diào)。31、分布式應(yīng)用正在運行的一組系統(tǒng)稱為。32、ZooKeeper類通過其構(gòu)造函數(shù)提供功能。33、Hive中創(chuàng)建的目的就是在查詢一個表中某列值時提升速度。34、使用命令可以創(chuàng)建一個指定名字的表。35、WHERE子句是一個。36、HBase主要用來存儲和的松散數(shù)據(jù)。37、在HBase中執(zhí)行操作時，并不會刪除數(shù)據(jù)舊的版本。38、服務(wù)器負(fù)責(zé)存儲和維護分配給自己的。39、Storm可以用來實時處理新數(shù)據(jù)和。40、Topology中每一個計算組件都有一個執(zhí)行度。三、判斷題，正確填“T”，錯誤填“F”（20題，每題1分，共20分）41、Hive本地模式和遠(yuǎn)程模式，最關(guān)鍵的差別是存儲元數(shù)據(jù)的mysql數(shù)據(jù)庫的安裝位置是在本地還是在遠(yuǎn)端。（）42、Hive數(shù)據(jù)類型中date類型是與時區(qū)無關(guān)的類型。（）43、Hive數(shù)據(jù)類型中，Timestamp類型是與時區(qū)無關(guān)的類型。（）44、Hive中的表，對應(yīng)hdfs中文件的目錄。（）45、外部表和內(nèi)部表的差別，只是需要添加External關(guān)鍵詞就可以了。（）46、刪除外部表，只會刪除外部表的元數(shù)據(jù)信息，并不會將外部表的數(shù)據(jù)刪除。（）47、刪除外部表，會同時刪除外部表的數(shù)據(jù)和元數(shù)據(jù)。（）48、在Hive中，執(zhí)行分桶操作，具體哪個值，分到哪個桶中，可以通過對數(shù)據(jù)進行Hash運算取得。（）49、HBase是一套高性能的分布式數(shù)據(jù)集群，必須在大型機或者高性能的服務(wù)器上進行搭建。（）50、HBase是Apache的Hadoop項目的子項目，利用HadoopHDFS作為其文件存儲系統(tǒng)，適合于非結(jié)構(gòu)化數(shù)據(jù)存儲。（）51、MapReduce程序可以直接讀取HBase內(nèi)存儲的數(shù)據(jù)內(nèi)容。（）52、HBase系統(tǒng)適合進行多表聯(lián)合查詢以及復(fù)雜性讀寫操作。（）53、Hadoop是IBM公司開發(fā)的一款商用大數(shù)據(jù)軟件。（）54、Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，能夠處理PB級數(shù)據(jù)。（）55、Hadoop存儲系統(tǒng)HDFS的文件是分塊存儲，每個文件塊默認(rèn)大小為32MB。（）56、HDFS系統(tǒng)為了容錯保證數(shù)據(jù)塊完整性，每一塊數(shù)據(jù)都采用2份副本。（）57、HDFS系統(tǒng)采用NameNode定期向DataNode發(fā)送心跳消息，用于檢測系統(tǒng)是否正常運行。（）58、用戶可以通過”hadoopfs–put”命令獲取遠(yuǎn)端文件數(shù)據(jù)。（）59、Nagios不可以監(jiān)控Hadoop集群，因為它不提供Hadoop支持（）。60、Ganglia不僅可以進行監(jiān)控，也可以進行報警（）。四、簡答題（6題，每題5分，共30分）61、試論述實現(xiàn)矩陣向量乘法與矩陣乘法采用不同MapReduce策略的原因。62、試論述HBase的三層結(jié)構(gòu)中各層次的名稱和作用。答：63、Storm集群中的Master節(jié)點和Work節(jié)點各自運行什么后臺進程？這些進程又分別負(fù)責(zé)什么工作？答：64