hadoop面試題

1、Hadoop 就業(yè)面試寶典1.0 簡(jiǎn)要描述如何安裝配置apache 的一個(gè)開源hadoop，只描述即可，無需列出具體步驟，列出具體步驟更好。答： 1 使用 root 賬戶登錄2修改IP3 修改 host 主機(jī)名4 配置 SSH 免密碼登錄5 關(guān)閉防火墻6 安裝 JDK7 解壓 hadoop 安裝包8 配置 hadoop 的核心文件hadoop-env.sh，core-site.xml , mapred-site.xml， hdfs-site.xml9 配置 hadoop 環(huán)境變量10 格式化 hadoop namenode-format11 啟動(dòng)節(jié)點(diǎn) start-all.sh2.0 請(qǐng)；列出正

2、常的 hadoop 集群中 hadoop 都分別需要啟動(dòng) 哪些進(jìn)程，他們的作用分別都是什么，請(qǐng)盡量列的詳細(xì)一些。答： namenode：管理集群，存儲(chǔ)數(shù)據(jù)的原信息，并管理記錄Secondname:可以做冷備，對(duì)一定范圍內(nèi)數(shù)據(jù)做快照性備份。datanode中的文件信息。Datanode:存儲(chǔ)數(shù)據(jù)Jobtracker :管理任務(wù)，并將任務(wù)分配給tasktracker 。Tasktracker: 執(zhí)行 JobTracker 分配的任務(wù)。3.0 請(qǐng)寫出以下的shell 命令（ 1）殺死一個(gè) job（ 2）刪除 hdfs 上的 /tmp/aaa 目錄（ 3） 加入一個(gè)新的存儲(chǔ)節(jié)點(diǎn)和刪除一個(gè)節(jié)點(diǎn)需要執(zhí)行的

3、命令答：（1） hadoop job list得到 job 的 id，然后執(zhí)行 hadoop job殺死一個(gè)指定jobId 的 job 工作了。-killjobId就可以（ 2）hadoop fs -rmr /tmp/aaa(3) 增加一個(gè)新的節(jié)點(diǎn)在新的幾點(diǎn)上執(zhí)行Hadoop daemon.sh start datanodeHadooopdaemon.shstarttasktracker然后在主節(jié)點(diǎn)中執(zhí)行hadoopdfsadmin-refreshnodes刪除一個(gè)節(jié)點(diǎn)的時(shí)候，只需要在主節(jié)點(diǎn)執(zhí)行hadoop mradmin-refreshnodes4.0請(qǐng)列出你所知道的 hadoop 調(diào)度器，

4、并簡(jiǎn)要說明其工作方法答： Fifo schedular : 默認(rèn)，先進(jìn)先出的原則Capacity schedular :計(jì)算能力調(diào)度器，選擇占用最小、優(yōu)先級(jí)高的先執(zhí)行，依此類推。Fair schedular: 公平調(diào)度，所有的job 具有相同的資源。5.0請(qǐng)列出你在工作中使用過的開發(fā)答： java， hivemapreduce 的語(yǔ)言6.0當(dāng)前日志采樣格式為a , b , c , db , b , f , ea , a , c , f請(qǐng)你用最熟悉的語(yǔ)言編寫mapreduce，計(jì)算第四列每個(gè)元素出現(xiàn)的個(gè)數(shù)Staticfinal String答：public class WordCount1 pu

5、blic static final String INPUT_PATH = "hdfs:/hadoop0:9000/in"public static final String OUT_PATH = "hdfs:/hadoop0:9000/out"public static void main(String args) throws Exception Configuration conf = new Configuration();FileSystem fileSystem = FileSystem.get(conf);if(fileSystem.exi

6、sts(new Path(OUT_PA TH)fileSystem.delete(new Path(OUT_PA TH),true);/1.0 讀取文件，解析成key,value 對(duì)FileInputFormat.setInputPaths(job,new Path(INPUT_PA TH);/2.0 寫上自己的邏輯，對(duì)輸入的可以，value進(jìn)行處理，轉(zhuǎn)換成新的key,value 對(duì)進(jìn)行輸出job.setMapperClass(MyMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(Long

7、Writable.class);/3.0 對(duì)輸出后的數(shù)據(jù)進(jìn)行分區(qū)/4.0 對(duì)分區(qū)后的數(shù)據(jù)進(jìn)行排序，分組，相同key 的 value 放到一個(gè)集合中/5.0 對(duì)分組后的數(shù)據(jù)進(jìn)行規(guī)約/6.0 對(duì)通過網(wǎng)絡(luò)將map 輸出的數(shù)據(jù)拷貝到reduce 節(jié)點(diǎn)/7.0 寫上自己的reduce 函數(shù)邏輯，對(duì)map 輸出的數(shù)據(jù)進(jìn)行處理job.setReducerClass(MyReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class); FileOutputFormat.setOutputP

8、ath(job, new Path(OUT_PA TH); job.waitForCompletion(true);static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> OverrideString split = v1.toString().split("t");for(String words :split)context.write(split3, 1);static class MyReducer extends Reducer<Text, Long

9、Writable, Text, LongWritable>Long count = 0L;for(LongWritable time : v2)count += time.get();context.write(v2, new LongWritable(count);7.0你認(rèn)為用 java ， streaming ， pipe 方式開發(fā) map/reduce ， 各有哪些優(yōu)點(diǎn)就用過 java 和 hiveQL 。Java 寫 mapreduce 可以實(shí)現(xiàn)復(fù)雜的邏輯，如果需求簡(jiǎn)單，則顯得繁瑣。HiveQL 基本都是針對(duì) hive 中的表數(shù)據(jù)進(jìn)行編寫，但對(duì)復(fù)雜的邏輯很難進(jìn)行實(shí)現(xiàn)。寫起來簡(jiǎn)單

10、。8.0hive 有哪些方式保存元數(shù)據(jù)，各有哪些優(yōu)點(diǎn)三種：內(nèi)存數(shù)據(jù)庫(kù)derby，挺小，不常用。本地mysql 。常用遠(yuǎn)程端mysql 。不常用上網(wǎng)上找了下專業(yè)名稱：single user mode.multi user mode.remote user mode9.0 請(qǐng)簡(jiǎn)述 hadoop 怎樣實(shí)現(xiàn)二級(jí)排序第一種方法是， Reducer 將給定 key 的所有值都緩存起來，然后對(duì)它們?cè)僮鲆粋€(gè)Reducer內(nèi)排序。 但是，由于 Reducer 需要保存給定key 的所有值， 可能會(huì)導(dǎo)致出現(xiàn)內(nèi)存耗盡的錯(cuò)誤。第二種方法是，將值的一部分或整個(gè)值加入原始key，生成一個(gè)合成key。這兩種方法各有優(yōu)勢(shì)，第

11、一種方法可能會(huì)更快一些(但有內(nèi)存耗盡的危險(xiǎn)) ，第二種方法則是將排序的任務(wù)交給 MapReduce 框架，更符合 Hadoop/Reduce 的設(shè)計(jì)思想。這篇文章里選擇的是第二種。我們將編寫一個(gè) Partitioner ，確保擁有相同 key( 原始 key ，不包括添加的部分 )的所有數(shù)據(jù)被發(fā)往同一個(gè) Reducer，還將編寫一個(gè) Comparator ，以便數(shù)據(jù)到達(dá) Reducer 后即按原始 key 分組。10.簡(jiǎn)述 hadoop 實(shí)現(xiàn) jion 的幾種方法利用 dataJoin 來實(shí)現(xiàn) mapreduce 的 jion 問題。11.0 請(qǐng)用 java 實(shí)現(xiàn)非遞歸二分查詢1. publi

12、c class BinarySearchClass2. 3.4. public static int binary_search(int array, int value)5. 6.intbeginIndex= 0;/低位下標(biāo)7.intendIndex= array.length - 1;/高位下標(biāo)8.intmidIndex= -1;9.while (beginIndex<= endIndex) 10.midIndex= beginIndex + (endIndex - beginIndex) / 2;/防止溢出11.if (value= arraymidIndex) 12.return

13、 midIndex;13. else if (value< arraymidIndex) 14.endIndex = midIndex- 1;15. else 16.beginIndex=midIndex+ 1;17. 18. 19. return -1;20. /找到了，返回找到的數(shù)值的下標(biāo)，沒找到，返回 -121. 22.23.24./start提示：自動(dòng)閱卷起始唯一標(biāo)識(shí)，請(qǐng)勿刪除或增加。25. public static void main(String args)26. 27.28.intmyArray =new int 1, 2, 3, 5, 6, 7, 8, 9 ;29.Sy

14、stem.out.println("查找數(shù)字 8 的下標(biāo)： ");30.31. 32. /end /提示：自動(dòng)閱卷結(jié)束唯一標(biāo)識(shí)，請(qǐng)勿刪除或增加。33. 12.0 請(qǐng)簡(jiǎn)述mapreduce 中的combine和partion的作用答： combiner 是發(fā)生在map 的最后一個(gè)階段，其原理也是一個(gè)小型的reducer，主要作用是減少輸出到reduce 的個(gè)數(shù)，減少reducer 的輸入，提高reducer 的執(zhí)行效率。Partion 的主要作用就是指定輸出到13.0 hive 內(nèi)部表和外部表的區(qū)別reduce 的個(gè)數(shù)的。Hive 創(chuàng)建內(nèi)部表時(shí)，會(huì)將數(shù)據(jù)移動(dòng)到數(shù)據(jù)倉(cāng)庫(kù)指向的路

15、徑；若創(chuàng)建外部表，僅記錄數(shù)據(jù)所在的路徑，不對(duì)數(shù)據(jù)的位置做任何改變。在刪除表的時(shí)候，內(nèi)部表的元數(shù)據(jù)和數(shù)據(jù)會(huì)被一起刪除，而外部表只刪除元數(shù)據(jù)， 不刪除數(shù)據(jù)。 這樣外部表相對(duì)來說更加安全些， 數(shù)據(jù)組織也更加靈活，方便共享源數(shù)據(jù)。14. Hbase 的 rowKey 怎么創(chuàng)建比較好？列簇怎么創(chuàng)建比較好？答： rowKey 最好要?jiǎng)?chuàng)建有規(guī)則的 rowKey ，即最好是有序的。 HBase 中一張表最好只創(chuàng)建一到兩個(gè)列族比較好，因?yàn)?HBase 不能很好的處理多個(gè)列族。15. 用 mapreduce 怎么處理數(shù)據(jù)傾斜問題在 mapreduce聚合 key 中所有 values 的時(shí)候，如果一個(gè)key 對(duì)應(yīng)

16、了很多values ，就會(huì)產(chǎn)生數(shù)據(jù)傾斜的問題。數(shù)據(jù)傾斜主要就是某個(gè)key 下面對(duì)應(yīng)的value 太多，導(dǎo)致某個(gè)reduce節(jié)點(diǎn)執(zhí)行的數(shù)據(jù)過多，然后產(chǎn)生某個(gè)或者某幾個(gè)reduce 節(jié)點(diǎn)的執(zhí)行效率過低，導(dǎo)致整個(gè)集群中的任務(wù)執(zhí)行效率較慢，可以使用partion 對(duì)數(shù)據(jù)過多的節(jié)點(diǎn)進(jìn)行再劃分，劃分成多個(gè)小的數(shù)據(jù)塊，輸入到reduce 進(jìn)行處理。16. hadoop 框架怎么來優(yōu)化答： hadoop 優(yōu)化的范圍太寬泛了，可以從某個(gè)方面具體來談一談，比如說和列族的創(chuàng)建的來進(jìn)行數(shù)據(jù)存儲(chǔ)的優(yōu)化，可以從網(wǎng)絡(luò)的拷貝對(duì)數(shù)據(jù)的優(yōu)化，HBase 的 rowKey可以從 mapreduce對(duì)數(shù)據(jù)的處理來談優(yōu)化，可以從參數(shù)方

17、面來說優(yōu)化等。17. hbase 內(nèi)部機(jī)制是什么答：內(nèi)部機(jī)制更多的是借助 nosql 數(shù)據(jù)的關(guān)系模型，是建立的性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫(kù)系統(tǒng)。hdfs 之上，提供高可靠性、高18. 我們?cè)陂_發(fā)分布式計(jì)算job的時(shí)候，是否可以去掉reduce 階段答：可以，例如我們的集群就是為了存儲(chǔ)文件而設(shè)計(jì)的，不涉及到數(shù)據(jù)的計(jì)算，就可以將mapReduce 都省掉。19 hdfs 的數(shù)據(jù)壓縮算法答：可以使用sequenceFile 和 mapFile 來對(duì)小文件進(jìn)行壓縮，壓縮成大文件，然后存儲(chǔ)，減輕 namenode 的內(nèi)存壓力。20. mapreduce 的調(diào)度模式答：公平調(diào)度模式和容量調(diào)度模式

18、21. hive 底層與數(shù)據(jù)庫(kù)交互原理答： hive 有一套自己的sql 解析引擎，稱為metastore，存儲(chǔ)在可以將 sql 語(yǔ)句轉(zhuǎn)化為mapreducejob 任務(wù)執(zhí)行。mysql或者derby數(shù)據(jù)庫(kù)中，22. hbase 過濾器實(shí)現(xiàn)原則答：過濾器必須實(shí)現(xiàn) HBase Jar 包中的 Filter 接口，或者繼承擴(kuò)展一個(gè)實(shí)現(xiàn)了該接口的抽象類23. reduce 之后數(shù)據(jù)的輸出量有多大24. 現(xiàn)場(chǎng)出問題測(cè)試 mapreduce 掌握情況和 hive 的 ql 語(yǔ)言掌握情況25.datanode 在什么情況下不會(huì)備份數(shù)據(jù)答：在配置文件中設(shè)置文件副本數(shù)為1bine 出現(xiàn)在哪個(gè)過程答： map

19、階段的最后一個(gè)過程。27. hdfs 的體系結(jié)構(gòu)答： HDFS 采用了主從（Master/Slave）結(jié)構(gòu)模型，一個(gè)HDFS 集群是由一個(gè)NameNode若干個(gè) DataNode 組成的。其中NameNode 作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對(duì)文件的訪問操作；集群中的DataNode 管理存儲(chǔ)的數(shù)據(jù)和28. flush 的過程答： flush 是在內(nèi)存的基礎(chǔ)上進(jìn)行的，首先寫入文件的時(shí)候，會(huì)先將文件寫到內(nèi)存中，當(dāng)內(nèi)存寫滿的時(shí)候，就會(huì)清空緩存中的文件，然后一次性的將文件全部都寫到硬盤中去保存。29. 什么是隊(duì)列答：隊(duì)列就是一個(gè)先進(jìn)先出的過程。30. List 與 set 的區(qū)別答： L

20、ist 和 Set 都是接口。他們各自有自己的實(shí)現(xiàn)類，有無順序的實(shí)現(xiàn)類，也有有順序的實(shí)現(xiàn)類。最大的不同就是List 是可以重復(fù)的。而Set 是不能重復(fù)的。List 適合經(jīng)常追加數(shù)據(jù)，插入，刪除數(shù)據(jù)。但隨即取數(shù)效率比較低。Set 適合經(jīng)常地隨即儲(chǔ)存，插入，刪除。但是在遍歷時(shí)效率比較低。31.數(shù)據(jù)的三范式答：第一范式（）無重復(fù)的列第二范式（ 2NF ）屬性完全依賴于主鍵消除部分子函數(shù)依賴第三范式（ 3NF ）屬性不依賴于其它非主屬性消除傳遞依賴32.三個(gè) datanode 中當(dāng)有一個(gè)datanode 出現(xiàn)錯(cuò)誤時(shí)會(huì)怎樣？答：當(dāng)有一個(gè)datanode 出現(xiàn)錯(cuò)誤的時(shí)候，namenode 會(huì)將那個(gè)data

21、node 上的數(shù)據(jù)拷貝到其他的節(jié)點(diǎn)去進(jìn)行存儲(chǔ)。33.sqoop 在導(dǎo)入數(shù)據(jù)到mysql 中，如何不重復(fù)導(dǎo)入數(shù)據(jù)，如果存在數(shù)據(jù)問題，sqoop 如何處理？答：34.描述一下hadoop 中，有哪些地方使用到了緩存機(jī)制，作用分別是什么？答：緩存機(jī)制就是DistributedCash ，就是在 job 任務(wù)執(zhí)行前，將需要的文件拷貝到上進(jìn)行緩存，提高mapreduce 的執(zhí)行效率。Task 機(jī)器35.MapReduce 優(yōu)化經(jīng)驗(yàn)答： (1.)設(shè)置合理的map 和 reduce 的個(gè)數(shù)。(2.)避免出現(xiàn)數(shù)據(jù)傾斜(bine 函數(shù)(4.對(duì)數(shù)據(jù)進(jìn)行壓縮，避免大量的小文件36.請(qǐng)列舉出曾經(jīng)修改過的/etc/下面

22、的文件，并說明修改要解決什么問題？答： /etc/profile這個(gè)文件，主要是用來配置環(huán)境變量。讓hadoop 命令可以在任意目錄下面執(zhí)行。37.請(qǐng)描述一下開發(fā)過程中如何對(duì)上面的程序進(jìn)行性能分析，對(duì)性能分析進(jìn)行優(yōu)化的過程。38. 現(xiàn)有1 億個(gè)整數(shù)均勻分布，如果要得到前1K 個(gè)最大的數(shù)，求最優(yōu)的算法。我先說下我的想法:分塊，比如分1W塊，每塊1W 個(gè)，然后分別找出每塊最大值，從這最大的1W 個(gè)值中找最大1K 個(gè)，那么其他的9K個(gè)最大值所在的塊即可扔掉，從剩下的最大的1K 個(gè)值所在的塊中找前1K個(gè)即可。那么原問題的規(guī)模就縮小到了1/10。問題：（ 1）這種分塊方法的最優(yōu)時(shí)間復(fù)雜度。（ 2）如何分

23、塊達(dá)到最優(yōu)。比如也可分10W 塊，每塊 1000 個(gè)數(shù)。則問題規(guī)模可降到原來1/100。但事實(shí)上復(fù)雜度并沒降低。39.mapreduce 的大致流程答：主要分為八個(gè)步驟1.0讀取文件，解析成 key,value 對(duì)2.0自定義 map 函數(shù)3.0對(duì) map 輸出的數(shù)據(jù)進(jìn)行分區(qū)4.0對(duì)分區(qū)后的數(shù)據(jù)進(jìn)行排序分組5.0對(duì)分組后的數(shù)據(jù)進(jìn)行規(guī)約6.0通過網(wǎng)絡(luò)拷貝，將 map 輸出的數(shù)據(jù)拷貝到reduce 節(jié)點(diǎn)7.0自定義 reduce 函數(shù)，對(duì) map 輸入的 key,value 對(duì)進(jìn)一步的處理8.0對(duì)處理后的數(shù)據(jù)進(jìn)行輸出40. combiner 和 partion 的作用答： combiner 主要是

24、用來減少輸入到reduce 階段的數(shù)據(jù)Partion 作用主要是對(duì)map 處理的數(shù)據(jù)進(jìn)行分區(qū)，可以解決數(shù)據(jù)傾斜的問題。41.用mapreduce 實(shí)現(xiàn)sql語(yǔ)selectcount (x)fromagroupby b;42.用 mapreduce 如何實(shí)現(xiàn)兩張表連接，有哪些方法。43.知道m(xù)apreduce大致流程，map,shuffle, reduce44.搭建 hadoop 集群， master 和 slaves 都運(yùn)行哪些服務(wù)答： master 主要是運(yùn)行我們的主節(jié)點(diǎn)，slaves 主要是運(yùn)行我們的從節(jié)點(diǎn)。45. hadoop 參數(shù)調(diào)優(yōu)46. pig,latin,hive 語(yǔ)法有什么不同

25、答：47.描述 Hbase， ZooKeeper 搭建過程48.hadoop 運(yùn)行原理答： hadoop 的主要核心是由兩部分組成， HDFS 和 mapreduce，首先 HDFS 的原理就是分布式的文件存儲(chǔ)系統(tǒng)，將一個(gè)大的文件，分割成多個(gè)小的文件，進(jìn)行存儲(chǔ)在多臺(tái)服務(wù)器上。Mapreduce 的原理就是使用JobTracker展開， reduce 是匯總處理后的結(jié)果。和TaskTracker 來進(jìn)行作業(yè)的執(zhí)行。Map就是將任務(wù)49.mapreduce 的原理答：mapreduce 的原理就是將一個(gè)MapReduce 框架由一個(gè)單獨(dú)的master JobTracker 和每個(gè)集群節(jié)點(diǎn)一個(gè)sla

26、ve TaskTracker 共同組成。 master 負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些的slave 上， master 監(jiān)控它們的執(zhí)行，重新執(zhí)行已經(jīng)失敗的任務(wù)。而slave 僅負(fù)責(zé)執(zhí)行由maste指派的任務(wù)。50.HDFS 存儲(chǔ)機(jī)制答： HDFS 主要是一個(gè)分布式的文件存儲(chǔ)系統(tǒng)，由namenode 來接收用戶的操作請(qǐng)求，然后根據(jù)文件大小，以及定義的block 塊的大小，將大的文件切分成多個(gè)block 塊來進(jìn)行保存51.舉一個(gè)例子說明mapreduce 是怎么運(yùn)行的。52.如何確認(rèn)hadoop 集群的健康狀況答：使用 JPS 命令來查看各個(gè)節(jié)點(diǎn)運(yùn)行的進(jìn)程是否正常。53.mapreduce

27、作業(yè)，不讓reduce 輸出，用什么代替reduce 的功能。54.hive 如何調(diào)優(yōu)答： hive 最終都會(huì)轉(zhuǎn)化為 mapreduce 的 job 來運(yùn)行，要想hive 調(diào)優(yōu)，實(shí)際上就是 mapreduce調(diào)優(yōu)，可以有下面幾個(gè)方面的調(diào)優(yōu)。解決收據(jù)傾斜問題，減少job 數(shù)量，設(shè)置合理的 map和 reduce 個(gè)數(shù)，對(duì)小文件進(jìn)行合并，優(yōu)化時(shí)把我整體，單個(gè)task 最優(yōu)不如整體最優(yōu)。按照一定規(guī)則分區(qū)。55.hive 如何控制權(quán)限56.56.HBase 寫數(shù)據(jù)的原理是什么？答：57.hive 能像關(guān)系型數(shù)據(jù)庫(kù)那樣建多個(gè)庫(kù)嗎？答：當(dāng)然能了。58.HBase 宕機(jī)如何處理答：宕機(jī)分為HMaster 宕

28、機(jī)和 HRegisoner 宕機(jī)，如果是HRegisoner 宕機(jī)， HMaster 會(huì)將其所管理的region 重新分布到其他活動(dòng)的RegionServer 上，由于數(shù)據(jù)和日志都持久在HDFS中，該操作不會(huì)導(dǎo)致數(shù)據(jù)丟失。所以數(shù)據(jù)的一致性和安全性是有保障的。如果是HMaster宕機(jī)， HMaster 沒有單點(diǎn)問題，HBase 中可以啟動(dòng)多個(gè)HMaster ，通過Zookeeper 的 Master Election個(gè) HMaster 在對(duì)外提供服務(wù)。機(jī)制保證總有一個(gè)Master 運(yùn)行。即ZooKeeper會(huì)保證總會(huì)有一59.假設(shè)公司要建一個(gè)數(shù)據(jù)中心，你會(huì)如何處理？60. 單項(xiàng)選擇題1. 下面哪

29、個(gè)程序負(fù)責(zé)HDFS 數(shù)據(jù)存儲(chǔ)。 答案 Ca)NameNodeb)Jobtrackerc)Datanode d)secondaryNameNodee)tasktracker2. HDfS 中的 block 默認(rèn)保存幾份？ 答案 Aa)3份b)2份 c)1份 d)不確定3. 下列哪個(gè)程序通常與 NameNode 在一個(gè)節(jié)點(diǎn)啟動(dòng)？ 答案 C a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker4. Hadoop作者答案 Da)Martin Fowler b)Kent Beck c)Doug cutting5. HDFS默認(rèn)Block Si

30、ze答案Ba)32MBb)64MB c)128MB6.下列哪項(xiàng)通常是集群的最主要瓶頸答案D編者QQ ：104019525319a)CPUb)網(wǎng)絡(luò)c)磁盤d)內(nèi)存7. 關(guān)于 SecondaryNameNode 哪項(xiàng)是正確的？ 答案 Ca)它是NameNode的熱備b) 它對(duì)內(nèi)存沒有要求c)它的目的是幫助NameNoded)SecondaryNameNode應(yīng)與合并編輯日志，減少NameNodeNameNode部署到一個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)間多選題：8. 下列哪項(xiàng)可以作為集群的管理工具答案ABCDa)Puppet b)Pdsh c)Cloudera Managerd)Zookeeper9. 配置機(jī)架感知的下

31、面哪項(xiàng)正確答案 ABCa)如果一個(gè)機(jī)架出問題，不會(huì)影響數(shù)據(jù)讀寫b)寫入數(shù)據(jù)的時(shí)候會(huì)寫到不同機(jī)架的DataNode中c)MapReduce會(huì)根據(jù)機(jī)架獲取離自己比較近的網(wǎng)絡(luò)數(shù)據(jù)10. Client端上傳文件的時(shí)候下列哪項(xiàng)正確答案 ABCa)數(shù)據(jù)經(jīng)過 NameNode傳遞給DataNodeb)Client端將文件切分為Block ，依次上傳c)Client只上傳數(shù)據(jù)到一臺(tái)DataNode，然后由NameNode 負(fù)責(zé) Block復(fù)制工作11. 下列哪個(gè)是Hadoop運(yùn)行的模式答案 ABCa)單機(jī)版b)偽分布式c)分布式12. Cloudera 提供哪幾種安裝 CDH 的方法 答案 ABCD a)Cl

32、oudera manager b)Tar ball c)Yum d)Rpm判斷題：13. Ganglia 不僅可以進(jìn)行監(jiān)控，也可以進(jìn)行告警。 （ ）14.Block Size 是不可以修改的。 （）15.Nagios 不可以監(jiān)控 Hadoop集群，因?yàn)樗惶峁〩adoop 支持。（）16. 如果 NameNode 意外終止， SecondaryNameNode 會(huì)接替它使集群繼續(xù)工作。 （ ）17. Cloudera CDH是需要付費(fèi)使用的。 （）18. Hadoop是Java開發(fā)的，所以MapReduce只支持Java語(yǔ)言編寫。（）19. Hadoop 支持?jǐn)?shù)據(jù)的隨機(jī)讀寫。 （ ）20. N

33、ameNode 負(fù)責(zé)管理 metadata， client 端每次讀寫請(qǐng)求，它都會(huì)從磁盤中讀取或則會(huì)寫入 metadata 信息并反饋 client 端。（ ）21. NameNode本地磁盤保存了Block的位置信息。 （）22. DataNode 通過長(zhǎng)連接與NameNode 保持通信。（ ）23. Hadoop 自身具有嚴(yán)格的權(quán)限管理和安全措施保障集群正常運(yùn)行。（ ）24. Slave 節(jié)點(diǎn)要存儲(chǔ)數(shù)據(jù)，所以它的磁盤越大越好。（ ）25. hadoop dfsadmin report命令用于檢測(cè)HDFS損壞塊。（）26. Hadoop默認(rèn)調(diào)度器策略為FIFO （）27.集群內(nèi)每個(gè)節(jié)點(diǎn)都應(yīng)該

34、配RAID ，這樣避免單磁盤損壞，影響整個(gè)節(jié)點(diǎn)運(yùn)行。（）28. 因?yàn)?HDFS 有多個(gè)副本，所以NameNode 是不存在單點(diǎn)問題的。 （ ）29. 每個(gè) map 槽就是一個(gè)線程。 （ ）30. Mapreduce的input split就是一個(gè)block 。（）31. NameNode 的 Web UI 端口是 50030，它通過 jetty 啟動(dòng)的 Web 服務(wù)。（ ）編者 QQ ：10401952532132. Hadoop環(huán)境變量中的HADOOP_HEAPSIZE用于設(shè)置所有Hadoop守護(hù)線程的內(nèi)存。它默認(rèn)是200 GB。（）33. DataNode 首次加入 cluster 的時(shí)候

35、，如果log 中報(bào)告不兼容文件版本，那需要NameNode執(zhí)行“ Hadoop namenode -format ”操作格式化磁盤。 （）全部都是錯(cuò)誤滴61. 、 datanode 首次加入cluster 的時(shí)候，如果log 報(bào)告不兼容文件版本，那需要namenode執(zhí)行格式化操作，這樣處理的原因是？答：62. 談?wù)剶?shù)據(jù)傾斜，如何發(fā)生的，并給出優(yōu)化方案答：數(shù)據(jù)傾斜主要是因?yàn)樵诩褐校硞€(gè) map 任務(wù)的 key 對(duì)應(yīng)的 value 的值遠(yuǎn)遠(yuǎn)多于其他節(jié)點(diǎn)的 key 所應(yīng)對(duì)的值， 導(dǎo)致某個(gè)節(jié)點(diǎn)的mapreduce 執(zhí)行效率會(huì)比較慢，那么解決數(shù)據(jù)傾斜的最根本原因就是避免某個(gè)節(jié)點(diǎn)上執(zhí)行任務(wù)的數(shù)據(jù)量過大

36、，我們可以使用map 階段的 partion對(duì)過大的數(shù)據(jù)塊進(jìn)行分區(qū)，將一個(gè)大的數(shù)據(jù)塊分成多個(gè)小的文件，然后來執(zhí)行mapreduce，這樣就可以解決mapreduce 的數(shù)據(jù)傾斜的問題了。63. 談?wù)刪adoop1和hadoop2的區(qū)別答：首先hadoop1 的主要結(jié)構(gòu)是由HDFS和 mapreduce 組成的， HDFS主要是用來存儲(chǔ)數(shù)據(jù)，mapreduce 主要是用來計(jì)算的， 那么 HDFS 的數(shù)據(jù)是由namenode 來存儲(chǔ)元數(shù)據(jù)信息， datanode來存儲(chǔ)數(shù)據(jù)的。 Jobtracker 接收用戶的操作請(qǐng)求之后去分配資源執(zhí)行 task 任務(wù)。在 hadoop2 中，首先避免了 namen

37、ode 單點(diǎn)故障的問題， 使用兩個(gè) namenode 來組成 namenode feduration 的機(jī)構(gòu)，兩個(gè) namenode 使用相同的命名空間，一個(gè)是 standby 狀態(tài)，一個(gè)是 active 狀態(tài)。用戶訪問的時(shí)候，訪問 standby 狀態(tài)，并且，使用 journalnode 來存儲(chǔ)數(shù)據(jù)的原信息，一個(gè)namenode 負(fù)責(zé)讀取 journalnode 中的數(shù)據(jù)，一個(gè) namenode 負(fù)責(zé)寫入 journalnode 中的數(shù)據(jù)，這個(gè)平臺(tái)組成了 hadoop 的 HA 就是 high availableAbility 高可靠。然后在 hadoop2 中沒有了jobtracker 的

38、概念了，統(tǒng)一的使用yarn 平臺(tái)來管理和調(diào)度資源，yarn 平臺(tái)是由 resourceManager和 NodeManager 來 共 同 組 成的 ， ResourceManager 來 接 收用 戶 的 操 作 請(qǐng)求 之 后 ， 去NodeManager 上面啟動(dòng)一個(gè)主線程負(fù)責(zé)資源分配的工作，然后分配好了資源之后告知ResourceManager，然后 ResourceManager 去對(duì)應(yīng)的機(jī)器上面執(zhí)行 task 任務(wù)。64. 說說值對(duì)象與引用對(duì)象的區(qū)別？65. 談?wù)勀銓?duì)反射機(jī)制的理解及其用途？答： java 中的反射，首先我們寫好的類，經(jīng)過編譯之后就編程了.class 文件，我們可以獲

39、取這個(gè)類的 .class 文件，獲取之后，再來操作這個(gè)類。這個(gè)就是java 的反射機(jī)制。66. ArrayList 、 Vector 、LinkedList的區(qū)別及其優(yōu)缺點(diǎn)？HashMap、 HashTable 的區(qū)別及其優(yōu)缺點(diǎn)？答：ArrayList和 Vector 是采用數(shù)組方式存儲(chǔ)數(shù)據(jù)，Vector 由于使用了synchronized方法（線程安全）所以性能上比 ArrayList 要差， LinkedList 使用雙向鏈表實(shí)現(xiàn)存儲(chǔ)， 按序號(hào)索引數(shù)據(jù)需要進(jìn)行向前或向后遍歷，但是插入數(shù)據(jù)時(shí)只需要記錄本項(xiàng)的前后項(xiàng)即可，所以插入數(shù)度較快！HashMap 和 HashTable：Hashtabl

40、e的方法是同步的，而HashMap的方法不是， Hashtable是基于陳舊的 Dictionary 類的，HashMap 是 Java 1.2 引進(jìn)的 Map 接口的一個(gè)實(shí)現(xiàn)。 HashMap 是一個(gè)線程不同步的， 那么就意味著執(zhí)行效率高， HashTable 是一個(gè)線程同步的就意味著執(zhí)行效率低，但是 HashMap 也可以將線程進(jìn)行同步，這就意味著，我們以后再使用中，盡量使用 HashMap 這個(gè)類。67. 文件大小默認(rèn)為 64M ，改為 128M 有啥影響？答：更改文件的block 塊大小， 需要根據(jù)我們的實(shí)際生產(chǎn)中來更改block 的大小， 如果 block定義的太小，大的文件都會(huì)被切

41、分成太多的小文件，減慢用戶上傳效率，如果block 定義的太大，那么太多的小文件可能都會(huì)存到一個(gè)block 塊中，雖然不浪費(fèi)硬盤資源，可是還是會(huì)增加 namenode 的管理內(nèi)存壓力。68. NameNode 與 SecondaryNameNode的區(qū)別與聯(lián)系？答： secondaryNameNode 更像是 Namenode 的一個(gè)冷備份，當(dāng)namenode 宕機(jī)之后，可以從SecondaryNamenode 上面恢復(fù)部分?jǐn)?shù)據(jù)。69. RPC 原理？答： 1.調(diào)用客戶端句柄；執(zhí)行傳送參數(shù)2.調(diào)用本地系統(tǒng)內(nèi)核發(fā)送網(wǎng)絡(luò)消息3.消息傳送到遠(yuǎn)程主機(jī)4.服務(wù)器句柄得到消息并取得參數(shù)5.執(zhí)行遠(yuǎn)程過程6.

42、執(zhí)行的過程將結(jié)果返回服務(wù)器句柄7.服務(wù)器句柄返回結(jié)果，調(diào)用遠(yuǎn)程系統(tǒng)內(nèi)核8.消息傳回本地主機(jī)9.客戶句柄由內(nèi)核接收消息10.客戶接收句柄返回的數(shù)據(jù)70. 對(duì) Hadoop 有沒有調(diào)優(yōu)經(jīng)驗(yàn)，沒有什么使用心得？（調(diào)優(yōu)從參數(shù)調(diào)優(yōu)講起）Mapredure：71. .MapReduce 出現(xiàn)單點(diǎn)負(fù)載多大，怎么負(fù)載平衡？（可以用Partitioner ）答：可以用partioner 進(jìn)行分區(qū)操作，將大數(shù)據(jù)分成多個(gè)小數(shù)據(jù)進(jìn)行逐一處理。72 以你的實(shí)際經(jīng)驗(yàn)，說下怎樣預(yù)防全表掃描答：1.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行 null 值判斷，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描2.應(yīng)盡量避免在where

43、 子句中使用 != 或 <>操作符，否則將引擎放棄使用索引而進(jìn)行全表掃3.描應(yīng)盡量避免在where 子句中使用or 來連接條件， 否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描4.in 和 notin，用具體的字段列表代替，不要返回用不到的任何字段。in 也要慎用，否則會(huì)導(dǎo)致全表掃描5.避免使用模糊查詢6.任何地方都不要使用select * from t73. zookeeper 優(yōu)點(diǎn)，用在什么場(chǎng)合答：74.Hive 中的metastore 用來做什么的？答： metastore 是一套映射工具，將sql 語(yǔ)句轉(zhuǎn)換成對(duì)應(yīng)的job 任務(wù)去進(jìn)行執(zhí)行。75.把公鑰都追加到授權(quán)文件的命令？該命令

44、是否在root 用戶下執(zhí)行？答：不是。76. HadoopHA 集群中各個(gè)服務(wù)的啟動(dòng)和關(guān)閉的順序？答：77. 在 hadoop 開發(fā)過程中使用過哪些算法？其應(yīng)用場(chǎng)景是什么？答：排序分組。78. 在實(shí)際工作中使用過哪些集群的運(yùn)維工具，請(qǐng)分別闡述期作用。答： ZooKeeper ，以及 shell79. 一臺(tái)機(jī)器如何應(yīng)對(duì)那么多的請(qǐng)求訪問，高并發(fā)到底怎么實(shí)現(xiàn)，一個(gè)請(qǐng)求怎么產(chǎn)生的，在服務(wù)端怎么處理的，最后怎么返回給用戶的，整個(gè)的環(huán)節(jié)操作系統(tǒng)是怎么控制的？80. java 是傳值還是傳址？答：引用傳遞。81. 問：你們的服務(wù)器有多少臺(tái)？82. 問：你們服務(wù)器的內(nèi)存多大？83. hbase 怎么預(yù)分區(qū)？8

45、4. hbase 怎么給 web 前臺(tái)提供接口來訪問（ HTABLE 可以提供對(duì) HBase 的訪問，但是怎么查詢同一條記錄的多個(gè)版本數(shù)據(jù)）？答：使用 HTable 來提供對(duì)HBase 的訪問，可以使用時(shí)間戳來記錄一條數(shù)據(jù)的多個(gè)版本。85. .htable API有沒有線程安全問題，在程序中是單例還是多例？86. 你們的數(shù)據(jù)是用什么導(dǎo)入到數(shù)據(jù)庫(kù)的？導(dǎo)入到什么數(shù)據(jù)庫(kù)？處理之前的導(dǎo)入：通過 hadoop 命令導(dǎo)入到 hdfs 文件系統(tǒng)處理完成之后的導(dǎo)出：利用hive 處理完成之后的數(shù)據(jù)，通過sqoop 導(dǎo)出到mysql 數(shù)據(jù)庫(kù)中，以供報(bào)表層使用。87. 你們業(yè)務(wù)數(shù)據(jù)量多大？有多少行數(shù)據(jù)？(面試了三

46、家，都問這個(gè)問題)開發(fā)時(shí)使用的是部分?jǐn)?shù)據(jù)，不是全量數(shù)據(jù)，有將近一億行（8、 9 千萬，具體不詳，一般開發(fā)中也沒人會(huì)特別關(guān)心這個(gè)問題）88. 你們處理數(shù)據(jù)是直接讀數(shù)據(jù)庫(kù)的數(shù)據(jù)還是讀文本數(shù)據(jù)？將日志數(shù)據(jù)導(dǎo)入到 hdfs 之后進(jìn)行處理89. 你們寫 hive 的 hql 語(yǔ)句，大概有多少條？不清楚，我自己寫的時(shí)候也沒有做過統(tǒng)計(jì)90. 你們提交的 job 任務(wù)大概有多少個(gè)？這些 job 執(zhí)行完大概用多少時(shí)間？ ( 面試了三家，都問這個(gè)問題 )沒統(tǒng)計(jì)過，加上測(cè)試的，會(huì)與很多91. hive 跟 hbase 的區(qū)別是？答： hive 說白了就是一個(gè)簡(jiǎn)化的mapreduce，使用 hive 來寫 sql 語(yǔ)

47、句，然后92. 你在項(xiàng)目中主要的工作任務(wù)是？利用 hive 分析數(shù)據(jù)93. 你在項(xiàng)目中遇到了哪些難題，是怎么解決的？某些任務(wù)執(zhí)行時(shí)間過長(zhǎng)，且失敗率過高，檢查日志后發(fā)現(xiàn)沒有執(zhí)行完就失敗，原因出在hadoop 的 job 的 timeout 過短（相對(duì)于集群的能力來說），設(shè)置長(zhǎng)一點(diǎn)即可94. reduce 后輸出的數(shù)據(jù)量有多大？95. 一個(gè)網(wǎng)絡(luò)商城 1 天大概產(chǎn)生多少 G 的日志？ 4tb96. 大概有多少條日志記錄（在不清洗的情況下）？7-8 百萬條97. 日訪問量大概有多少個(gè)？百萬98. 注冊(cè)數(shù)大概多少？不清楚幾十萬吧99. 我們的日志是不是除了apache 的訪問日志是不是還有其他的日志？關(guān)

48、注信息100. 假設(shè)我們有其他的日志是不是可以對(duì)這個(gè)日志有其他的業(yè)務(wù)分析？這些業(yè)務(wù)分析都有什么？101. job 的運(yùn)行流程 (提交一個(gè) job 的流程 ) ？102Hadoop 生態(tài)圈中各種框架的運(yùn)用場(chǎng)景？103. hive 中的壓縮格式RCFile 、 TextFile 、 SequenceFile 各有什么區(qū)別？以上3 種格式一樣大的文件哪個(gè)占用空間大小.等等104 假如： Flume 收集到的數(shù)據(jù)很多個(gè)小文件,我需要寫MR 處理時(shí)將這些文件合并(是在MR中進(jìn)行優(yōu)化 ,不讓一個(gè)小文件一個(gè)MapReduce)他們公司主要做的是中國(guó)電信的流量計(jì)費(fèi)為主,專門寫MR。105. 解釋“ hadoop”和“ hadoop 生態(tài)系統(tǒng)”兩個(gè)概念106. 說