大數(shù)據(jù)分析與應(yīng)用基礎(chǔ) 實(shí)驗(yàn)指導(dǎo)書 實(shí)驗(yàn)5、6 基于Hive的MapReduce基礎(chǔ)應(yīng)用實(shí)驗(yàn)、HBase和Spark SQL基本操作

PAGEPAGE1實(shí)驗(yàn)五：基于Hive的MapReduce的基礎(chǔ)應(yīng)用1實(shí)驗(yàn)?zāi)康蘑攀煜ive和MapReduce的基礎(chǔ)架構(gòu)。⑵能連接服務(wù)器，并上傳數(shù)據(jù)。⑶掌握Hive操作數(shù)據(jù)庫(kù)命令。⑷掌握MapReduce操作過程，對(duì)Map、Reduce加深理解。2實(shí)驗(yàn)內(nèi)容給定一個(gè)TXT文檔，部分內(nèi)容如圖4-1所示，里面有一些英文單詞，統(tǒng)計(jì)里面每個(gè)英文單詞出現(xiàn)的次數(shù)。圖4-1部分文檔內(nèi)容3實(shí)驗(yàn)環(huán)境客戶端是Windows系統(tǒng)，需要安裝Xshell以及WinSCP,WinSCP是Windows用于與服務(wù)器文件交互的工具，Xshell是Windows與服務(wù)器指令交互的工具，如圖4-2所示。本次實(shí)驗(yàn)需要在服務(wù)器安裝Hive、MapReduce和Mysql。圖4-2實(shí)驗(yàn)環(huán)境4實(shí)驗(yàn)過程任務(wù)1：熟悉Hive和MapReduce的架構(gòu)Hive的架構(gòu)如圖4-3是一種底層封裝了Hadoop的數(shù)據(jù)倉(cāng)庫(kù)處理工具，Hive中所有的數(shù)據(jù)都存儲(chǔ)在HDFS中，Hive將數(shù)據(jù)存儲(chǔ)后，再調(diào)用MapReduce對(duì)數(shù)據(jù)進(jìn)行處理。圖4-3Hive架構(gòu)MapReduce的架構(gòu)如圖4-4所示，MapReduce首先對(duì)任務(wù)進(jìn)行分割，使用Mapper對(duì)每一部分進(jìn)行相同的處理，然后每一個(gè)Mapper都會(huì)將處理結(jié)果返回給每一個(gè)Reducer,Reducer經(jīng)過處理后，得出結(jié)果并退出。圖4-4MapReduce架構(gòu)任務(wù)2：連接服務(wù)器打開WinSCP，選擇“新建會(huì)話”，首先在“新建會(huì)話”對(duì)話框的紅色區(qū)域，輸入服務(wù)器的IP地址、端口號(hào)、用戶名以及密碼，然后點(diǎn)擊“確定”按鈕，可4-5所示。圖4-5上傳文件到服務(wù)器任務(wù)3：連接服務(wù)器打開打開Xshell，選擇“新建會(huì)話”，首先在“新建會(huì)話”對(duì)話框的紅色區(qū)域，輸入服務(wù)器的IP地址、端口號(hào)、用戶名以及密碼，然后點(diǎn)擊“確定”按鈕，可連接到服務(wù)器，如圖4-6所示。圖4-6連接服務(wù)器任務(wù)4：使用Hive和MapReduce進(jìn)行簡(jiǎn)單計(jì)算輸入命令“cd/data/zhou/Hive/”進(jìn)入指定的文件夾，如圖4-7所示。圖4-7進(jìn)入指定文件夾輸入命令“hive”進(jìn)入Hive環(huán)境下，如圖4-8所示。進(jìn)入該環(huán)境的前提是平臺(tái)已將Hive環(huán)境部署，方可看到圖4-8所示的進(jìn)入信息狀態(tài)。圖4-8進(jìn)入Hive環(huán)境輸入命令“createdatabasewordcount;”創(chuàng)建名字為“wordcount”的數(shù)據(jù)庫(kù)，創(chuàng)建成功會(huì)顯示“OK”及所需時(shí)長(zhǎng)，如圖4-9所示。圖4-9創(chuàng)建“wordcount”數(shù)據(jù)庫(kù)輸入命令“usewordcount;”進(jìn)入“wordcount”數(shù)據(jù)庫(kù)，如圖4-10所示。圖4-10進(jìn)入數(shù)據(jù)庫(kù)輸入命令“createtableword_data(linestring);”在數(shù)據(jù)庫(kù)中創(chuàng)建一個(gè)4-11所示。圖4-11新建表datalocalinpath'/data/zhou/Hive/wordcount.txt'intotableword_data;”加載數(shù)據(jù)，local關(guān)鍵字是因?yàn)閿?shù)據(jù)存放在服務(wù)器下，而不在hive文件加載到表“word_data”中。如圖4-12所示。圖4-12加載服務(wù)器資源到表中輸入命令“select*fromword_data;”查看表word_data中的所有內(nèi)容，該內(nèi)容即從“wordcount.txt”中導(dǎo)入而來，如圖4-13所示。圖4-13查看表中數(shù)據(jù)輸入命令“createtablewords(wordstring);”在數(shù)據(jù)庫(kù)中創(chuàng)建一個(gè)名4-14所示。圖4-14創(chuàng)建表輸入命令“insertintotablewordsselectexplode(split(line,""))aswordfromword_data;”,這個(gè)命令的意思是將表“word_data”中l(wèi)ine這一列的數(shù)據(jù)根據(jù)空格分割，分割后每一個(gè)分割結(jié)果作為一個(gè)值，將這些單詞放入到“words”表的“word”列里面，如圖4-15所示。圖4-15分割單詞到“word列”輸入命令“select*fromwords;”查看“words”表中的所有內(nèi)容，如圖4-16所示。圖4-16查看表中數(shù)據(jù)輸入命令“selectword,count(*)fromwordcount.wordsgroupby任務(wù)完成后得出結(jié)果如圖4-17所示。圖4-17MapReduce處理結(jié)果tablewords;tableword_data;database如圖4-18所示。

圖4-18刪除表和數(shù)據(jù)庫(kù)5實(shí)驗(yàn)小結(jié)本實(shí)驗(yàn)介紹了MapReduce以及HiveHive和MapReduce之間的關(guān)系，理解了MapReduce的工作流程，掌握了如何鏈接并上傳數(shù)據(jù)到服務(wù)器，在服務(wù)器上使用Hive存儲(chǔ)了數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理，最后調(diào)用MapReduce對(duì)字符串?dāng)?shù)據(jù)進(jìn)行計(jì)數(shù)處理。PAGEPAGE1實(shí)驗(yàn)六：HBase和SparkSQL數(shù)據(jù)庫(kù)的基本命令1實(shí)驗(yàn)?zāi)康蘑爬斫釮Base數(shù)據(jù)庫(kù)工作流程。⑵理解SparkSQL數(shù)據(jù)庫(kù)的工作流程。⑶掌握鏈接服務(wù)器，進(jìn)入數(shù)據(jù)庫(kù)的方法。⑷掌握在服務(wù)器上操作HBase數(shù)據(jù)庫(kù)的基本命令。⑸掌握在服務(wù)器上操作SparkSQL數(shù)據(jù)庫(kù)的基本命令。2實(shí)驗(yàn)內(nèi)容HBase（Hadoop不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。SparkSQL是spark用來處理結(jié)構(gòu)化的一個(gè)模塊，它提供一個(gè)抽象的數(shù)據(jù)集DataFrame，并且作為分布式SQL查詢引擎的應(yīng)用。鏈接服務(wù)器，在服務(wù)器上啟動(dòng)并進(jìn)入HBase和SparkSQL數(shù)據(jù)庫(kù)，通過命令存儲(chǔ)數(shù)據(jù)、查看數(shù)據(jù)以及刪除數(shù)據(jù)。3實(shí)驗(yàn)環(huán)境客戶端是Windows系統(tǒng)，需要安裝Xshell以及WinSCP，WinSCP是Windows用于與服務(wù)器文件交互的工具，Xshell是Windows與服務(wù)器指令交互的工具，如圖6-1所示。本次實(shí)驗(yàn)需要在服務(wù)器安裝HBase、SparkSQL。圖6-1實(shí)驗(yàn)環(huán)境4實(shí)驗(yàn)過程任務(wù)1：理解HBase和SparkSQL的架構(gòu)HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群，它通過Zookeeper和Master來管理再作用于分布式文件系統(tǒng)）上，如圖6-2所示。圖6-2HBase基本架構(gòu)SparkSQL首先通過sparkclient提交作業(yè)到ResourceManager，ResourceManager為該作業(yè)分配第一個(gè)NodeManage通信，創(chuàng)建SparkApplicationMaster（每個(gè)SparkContext都有一個(gè)NodeManage啟動(dòng)SparkAppMaster并向ResourceManagerAsM注冊(cè)，用戶就可以通過UI查看作業(yè)情況。ResourceManager通知NodeManage分配container的對(duì)應(yīng)一個(gè)executor），NodeManage準(zhǔn)備資源，并分配給executor,如圖6-3所示。任務(wù)2：鏈接服務(wù)器

圖6-3SparkSQL基本架構(gòu)打開PuTTY在“IPaddress”的輸入欄輸入服務(wù)器的IP地址，在Port中輸入端口號(hào)，然后點(diǎn)擊“Open”按鈕，如圖6-4所示。圖6-4輸入IP和端口號(hào)輸入用戶名和密碼進(jìn)入服務(wù)器，注意在輸入密碼時(shí)，界面不會(huì)有任何顯示，照常輸入回車即可，出現(xiàn)圖中所示信息，說明已經(jīng)成功進(jìn)入服務(wù)器，如圖6-5所示。圖6-5進(jìn)入服務(wù)器任務(wù)3：使用HBase數(shù)據(jù)庫(kù)輸入命令“hbaseshell”啟動(dòng)并進(jìn)入HBase數(shù)據(jù)庫(kù)。如圖6-6所示，表示成功進(jìn)入HBase數(shù)據(jù)庫(kù)顯示信息。圖6-6進(jìn)入HBase數(shù)據(jù)庫(kù)輸入“create變量“cf”的表，如圖6-7所示。圖6-7創(chuàng)建表student6-8所示。

圖6-8查看表student的描述信息輸入“put‘student','Tom','cf:age','18'”則是向表“student”中輸入6-9所示。圖6-9輸入數(shù)據(jù)到student中student6-10所示。圖6-10查看student的數(shù)據(jù)輸入“disable'student'”即可讓表“student”不可用；輸入“drop'student'”則是將表“student”刪除，如圖6-11所示。圖6-11刪除表student輸入“create'scores','grade','course'”重新創(chuàng)建一個(gè)名為“scores”的表，表的屬性有“grade”和“course”兩類，如圖6-12所示。圖6-12創(chuàng)建表scores輸入“put'scores','Tom','grade','1'”、“put'scores','Tom','course:math','85'”、“put'scores','Tom','course:art','80'”向表student中輸入名為Tom，grade為1，math為85，art為80的一條數(shù)據(jù)信息，如圖6-13所示。圖6-13寫數(shù)據(jù)到表scores中用上述同樣的方式在表“scores”中，放入“Jerry”、“Aurth”的兩條數(shù)據(jù)信息，輸入“scan'scores',{STARTROW=>'Aurth',STOPROW=>'Tom'}”可通過套件方式查詢數(shù)據(jù)，起始位置為Aurth，結(jié)束為Tom，這里查詢不包括結(jié)束人Tom，如圖6-14所示。圖6-14條件查詢表scores中的數(shù)據(jù)輸入“disable'scores'”和“drop'scores'”使表“scores”不可用并刪除，如圖6-15所示。圖6-15并刪除表scores任務(wù)4：使用SparkSQL數(shù)據(jù)庫(kù)輸入命令“cd/home/hdfs”進(jìn)入指定文件夾，如圖6-16所示。圖6-16進(jìn)入hdfs文件夾輸入命令“vidataframes.txt”創(chuàng)建“dataframes.txt”并且打開進(jìn)行編輯，如圖6-17所示。圖6-17創(chuàng)建dataframes.txt在“dataframes.txt”文件中輸入如圖6-18所示的數(shù)據(jù)。圖6-18輸入數(shù)據(jù)輸入命令“hadoopfs-put/home/hdfs/dataframes.txt/demo1”將本地的“dataframes.txt”文件傳到hadoop環(huán)境的“demo1”文件夾下，如圖6-19所示。圖6-19移動(dòng)文件6-20所示。圖6-20打開文件6-21所示。圖6-21啟動(dòng)SparkSQLSparkSQL數(shù)據(jù)庫(kù)啟動(dòng)成功的信息界面如圖6-22所示。圖6-22啟動(dòng)成功輸入“vallineRDD=sc.textFile("hdfs:/demol/dataframes.txt").map(_.split(""))”創(chuàng)建一個(gè)射到“l(fā)ineRDD”中，以空格作為分割點(diǎn)，如圖6-23所示。圖6-23數(shù)據(jù)映射輸入“caseclassPersonal(id:Int,name:String,age:Int)”創(chuàng)建一個(gè)名為“Personal”的類，如圖6-24所示。圖6-24創(chuàng)建類輸入“valpersonalRDD=lineRDD.map(x=>Personal(x(0).toInt,x(1),x(2).toInt))”創(chuàng)建一個(gè)變量“