云計算與大數(shù)據(jù)技術（微課版）-實驗指導書 實驗8-8 安裝和部署大數(shù)據(jù)平臺

實驗8-8安裝和部署大數(shù)據(jù)平臺一、實驗目的掌握HDFS、Hive、SparkSQL.Zeppelin.Sqoop等相關大數(shù)據(jù)組件安裝和配置方法二、項目架構ThriftSerwrHZZeppelin日期文件ThriftSerwrHZ日期文件日期文件mofsBHSuperet可11化日期文件用戶打車的訂單數(shù)據(jù)非常龐大。選擇一個大規(guī)模數(shù)據(jù)的分布式文件系統(tǒng)來存儲這些日志文件，基于Hadoop的HDFS文件系統(tǒng)來存儲數(shù)據(jù)。為了方便進行數(shù)據(jù)分析，將這些日志文件的數(shù)據(jù)映射為一張一張的表，基于Hive來構建數(shù)據(jù)倉庫。所有的數(shù)據(jù)，都會在Hive集中進行管理。為了提高數(shù)據(jù)處理的性能。基于Spark引擎來進行數(shù)據(jù)開發(fā)，所有的應用程序都將運行在Spark集群上，保證數(shù)據(jù)被高性能地處理。使用Zeppelin來快速將數(shù)據(jù)進行SQL指令交互。使用Sqoop導出分析后的數(shù)據(jù)到傳統(tǒng)型數(shù)據(jù)庫，便于后期應用。使用Superset來實現(xiàn)數(shù)據(jù)可視化展示。三、實訓內容步驟1.安裝Hive(1)使用MySQL數(shù)據(jù)庫作為Hive的元數(shù)據(jù)存儲，在安裝Hive之前，必須安裝好MySQLoyum-yinstallmysqlmysql-servermysql-delvel(2)安裝好MySQL后上傳已經下載好的Hive到操作系統(tǒng)，然后安裝。tar-zxvf/soft/apache-hive-2.1.0-bin.tar.gz-C/app/(3)修改/exc/profile文件，配置Hive的環(huán)境變量。#HIVE_HOMEexportHIVE_HOME=/app/hiveexportPATH=$PATH:$HIVE_HOME/bin(4)將hive-env.sh.template復制并命名為hive-env.sho修改hive-env.sh文件。HADOOP_HOME=/app/Hadoop/HIVE_CONF_DIR=/app/hive/conf/(5)修改hive-site.xml文件。<value>jdbc:mysql://10:3306/metastore?createDatabaseIfNotExist=true</value><value>root</value><value>123456</value>(6)上傳MySQL驅動程序。將mysql-connector-java-5.1.27-bin上傳至ll/app/hive/lib。(7)初始化Schematooloschematool-dbTypemysql-initSchema(8)啟動Hiveo2.安裝Spark(1)解壓文件。(2)將配置模板文件復制并命名為spark-env.shocpspark-env.sh.templatespark-env.sh(3)修改spark-env.sh文件，在該文件的最后位置添加以下內容。配置Java環(huán)境變量exportJAVA_HOME=/app/java/指定Master的IP地址exportSPARK_MASTER_HOST=Hadoop指定Hadoop的端口exportSPARK_MASTER_PORT=7077.安裝Zeppelin(1)將上傳到操作系統(tǒng)的Zeppelin進行解壓縮。tar-zxvf/soft/zeppelin-0.9.0-previewl-bin-all.tgz-C../app云計算與大數(shù)據(jù)技術(微課版)9198(2)將zeppelin-site.xml.template復制并命名為zeppelin-site.xmlo(3)修改配置文件。<property><name>zeppelin.server.addr</name><value>10</value><description>Serverbindingaddress</description></property><property><name>zeppelin.server.port</name><value>8000</value><description>Serverport.</description></property>(4)將zeppelin-env.sh.template復制并命名為zeppelin-env.shocpzeeplelin-env.sh.templatezeppelin-env.sh(5)修改zeppelin-env.sh配置文件。exportJAVA_HOME=/app/javaexportHADOOP_CONF_DIR=/app/Hadoop/etc/Hadoop(6)進入Zeppelin安裝目錄下的bin目錄啟動Zeppelin。(7)將Hive的配置文件復制到Zeppelin的conf目錄下。cp/app/hive/conf/hive-site.xml/app/zeppelin/conf(8)復制Hive和Hadoop的JAR包到Zeppelin的jdbc目錄下。(9)配置完成。打開瀏覽器，輸入網址http：//10:8000o.安裝Sqoop(1)上傳_hadoop-2.0.4-alpha.tar到操作系統(tǒng)并解壓改名。tar-zxvf/soft/sqoop-1_hadoop-2.0.4-alpha.tar.gz-C/app/(2)編輯/etc/profile文件，添加SQOOP_HOME變量,并且將$SQOOP_HOME/bin添加到PATH變量中。exportSQOOP_HOME=/app/flumeexportPATH=$SQOOP_HOME/bin:$PATH(3)復制并修改Sqoop配置文件。cpsqoop-env-template.shsqoop-env.shexportHADOOP_COMMON_HOME=/app/hadoop/exportHADOOP_MAPRED_HOME=/app/hadoop/exportHIVE_HOME=/app/hive/(4)將MySQL驅動包上傳到Sqoop的lib下.安裝Flume(1)上傳安裝包到操作系統(tǒng)并解壓改名.tar-zxvf/soft/apache-flume-1.8.0-bin.tar.gz-C/app/(2)編輯/etc