Hive數(shù)據(jù)倉庫應(yīng)用教程習(xí)題答案

項目1認(rèn)識Hive簡述數(shù)據(jù)倉庫特點？答：（1）面向主題、（2）集成、（3）相對穩(wěn)定的、（4）反映歷史變化、（5）高性能查詢簡述Hive架構(gòu)主要組件和功能？答：（1）用戶接口層CLI(HiveShell)：允許用戶通過簡單的命令行工具與Hive進行交互。JDBC/ODBC：ODBC的工具能夠連接到Hive并執(zhí)行查詢。WebUI：通過Web瀏覽器，訪問Hive并執(zhí)行查詢或查看結(jié)果（2）元數(shù)據(jù)(Metastore)存儲了有關(guān)Hive中數(shù)據(jù)的信息，如數(shù)據(jù)庫的名稱、表的定義、列的數(shù)據(jù)類型等（3）Hadoop底層當(dāng)用戶提交查詢時，Hive將這些查詢轉(zhuǎn)化為MapReduce任務(wù)，然后提交給Hadoop進行處理。（4）驅(qū)動器(Driver)驅(qū)動器主要由以下幾個組件組成：解析器(SQLParser)：將用戶提交的SQL查詢字符串轉(zhuǎn)化為抽象語法樹（AST）。檢查這個AST的語法和語義，確保查詢是有效的。編譯器(PhysicalPlan)：將AST轉(zhuǎn)化為邏輯執(zhí)行計劃。這一步確定了如何執(zhí)行查詢。優(yōu)化器(QueryOptimizer)：對邏輯執(zhí)行計劃進行優(yōu)化，以提高查詢的性能。執(zhí)行器(Execution)：將邏輯執(zhí)行計劃轉(zhuǎn)化為物理執(zhí)行計劃，并提交給Hadoop進行實際的計算。項目2Hive環(huán)境搭建一、選擇題1.C2.D3.D4.D5.A二、簡答題1.簡述Hive的部署模式有哪幾種？答：Hive部署模式有內(nèi)嵌模式、本地模式、遠(yuǎn)程模式等3種。2.安裝Hive的時候為什么要配置MySQL數(shù)據(jù)庫？答：Hive通常使用MySQL數(shù)據(jù)庫來進行元數(shù)據(jù)存儲。3.Hive的設(shè)計特性有哪些？答：可擴展性、延展性、容錯性、強大的查詢功能、多種文件格式支持、與Hadoop的無縫集成、多計算引擎的支持三、操作題新建三個虛擬機，主機名為n1(ip為192.168.137.100)，n2(ip為192.168.137.101)，n3(ip為192.168.137.102)，部署高可用全分布式Hadoop，同時部署遠(yuǎn)程模式的Hive。答：一、高可用全分布式Hadoop1.虛擬機準(zhǔn)備主機名稱 IP地址n1 192.168.137.100n2 192.168.137.101n3 192.168.137.1022.配置主機IP映射，每臺機器分別修改/etc/hosts文件，將每個節(jié)點的IP和主機名映射，可以方便地使用主機名進行網(wǎng)絡(luò)訪問，不在需要輸入要訪問節(jié)點地IP地址3.配置集群各節(jié)點SSH免密碼登錄4.安裝jdk并配置jdk環(huán)境變量5.安裝與配置ZooKeeper6.安裝與配置Hadoop7.啟動與測試Hadoop二、部署遠(yuǎn)程模式的Hive1.n2虛擬機安裝并配置MySQL2.n2虛擬機安裝并配置Hive3.node2啟動HiveServer2服務(wù)4.node3啟動Hive客戶端，在node3虛擬機上運行Hive的客戶端連接工具beeline來遠(yuǎn)程連接node服務(wù)端項目3Hive基本語法一、選擇題1.D2.C3.B4.C5.C6.B7.D8.D二、簡答題1.簡述Hive的復(fù)雜數(shù)據(jù)類型及調(diào)用方法？答：Hive的復(fù)雜數(shù)據(jù)類型有ARRAY、MAP、STRUCT等3種復(fù)雜數(shù)據(jù)類型，ARRAY通過數(shù)組名加下標(biāo)來表示，MAP類型通過鍵值對表示，STRUCT類型通過類型名.屬性表示。2.簡述Hive數(shù)據(jù)類型是如何轉(zhuǎn)換的。答：Hive的數(shù)據(jù)類型是根據(jù)需要進行轉(zhuǎn)換，任何類型轉(zhuǎn)換都可以隱式轉(zhuǎn)換為一個范圍更廣泛的類型。Hive數(shù)據(jù)類型可以分為隱式類型轉(zhuǎn)換和強制數(shù)據(jù)類型轉(zhuǎn)換。簡述Hive數(shù)據(jù)存儲結(jié)構(gòu)。答：Hive支持的存儲結(jié)構(gòu)：TextFile（文本格式）、RCFile（行列式文件）、SequenceFile（順序文件格式）。Hive的運算符分為哪幾類？答：Hive的運算符分為關(guān)系運算符、算術(shù)運算符、邏輯運算符、復(fù)雜運算符。簡述行式存儲和列式存儲的特性。答：行式存儲是把一整行存儲在一起，包括所有列，行式存儲的特點是存儲速度非?？?。列式存儲，每個字段的數(shù)據(jù)聚集存儲，可以設(shè)計更好的壓縮算法。三、操作題使用兩種方式啟動Hive命令，并在Hive命令窗口中查看HDFS及內(nèi)容數(shù)據(jù)。答：在Linux終端直接輸入:[root@node3~]#hive或在第二代客戶端BeelineCLI[root@node3~]#beeline-ujdbc:hive2:node2:10000-nroot-pjdbc:hive2://node2:10000>dfs-ls-R/;jdbc:hive2://node2:10000/>dfs-cat/tools/hive/warehouse/student.txt;項目4Hive數(shù)據(jù)定義一、選擇題1.A2.A3.C4.D二、簡答題1.為什么Hive引入分區(qū)技術(shù)？答：(1)提升查詢效率(2)便于數(shù)據(jù)管理(3)支持更復(fù)雜的查詢(4)減少數(shù)據(jù)傾斜2.Hive的分桶技術(shù)有什么作用？答：(1)提高查詢性能(2)支持更精確的數(shù)據(jù)過濾和聚合(3)方便數(shù)據(jù)抽樣(4)提高JOIN查詢效率(5)均衡負(fù)載3.簡述索引的原理，描述Hive中索引的作用與優(yōu)勢。答：(1)索引的原理：索引通過構(gòu)建特定數(shù)據(jù)結(jié)構(gòu)（如B+樹）與實際數(shù)據(jù)關(guān)聯(lián)，以加快數(shù)據(jù)查找速度。(2)作用：提升Hive表指定列的查詢速度，減少數(shù)據(jù)掃描范圍。(3)優(yōu)勢：提高查詢性能，尤其適用于大規(guī)模數(shù)據(jù)集。降低CPU和內(nèi)存等資源消耗。在某些情況下簡化查詢邏輯。注意，Hive中索引的使用和維護需根據(jù)具體情況評估，因其可能帶來額外的存儲開銷和更新成本。三、操作題參考教材4.2.3任務(wù)實施中的操作命令，完成操作題。答案略。項目5數(shù)據(jù)的導(dǎo)入與導(dǎo)出1.Hive中向表加載數(shù)據(jù)有哪幾種方式？答：Hive生態(tài)系統(tǒng)中向表中裝載數(shù)據(jù)的方式主要有直接向表中加載數(shù)據(jù)、通過Load加載數(shù)據(jù)、通過查詢加載數(shù)據(jù)、查詢語句中創(chuàng)建表并加載數(shù)據(jù)，import導(dǎo)入Hive表數(shù)據(jù)等五種。2.Hive生態(tài)系統(tǒng)中導(dǎo)出數(shù)據(jù)有哪幾種方式？答：Hive數(shù)據(jù)導(dǎo)出方式，和導(dǎo)入方式一樣，針對不同場景有很多方式，主要方式有Insert導(dǎo)出、Hadoop命令導(dǎo)出、HiveShell命令導(dǎo)出、Export命令導(dǎo)出等四種方式。3.將本章中所有涉及Hive的操作命令，在本地進行實操練習(xí)。參考本項目任務(wù)實施中的操作命令，完成操作題。答案略。項目6Hive數(shù)據(jù)查詢一、選擇題1.A2.A3.A4.D5.D二、簡答題1.簡述桶表抽樣查詢的基本步驟？答：創(chuàng)建分桶表：選擇分桶字段，確定分桶數(shù)量，使用CLUSTEREDBY子句；加載數(shù)據(jù)到分桶表：設(shè)置正確配置，注意插入數(shù)據(jù)方式；執(zhí)行抽樣查詢：使用TABLESAMPLE語法，確定抽樣比例，開始抽取的桶。2.Hive中有哪些Join語句連接查詢方法？答：（1）等值Join，是Hive支持通常的SQLJOIN語句；（2）表的別名，使用別名可以簡化查詢；（3）內(nèi)連接，只有進行連接的兩個表中都存在與連接條件相匹配的數(shù)據(jù)才會被保留下來；（4）左外連接，JOIN操作符左邊表中符合WHERE子句的所有記錄將會被返回；（5）右外連接，JOIN操作符右邊表中符合WHERE子句的所有記錄將會被返回；（6）滿外連接，將會返回所有表中符合WHERE語句條件的所有記錄。如果任一表的指定字段沒有符合條件的值的話，那么就使用NULL值替代；（7）多表連接，連接n個表，至少需要n-1個連接條件；（8）笛卡爾積連接。3.Hive的SortBy內(nèi)部排序和DistributeBy分區(qū)排序有什么區(qū)別？答：SortBy用于在每個Reducer內(nèi)部進行排序，確保每個Reducer輸出的數(shù)據(jù)局部有序，但全局結(jié)果集仍然是無序的。DistributeBy用于指定分區(qū)規(guī)則，它結(jié)合SortBy一起使用。DistributeBy并不直接進行排序，而是根據(jù)指定的分區(qū)規(guī)則將數(shù)據(jù)分配到不同的Reducer中。三、操作題1.查詢emp表中成績相同的學(xué)生信息。答：SELECT*FROMempWHEREscoreIN(SELECTscoreFROMempGROUPBYscoreHAVINGCOUNT(*)>1);2.查詢emp表中2000年以后出生的學(xué)生信息。答：SELECT*FROMempWHEREbday>='2000-01-01';3.設(shè)置Reduce個數(shù)為5，在emp表中按照學(xué)生年齡升序排序，將查詢結(jié)果導(dǎo)出文件，并查看每個文件的結(jié)果，查詢結(jié)束后再設(shè)置Reduce個數(shù)為1。答：SETmapreduce.job.reduces=5;SELECT*FROMempORDERBYbdayDESC;項目7Hive函數(shù)一、選擇題

1.C2.A3.A4.B5.D

二、簡答題1.簡述Hive內(nèi)置函數(shù)有哪幾種。答：Hive內(nèi)置函數(shù)有算術(shù)函數(shù)、聚合函數(shù)、日期時間函數(shù)、條件函數(shù)、字符串函數(shù)等。2.簡述Hive自定義函數(shù)有哪幾種。答：Hive自定義函數(shù)有UDF、UDTF、UDAF等。3.簡述字符串函數(shù)COLLECT_LIST()和COLLECT_SET()的區(qū)別。

答：COLLECT_LIST()會將指定列中的數(shù)據(jù)組合為數(shù)組，不去除重復(fù)數(shù)據(jù)；COLLECT_SET()會將指定列中的數(shù)據(jù)組合為數(shù)組，去除重復(fù)數(shù)據(jù)。

三、操作題

利用窗口函數(shù)按系部分組統(tǒng)計emp表中每行與前后5行的score分?jǐn)?shù)的平均分。

答：腳本如下

SELECTdeptno,--按deptno分組AVG(score)OVER(PARTITIONBYdeptno)ASs1,--當(dāng)前行前5行AVG(score)OVER(PARTITIONBYdeptnoORDERBYscoreDESCrowsbetween5precedingandcurrentrow)ASs2,--當(dāng)前行后5行AVG(score)OVER(PARTITIONBYdeptnoORDERBYscoreDESCrowsbetweencurrentrowand5following)ASs3FROMemp;項目8Hive優(yōu)化1.Hive生態(tài)系統(tǒng)中參數(shù)優(yōu)化有哪幾種方式？答：Hive參數(shù)優(yōu)化的方式主要有本地模式、配置MapReduce壓縮、配置Map個數(shù)、配置Reduce個數(shù)、合并小文件等五種。2.Hive生態(tài)系統(tǒng)中HQL優(yōu)化有哪幾種方式？答：HiveSQL的性能優(yōu)化的調(diào)優(yōu)方式多樣，本小節(jié)主要從GroupBy的優(yōu)化、Join相關(guān)的優(yōu)化、Count（Distinct）優(yōu)化、行/列過濾優(yōu)化等四種方式進行說明。3.請結(jié)合實際，從本專業(yè)的角度，說明在日常生活中應(yīng)用Hive高效解決實際問題的時候，需要注意哪些方面？答案略

項目9綜合案例簡答題統(tǒng)計?質(zhì)量?戶群26-35年齡段的訂單量排名前十的產(chǎn)品答：HiveQL腳本設(shè)計如下：withsas(selectpid,count(pid)sale_num,sum(sale)sum_pay,level1fromsaleswhereage='26-35'groupbypid,level1)select*fro