2023學年完整公開課版hive架構(gòu)

Hive的架構(gòu)主要內(nèi)容2Hive的體系結(jié)構(gòu)Hive的工作流程3一、hive的體系結(jié)構(gòu)4Hive的體系結(jié)構(gòu)5Hive的體系結(jié)構(gòu)UserInterfaces：用戶接口/界面，主要有CLI，Client和WUI。其中最常用的是CLI，Cli啟動的時候，會同時啟動一個Hive副本。Client是Hive的客戶端，用戶連接至HiveServer。在啟動Client模式的時候，需要指出HiveServer所在節(jié)點，并且在該節(jié)點啟動HiveServer。WUI是通過瀏覽器訪問HiveMetaStore：原存儲，Hive將元數(shù)據(jù)存儲在數(shù)據(jù)庫中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等。6Hive的體系結(jié)構(gòu)HiveQLProcessEngine、ExecutionEngine：執(zhí)行器、解釋器，解釋器、編譯器、優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后由MapReduce調(diào)用執(zhí)行。HDFS或HBASE：Hadoop的分布式文件系統(tǒng)或者HBASE數(shù)據(jù)存儲技術(shù)是用于將數(shù)據(jù)存儲到文件系統(tǒng)。大部分的查詢由MapReduce完成（不包含*的查詢，比如select*fromtbl不會生成MapReduce任務）7二、hive的工作流程8Hive的工作流程9Hive的工作流程1.(執(zhí)行查詢操作)ExecuteQuery命令行或WebUI之類的Hive接口將查詢發(fā)送給Driver(任何數(shù)據(jù)庫驅(qū)動程序，如JDBC，ODBC等)以執(zhí)行2.(獲取計劃任務)GetplanDriver借助查詢編譯器解析查詢，檢查語法和查詢計劃或查詢需求3.(獲取元數(shù)據(jù)信息)GetMetadata編譯器將元數(shù)據(jù)請求發(fā)送到Metastore(任何數(shù)據(jù)庫)4.(發(fā)送元數(shù)據(jù))MetaStore將元數(shù)據(jù)作為對編譯器的響應發(fā)送出去10Hive的工作流程5.(發(fā)送計劃任務)SendPlan編譯器檢查需求并將計劃重新發(fā)送給Driver。到目前為止，查詢的解析和編譯已經(jīng)完成6.(執(zhí)行計劃任務)ExecutePlanDriver將執(zhí)行計劃發(fā)送到執(zhí)行引擎7.(執(zhí)行Job任務)ExecuteJob在內(nèi)部，執(zhí)行任務的過程是MapReduceJob。執(zhí)行引擎將Job發(fā)送到ResourceManager,ResourceManager位于Name節(jié)點中，并將job分配給datanode中的NodeManager。在這里，查詢執(zhí)行MapReduce任務11Hive的工作流程7.1.(元數(shù)據(jù)操作)MetadataOps在執(zhí)行的同時，執(zhí)行引擎可以使用Metastore執(zhí)行元數(shù)據(jù)操作8.(拉取結(jié)果集)FetchResult執(zhí)行引擎將從datanode上獲取結(jié)果集9.(發(fā)送結(jié)果集至driver)執(zhí)行引擎將這些結(jié)果值發(fā)送給Driver