Hive內(nèi)部培訓(xùn)資料

Hive內(nèi)部培訓(xùn)順豐科技-系統(tǒng)與數(shù)據(jù)集成研發(fā)中心-數(shù)據(jù)集成研發(fā)部第一章第二章第三章第四章Hive是什么Hive特性

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive是什么？?Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供類SQL查詢功能。?本質(zhì)是將HQL轉(zhuǎn)換為MapReduce程序Hive關(guān)注以下幾點：在Hadoop中的數(shù)據(jù)可擴展的SQL處理可擴展到100PB+結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)---現(xiàn)階段公司只是用到結(jié)構(gòu)化的數(shù)據(jù)Hive的架構(gòu)簡介–在Hadoop生態(tài)圈的位置建立在Hive之上的交換層讓傳統(tǒng)DBA或者Java工程師輕松就能完成更多的工作最終轉(zhuǎn)化成MapReduceJobHive將元數(shù)據(jù)存儲在數(shù)據(jù)庫中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等。解釋器、編譯器、優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后有MapReduce調(diào)用執(zhí)行。Hive的數(shù)據(jù)存儲在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢，比如select*fromtbl不會生成MapRedcue任務(wù)）。Hive的架構(gòu)簡介–接口1、Hive將元數(shù)據(jù)存儲在數(shù)據(jù)庫中，如mysql、derby。Hive中的元數(shù)據(jù)包括表的名字，表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等。

2、解釋器、編譯器、優(yōu)化器完成HQL查詢語句從詞法分析、語法分析、編譯、優(yōu)化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后有MapReduce調(diào)用執(zhí)行。

3、Hive的數(shù)據(jù)存儲在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢，比如select*fromtbl不會生成MapRedcue任務(wù)）。

Hive和普通關(guān)系數(shù)據(jù)庫的異同

HiveRDBMS查詢語言HQLSQL數(shù)據(jù)存儲HDFSRawDeviceorLocalFS索引無有執(zhí)行MapReduceExcutor執(zhí)行延遲高低處理數(shù)據(jù)規(guī)模大小1、查詢語言。專門設(shè)計了類SQL的查詢語言HQL。熟悉SQL開發(fā)的開發(fā)者可以很方便的使用Hive進行開發(fā)。

2、數(shù)據(jù)存儲位置。Hive的數(shù)據(jù)都是存儲在HDFS中的。3、數(shù)據(jù)格式。Hive中沒有定義專門的數(shù)據(jù)格式，數(shù)據(jù)格式可以由用戶指定.4、數(shù)據(jù)更新。Hive中不支持對數(shù)據(jù)的改寫即沒有更新5、執(zhí)行。Hive中大多數(shù)查詢的執(zhí)行是通過

MapReduce來實現(xiàn)的。

6、執(zhí)行延遲。hive延遲較高。但由于MR框架大數(shù)據(jù)量的訪問優(yōu)勢明顯。

7、可擴展性。由于Hive是建立在Hadoop之上的，因此Hive的可擴展性是和Hadoop的可擴展性是一致的（Oracle在理論上的擴展能力也只有100臺左右。

8、數(shù)據(jù)規(guī)模。由于Hive建立在集群上并可以利用MapReduce進行并行計算，因此可以支持很大規(guī)模的數(shù)據(jù)

第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive基本操作–DDLCreate/Drop/AlterDatabaseCreate/Drop/AlterTableAlterTable/Partition/ColumnCreate/Drop/AlterViewCreate/DropIndexCreate/DropFunctionShowDescribeHive基本操作–托管表和外部表Hive默認創(chuàng)建ManagedTable，由Hive來管理數(shù)據(jù)，意味著Hive會將數(shù)據(jù)移動到數(shù)據(jù)倉庫目錄。另外一種選擇是創(chuàng)建ExternalTable，這時Hive會到倉庫目錄以外的位置訪問數(shù)據(jù)。如何選擇？如果所有處理都由Hive完成，應(yīng)該使用ManagedTable。如果要用Hive和其它工具來處理同一個數(shù)據(jù)集，應(yīng)該使用ExternalTables。托管表外部表CREATE/LOAD把數(shù)據(jù)已到倉庫目錄創(chuàng)建表時指明外部數(shù)據(jù)的位置DROP元數(shù)據(jù)和數(shù)據(jù)會被一起刪除只刪除元數(shù)據(jù)Hive基本操作–DATABASE在Hive中創(chuàng)建數(shù)據(jù)庫及托管表(內(nèi)部表)1、登錄進入Hivesudo-uhdfshive;2、查看數(shù)據(jù)庫showdatabases;3、創(chuàng)建數(shù)據(jù)庫createdatabaseifnotexistsabc_test;4、進入abc_test數(shù)據(jù)庫useabc_test;5、查看數(shù)據(jù)庫下所有的表showtables;6、創(chuàng)建托管表(內(nèi)部表：刪除表，數(shù)據(jù)同時被刪除)droptableifexistsabc_table_01;createtableabc_table_01(

idintcomment'序列',

namestringcomment'名稱')comment'創(chuàng)建托管表(內(nèi)部表)'rowformatdelimitedfieldsterminatedby'\001';7、查看表結(jié)構(gòu)

descformattedabc_table_01;Hive基本操作–PartitionHive外部表與分區(qū)表建立。1、創(chuàng)立外部表(刪除外部表，數(shù)據(jù)不會被刪除)droptableifexistsabc_table_02;createexternaltableabc_table_02(

idintcomment'序列',

namestringcomment'名稱')comment'創(chuàng)建外部表'rowformatdelimitedfieldsterminatedby'\001'location'/test/fin_abc/fin_abc/fct/abc_table_02';2、創(chuàng)建立分區(qū)表

droptableifexistsabc_table_03;createexternaltableabc_table_03(

idintcomment'序列',

namestringcomment'名稱')comment'創(chuàng)建外部表'partitionedby(hq_month_codestring)rowformatdelimitedfieldsterminatedby'\001'location'/test/fin_abc/fin_abc/bsl/abc_table_03';3、添加分區(qū)

altertableabc_table_03addpartition(hq_month_code='201501')location'/test/fin_abc/fin_abc/bsl/abc_table_03/201501';Hive基本操作–TABLEOPERATINGHive數(shù)據(jù)庫和表的DDL操作1、修改表名

altertableabc_table_01renametoabc_table_01_new;2、添加字段(不能刪除字段)

altertableabc_table_01_newaddcolumns(abcstring);3、修改字段

altertableabc_table_01_newchangeabcnew_abcstring;4、刪除分區(qū)

altertableabc_table_03droppartition(hq_month_code='201501');5、查看分區(qū)showpartitionsabc_table_03;6、刪除表

droptableabc_table_01_new;7、刪除數(shù)據(jù)庫

dropdatabaseifexistsabc_testcascade;Hive基本操作–TABLEOPERATINGHive表的DML操作1、插入數(shù)據(jù)insertoverwritetableabc_table_01selectcount(*)asid,'test1'fromabc_table_01;insertintotableabc_table_01select1asid,'test12'fromabc_table_01;2、查詢數(shù)據(jù)

selecta.*fromabc_table_01a;

selecta.*fromabc_table_01alimit10;注意：1、Hive支持并行插入。2、Hive不支持不等值連接。

3、Hive中沒有控制語句如for、ifelse、while等。Hive基本操作–DMLLoadingfilesintotablesInsertingdataintoHiveTablesfromqueriesWritingdataintothefilesystemfromqueriesNote：MultipleInsertHive基本操作–QueriesWHEREClauseALLandDISTINCTClausesPartitionBasedQueriesHAVINGClauseLIMITClauseREGEXColumnSpecificationhttps:///confluence/display/Hive/LanguageManual+SelectHive基本操作–QueriesJoinInnerjoinHive只支持等值連接；JOIN子句中表的順序很重要，一般最好將最大的表在最后;Outerjoin外連接可以讓你找到連接表中不能匹配的數(shù)據(jù)行;Semijoin目前并不支持IN子查詢，可以使用LEFTSEMIJOIN達到相同效果（右表最能在ON子句中出現(xiàn)）;Mapjoin該查詢Job沒有reducer；使用時充分利用BucketedTable，需要設(shè)置hive.optimize.bucketmapjoin為true;慎重使用！第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive使用–以Mc為例數(shù)據(jù)準備定義數(shù)據(jù)倉庫放置目錄：HDFS目錄/user/cloudil/cdr/bssap/20120717/bssap

-協(xié)議類型

20120717-年月日(開始時間)

以bssap為例，自行管理倉庫數(shù)據(jù)，按天查詢創(chuàng)建分區(qū)；建表（支持按時間分區(qū)的外部表）加載數(shù)據(jù)LOADDATAINPATH'/user/cloudil/bssap-2012-08-05-09/'INTOTABLEbssapPARTITION(date='20120805');數(shù)據(jù)應(yīng)用查詢與ET

第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調(diào)優(yōu)及發(fā)展Hive調(diào)優(yōu)–數(shù)據(jù)存儲模型數(shù)據(jù)庫（database）表（table）表（table）傾斜數(shù)據(jù)正常數(shù)據(jù)分區(qū)分區(qū)桶桶桶桶Hive調(diào)優(yōu)-存儲格式??Built-inFormats:–?Parquet–?ORCFile–?RCFile–?Avro–?DelimitedText–?RegularExpression–?S3Logfile–?TypedBytes??3rd-PartyAddons:–?JSON–?XMLHive調(diào)優(yōu)–參數(shù)以下常用設(shè)置set=fin_abc;--指定對列set=fin_abc;sethive.fetch.task.conversion=more;--對于簡單的不需要聚合的類似SELECT不需要起MapReduce.sethive.cli.print.header=true;--打印列名sethive.exec.reducers.max=200;--最大reducers數(shù)setpress.output=false;--控制hive的查詢結(jié)果輸出是否進行壓縮，默認不壓縮false；setermediate=true;--決定查詢的中間map/reduce的輸出是否為壓縮setmapred.max.split.size=1000000000;--每個map的最大輸入大小，該值約小，map數(shù)越多;setmapred.min.split.size.per.node=1000000000;