第二十三至二十四講-hive詳細(xì)教案

一．什么是hiveHadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，sqlsqlMapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過(guò)類(lèi)SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開(kāi)發(fā)專(zhuān)門(mén)的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。HiveHiveHive編譯器將一個(gè)HiveQL操作符是Hive每個(gè)操作符代表HDFS的一個(gè)操作或者一道MapReduce作protectedList<Operator<?extendsSerializable>>protectedList<Operator<?extendsSerializable>>protectedbooleandone;//初始化值為Operator圖，hive正是基于這些圖關(guān)系來(lái)處理諸如limit,groupbyjoinHiveHive 描 掃描hive表數(shù) 創(chuàng)建將發(fā)送到Reducer端的<Key,Value> /*+mapjoin(t) Limit語(yǔ) HiveHive通過(guò)ExecMapper和ExecReducer執(zhí)行MapReduce任在執(zhí)行MapReduceANTLR—AnotherToolforLanguageANTLR是開(kāi)源為包括Java，C++，C#二.hive三種方式區(qū)別和搭DerbyLocalRemote<?xml注使用derby方式時(shí)運(yùn)行hive會(huì)在當(dāng) 生成一個(gè)derby文件和一個(gè) 下同時(shí)只能有一個(gè)hive客戶端能使用數(shù)據(jù)庫(kù)，[html]viewplaincopyprint?hive>showtables;FAILED:Errorinmetadata:javax.jdo.JDOFatalDataStoreException:Failedtostartdatabase'metastore_db',seethenextexceptionfordetails.java.sql.SQLException:Failedtostartdatabase'metastore_db',seethenextexceptionforhive>showtables;FAILED:Errorinmetadata:javax.jdo.JDOFatalDataStoreException:Failedtostartdatabase'metastore_db',seethenextexceptionfordetails.java.sql.SQLException:Failedtostartdatabase'metastore_db',seethenextexceptionfordetails.FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask式，需要將mysql的jar包拷貝到$HIVE_HOME/lib <?xmlremote這種方式需要在遠(yuǎn)端服務(wù)器運(yùn)行一個(gè)mysql服務(wù)器，并且需要在Hive服務(wù)器啟動(dòng)<?xmlhiveRemote<?xml<?xmlhivehive--serviceHivehistoryfile=/tmp/root/hive_job_log_root_201301301416_ hive>showtables;Timetaken:0.736seconds三．Hive的數(shù)據(jù)類(lèi)型和具體參見(jiàn)hive的建表語(yǔ)句和分區(qū)四．Hive的數(shù)據(jù)加載和具體參見(jiàn)五．Hiveserver2hive企業(yè)用hive的- -i三個(gè)參六．HiveUDFUDAF自定義函數(shù)包括三種UDF、UDAF、UDTFUDF(User-Defined-Function)一進(jìn)一出UDAF(User-DefinedAggregationFuncation)函數(shù)，多進(jìn)一出。Count/max/UDTF(User-DefinedTable-GeneratingFunctions) 一進(jìn)多出，如lateralviewexplore()使用方式：在HIVE會(huì)話中add自定義函數(shù)的jar文件，然后創(chuàng)建function繼而使用函數(shù)UDF開(kāi)發(fā)1、UDF函數(shù)可以直接應(yīng)用于select語(yǔ)句，對(duì)查詢(xún)結(jié)構(gòu)做格式化處理后，再輸出內(nèi)容。2、編寫(xiě)UDF函數(shù)的時(shí)候需要注意一下幾點(diǎn)：自定義UDF需要繼承org.apache.hadoop.hive.ql.UDF需要實(shí)現(xiàn)evaluate函數(shù)，evaluate函數(shù)支持重載。3、步驟把程序打包放到目標(biāo)機(jī)器上去；進(jìn)入hive客戶端，添加jar包：hive>addjar創(chuàng)建臨時(shí)函數(shù)：hive>CREATETEMPORARYFUNCTIONadd_exampleAS'hiv查詢(xún)HQL語(yǔ)句：SELECTadd_example(8,9)FROMSELECTadd_example(scores.math,scores.art)FROMSELECTadd_example(6,7,8,6.8)FROM銷(xiāo)毀臨時(shí)函數(shù)：hive>DROPTEMPORARYFUNCTIONUDAF自定義集函數(shù)多行進(jìn)一行出，如sum()、min()，用在 by必須繼承org.apache.hadoop.hive.ql.exec.UDAF(函數(shù)類(lèi)繼承org.apache.hadoop.hive.ql.exec.UDAFEvaluator(內(nèi)部類(lèi)Evaluator實(shí)現(xiàn)UDAFEvaluator接口)Evaluator需要實(shí)現(xiàn)init、iterate、terminatePartial、merge、terminate這幾個(gè)函數(shù)init():類(lèi)似于構(gòu)造函數(shù)，用于UDAF的初始化iterate():接收傳入的參數(shù)，并進(jìn)行內(nèi)部的輪轉(zhuǎn)，返回booleanterminatePartial():無(wú)參數(shù)，其為iterate函數(shù)輪轉(zhuǎn)結(jié)束后，返回輪轉(zhuǎn)數(shù)據(jù)， 類(lèi)似于hadoop的Combinermerge():接收terminatePartial的返回結(jié)果，進(jìn)行數(shù)據(jù)merge操作，其返回類(lèi)型為booleanterminate():返回最終的函數(shù)結(jié)開(kāi)發(fā)一個(gè)功能同：Oracle的wm_concat()函數(shù)Mysql七．Hive嵌入Python的輸入輸出都是\t為分隔符，否則會(huì)出錯(cuò)，python輸入print出規(guī)定格式的數(shù)據(jù)addfileTRANSFORMname,items)USINGpythontest.py'ASnamestring,item1string,item2string,item3string)python的類(lèi)型createtabletest(namestring,itemsstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';LOADDATAlocalINPATH'/opt/data/tt.txt'OVERWRITEINTOTABLEtest;createtabletest2(namestring,item1string,item2string,item3string)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';INSERTOVERWRITETABLEtest2TRANSFORM(name,items)USING'pythontest.py'AS(namestring,item1string,item2string,item3string)FROMtest;importsysforlineinline=name,it=line.split('\t')count=it.count(',')+1foriinrange(0,3-count):it=it+',NULL'result=print八．Hwi環(huán)境搭HWIHWIHiveWebInterfacehivecli的一個(gè)web需 Hive的源碼文件，然后將hwi/web 下的文件用jarcvfhive-hwi-0.13.1.warwarzi