數(shù)據(jù)倉庫Hive應用實戰(zhàn) 教案29-32課時-數(shù)據(jù)類型和文件格式

湖南汽車工程職業(yè)學院教師授課教案第4周第5-8課時累計32課時課程名稱大數(shù)據(jù)倉庫HIVE授課課題Hive基本操作授課專業(yè)班級大數(shù)據(jù)2101、大數(shù)據(jù)2102、大數(shù)據(jù)2103教學目標能熟記Hive的基本數(shù)據(jù)類型及其特點；能熟記Hive的集合數(shù)據(jù)類型及其特點；能理解常用文本文件數(shù)據(jù)編碼；能闡述清楚Hive的讀時模式教學要點教學重點Hive的集合數(shù)據(jù)類型教學難點Hive的集合數(shù)據(jù)類型課型一體化授課教法與學法（教具）示范演示法、任務驅(qū)動教學法、分組合作教學法課后作業(yè)完成智課堂作業(yè)、看視頻熟練操作教學后記（教師課后填寫）授課教師王海霞、黃史記【課前復習】1、當執(zhí)行hive

--help

命令時返回結果中不會出現(xiàn)在Service

List后面的服務是（）BA、cliB、hiveC、hiveserverD、hwi2、以下哪個Hive的命名空間中不具有可寫的權限（）DA、hivevarB、hiveconfC、systemD、env3、以下命令中修改變量值用法錯誤的是（）DA、hive>

set

hivevar:name=qiuqiu;B、hive>

set

name=qiuqiu;C、hive>

set

hiveconf:hive.cli.print.current.db=true;D、hive>

set

env:

HOME=/root;4、HiveCLI中增加（）選項可以開啟靜默模式，這樣可以在輸出結果中去掉“OK”和“

Time

taken”等行，以及其他一些無關緊要的輸出信息。DA、-eB、-iC、-fD、-S5、CLI通過鍵盤的（）鍵支持自動補全功能。CA、EnterB、CtrlC、TabD、Shift6、以下在hive

CLI中執(zhí)行

bash

shell命令，操作正確的是（）AA、hive>!/bin/echo

"Iliketoplaybadminton.";B、hive>/bin/echo

"Iliketoplaybadminton.";C、hive>

/bin/echo

"Iliketoplaybadminton."D、hive>!/bin/echo

"Iliketoplaybadminton."7、Hive腳本使用（）符號添加注釋。CA、#B、<!---->C、--D、//8、設置讓CLI打印出字段名稱的命令正確的是（）AA、hive>

set

hive.cli.print.

header=true;B、hive>

set

hiveconf:hive.cli.print.current.db=true;C、hive>set

hive.cli.print.

header;D、hive>

set

hiveconf:hive.cli.print.current.db;【作業(yè)點評】展示智課堂學生作業(yè)完成情況，并做點評。【學習目標】能熟記Hive的基本數(shù)據(jù)類型及其特點；能熟記Hive的集合數(shù)據(jù)類型及其特點；能理解常用文本文件數(shù)據(jù)編碼；能闡述清楚Hive的讀時模式【課程導入】Hive支持關系型數(shù)據(jù)庫中的大多數(shù)基本數(shù)據(jù)類型，同時也支持關系型數(shù)據(jù)庫中很少出現(xiàn)的3種集合數(shù)據(jù)類型。這些數(shù)據(jù)類型是如何在文本文件中進行表示的？文本存儲中為了解決各種性能問題以及其他問題有哪些替代方案？和大多數(shù)的數(shù)據(jù)庫相比，Hive具有一個獨特的功能，那就是其對于數(shù)據(jù)在文件中的編碼方式具有非常大的靈活性。大多數(shù)的數(shù)據(jù)庫對數(shù)據(jù)具有完全的控制，這種控制既包括對數(shù)據(jù)存儲到磁盤的過程的控制，也包括對數(shù)據(jù)生命周期的控制。Hive將這些方面的控制權轉(zhuǎn)交給用戶，以便更加容易地使用各種各樣的工具來管理和處理數(shù)據(jù)?！拘抡n講授】一、基本數(shù)據(jù)類型數(shù)據(jù)類型長度例子TINYINT1byte有符號整數(shù)20SMALINT2byte有符號整數(shù)20INT4byte有符號整數(shù)20BIGINT8byte有符號整數(shù)20BOOLEAN布爾類型，true或者falseTRUEFLOAT單精度浮點數(shù)3.14159DOUBLE雙精度浮點數(shù)3.14159STRING字符序列，可以指定字符集?？梢允褂脝我柣蛘唠p引號‘nowisthetime’，“forallgoodmen”TIMESTAMP整數(shù)，浮點數(shù)或者字符串1327882394（unix新紀元秒），1327882394.123456789（unix新紀元秒并跟隨有納秒數(shù)），‘2020-02-0108:12:55.123456789’（JDBC所兼容的java.sql.Timestamp時間格式）BINARY字節(jié)數(shù)組【學生練習】1、以下不屬于Hive基礎數(shù)據(jù)類型的是（）CA、INTB、FLOATC、CHARD、STRING

2、TIMESTAMP數(shù)據(jù)類型的值不可以是（）DA、整數(shù)B、浮點數(shù)C、STRINGD、BINARY3、TINYINT表示2byte有符號整數(shù)。（）錯【新課講授】二、集合數(shù)據(jù)類型數(shù)據(jù)類型描述字面語法示例STRUCT和C語言中的struct或者“對象”類似，都可以通過“點”符號訪問元素內(nèi)容。例如，如果某個列的數(shù)據(jù)類型是STRUCT{firstSTRING，lastSTRING}，那么第1個元素可以通過“字段名.first”來引用。struct（‘John’，’Doe’）MAPMAP是一組鍵-值對元組集合，使用數(shù)組表示法（例如[‘key’]）可以訪問元素。例如，如果某個列的數(shù)據(jù)是MAP，其中鍵->值對是‘first’->‘John’和‘last’>‘Doe’那么可以通過“字段名[‘last’]”獲取最后1個元素。map（first’，Jor’，last’，Doe’）ARRAY數(shù)組是一組具有相同類型和名稱的變量的集合，這些變量稱為數(shù)組的元素，每個數(shù)組元素都有一個編號，編號從零開始。例如，數(shù)組值為[“John’，‘Doe’]，那么第2個元素可以通過“數(shù)組名[1]”進行引用。Array（‘John’，‘Doe’）【學生練習】1、以下不是Hive中的列支持的集合數(shù)據(jù)類型的是（）BA、structB、BINARYC、mapD、array2、數(shù)組sports（‘Football’,’Basketball’,’Badminton’,’Tabletennis’,’Volleyball’）中存放了各項球類運動，獲取第3個數(shù)組元素的正確方式是（）AA、sports[2]B、sports[3]C、sportsD、sports[Badminton]3、TIMESTAMPS表示的是UTC時間，Hive本身提供了不同時區(qū)間互相轉(zhuǎn)換的內(nèi)置函數(shù)，即（

to_utc_timestamp函數(shù)）和

from_utc_timestamp函數(shù)。4、Hive和C語言中的struct或者“對象”類似，都可以通過（點）符號訪問元素內(nèi)容。5、MAP是一組（鍵-值）對元組集合，使用數(shù)組表示法可以訪問元素?！拘抡n講授】三、文本文件數(shù)據(jù)編碼CSV，Comma-separatedvalues的縮寫，是用半角逗號（‘，’）作為字段值的分隔符的文本文件；TSV，Tab-separatedvalues的縮寫，是用制表符（Tab，'\t'）作為字段值的分隔符的文本文件；TSV和CSV都是文本文件。Hive是支持TSV和CSV文件格式的。分隔符描述\n對于文本文件來說，每行都是一條記錄，因此換行符可以分割記錄^A(Ctrl+A)用于分隔字段（列）。在CREATETABLE語句中可以使用八進制編碼\001表示^B用于分隔ARRARY或者STRUCT中的元素，或用于MAP中鍵-值對之間的分隔。在CREATETABLE語句中可以使用八進制編碼\002表示^C用于MAP中鍵和值之間的分隔。在CREATETABLE語句中可以使用八進制編碼\003表示【學生練習】1、CSV，Comma-separatedvalues的縮寫，是用（半角逗號）作為字段值的分隔符的文本文件；TSV，Tab-separatedvalues的縮寫，是用（制表符）作為字段值的分隔符的文本文件。2、Hadoop的通用和強大體現(xiàn)在它能夠存儲和處理任何類型的結構化、（半結構化）或（非結構化）數(shù)據(jù)。3、Hive不是一個數(shù)據(jù)庫，而是一個友好且為我們所熟悉的接口，可以查詢存儲在（HDFS）上的底層數(shù)據(jù)文件。4、用戶在表結構申明時可以不使用默認分隔符，而指定使用其他分隔符。（）對5、Hive只支持txt格式文本文件，不支持TSV和CSV文件格式的文本文件。（）錯6、Hive到目前為止對于LINESTERMINATEDBY…僅支持字符‘\n’，即行與行之間的分隔符只能為‘\n’。（）對【新課講授】四、讀時模式傳統(tǒng)數(shù)據(jù)庫中，當用戶寫入數(shù)據(jù)時，不管是采用裝載外部數(shù)據(jù)的方式，還是采用將一個查詢的輸出結果寫入的方式，或者是使用UPDATE語句等等，數(shù)據(jù)庫對于存儲都具有完全的控制力。數(shù)據(jù)庫就是“守門人”，傳統(tǒng)數(shù)據(jù)庫是寫時模式(schemaonwrite)，即數(shù)據(jù)在寫入數(shù)據(jù)庫時對模式進行檢查。Hive對底層存儲并沒有這樣的控制。因此，Hive不會在數(shù)據(jù)加載時進行驗證，而是在查詢時進行，也就是讀時模式（schemaonread）?！緦W生練習】1、傳統(tǒng)數(shù)據(jù)庫是（寫時模式），即數(shù)據(jù)在寫入數(shù)據(jù)庫時對模式進行檢查。Hive不會在數(shù)據(jù)加載時進行驗證，而是在查詢時進行，也就是（讀時模式）。2、Hadoop的通用和強大體現(xiàn)在它能夠存儲和處理任何類型的結構化、（半結構化）或（非結構化）數(shù)據(jù)。3、Hive不是一個數(shù)據(jù)庫，而是一個友好且為我們所熟悉的接口，可以查詢存儲在（HDFS）上的底層數(shù)據(jù)文件。4、以下對于Hive的讀時模式描述錯誤的是（