大數(shù)據(jù)實(shí)踐課件-Spark-SQL

第六章Spark

SQL6.1

Spark

SQL簡介分布式SQL引擎使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)習(xí)題6.1

Spark

SQL簡介第六章Spark

SQLSpark的結(jié)構(gòu)化數(shù)據(jù)處理模塊提供分布式SQL查詢引擎提供處理結(jié)構(gòu)化數(shù)據(jù)的編程接口DataFrame第六章Spark

SQL6.1

Spark

SQL簡介Spark支持的結(jié)構(gòu)化數(shù)據(jù)源第六章Spark

SQL6.1

Spark

SQL簡介分布式SQL引擎的使用場景(1)

JDBC/ODBC(2)命令行第六章Spark

SQL6.1

Spark

SQL簡介DataFrame編程接口的使用SparkSQL特性兼容Hive兼容Hive的數(shù)據(jù)、查詢、用戶定義函數(shù)與Sp

ark程序無縫集成在Spark程序中使用DataFrame

API或SQL處理結(jié)構(gòu)化數(shù)據(jù)第六章Spark

SQL統(tǒng)一的數(shù)據(jù)訪問方法DataFrame

API與SQL類似，提供了一種操作結(jié)構(gòu)化數(shù)據(jù)的標(biāo)準(zhǔn)方法6.1

Spark

SQL簡介多數(shù)據(jù)源支持HDFS、Hive、HBase、Parquet等第六章Spark

SQL6.1

Spark

SQL簡介SparkSQL架構(gòu)第六章Spark

SQL6.1

Spark

SQL簡介Spark

SQL原理–Catalyst優(yōu)化器第六章Spark

SQL6.2

分布式SQL引擎6.1

Spark

SQL簡介6

.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)習(xí)題第六章Spark

SQL6.2

分布式SQL引擎SparkSQL環(huán)境配置機(jī)器名Spark角色Hadoop角色I(xiàn)P地址cloud1MasterNameNodeSecondaryNameNodeResourceManager192.168.100.10cloud2SlaveMySQL元數(shù)據(jù)庫DataNodeNodeManager192.168.100.11cloud3SlaveThrift

JDBC/ODBCServerDataNodeNodeManager192.168.100.12在第五章Spark集群中增加MySQL元數(shù)據(jù)庫和Thrift

JDBC/ODBC

Server第六章Spark

SQL6.2

分布式SQL引擎MySQL元數(shù)據(jù)庫搭建準(zhǔn)備MySQL數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)庫用戶sparksql創(chuàng)建元數(shù)據(jù)庫hiveMetastoreMySQL-connector的配置下載mysql-connector-java-5.1.41-bin.jar配置conf/spark-env.sh配置hive-site.xml第六章Spark

SQL6.2

分布式SQL引擎使用Spark

SQL

CLI(1)啟動(dòng)Spark

SQLCLIcd

~/spark-2.1.0-bin-hadoop2.7./bin/spark-sql第六章Spark

SQL6.2

分布式SQL引擎使用Spark

SQL

CLI(2)使用SQL操作數(shù)據(jù)常用數(shù)據(jù)操作SQL創(chuàng)建數(shù)據(jù)庫create

database

mytestdb查看數(shù)據(jù)庫show

databases指定當(dāng)前數(shù)據(jù)庫usemytestdb創(chuàng)建表create

table

test_tbl(id

int,

name

string,

value

int)查看表定義desc

test_tbl列出所有表show

tables插入數(shù)據(jù)insert

into

table

test_tbl

values(0,"blue",10)查詢數(shù)據(jù)select

*

from

test_tbl

where

value>15刪除表drop

table

test_tbl刪除數(shù)據(jù)庫drop

database

mytestdb第六章Spark

SQL6.2

分布式SQL引擎Thrift

JDBC/ODBCServer的搭建與測(cè)試(1)啟動(dòng)Thrift

JDBC/ODBC

Server./sbin/start-thriftserver.sh查看日志,檢查是否啟動(dòng)成功：使用netstat命令查看thrift

server監(jiān)聽的端口號(hào)：第六章Spark

SQL6.2

分布式SQL引擎Thrift

JDBC/ODBCServer的搭建與測(cè)試(2)使用Beeline測(cè)試Thrift

JDBC/ODBC

Server啟動(dòng)beeline./bin/beeline連接Thrift

JDBC/ODBC

Server!connect

jdbc:hive2://cloud3:10000第六章Spark

SQL6.2

分布式SQL引擎Thrift

JDBC/ODBCServer的搭建與測(cè)試(3)使用SQL操作數(shù)據(jù)查看數(shù)據(jù)庫：指定當(dāng)前數(shù)據(jù)庫：use

mytestdb第六章Spark

SQL6.2

分布式SQL引擎Thrift

JDBC/ODBCServer的搭建與測(cè)試(3)使用SQL操作數(shù)據(jù)查看數(shù)據(jù)庫中的表：查詢數(shù)據(jù)：第六章Spark

SQLSpark

SQL簡介分布式SQL引擎使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)習(xí)題第六章Spark

SQL6.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)備工作(1)準(zhǔn)備多行Json數(shù)據(jù)格式文件test.json(1)上傳文件至Hadoop

hdfs中./bin/hadoop

fs

-put

./test.json

/testdata/第六章Spark

SQL6.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)使用Spark

Shell編寫程序啟動(dòng)SparkShell./bin/spark-shell讀取json文件(1)過濾選擇數(shù)據(jù)第六章Spark

SQL6.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)使用Spark

Shell編寫程序(4)選擇字段(4)輸出結(jié)果第六章Spark

SQL6.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)使用Spark

Shell編寫程序(6)通過Spark

Web查看Spark

SQL的執(zhí)行情況第六章Spark

SQL6.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)使用Spark

Shell編寫程序DataFrame轉(zhuǎn)換流程第六章Spark

SQL6.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)使用Spark

Shell編寫程序分析后的邏輯計(jì)劃優(yōu)化后的邏輯計(jì)劃第六章Spark

SQL6.3

使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)使用Spark

Shell編寫程序物理計(jì)劃第六章Spark

SQLSpark

SQL簡介分布式SQL引擎使用DataFrame

API處理結(jié)構(gòu)化數(shù)據(jù)習(xí)題Spark

SQL作為分布