2023學(xué)年完整公開課版SparkSQL概述

SparkSQL概述目錄CONTENTS2為什么要學(xué)習(xí)SparkSQL1SparkSQL的前世今生SparkSQL的前世今生PART0101SparkSQL的前世今生

Shark是一個為Spark設(shè)計的大規(guī)模數(shù)據(jù)倉庫系統(tǒng)，它與Hive兼容。Shark建立在Hive的代碼基礎(chǔ)上，并通過將Hive的部分物理執(zhí)行計劃交換出來。這個方法使得Shark的用戶可以加速Hive的查詢，但是Shark繼承了Hive的大且復(fù)雜的代碼使得Shark很難優(yōu)化和維護，同時Shark依賴于Spark的版本。隨著我們遇到了性能優(yōu)化的上限，以及集成SQL的一些復(fù)雜的分析功能，我們發(fā)現(xiàn)Hive的MapReduce設(shè)計的框架限制了Shark的發(fā)展。在2014年7月1日的Spark

Summit上，Databricks宣布終止對Shark的開發(fā)，將重點放到Spark

SQL上。什么是SparkSQLSparkSQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的一個模塊，它提供了一個編程抽象叫做DataFrame并且作為分布式SQL查詢引擎的作用。相比于SparkRDDAPI，SparkSQL包含了對結(jié)構(gòu)化數(shù)據(jù)和在其上運算的更多信息，SparkSQL使用這些信息進行了額外的優(yōu)化，使對結(jié)構(gòu)化數(shù)據(jù)的操作更加高效和方便。有多種方式去使用SparkSQL，包括SQL、DataFramesAPI和DatasetsAPI。但無論是哪種API或者是編程語言，它們都是基于同樣的執(zhí)行引擎，因此你可以在不同的API之間隨意切換，它們各有各的特點，看你喜歡那種風(fēng)格。為什么要學(xué)習(xí)SparkSQLPART0202為什么要學(xué)習(xí)SparkSQL我們已經(jīng)學(xué)習(xí)了Hive，它是將HiveSQL轉(zhuǎn)換成MapReduce然后提交到集群中去執(zhí)行，大大簡化了編寫MapReduce程序的復(fù)雜性，由于MapReduce這種計算模型執(zhí)行效率比較慢，所以SparkSQL應(yīng)運而生，它是將SparkSQL轉(zhuǎn)換成RDD，然后提交到集群中去運行，執(zhí)行效率非常快。1.易整合將sql查詢與spark程序無縫混合，可以使用java、scala、python、R等語言的API操作。為什么要學(xué)習(xí)SparkSQL2.統(tǒng)一的數(shù)據(jù)訪問以相同的方式連接到任何數(shù)據(jù)源。為什么要學(xué)習(xí)SparkSQL3.兼容Hive支持hiveSQL的語法。為什么要學(xué)習(xí)SparkSQL為什么要學(xué)習(xí)SparkSQL4.標(biāo)準的數(shù)據(jù)連接

可以使用行業(yè)標(biāo)準的JDBC或ODB