2023學(xué)年完整公開課版什么是SparkSQL

什么是Spark-SQLSpark-SQL的定義SparkSQL的特性SparkSQL架構(gòu)/01Spark-SQL的定義什么是Spark-SQLSpark為結(jié)構(gòu)化數(shù)據(jù)處理引入了一個(gè)稱為SparkSQL的編程模塊。它提供了一個(gè)稱為DataFrame的編程抽象，并且可以充當(dāng)分布式SQL查詢引擎。Spark-SQL的定義

/02SparkSQL的特性SparkSQL的特性以下是SparkSQL的功能：集成無(wú)縫地將SQL查詢與Spark程序混合。SparkSQL允許您將結(jié)構(gòu)化數(shù)據(jù)作為Spark中的分布式數(shù)據(jù)集(RDD)進(jìn)行查詢，在Python，Scala和Java中集成了API。這種緊密的集成使得可以輕松地運(yùn)行SQL查詢以及復(fù)雜的分析算法。統(tǒng)一數(shù)據(jù)訪問加載和查詢來自各種來源的數(shù)據(jù)。Schema-RDDs提供了一個(gè)有效處理結(jié)構(gòu)化數(shù)據(jù)的單一接口，包括ApacheHive表，Parquet文件和JSON文件。SparkSQL的特性Hive兼容性在現(xiàn)有倉(cāng)庫(kù)上運(yùn)行未修改的Hive查詢。SparkSQL重用了Hive前端和MetaStore，為您提供與現(xiàn)有Hive數(shù)據(jù)，查詢和UDF的完全兼容性。只需將其與Hive一起安裝即可。標(biāo)準(zhǔn)連接通過JDBC或ODBC連接。SparkSQL包括具有行業(yè)標(biāo)準(zhǔn)JDBC和ODBC連接的服務(wù)器模式?？蓴U(kuò)展性對(duì)于交互式查詢和長(zhǎng)查詢使用相同的引擎。SparkSQL利用RDD模型來支持中查詢?nèi)蒎e(cuò)，使其能夠擴(kuò)展到大型作業(yè)。不要擔(dān)心為歷史數(shù)據(jù)使用不同的引擎。/03SparkSQL架構(gòu)SparkSQL架構(gòu)下圖說明了SparkSQL的體系結(jié)構(gòu)SparkSQL架構(gòu)此架構(gòu)包含三個(gè)層，即LanguageAPI，SchemaRDD和數(shù)據(jù)源。語(yǔ)言APISpark與不同的語(yǔ)言和SparkSQL兼容。它也是由這些語(yǔ)言支持的API（python，scala，java，HiveQL）。模式RDDSparkCore是使用稱為RDD的特殊數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)的。通常，SparkSQL適用于模式，表和記錄。因此，我們可以使用SchemaRDD作為臨時(shí)表。我們可以將此SchemaRDD稱為數(shù)據(jù)幀。數(shù)據(jù)源通常spark-core的數(shù)據(jù)源是文本文件，Avro文件等。但是，SparkSQL的數(shù)據(jù)源不同。這些是Parquet文件，JSON文檔，HIVE表和Cassandra