2023學(xué)年完整公開課版數(shù)據(jù)框架

主講：朱佳目錄0102使用SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)SparkSQL與DataFrame使用SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)1使用SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)

可以使用SparkSQL處理結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。具有模式(每個(gè)記錄或行具有清晰的列）的任何數(shù)據(jù)都被認(rèn)為是結(jié)構(gòu)化數(shù)據(jù)。SparkSQL可以加載和查詢結(jié)構(gòu)化數(shù)據(jù)。Spark使用稱為DataFrames的抽象（其類似于關(guān)系型數(shù)據(jù)庫(kù)表)，處理結(jié)構(gòu)化數(shù)據(jù)。Spark可以處理許多類型的結(jié)構(gòu)化數(shù)據(jù)，如JSON、Hive表及Parquet文件等。使用SparkSQL處理結(jié)構(gòu)化數(shù)據(jù)

SparkSQL允許使用SQL，以兩種不同的方式查詢數(shù)據(jù):可以從Spark應(yīng)用程序中使用SQL語(yǔ)句查詢?？梢允褂猛獠緽I工具（如Tableau）進(jìn)行查詢，該工具可以通過JDBC（或ODBC）連接到SparkSQL。SparkSQL與DataFrame2數(shù)據(jù)框架SparkSQL基于DataFrame的邏輯概念,DataFrame只是我們的老朋友RDD的擴(kuò)展。DataFrames可以感知行的模式。DataFrames是行對(duì)象的RDD，每行都指向一個(gè)記錄。數(shù)據(jù)框架由于DataFrame是模式感知的，因此它比簡(jiǎn)單的RDD能更有效地存儲(chǔ)數(shù)據(jù)。DataFrame的模式感知特性使得我們可以對(duì)數(shù)據(jù)運(yùn)行SQL查詢?？梢詮囊韵聰?shù)據(jù)創(chuàng)建DataFrames:外部數(shù)據(jù)源常規(guī)RDD查詢結(jié)果可以將DataFrame注冊(cè)為表，并從中運(yùn)行SQL查詢。數(shù)據(jù)框架SparkSQL定位處理結(jié)構(gòu)化數(shù)據(jù)的模塊。SparkSQL提供相應(yīng)的優(yōu)化機(jī)制，并支持不同語(yǔ)言的開發(fā)API。Java、Scala、Python，類SQL的方法調(diào)用（DSL）RDD與SparkSQL的比較說明：使用SparkSQL的優(yōu)勢(shì)：a.面向結(jié)構(gòu)化數(shù)據(jù)；b.優(yōu)化機(jī)制；RDD缺點(diǎn)：a.