2023學(xué)年完整公開課版鍵值對RDD

主講：孟繁興0102目錄創(chuàng)建鍵值對RDD03keys和values鍵值對RDD雖然大部分Spark的RDD操作都支持所有種類的單值RDD，但是有少部分特殊的操作只能作用于鍵值對類型的RDD。顧名思義，鍵值對RDD由一組組的鍵值對組成，這些RDD被稱為PairRDD。PairRDD提供了并行操作各個鍵或跨節(jié)點重新進行數(shù)據(jù)分組的操作接口。例如，PairRDD提供了reduceByKey()方法，可以分別規(guī)約每個鍵對應(yīng)的數(shù)據(jù)，還有join()方法，可以把兩個RDD中鍵相同的元素組合在一起，合并為一個RDD。創(chuàng)建（1）第一種創(chuàng)建方式：從文件中加載可以采用多種方式創(chuàng)建PairRDD，其中一種主要方式是使用map()函數(shù)來實現(xiàn)scala>vallines=sc.textFile("file:///usr/local/spark/mycode/pairrdd/word.txt")lines:org.apache.spark.rdd.RDD[String]=file:///usr/local/spark/mycode/pairrdd/word.txtMapPartitionsRDD[1]attextFileat<console>:27scala>valpairRDD=lines.flatMap(line=>line.split("")).map(word=>(word,1))pairRDD:org.apache.spark.rdd.RDD[(String,Int)]=MapPartitionsRDD[3]atmapat<console>:29scala>pairRDD.foreach(println)(i,1)(love,1)(hadoop,1)……創(chuàng)建（2）第二種創(chuàng)建方式：通過并行集合（數(shù)組）創(chuàng)建RDDscala>vallist=List("Hadoop","Spark","Hive","Spark")list:List[String]=List(Hadoop,Spark,Hive,Spark)

scala>valrdd=sc.parallelize(list)rdd:org.apache.spark.rdd.RDD[String]=ParallelCollectionRDD[11]atparallelizeat<console>:29

scala>valpairRDD=rdd.map(word=>(word,1))pairRDD:org.apache.spark.rdd.RDD[(String,Int)]=MapPartitionsRDD[12]atmapat<console>:31

scala>pairRDD.foreach(println)(Hadoop,1)(Spark,1)(Hive,1)(Spark,1)……keys和values做為鍵值對類型的RDD，包含了鍵跟值兩個部分。Spark提供了兩個方法分別獲取鍵值對RDD的鍵跟值。keys返回一個僅包含鍵的RDD，values返回一個僅包含值的RDD。scala>pairRDD.keysres17:org.apache.spark.rdd.RDD[String]=MapPartitionsRDD[17]atkeysat<console>:34scala>pairRDD.keys.foreach(println)HadoopSparkHiveSpark(Hadoop,1)(Spark,1)(Hive,1)(Spark,1)scala>pairRDD.valuesres0:org.apache.spark.rdd.RDD[Int]=MapPar