Spark大數(shù)據(jù)分析 課件 4.3 RDD類型操作

RDD類型操作目錄/Contents01

轉(zhuǎn)換算子02行動算子轉(zhuǎn)換算子01轉(zhuǎn)換算子Transformation：轉(zhuǎn)換算子，這類轉(zhuǎn)換并不觸發(fā)提交作業(yè)，完成作業(yè)中間過程處理。下面是一些常用的轉(zhuǎn)換算子操作的API。操作介紹map(func)將RDD中的每個元素傳入自定義函數(shù)，獲取一個新的元素，然后用新的元素組成新的RDDfilter(func)對RDD中每個元素進(jìn)行判斷，如果返回true則保留，返回false則剔除flatMap(func)與map類似，但是對每個元素都可以返回一個或多個新元素groupByKey(func)根據(jù)key進(jìn)行分組，每個key對應(yīng)一個Iterable<value>reduceByKey(func)對每個key對應(yīng)value進(jìn)行reduce操作轉(zhuǎn)換算子1.map(func)map(func)操作是對RDD中的每個元素都執(zhí)行一個指定的函數(shù)來產(chǎn)生一個新的RDD。2.filter(func)filter(func)操作會篩選出滿足條件（即func）的元素，返回一個新的數(shù)據(jù)集。3.flatMap(func)類似于map，但是每一個輸入元素，會被映射為0到多個輸出元素(因此，func函數(shù)的返回值是一個Seq，而不是單一元素)。在一個由(K,V)對組成的數(shù)據(jù)集上調(diào)用，返回一個(K，Seq[V])對的數(shù)據(jù)集。4.groupByKey(func)5.reduceByKey(func)顧名思義，reduceByKey就是對元素為KV對的RDD中Key相同的元素的Value進(jìn)行reduce，因此，Key相同的多個元素的值被reduce為一個值，然后與原RDD中的Key組成一個新的KV對。行動算子02行動算子Action：行動算子，這類算子會觸發(fā)SparkContext提交Job作業(yè)。下面是一些常用的行動算子操作的API。操作介紹

reduce(func)通過函數(shù)func聚集數(shù)據(jù)集中的所有元素。Func函數(shù)接受2個參數(shù)，返回一個值。這個函數(shù)必須是關(guān)聯(lián)性的，確?？梢员徽_的并發(fā)執(zhí)行collect()在Driver的程序中，以數(shù)組的形式，返回?cái)?shù)據(jù)集的所有元素。count()返回?cái)?shù)據(jù)集的元素個數(shù)take(n)返回一個數(shù)組，由數(shù)據(jù)集的前n個元素組成。first()返回?cái)?shù)據(jù)集的第一個元素（類似于take（1）)foreach(func)在數(shù)據(jù)集的每一個元素上，運(yùn)行函數(shù)func。

saveAsTextFile(path)將數(shù)據(jù)集的元素，以textfile的形式，保存到本地文件系統(tǒng)，hdfs或者任何其它hadoop支持的文件系統(tǒng)。Spark將會調(diào)用每個元素的toString方法，并將它轉(zhuǎn)換為文件中的一行文本行動算子1.reduce(func)reduce將RDD中元素兩兩傳遞給輸入函數(shù)，同時產(chǎn)生一個新的值，新產(chǎn)生的值與RDD中下一個元素再被傳遞給輸入函數(shù)直到最后只有一個值為止。2.collect()在Driver的程序中，以數(shù)組的形式，返回?cái)?shù)據(jù)集的所有元素。這通常會在使用filter或者其它操作后，返回一個足夠小的數(shù)據(jù)子集再使用，直接將整個RDD集Collect返回，很可能會讓Driver程序OOM。3.count()count返回整個RDD的元素個數(shù)。我們可以定義一個RDD，使用count()來統(tǒng)計(jì)RDD的元素個數(shù)。

take和collect操作類似，只是collect操作獲取的所有數(shù)據(jù)，而take操作是獲取前n個元素。4.take(n)5.first()first()的作用是返回?cái)?shù)據(jù)集的第一個元素.我們可以定義一個RDD,使用first()來獲取RDD中的第一個元素。6.