2023學年完整公開課版spark劃分stage

Spark劃分stage2知識目標Spark中如何劃分stagestage01能力目標stage劃分思路stageshuffle與stage02學習目標3目錄01Spark中如何劃分stage02stage03stage劃分思路Spark中如何劃分stage4RDD之間有一系列的依賴關(guān)系，依賴關(guān)系又分為窄依賴和寬依賴。Spark中的Stage其實就是一組并行的任務(wù)，任務(wù)是一個個的task。窄依賴指父RDD的每一個分區(qū)最多被一個子RDD的分區(qū)所用，表現(xiàn)為：一個父RDD的分區(qū)對應(yīng)于一個子RDD的分區(qū)；兩個父RDD的分區(qū)對應(yīng)于一個子RDD的分區(qū)。寬依賴指子RDD的每個分區(qū)都要依賴于父RDD的所有分區(qū)，這是shuffle類操作。stage5一個Job會被拆分為多組Task，每組任務(wù)被稱為一個Stage就像MapStage，ReduceStage。Stage的劃分在RDD的論文中有詳細的介紹，簡單的說是以shuffle和result這兩種類型來劃分。在Spark中有兩類task:(1)shuffleMapTask輸出是shuffle所需數(shù)據(jù),stage的劃分也以此為依據(jù)，shuffle之前的所有變換是一個stage，shuffle之后的操作是另一個stage。stage6(2)resultTask輸出是result，比如rdd.parallize(1to10).foreach(println)這個操作沒有shuffle，直接就輸出了，那么只有它的task是resultTask，stage也只有一個；如果是rdd.map(x=>(x,1)).reduceByKey(_+_).foreach(println),這個job因為有reduce，所以有一個shuffle過程，那么reduceByKey之前的是一個stage，執(zhí)行shuffleMapTask，輸出shuffle所需的數(shù)據(jù)，reduceByKey到最后是一個stage，直接就輸出結(jié)果了。如果job中有多次shuffle，那么每個shuffle之前都是一個stage。stage7會根據(jù)RDD之間的依賴關(guān)系將DAG圖劃分為不同的階段，對于窄依賴，由于partition依賴關(guān)系的確定性，partition的轉(zhuǎn)換處理就可以在同一個線程里完成，窄依賴就被spark劃分到同一個stage中，而對于寬依賴，只能等父RDDshuffle處理完成后，下一個stage才能開始接下來的計算。之所以稱之為ShuffleMapTask是因為它需要將自己的計算結(jié)果通過shuffle到下一個stage中。stage劃分思路8spark劃分stage的整體思路是：從后往前推，遇到寬依賴就斷開，劃分為一個stage；遇到窄依賴就將這個RDD加入該stage中。stage劃分思路9在spark中，Task的類型分為2種：ShuffleMapTask和ResultTask；簡單來說，DAG的最后一個階段會為每個結(jié)果的partition生成一個ResultTask，即每個Stage里面的Task的數(shù)量是由該Stage中最后一個RDD的Partition的數(shù)量所決定的！而其余所有階段都會生成ShuffleMapTask；之所以稱之為ShuffleMapTask是因為它需要將自己的計算結(jié)果通過shuffle到下一個stage中。shuffle與stage10shuffle是劃分DAG中stage的標識,同時影響Spark執(zhí)行速度的關(guān)鍵步驟.

RDD的Transformation函數(shù)中,又分為窄依賴(narrowdependency)和寬依賴(widedependency)的操作.窄依賴跟寬依賴的區(qū)別是是否發(fā)生shuffle(洗牌)操作.寬依賴會發(fā)生shuffle操作.窄依賴是子RDD的各個分片(part