數(shù)據(jù)傾斜的原因

數(shù)據(jù)傾斜的原因2學(xué)習(xí)任務(wù)了解何為數(shù)據(jù)傾斜數(shù)據(jù)傾斜解決方案數(shù)據(jù)傾斜的原理3知識目標(biāo)了解何為數(shù)據(jù)傾斜了解數(shù)據(jù)傾斜解決方案理解數(shù)據(jù)傾斜的原理01能力目標(biāo)掌握數(shù)據(jù)傾斜解決方案02學(xué)習(xí)目標(biāo)4目錄01何為數(shù)據(jù)傾斜02數(shù)據(jù)傾斜的原理03數(shù)據(jù)傾斜解決方案5何為數(shù)據(jù)傾斜-Hadoop中的數(shù)據(jù)傾斜Hadoop中直接貼近用戶使用使用的時Mapreduce程序和Hive程序，雖說Hive最后也是用MR來執(zhí)行（至少目前Hive內(nèi)存計算并不普及），但是畢竟寫的內(nèi)容邏輯區(qū)別很大，一個是程序，一個是Sql，因此這里稍作區(qū)分。Hadoop中的數(shù)據(jù)傾斜主要表現(xiàn)在ruduce階段卡在99.99%，一直99.99%不能結(jié)束。

6何為數(shù)據(jù)傾斜-Hadoop中的數(shù)據(jù)傾斜

這里如果詳細(xì)的看日志或者和監(jiān)控界面的話會發(fā)現(xiàn)：

有一個多幾個Reduce卡住各種container報錯OOM讀寫的數(shù)據(jù)量極大，至少遠(yuǎn)遠(yuǎn)超過其它正常的Reduce

伴隨著數(shù)據(jù)傾斜，會出現(xiàn)任務(wù)被kill等各種詭異的表現(xiàn)。經(jīng)驗：

Hive的數(shù)據(jù)傾斜，一般都發(fā)生在Sql中Group和On上，而且和數(shù)據(jù)邏輯綁定比較深7何為數(shù)據(jù)傾斜-Spark中的數(shù)據(jù)傾斜Spark中的數(shù)據(jù)傾斜也很常見，這里包括SparkStreaming和SparkSql，表現(xiàn)主要有下面幾種：key分布不均勻Executorlost，OOM，Shuffle過程出錯DriverOOM單個Executor執(zhí)行時間特別久，整體任務(wù)卡在某個階段不能結(jié)束正常運(yùn)行的任務(wù)突然失敗8數(shù)據(jù)傾斜的原因數(shù)據(jù)傾斜產(chǎn)生的原因我們以Spark和Hive的使用場景為例。他們在做數(shù)據(jù)運(yùn)算的時候會設(shè)計到，countdistinct、groupby、join等操作，這些都會觸發(fā)Shuffle動作，一旦觸發(fā)，所有相同key的值就會拉到一個或幾個節(jié)點(diǎn)上，就容易發(fā)生單點(diǎn)問題。萬惡的Shuffle

Shuffle是一個能產(chǎn)生奇跡的地方，不管是在Spark還是Hadoop中，它們的作用都是至關(guān)重要的。那么在Shuffle如何產(chǎn)生了數(shù)據(jù)傾斜？9數(shù)據(jù)傾斜的原因10數(shù)據(jù)傾斜的解決方案增加jvm內(nèi)存。增加reduce的個數(shù)。自定義分區(qū)。重新設(shè)計key。使用co