Shuffle
-
Shuffle核心概念、Shuffle調優(yōu)及故障排除
Spark調優(yōu)之Shuffle調優(yōu)本節(jié)開始先講解Shuffle核心概念;然后針對HashShuffle、SortShuffle進行調優(yōu);接下來對map端、reduce端調優(yōu);再針對Spark中的數據傾斜問題進行剖析及調優(yōu);最后是Spark運行過程中的故障排除