![240](https://cdn2.jianshu.io/assets/default_avatar/4-3397163ecdb3855a0a4139c34a695885.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
IP属地:广东
想问一下 博主 那个shuffle read 和shuffle write 很大超过1G肿么办呢
Spark Shuffle Write 和Read本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段,发生在map和reduce之间,涉及到map到reduce之间的数据的移动,以...
本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段,发生在map和reduce之间,涉及到map到reduce之间的数据的移动,以...