IP属地:广东
想问一下 博主 那个shuffle read 和shuffle write 很大超过1G肿么办呢
Spark Shuffle Write 和Read本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段,发生在map和reduce之间,涉及到map到reduce之间的数据的移动,以...
本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段,发生在map和reduce之间,涉及到map到reduce之间的数据的移动,以...