240 发简信
IP属地:广东
  • 想问一下 博主 那个shuffle read 和shuffle write 很大超过1G肿么办呢

    Spark Shuffle Write 和Read

    本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段,发生在map和reduce之间,涉及到map到reduce之间的数据的移动,以...

  • 120
    Spark Shuffle Write 和Read

    本文基于spark源码2.11 1. 前言 shuffle是spark job中一个重要的阶段,发生在map和reduce之间,涉及到map到reduce之间的数据的移动,以...