240 发简信
IP属地:上海
  • Resize,w 360,h 240
    RDD依赖关系说明

    相比于宽依赖,窄依赖对优化很有利 ,主要基于以下两点: 宽依赖往往对应着shuffle操作,需要在运行过程中将同一个父RDD的分区传入到不同...

  • Resize,w 360,h 240
    RDD依赖关系

    Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的依赖关系 窄依赖:一个父...

  • Resize,w 360,h 240
    RDD特征

    文档:http://spark.apache.org/docs/latest/rdd-programming-guide.html#resili...

  • Shuffle操作

    http://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-o...