IP属地:上海
相比于宽依赖,窄依赖对优化很有利 ,主要基于以下两点: 宽依赖往往对应着shuffle操作,需要在运行过程中将同一个父RDD的分区传入到不同...
Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的依赖关系 窄依赖:一个父...
文档:http://spark.apache.org/docs/latest/rdd-programming-guide.html#resili...
http://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-o...
Leslie