IP属地：广东
-
Spark RDD分区器实现
Spark 目前支持 Hash 分区和 Range 分区，和用户自定义分区。Hash 分区为当前的默认分区。分区器直接决定了 RDD 中分区的个...
-
Spark RDD高级算子之aggregateaggregate算子可以先对局部聚合，再对全局聚合。 示例：val rdd1 = sc.parallelize(List(1,2,3,4,5)...
-
Spark错误容忍机制spark的错误容忍机制有两种方法。 ① 通过重新执行计算任务来容忍错误。当job抛出异常不能继续执行时，重新启动计算任务，再次执行。 ②通过c...