全球首个批流一体机器学习平台 Alink
IP属地：广东
-
Spark RDD分区器实现
Spark 目前支持 Hash 分区和 Range 分区，和用户自定义分区。Hash 分区为当前的默认分区。分区器直接决定了 RDD 中分区的个数、RDD 中每条数据经过 S...
-
Spark RDD高级算子之aggregateaggregate算子可以先对局部聚合，再对全局聚合。 示例：val rdd1 = sc.parallelize(List(1,2,3,4,5), 2) 查看每个分区中的元素...
-
Spark错误容忍机制spark的错误容忍机制有两种方法。 ① 通过重新执行计算任务来容忍错误。当job抛出异常不能继续执行时，重新启动计算任务，再次执行。 ②通过checkpoint(检查点)机...
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
