发简信
IP属地：江苏
-
-
【Spark Java API】Transformation(12)—zipPartitions、zip
zipPartitions 官方文档描述： 函数原型： 该函数将两个分区RDD按照partition进行合并，形成一个新的RDD。 源码分析： 从源码中可以看出，zipPar...
-
【Spark Java API】Action(6)—saveAsTextFile、saveAsObjectFile
saveAsTextFile 官方文档描述： 函数原型： saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 源码分析： 从源码中可以看到，saveA...
-
深入理解elasticsearch elasticsearch外源资源整理：https://github.com/jacksu/awesome-es
-
【Spark Java API】broadcast、accumulator
broadcast 官方文档描述： 函数原型： 广播变量允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可被用于有效地给每个节点一个大输入数据集...
-
【Spark Java API】Action(6)—saveAsTextFile、saveAsObjectFile
saveAsTextFile 官方文档描述： 函数原型： saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 源码分析： 从源码中可以看到，saveA...
-
【Spark Java API】Action(5)—treeAggregate、treeReduce
treeAggregate 官方文档描述： 函数原型： **可理解为更复杂的多阶aggregate。** 源码分析： **从源码中可以看出，treeAggregate函数先是...
-
【Spark Java API】Action(4)—sortBy、takeOrdered、takeSample
sortBy 官方文档描述： 函数原型： **sortBy根据给定的f函数将RDD中的元素进行排序。** 源码分析： **从源码中可以看出，sortBy函数的实现依赖于sor...
-
【Spark Java API】Action(3)—foreach、foreachPartition、lookup
foreach 官方文档描述： 函数原型： **foreach用于遍历RDD,将函数f应用于每一个元素。** 源码分析： 实例： foreachPartition 官方文档描...
-
【Spark Java API】Action(2)—fold、countByKey
fold 官方文档描述： 函数原型： **fold是aggregate的简化，将aggregate中的seqOp和combOp使用同一个函数op。** 源码分析： **从源码...
-
和Spring Boot相关的一切，涵盖Java后端技术栈
-
@MichaelFly 确实java写的比较丑，但是为java开发人员
【Spark Java API】Transformation(1)—mapPartitions、mapPartitionsWithIndex
mapPartitions 官方文档描述： **mapPartitions函数会对每个分区依次调用分区函数处理，然后将处理的结果(若干个Iterator)生成新的RDDs。m...
