240 发简信
IP属地:陕西
  • 误人子弟! sortBy就是对全局数据进行排序,你这里打印出来无序是因为多分区并行print 导致输出无序而已, 你先collect()在foreach(println)就会发现人家全局排了序!

    spark使用sortBy算子却不能实现排序

    先附上一段代码: 输出结果: 很奇怪,为什么sortBy算子不能对列表进行排序呢?因为sortBy主要是针对分区内排序。在创建SparkConf对象时,我们把setMaste...