1.首先创造数据，数据有4列分别是店铺id、订单id、订单金额、订单日期。 数据如下： 2.计算月销售额占比通过窗口函数实现，首先聚合月销售额，之后再根据月销售额集合为年销售...
发简信
IP属地：湖南
-
spark sql实现月销售额占比以及月环比和月同比(大厂数仓sql面试题)
-
-
-
spark sql 连续登录最大天数
数据： 注意：| 3|2020-09-04|| 3|2020-09-04|这里是有重复的，所以第一步是去重复： 第二步：同一个user_id的登录时间进行...
-
spark maybeSpill
在shuffle过程中会进行多次的溢出到磁盘的操作，那么条件是什么呢？这个方法maybeSpill就是判断是否进行溢出操作的。1.不是每加载一个数据进行一次判断的，而是每隔3...
-
java面试题-多线程数组求和(CountDownLatch实现）
CountDownLatch是一个线程等待其他的所有线程执行完成。先对数组进行分段，每段求和，主线程等待所有线程计算完成之后，在执行整体求和。
-
java面试题-多线程数组求和(CyclicBarrier实现）
CyclicBarrier的作用是拦截多个线程，当所有线程到达指定位置时，在开始往下面执行，否则线程等待。两种构造函数： 其中parties是线程个数，barrierActi...
-
spark 默认分区的问题(spark.default.parallelism)
（先区分一个概念，rdd的分区数和rdd的分区器（partitioner）的分区数不是一个）reduceByKey groupByKey join等，如果没有明确的标记出来分...
-
-
spark streaming java简单demo
java写的程序，所以程序中使用的都是java的类和api，例如JavaStreamingContext，JavaReceiverInputDStream，JavaDStre...
-
spark graphx最短路径-java版本网上graphx实现最短路径的代码比较多，但是都是scala版本，java版本的实现很少。1.创建图数据使用的方法是Graph.apply()，下面看一下scala的该方法的...
-
spark sortShuffleExternalSorter：1.可以对数据进行聚合。2.使用分区计数器首先将key分组到各个分区中，然后使用自定义的比较器对每个分区中的key进行可选的排序；3.将每个分区...
