spark中stage的划分依据action算子进行，每一次action（reduceByKey等）算子都会触发一次shuffle过程，该过程涉及到数据的重新分区。spark...
发简信
IP属地：吉林
-
spark源码解析之partitioner
-
spark读写数据仓库
1、使用场景 随着业务及数据量的增长，数据库中的数据大致可以分为两类，一类为操作型数据，另一类为分析型数据。其中，操作型数据通常与日常业务紧密相关且可进行增删改查，而分析型...
-
rdd实现wordcount
1、rdd实现wordcountrdd调用flatMap方法将rdd中每一个元素按空格分割并铺平，再通过map方法组成元组，最后通过reduceByKey进行词频统计，需要注...
-
基于spark实现emd算法
emd（empirical mode decomposition）算法广泛用于非平稳时间序列的平稳性处理，其基本原理是将原始序列分解为一系列本征模函数（IMFs）。在数据量比...
-
spark dataframe添加新的列使用spark的dataframe进行计算时有时需要添加新的列。本文介绍两种添加新列的方法，比较常见的一种方法是调用dataframe的withColumn方法，但是该方法存...
-
react-native实现文字的跑马灯设计
最近在项目开发中遇到一个问题，当文字超出显示区域时使其以跑马灯的形式动态显示。react-native中显示文本用到的组件为Text，但Text并没有相关的属性用于设置文字的...
-
fetch函数设置timeout
使用react-native开发app时，通常使用fetch函数与后台进行交互。请求后台接口时，为了防止用户等待太长时间需要设置timeout，但是原生的fetch并没有设置...
