在1.6版本之前spark采用静态内存管理器StaticMemoryManager进行内存管理，而在之后spark采用统一内存管理器Unifie...

根据水质监测信息预测水质变化趋势，对水环境的有效防范治理具有重要意义。目前水质预测方法主要分为两类，一类为基于污染物在水环境中的理化过程建立的数...

丰富的第三方库使得python非常适合用于进行数据分析，最近在项目中就涉及到java调用python实现的算法。目前，java调用python主...

spark中stage的划分依据action算子进行，每一次action（reduceByKey等）算子都会触发一次shuffle过程，该过程涉...

1、使用场景  随着业务及数据量的增长，数据库中的数据大致可以分为两类，一类为操作型数据，另一类为分析型数据。其中，操作型数据通常与日常业务紧密...

1、rdd实现wordcountrdd调用flatMap方法将rdd中每一个元素按空格分割并铺平，再通过map方法组成元组，最后通过reduce...

emd（empirical mode decomposition）算法广泛用于非平稳时间序列的平稳性处理，其基本原理是将原始序列分解为一系列本征...