parallelStream 介绍 引言 大家应该已经对Stream有过很多的了解，对其原理及常见使用方法已经也有了一定的认识。流在处理数据进行一些迭代操作的时候确认很方便，...
发简信
IP属地：四川
-
JDK8并行流 parallelStream -
homebrew 安装指定版本node
mac环境下,使用homebrew 安装的node, 默认是最高版本,命令如下: 最近在研究weex, 按照官网安装命令npm install weex-toolkit -g...
-
从零开始开发一个Spring Boot Starter
一.Spring Boot Starter简介 Starter是Spring Boot中的一个非常重要的概念，Starter相当于模块，它能将模块所需的依赖整合起来并对模块内...
-
Spark推测执行解决SparkStreaming任务task卡死问题
背景：测试环境运行一个SparkStreaming任务，yarn-cluster模式，duration为5分钟一个批次，每个批次平均2000w条records，并行度为60 ...
-
Spark累加器(Accumulator)陷阱及解决办法
程序中可能会使用到spark提供的累加器功能，可是如果你不了解它的运行机制，有时候会带来一些负面作用（错误的累加结果）。 下文会介绍产生错误结果的原因，并提供一种解决办法。 ...
-
【Akka】Akka入门编程实例
引言 这篇文章主要是第一次学习Akka编程，先试试水，探探坑，对Akka和SBT的使用有一个直观的了解，以几个简单的akka编程实例来说明akka的使用。希望在日后的学习和编...
-
【容错篇】Spark Streaming的还原药水——Checkpoint一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spa...
-
利用Kryo序列化库是你提升Spark性能要做的第一件事本文基于Spark2.1.0版本套用官文Tuning Spark中的一句话作为文章的标题： *Often, choose a serialization type will ...
-
浅析kryo
kryo是一个高性能的序列化/反序列化工具，由于其变长存储特性并使用了字节码生成机制，拥有较高的运行速度和较小的体积。 依赖 引入maven依赖 需要注意的是，由于kryo使...
-
【Scala类型系统】隐式转换与隐式参数
隐式转换 隐式转换是使用implicit修饰的带有单个参数的普通函数。这种函数将自动应用，将值从一种类型转换为另一种类型。举例说明： 我们想将整数n转换为分数n/1，定义im...
-
【Scala】单例对象与伴生对象
Scala的单例对象 Scala不能定义静态成员，而是代之定义单例对象(singleton object)。以object关键字定义。对象定义了某个类的单个实例，包含了你想要...
-
Scala注解
什么是注解？ 注解其实说白了，就是在我们的代码中，加入一些特殊的标记 特殊的标记大概长什么样子呢？ 我们之前学过一个很常用，和很经典的一个注解，其实就是@BeanProper...
-
【Scala】使用Option、Some、None，避免使用null
避免null使用 大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它...
-
Scala 中的 Covariance 和 Contravariance
源地址 这玩意儿水还是有一点的，看着 Scala 代码中到处都在飞翔着“+/-”号，挠的你心里痒痒的。所以花点时间来认真研究一下所谓的 co/contra variance。...
