用户画像，即用户信息标签化，是大数据精细化运营和精准营销服务的基础。它是一种勾画目标用户、联系用户诉求与设计方向的有效工具。在大数据的时代下，用户的一切行为是可追溯和分析的。...
发简信
IP属地：上海
-
用户画像1：用户画像基础 -
-
Spark on Yarn之Executor内存管理本文1、2、3节介绍了Spark 内存相关之识，第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...
-
Linux 指令之安装软件
在 Linux 上安装软件应该去官网下载比较好，比如去 JDK 的官网下载 JDK ，会给出这样的下载列表。 对于 Linux 系统来说有三个安装包可以下载，格式分别为 rp...
-
Linux 指令之用户和密码
1，修改密码的指令为：passwd 按照这个命令可以输入新密码。 2，创建用户的指令为：useradd 执行这个指令，一个用户就会被创建了。接下来可以自己调用 passwd ...
-
Maven将工程打包成Jar的问题总结背景 直接用 mvn package打包了，结果是报错，没有主清单属性，然后百度了一堆，发现都是用maven-shade-plugin这个插件，还有用maven-assemb...
-
JVM 堆内存模型与 GC 策略
Java 中堆内存是 JVM 管理内存中最大的一块内存，同时又是 GC 管理的重要区域。 Java 堆内存主要分成两个区域： 1，年轻代。年轻代内部又分成了两个区，一个是 E...
-
Spark内存管理详解（上）——内存分配正文内容分为上下两篇来阐述，下一篇见《Spark内存管理详解（下）——内存管理》[https://www.jianshu.com/p/58288b862030] 引言 Spa...
-
Spark 源码分析（九）: Task 启动
前面已经分析到了 DAGScheduler 对 stage 划分，并对 Task 的最佳位置进行计算之后，通过调用 taskScheduler 的 submitTasks 方...
-
Spark 源码分析（八）:DAGScheduler 源码分析2（task 最佳位置计算）
前面一篇文章已经讲了 DAGScheduler 中的 stage 划分算法。 实际上就是每当执行到 RDD 的 action 算子时会去调用 DAGScheduler 的 h...
-
Spark 源码分析（七）: DAGScheduler 源码分析1（stage 划分算法）
前面几篇文章已经说清楚了从 spark 任务提交到 driver 启动，然后执行 main 方法，初始化 SparkContext 对象。 在初始化 SparkContext...
-
Spark 源码解析（六）: 向 driver 注册 Executor
前一篇文章介绍了 Executor 进程的启动，最后启动的是 CoarseGrainedExecutorBackend，执行启动命令后会执行它的 main 方法，启动 Coa...
-
Spark 源码分析（五）: Executor 启动
上一篇已经将 Application 注册到了 master 上了，在 master 收到注册消息后会进行一系列操作，最后调用 schedule 方法。 这个 schedul...
-
Spark 源码分析（四）: Application 的注册
在前面一篇文章中分析到了 SparkContext 中的 TaskScheduler 创建及启动。 在 StandaloneSchedulerBackend start 代...
-
Spark 源码分析（三）: SparkContext 初始化之 TaskScheduler 创建与启动
前面已经分析到了 driver 进程成功在某台 worker 上启动了，下面就开始执行我们写的那些代码了。以一个 wordcount 程序为例，代码如下： 首先会去初始化我们...
-
Spark 源码分析（二）: Driver 注册及启动
上一篇文章已经已经执行到 Client 向 masterEndpoint 发送了 RequestSubmitDriver 信息，下面就看看 master 怎么注册 drive...
-
Spark 源码分析（一）：Spark Submit 任务提交研究 Spark 内部是怎么运行的，怎么将 Spark 的任务从开始运行到结束的，先从 spark-submit 这个 shell 脚本提交用户程序开始。下面的分析都是基于 ...
-
Spark 中的 RPC
Spark 是一个 通用的分布式计算系统，既然是分布式的，必然存在很多节点之间的通信，那么 Spark 不同组件之间就会通过 RPC（Remote Procedure Cal...
