前言 经过前几篇文章的介绍，大致了解了生产者背后的运行原理。消息有生产就得有人去消费，今天我们就来介绍下消费端消费消息背后发生的那点事儿。 ​文...

​前言 上篇文章讲述了消息从生产到写入到 Broker 的 partition 上背后发生的故事，并提出了消息发送的网络模型的问题。本篇文章我们...

最近一直在忙，没顾得上写文章，新年的第一篇文章，希望大家可以喜欢；好了，今天接着之前的内容，来聊聊BlockManager的工作原理，上图来分析...

如题，我们来分析一下spark的shuffle操作原理；为什么说其非常重要，是因为shuffle操作是我们在Spark调优中非常重要的一环，对s...

接着上一篇，我们接着来分析下一个非常重要的组建DAGScheduler的运行原理是怎么实现的；通过之前对Spark的分析讲解，我们的Spark作...

接着上篇的Schedule调度内容，本篇我们来看看Driver，Application向Worker发送launch以后到底发生了什么。先来看看...

上一篇我们阐述了Driver，Application，Worker的注册实现原理，本篇我们来接着聊聊Driver，Application在注册之...

这篇文章我们来讨论一下Master的注册机制；那么有哪些信息需要注册到Master上面去呢？很简单，分别有Worker的注册，Driver的注册...

Spark作业运行的集群环境有两种，分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用，而s...