前言 经过前几篇文章的介绍,大致了解了生产者背后的运行原理。消息有生产就得有人去消费,今天我们就来介绍下消费端消费消息背后发生的那点事儿。 文章概览 1. 消费者与消费组的...
IP属地:西藏
前言 经过前几篇文章的介绍,大致了解了生产者背后的运行原理。消息有生产就得有人去消费,今天我们就来介绍下消费端消费消息背后发生的那点事儿。 文章概览 1. 消费者与消费组的...
前言 上篇文章讲述了消息从生产到写入到 Broker 的 partition 上背后发生的故事,并提出了消息发送的网络模型的问题。本篇文章我们来尝试揭开其背后的神秘面纱,耐...
是不是可以考虑优化shuffle类算子,比如某些中间结果比较小的缓存下来做广播处理等等
Spark内核分析之BlockManager工作原理介绍最近一直在忙,没顾得上写文章,新年的第一篇文章,希望大家可以喜欢;好了,今天接着之前的内容,来聊聊BlockManager的工作原理,上图来分析; 在DAGShceduler...
我没有遇到过你所说的情况,有没有可能是你的任务产生了大量的中间数据导致tmp目录变得非常大
Spark内核分析之BlockManager工作原理介绍最近一直在忙,没顾得上写文章,新年的第一篇文章,希望大家可以喜欢;好了,今天接着之前的内容,来聊聊BlockManager的工作原理,上图来分析; 在DAGShceduler...