240 发简信
IP属地:西藏
  • 120
    kafka系列第5篇:一文读懂消费者背后的那点"猫腻"

    前言 经过前几篇文章的介绍,大致了解了生产者背后的运行原理。消息有生产就得有人去消费,今天我们就来介绍下消费端消费消息背后发生的那点事儿。 ​文章概览 1. 消费者与消费组的...

  • 120
    Kafka系列第4篇:消息发送背后网络操作的那点事儿

    ​前言 上篇文章讲述了消息从生产到写入到 Broker 的 partition 上背后发生的故事,并提出了消息发送的网络模型的问题。本篇文章我们来尝试揭开其背后的神秘面纱,耐...

  • 是不是可以考虑优化shuffle类算子,比如某些中间结果比较小的缓存下来做广播处理等等

    Spark内核分析之BlockManager工作原理介绍

    最近一直在忙,没顾得上写文章,新年的第一篇文章,希望大家可以喜欢;好了,今天接着之前的内容,来聊聊BlockManager的工作原理,上图来分析; 在DAGShceduler...

  • 我没有遇到过你所说的情况,有没有可能是你的任务产生了大量的中间数据导致tmp目录变得非常大

    Spark内核分析之BlockManager工作原理介绍

    最近一直在忙,没顾得上写文章,新年的第一篇文章,希望大家可以喜欢;好了,今天接着之前的内容,来聊聊BlockManager的工作原理,上图来分析; 在DAGShceduler...

个人介绍
do something for myself