概念回顾 LEO：last end offset，日志末端偏移量，记录了该副本对象底层日志文件中下一条消息的位移值。举一个例子，若LEO=10，那么表示在该副本日志上已经保存...
发简信
IP属地：香港
-
《Apache Kafka 实战》笔记 - 6.1.4 LEO和HW的更新机制
-
kafka的leader选举过程知道leader选举的设计和策略kafka的高可用设计，具体选举的过程如何？最简单最直观的方案是，leader在zk上创建一个临时节点，所有Follower对此节点注册监听，...
-
10.Spark Streaming源码分析:Receiver数据接收全过程详解原创文章，转载请注明作者信息和文章链接 在上一篇中介绍了Receiver的整体架构和设计原理，本篇内容主要介绍Receiver在Executor中数据接收和存储过程 一、Re...
-
Spark Streaming(1) - 基本原理本文基于spark 2.11 1. 前言 spark使用RDD来抽象的表示数据，用户使用RDD提供的一些算子编写自己的spark application，使用RDD抽象表示数...
-
SparkStreaming源码之receiver
SparkStreaming源码之receiver篇 ReceiverTracker简介 ReceiverTracker管理ReceiverInputDStreams接受者的...
-
Spark Streaming - Block数据存储之前介绍了在Spark Streaming的环境中，如何启动Receiver进行数据接收，那么当我们Receiver启动了之后，就会进行数据接收，接受的数据就会进行相应的存储...
-
Structured Streaming 源码剖析（一）- Source一、trait Source Source 必须不断地到达数据以进行流式查询。 Source 必须具有单调递增的进度概念，用 offset 表示。 Spark 将定期查询每个...
-
Spark Streaming原理介绍Spark Streaming简介 Spark Streaming是Spark 核心API的一个扩展，可以实现高吞吐量的、具备容错机制的 实时流数据的处理。支持从多种数据源获...
-
Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考
一：Receiver启动的方式设想 1.Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch D...
