|0x00 从实时数仓的历史谈起 实时数仓的历史，有三个显著的分水岭。 第一个分水岭是从无到有，随着以Storm为代表的实时计算框架出现，大数据从此摆脱了MapReduce单...
发简信
IP属地：广东
-
-
HDFS架构师 5 - NameNode bug分析及双缓冲机制
一、回顾HDFS 元数据 管理 1、0 回顾HDFS 元数据 管理 流程 35} 0:8 1.1 写元数据（journalnode)超时会导致namenode进程异常退出 3...
-
kafka图解源码-2.0 服务端代码设计1-网络31 ）服务端代码设计-观察-kafka源码的包 31} 0：7 重点代码包： broker：D:\Git_SRC\JavaProjects\kafka-0.10.1...
-
kafka图解源码-3 消费者代码设计67)消费者源码-coondinator原理刨析 -63｝0:16 68)消费者源码-consumer初始化 -64｝0:16 入口↓▲★\kafka-0.10.1.0-...
-
深入浅出kafka-broker相关原理1 、 broker管理之leo hw 含义 41} leo ： log and offset 每partion 收到1条消息都更新自己的 offset ...
-
深入浅出kafka-消费者相关原理
1、 消费组概念 32} 0:7 2、偏移量工具 35} 0：15 kafkaOffsetMonitor-assembly-0.3.0 3、感知消费异常 36} ...
-
深入浅出kafka-生产者相关原理
1 生产者如何提升吞吐量 26} 0： 10 发送原理图 1、buffer.memory 设置缓冲区 默认32M2、compression.type 默认n...
-
HDFS架构师3.1-元数据管理流程2（日志同步及fsimage互传）19} 20} 21} 22} 1、内存里面的元数据刷盘 19}接上期 ——1.1 .1.1》 FSEditLog.logSync（）——1.1 .1.1.1》 EditL...
-
Docker 构建 Flink 1.10.2 集群(ON YARN)
1. 借鉴 使用Docker在本地搭建Flink分布式集群[https://blog.csdn.net/clypm/article/details/86303248]基于do...
-
HDFS架构师3.0-元数据管理流程1（主节点双缓冲写）1、以创建目录的场景 为例贯穿整个流程 自编客户端 FileTest 代码_>▲★▼FileSystem fileSystem=FileSystem.newInstance...
-
HDFS架构师 2.2 - NameNode元数据双缓冲写入原理demo
（1）HDFS元数据管理、双缓冲 17 } 0：55 双缓冲写元数据的方法 ——》 FSEditLog#logEdit（）▼▼
-
HDFS架构师 2-1 —DataNode启动流程-注册及心跳
1、 DataNode启动流程 19：00 本节入口：DataNode类main方法/* DataNode类注释说明： TODO (1) DataNode存储hdfs上b...
-
HDFS架构师 2-0 — NameNode启动流程2
接上回——》NameNode #构造函数（）——1 》NameNode # initialize▼rpcServer = createRpcServer(conf); ...
-
Flink源码5- task执行及state和checkpoint一 、 task执行入口 0：15 接 上期 回顾★ ——7 》 TaskExecutor#submitTask（） 第一个入口：Task 构造函数——》Task 构造...
-
Flink源码4-Slot分配和Task执行接上期：——》JobMaster#startJobExecution（）resetAndStartScheduler();——》JobMaster#resetAndStart...
-
Flink源码3-task任务提交到graph生成1、 上次回顾 0：10 ~0：18 2、 本次大纲 0：18 ~0：22 4.1 Flink 编程套路 0：23 ~ 0：38 4.2 Clifrontend 提交分...
-
Flink源码2-TaskManager启动和注册1、 上期回顾 0：00：00 ~0：20：00 2、 TaskManager 的启动 0：20：00 ~ 1：39：00 flink-daemon.sh 脚本 3...
-
Flink源码1-Flink 的集群和Jobmanager启动1、Flink RPC 详解 0：5：00 ~ 0：26：00 1、ActorSystem 是管理 Actor生命周期的组件， Actor是负责进行通信的组2、每个 Act...
-
flink架构师5-CEP、一致性、YARN一 、 CEP 0：18~1：10 二、一致性保证 1：10 ~2：25 我们使用FlinkKafkaConumser,并且启用Checkpoint，偏移量会通过ch...