本文内容是基于Flink 1.9来讲解。在执行Flink任务的时候,会涉及到三个Graph,分别是StreamGraph,JobGraph,ExecutionGraph。其中...
Flink源码分析系列文档目录 请点击:Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] 什么是credit反...
如果是磁盘文件,b+Tree 会比 skiplist 好很多。磁盘查询性能比内存差很多,所以尽量减少查询的次数。
b+ tree 每个节点有好多数据,每次查询可以查询一批数据到内存中。b+ 树的层数低,可以减少访问磁盘的次数。
Skip List--跳表(全网最详细的跳表文章没有之一)跳表是一种神奇的数据结构,因为几乎所有版本的大学本科教材上都没有跳表这种数据结构,而且神书《算法导论》、《算法第四版》这两本书中也没有介绍跳表。但是跳表插入、删除、查找元素的...
RocksDB 的设计依赖于 LSM Tree 的思想,LSM Tree 的特性就是生成的 sst 都是不可变的问题件,所以可以保证文件不被修改。
RocksDB系列十二:CheckpointsCheckpoint是RocksDB的一个feature,主要支持对当前正在运行的数据库制作一个snapshot。Checkpoints是一个时间点上的snapshot。...
前言 很久没写过源码走读类型的文章了。最近在做业务需求时用Flink的State TTL非常多,今天就来探索一下吧。 从Flink 1.6版本开始,社区为状态引入了TTL(t...
一、快速开始 安装Nodejs教程:https://www.jianshu.com/p/cc26e5d0f10f 安装gitbook npm install gitbook-...
Flink默认提供了很多开箱即用的连接器,比如与Kafka、RabbitMQ、HDFS、ElasticSearch等对接的连接器。还有一些不那么常用的连接器则由Apache ...
这是上周出现的问题了,简单做个记录。 有一个按平台类型实时统计用户活跃的程序,代码框架如下。 就是水印→开窗→聚合→输出的经典套路。程序正常运行一段时间之后,连续报检查点超时...