Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 近期一个需求是写一套...
发简信
IP属地：上海
-
Flink 使用之Kafka exactly-once场景
-
Flink 源码之OperatorChain
Flink源码分析系列文档目录 请点击：Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] 前言 Operato...
-
ClickHouse——数据分片一、分区和分片 分区 分区是表的分区，是解决大数据存储的常见解决方案，具体的DDL操作关键词是 PARTITION BY，指的是一个表按照某一列数据（比如日期）进行分区，对应...
-
Apache Doris tablet 副本修复的原理、流程及问题定位Doris 一个 tablet 有多个副本，可能因为某些情况导致状态不一致。Doris 会尝试自动修复这些状态不一致的副本，让集群尽快从错误状态中恢复。每个副本的状态有以下几...
-
Flink 侧流输出源码解析
Flink 侧流输出源码解析 Flink 的 side output 为我们提供了侧流（分流）输出的功能，根据条件可以把一条流分为多个不同的流，之后做不同的处理逻辑，下面就来...
-
clickhouse使用一些优化和经验
一些经验 1，查询强烈要求带上分区键过滤和主键过滤，如 where day = today() and itime = now()。 2，建表的时候，选择合适的分区键和...
-
Apache Flink——窗口（Window）前言 在真实的场景中数据流往往都是没有界限的，无休止的，就像是一个通道中水流持续不断地通过管道流向别处，这样显然是无法进行处理、计算的，可以将这些无界限的数据流进行切割、拆分...
-
Flink 源码之 Distributed Cache
Flink源码分析系列文档目录 请点击：Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] 背景 Flink 分...
-
Flink 源码之 SQL 内置function定义方式
Flink源码分析系列文档目录 请点击：Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] 前言 近期使用Fli...
-
flink写入kafka分区策略
flink写入kafka默认采用的分区策略的代码实现在FlinkFixedPartitioner这个类中，并不是我们理解的轮盘转方式写入下游分区，而是每个并发固定的写入到ka...
-
Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存)
CheckPoint调优 Flink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机制，Checkpoints可以将同一时间点作业/算子的状态数据全局统一快...
-
Flink 源码之 Buffer Timeout优化
Flink源码分析系列文档目录 请点击：Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] Buffer Tim...
-
Flink 消费 Kafka 分区顺序性问题1. kafka分区数据顺序性 kafka具有分区内数据有序的特点，可以通过将数据指定到特定的分区来实现数据的顺序性。kafka分区逻辑代码如下：如果指定了分区号生产，则发送...
-
Flink CDC 2.0 批流融合技术原理分析8月份 FlinkCDC 发布2.0.0版本，相较于1.0版本，在全量读取阶段支持分布式读取、支持checkpoint，且在全量 + 增量读取的过程在不锁表的情况下保障数据一...
-
数据仓库的分层，你知道吗？数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了数据建模、ETL（数据抽取、转换、加载）以及作用调度等在内的完整的理论体系流程。 数据仓库在构建过程中通常都...
-
Flink源码阅读（十）--- Flink 心跳机制
1. 背景 心跳机制通过定期向对方发送请求方式用于检测客户端或者服务端是否存活的一种机制，常见的心跳检测有两种： 1. socket 套接字 SO_KEEPALIVE 本...
-
flink 问题总结（9）registerProcessingTimeTimer 定时器疑问(包括源码阅读)
请移步 flink问题总结目录 (不断更新中)[https://www.jianshu.com/p/ef5618429d24]姐妹篇 registerEventTimeTim...
