水位线生成有两种策略，第一种是周期第二种是断点，断点就当触发某些事件的时候才生成水位线。周期就是一个时间范围内生成。乱序流水位线就是一个周期里面最大的那个时间
7.一文搞懂Flink中窗口的概念1.前言 在上一篇文章当中说了，如果需要进行双流join操作，可以选择在窗口的范围内进行，join操作会以窗口范围内的所有数据做inner join，然后将匹配到的所有数据交...
发简信
IP属地：重庆
-
-
顺序流和乱序流生成水位线的生成器是一样的，只不过乱序流需要设置延迟时间。如果设置的延迟时间是0的话，他们两个就没有区别了，水位线周期生成，默认时间是200毫秒
7.一文搞懂Flink中窗口的概念
1.前言 在上一篇文章当中说了，如果需要进行双流join操作，可以选择在窗口的范围内进行，join操作会以窗口范围内的所有数据做inner join，然后将匹配到的所有数据交...
-
2.一文搞定Kafka的生产者1.介绍 这篇文章就是为了帮助大家来理解Produce存在的意义以及工作的方式来进行编写的，整篇文章也会从整体组成、运行时架构两个方面去进行讲解，希望大家能够看懂，如果有什么...
-
1.一文搞定Kafka的组成架构1.前言 我在之前的文章当中，介绍了很多有关于Flink的相关知识和内容。因为我目前阶段所做的学习和工作的内容就是围绕着这一部分知识进行的。但是在进行数据计算的时候，FLin...
-
9.一文搞定Flink中的重要概念
1.前言 截止到目前为止，基本上所有与FLink 中DateStream API相关的内容都介绍完毕了，如果你一直看到这里证明很多东西你都已经理解了。我在表述的过程中也是一直...
-
8.一文搞定Flink单作业提交模式（per-job）的运行时状态1..运行时架构 在Flink进行数据处理的时候，有两个最重要的两个组件，分别是：作业管理器（JobManager）和任务管理器（TaskManager）。对于一个提交执行的...
-
7.一文搞懂Flink中窗口的概念
1.前言 在上一篇文章当中说了，如果需要进行双流join操作，可以选择在窗口的范围内进行，join操作会以窗口范围内的所有数据做inner join，然后将匹配到的所有数据交...
-
6.一文搞定Flink的多流转换
1.前言 在之前的文章当中，我针对于Flink中状态相关的一系列内容按照我自己理解的方式进行了讲述，但是单纯从我写的内容上看，貌似都是围绕着单条流进行计算的，所以在感官上就很...
-
5.一文搞定Flink中的状态编程
1.前言 Flink一直是被成为了有状态的流计算，并且还能够通过对状态的合理的调控与配置，来实现端到端的状态一致性，实现数据的精准一次性传输。这是非常厉害的一个功能，我在前面...
-
4.一文搞定：Flink与Kafka之间的精准一次性
1.前言 在上一篇文章当中，也算是比较详细且通俗的聊了聊Flink是如何通过checkpoint机制来完成数据精准一次性的实现的。并且也在上一章的结尾表示，要在接下来聊一聊F...
-
3.一文搞定：Flink中端到端的状态一致性（理念）
1.前言 哈喽，大家好。在第二章节中我聊了聊状态后端和检查点相关的内容，如果你仔细看完就能够很清楚的知道，Flink是如何保存自己引以为傲的状态的了。并且我也在上一章节中说了...
-
2.Flink中状态的保存和检查点机制（CheckPoint）
1.前言 前一篇文章聊了聊Flink中JDBCSink的使用方法，今天就说一说Flink中最具有特色的“状态”的保存和检查点机制。虽然我嘴上说着“状态”是Flink的一大特色...
-
1.一文搞定Flink自定义JDBC
1.前言 本论坛发送的所有内容，都是笔者在自己的个人的笔记上优化后誊写而来，希望自己所拥有的知识能够帮助更多有学习欲望的人。但值得一提的是，由于本人接触行业时间有限，可能会出...