是的,1.12已经修复了
解决Flink1.11.0不能指定SQL任务JobName问题前言: Flink最近刚发布了1.11.0版本,由于加了很多新的功能,对sql的支持更加全面,我就迫不及待的在本地运行了个demo,但是运行的时候报错了: 虽然报错,但任务却...
是的,1.12已经修复了
解决Flink1.11.0不能指定SQL任务JobName问题前言: Flink最近刚发布了1.11.0版本,由于加了很多新的功能,对sql的支持更加全面,我就迫不及待的在本地运行了个demo,但是运行的时候报错了: 虽然报错,但任务却...
这一篇继续讲SQL的优化问题,在常规应用开发中,Mysql的单表性能都是够用的,从量级来看,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下Mysql都是可以的,...
前言 工作当中我们往往会遇到这样的需求场景:某张表中不同的统计指标,需要从多个不同的 kafka 数据源当中统计。这种做法,我们很容易想到把多个 kafka source 统...
在流计算中,事件会持续不断的产生,如果每次计算都是相互独立的,不依赖于上下游事件,则称为无状态 (stateless) 计算;如果每次的计算依赖于之前或者后续的事件,则称为有...
从一段 Dubbo 源码到 CPU 分支预测的一次探险之旅 每个时代,都不会亏待会学习的人。 大家好,我是 yes。 说来也是巧最近在看 Dubbo 源码,然后发现了一处很奇...
大佬厉害,我当时看到dubbo的这段代码的时候也是一样,不知道为啥这样,也没去深究,今天学到了。👍
从一段 Dubbo 源码到 CPU 分支预测的一次探险之旅从一段 Dubbo 源码到 CPU 分支预测的一次探险之旅 每个时代,都不会亏待会学习的人。 大家好,我是 yes。 说来也是巧最近在看 Dubbo 源码,然后发现了一处很奇...
大神,请教个问题,stream api的 innor join和 left join都需要开开窗,
在sql里,可以直接 join和left join,并没有开窗,那这个底层是怎么实现的呢
谈谈Flink DataStream API中的三种双流join操作前言 本文是基础中的基础,看官可以放心食用。 在数据库中的静态表上做OLAP分析时,两表join是非常常见的操作。同理,在流式处理作业中,有时也需要在两条流上做join以获得...
前言 随着这次新冠疫情带来的机遇,我司业务飞速增长,实时数仓的建设已经提上了日程。虽然还没有正式开始实施,但是汲取前人的经验,做好万全的准备总是必要的。本文简单松散地记录一下...
java内存模型(Java Memory Model,JMM)是java虚拟机规范定义的,用来屏蔽掉java程序在各种不同的硬件和操作系统对内存的访问的差异,这样就可以实现j...
Prologue 在很久之前,笔者曾简单介绍了Chandy-Lamport分布式快照算法,如果看官还未读过,建议作为前置知识补充一下。 用过Flink的人都会知道检查点机制有...
API vs SPI API(Application Programming Interface)的概念对我们来说已经是见怪不怪了。在日常开发过程中,我们需要调用平台/框架提...
前言 笔者最近回顾自己对Flink技术栈细节的理解,发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题,但是不完全理解背后的实现...
赞,小魔法。balabala小魔仙
Flink流量控制与反压机制完全总结前言 笔者最近回顾自己对Flink技术栈细节的理解,发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题,但是不完全理解背后的实现...
最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkp...