@漠小帆 没关系，优化后对于某些情况还会不准：https://github.com/HamaWhiteGG/flink-sql-lineage/issues/32
基于Calcite解析Flink SQL列级数据血缘数据血缘 数据血缘（data lineage）是数据治理（data governance）的重要组成部分，也是元数据管理、数据质量管理的有力工具。通俗地讲，数据血缘就是数据在...
IP属地：河北
-
-
Flink SQL 扩展维表 Keyby 的三种实现方式背景 Flink LookupTableSource 通过使用流数据的一列或者多列的值，加载外部存储数据（维表数据），进而完成对流数据的字段扩展。在维表数据不频繁变更的情况下...
-
-
@bobby_ 如果只是单纯想 “支持用户输入flink sql进行作业提交。”，有两种思路
1. 读取sql 文件，用table api 执行；这种方式比较笨拙一点
2. 直接flink sql-client 提交sql 就可以使Flink SQL Kafka Source支持独立设置并行度
前言 社区在Flink 1.12版本通过FLIP-146[https://cwiki.apache.org/confluence/display/FLINK/FLIP-146...
-
Flink RocksDB托管内存机制的幕后——Cache & Write Buffer Manager前言 为了解决Flink作业使用RocksDB状态后端时的内存超用问题，Flink早在1.10版本就实现了RocksDB的托管内存（managed memory）机制。用户只...
-
"s2.id3 = 5" 应该是写错了吧，是 “s1.id3 = 5”
Apache Calcite 简介
不想看文章直接访问mysql-protocal(Java版本的Mysql)、calcite-test，这里有关于Calcite RBO,CBO使用具体用例 1. 什么是Apa...
-
从B+树到LSM树，及LSM树在HBase中的应用前言 在有代表性的关系型数据库如MySQL、SQL Server、Oracle中，数据存储与索引的基本结构就是我们耳熟能详的B树和B+树。而在一些主流的NoSQL数据库如HB...
-
Flink新特性之网络缓存消胀（Network Buffer Debloating）机制前言 最近正在准备关于Flink 1.13 / 1.14版本新特性的内部分享，顺便做点记录。 又见网络缓存 很久没有聊过Flink的网络栈了，但相信大家对网络缓存（Netwo...
-
浅谈Flink对象重用（object reuse）前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作变动影响，博客又荒废了许久。今天难得有空，就前段时间内部技术分享里提到的一个小知识点来写几笔。 对象重用（object ...
-
聊聊访问者模式与其在Calcite/Flink中的应用前言 “访问者模式”在之前的文章里已经出现过几次了，择日不如撞日，今天接着聊吧。 The Visitor Pattern 访问者模式属于GoF设计模式分类中的行为型模式。它的...
-
Flink链路延迟测量的LatencyMarker机制实现前言 今天本应放一首适合高考气氛的歌的，但是既然受疫情影响推迟了，还是老老实实写点技术相关的吧。 对于实时的流式处理系统来说，我们需要关注数据输入、计算和输出的及时性，所以处...
-
Flink 源码之节点间通信
Flink源码分析系列文档目录 请点击：Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] 从collector...
-
Flink 源码分析系列文档目录Flink系列文档脑图 由于源码分析系列文档较多，本人绘制了Flink文档脑图。和下面的文档目录对应。各位读者可以选择自己感兴趣的模块阅读并参与讨论。 此脑图不定期更新中……...
-
从Flink SQL "doesn't support consuming update and delete changes" 错误谈起
前言 相信我们在初学Flink SQL时，多少遇到过像这样的错误信息： 为什么有些下游算子不能接受上游算子发来的UPDATE和DELETE消息呢？本文以1.13版本为准来简单...
-
-
浅谈Flink SQL代码生成与UDF重复调用的优化前言 之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。 代码生成简介 代码生成（code generation）是当今各种数据库和数据处理引擎...
-
@LittleMagic 催更
浅谈Flink SQL代码生成与UDF重复调用的优化
前言 之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。 代码生成简介 代码生成（code generation）是当今各种数据库和数据处理引擎...
-
使Flink SQL Kafka Source支持独立设置并行度前言 社区在Flink 1.12版本通过FLIP-146[https://cwiki.apache.org/confluence/display/FLINK/FLIP-146...
-
基于Calcite解析Flink SQL列级数据血缘数据血缘 数据血缘（data lineage）是数据治理（data governance）的重要组成部分，也是元数据管理、数据质量管理的有力工具。通俗地讲，数据血缘就是数据在...
-
我想问下 执行 DETACH TABLE 和 ATTACH TABLE 时间间隔里数据是不是丢了？
无缝更改ClickHouse物化视图SELECT逻辑的方法
累成狗的一天，继续超短文模式。 在我司的ClickHouse DWS层有一张ReplicatedAggregatingMergeTree引擎的物化视图，为近线推荐业务提供关键...