Kim_小新

前言 单指令流多数据流（SIMD）及其衍生出来的向量化处理技术已经有了相当的历史，并且也是高性能数据库、计算引擎、多媒体库等组件的标配利器。笔者在两年多前曾经做过一次有关该主...

Kim_小新

前言 长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：...

Kim_小新

前言 很久没写过源码走读类型的文章了。最近在做业务需求时用Flink的State TTL非常多，今天就来探索一下吧。 从Flink 1.6版本开始，社区为状态引入了TTL（t...

Kim_小新

Flink系列文档脑图 由于源码分析系列文档较多，本人绘制了Flink文档脑图。和下面的文档目录对应。各位读者可以选择自己感兴趣的模块阅读并参与讨论。 此脑图不定期更新中……...

Kim_小新

前言 最近在进行StarRocks与数据湖集成方面的一些工作（重点是SR 3.2与Paimon 0.6的适配），同时阅读和修改了部分代码，发现StarRocks JNI Co...

Kim_小新

前言 为了解决Flink作业使用RocksDB状态后端时的内存超用问题，Flink早在1.10版本就实现了RocksDB的托管内存（managed memory）机制。用户只...

Kim_小新

Foreword 大数据领域SQL化的风潮方兴未艾（所谓"Everybody knows SQL"），Flink自然也不能“免俗”。Flink SQL是Flink系统内部最高...

Kim_小新

前言 好久不见（鞠躬 最近处在转型期，每天忙到飞起，关注具体技术细节的精力自然就比较少了（上一篇许下的周更承诺也食言了 = =）。上周帮助他人快速解决了一个因误用Flink状...

Kim_小新

Data Enrichment 在流式处理作业（特别是实时数仓ETL作业）中，我们的数据流可以视为无界事实表，其中往往缺乏一些维度信息。例如，对于埋点日志流而言，为了减少传输...

Kim_小新

前言 祝广大女性节日快乐~ 快问快答 Flink DataStream API中的RichFunction有哪些用途/特点？RichFunction中获取到的RuntimeC...

Kim_小新

前言 这篇从半个月前就开始写，断断续续写到现在，终于能发了（被简书吞了好几次），不容易。 最近笔者正在补习与RocksDB底层相关的细节，因为： 次要原因——当前所有Flin...