在学习 paimon sink 的过程中本来只想快速梳理下 paimon 的 sink 时对 DataStream 操作的拓扑, 但是过程中发现 paimon 会有很多概念，...
IP属地：广东
-
paimon sink 源码 之 paimon table 创建 -
浅谈Deletion Vector及其在StarRocks中的应用前言 我们知道，列式存储的数据组织形式使得它适合海量数据在线查询、分析的场景，而写入性能相对于读取性能似乎并不那么重要（传统的ORC / Parquet on Hive方案就...
-
LSM Tree-Based存储引擎的compaction策略（feat. RocksDB）前言 这篇从半个月前就开始写，断断续续写到现在，终于能发了（被简书吞了好几次），不容易。 最近笔者正在补习与RocksDB底层相关的细节，因为： 次要原因——当前所有Flin...
-
简析StarRocks JNI Connector及其在数据湖Reader中的应用前言 最近在进行StarRocks与数据湖集成方面的一些工作（重点是SR 3.2与Paimon 0.6的适配），同时阅读和修改了部分代码，发现StarRocks JNI Co...
-
@LittleMagic hhh，FFA2023听完了，是Paimon+StarRocks批流一体湖仓分析的大佬嘛？
关于使用Flink RocksDB状态后端时一定要写MapState而非ValueState<Map>这档事（以及解决方法）
前言 抱歉起这种烂大街的日本轻小说风格标题来吸引注意力。原本我认为这是常识，不需要专门写一篇文章来讲解如此细碎的点。但是在最近工作巡检中发现了越来越多如同ValueState...
-
关于使用Flink RocksDB状态后端时一定要写MapState而非ValueState<Map>这档事（以及解决方法）前言 抱歉起这种烂大街的日本轻小说风格标题来吸引注意力。原本我认为这是常识，不需要专门写一篇文章来讲解如此细碎的点。但是在最近工作巡检中发现了越来越多如同ValueState...
-
大佬，请问这个是什么版本的Flink呢，我看的是1.15，现在没有lookup，是eval()方法了
Flink 源码之 SQL TableSource 和 TableSink
Flink源码分析系列文档目录 请点击：Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] 前言 Flink S...
-
Hudi Timeline简析前言 Long time no see（鞠躬 最近终于开始尝试推广Hudi在部门内部的应用，作为流批一体计划的最后一块拼图，顺便复活许久未更的博客，希望今后至少能保持周更的节...
-
Flink 使用之 CDC 自定义 DeserializationSchema
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 背景 本篇接Flink 使...
-
浅谈Flink对象重用（object reuse）前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作变动影响，博客又荒废了许久。今天难得有空，就前段时间内部技术分享里提到的一个小知识点来写几笔。 对象重用（object ...
-
kafka 数据可靠性深度解读1. 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越...
-
spark-streaming与kafka的整合
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receive...
-
HiveSQL解析过程详解Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储...
