前言 本文前半部分的内容在很久之前讲过，但是最近又有交接到团队内的历史任务出现这方面导致的性能问题，故有必要再讲一次，并扩展一部分新内容。先通过两个例子来引入Java类型擦除...
发简信
IP属地：江西
-
再谈Java类型擦除与其对Flink类型和序列化的影响 -
Java bug搬运工，小数据攻城狮^O^
-
StarRocks Elasticsearch Catalog原理简析前言 Elasticsearch不仅是强大的全文搜索引擎，在很多场景下（特别是TiDB、ShardingSphere等框架成熟之前）也被当做分布式HTAP数据库使用，在存储、...
-
「渋谷アクアリウム」（涩谷水族馆）重操旧业。 2024年4月动画《夜晚的水母不会游泳》第5话插曲https://y.qq.com/n/ryqq/songDetail/498420410?songtype=0[...
-
浅谈SIMD、向量化处理及其在StarRocks中的应用前言 单指令流多数据流（SIMD）及其衍生出来的向量化处理技术已经有了相当的历史，并且也是高性能数据库、计算引擎、多媒体库等组件的标配利器。笔者在两年多前曾经做过一次有关该主...
-
聊聊存算分离StarRocks的垃圾清理机制前言 大家已经了解，StarRocks的更新模型、主键模型等在Flush和Compaction过程中会产生历史版本数据，这些垃圾数据需要及时被清理，以防止存储空间浪费。而St...
-
大数据集群Linux系统参数预调优指南前言 当我们自建大数据集群（如OLAP集群、实时计算集群、分布式存储集群、全文搜索集群等）的时候，除了硬件资源要合理配备外，在操作系统层面也要进行一些事前配置，让大数据组件能...
-
浅谈Deletion Vector及其在StarRocks中的应用前言 我们知道，列式存储的数据组织形式使得它适合海量数据在线查询、分析的场景，而写入性能相对于读取性能似乎并不那么重要（传统的ORC / Parquet on Hive方案就...
-
「Excαlibur」因为跨年有霓虹出游计划，所以稍微打破一下传统，选在平安夜发布2023年度最佳单曲。 今年的Top 1是来自著名Indie乐团Mili的「Excαlibur」，同时是近十年来所...
-
简析StarRocks JNI Connector及其在数据湖Reader中的应用前言 最近在进行StarRocks与数据湖集成方面的一些工作（重点是SR 3.2与Paimon 0.6的适配），同时阅读和修改了部分代码，发现StarRocks JNI Co...
-
哈哈是的，不嫌弃的话欢迎听听
关于使用Flink RocksDB状态后端时一定要写MapState而非ValueState<Map>这档事（以及解决方法）
前言 抱歉起这种烂大街的日本轻小说风格标题来吸引注意力。原本我认为这是常识，不需要专门写一篇文章来讲解如此细碎的点。但是在最近工作巡检中发现了越来越多如同ValueState...
-
关于使用Flink RocksDB状态后端时一定要写MapState而非ValueState<Map>这档事（以及解决方法）前言 抱歉起这种烂大街的日本轻小说风格标题来吸引注意力。原本我认为这是常识，不需要专门写一篇文章来讲解如此细碎的点。但是在最近工作巡检中发现了越来越多如同ValueState...
-
「Endless Embrace」今年的520，用一首特殊的歌，纪念不久前先后故去的外祖父母。 愿他们在天堂安好。 愿我们在还来得及的时候，去爱与被爱。 I still love you, even thou...
-
在Ubuntu主机上使用USB无线网卡前言 上个月冲动消费攒了一台华擎DeskMini X300小主机，装了Ubuntu 22.04，用来解决M1芯片MacBook Pro上无法编译x86_64架构的StarRo...
-
Flink RichFunction题目一则前言 祝广大女性节日快乐~ 快问快答 Flink DataStream API中的RichFunction有哪些用途/特点？RichFunction中获取到的RuntimeC...
-
浅谈软件工程中的Shim什么是Shim Shim一词的原本含义是“垫片”或者“楔子”，而首先将这个词应用到软件工程领域的似乎是微软。根据Wikipedia的总结： A shim is a libra...
-
是哇，最近在哪儿高就呢
「Daylight -デイライト-」（日光）
又到了一年一度揭晓冠军单曲的时间~ 2022的Top 1与前几年的风格完全不同，但却是这一年最好的注解，是来自蝶团Morfonica的「Daylight -デイライト-」[h...
-
新年快乐哈哈😁
2022。
2022年的最后一天，照例来写几笔。凌晨0点回来揭晓年度最佳单曲。 健康 新冠疫情第三年的结尾，解封了，阳过了，也痊愈了（咳嗽和味觉减退还在缓慢恢复中）。 虽然从统计角度看，...
-
我去，好久不见~~~
2022。
2022年的最后一天，照例来写几笔。凌晨0点回来揭晓年度最佳单曲。 健康 新冠疫情第三年的结尾，解封了，阳过了，也痊愈了（咳嗽和味觉减退还在缓慢恢复中）。 虽然从统计角度看，...
-
1. "目前没有哪个企业做到了流批一体" 同意
2. "Flink跑batch还有非常远的路要走，并且Spark也一直在进化" 确实，Flink的批处理优化器比起Spark Catalyst不管是工程性还是完成度都差的远，要做的还有很多
3. "没人在生产环境用Flink来跑batch" 这点有点异议，因为我们目前就在生产环境用哈哈，特定场景还是不错的流批一体随想
前言 好久不见（鞠躬 今年以来的主要工作方向之一就是部门内流批一体能力的建设与落地。虽然这个概念早已成为老生常谈，并且笔者现在还没什么fancy的成果（惭愧），但今天还是想随...
