PCMD_casualZAO

最近对线上业务进行重构，涉及到ES同步这一块，在重构过程中，为了ES 写入 性能考虑，大量的采取了 bulk的方式，来保证整体的一个同步速率，针对BulkProcessor ...

我大梦想家

原文地址[https://blog.csdn.net/baichoufei90/article/details/108468223] 摘要 本文基于ES 6.4.3。主要分析...

LittleMagic

引子 表值函数（table-valued function, TVF），顾名思义就是指返回值是一张表的函数，在Oracle、SQL Server等数据库中屡见不鲜。而在Fli...

todd5167

背景 Flink LookupTableSource 通过使用流数据的一列或者多列的值，加载外部存储数据（维表数据），进而完成对流数据的字段扩展。在维表数据不频繁变更的情况下...

LittleMagic

这两天又开始忙起来了，继续写小短文。 最近刚刚接了一个实时舆情监控的任务，大体思路是实时接入并处理各微信群内用户的发言。一是从中发现规律，为各群用户生成画像，方便做推广；二是...

LittleMagic

前言 笔者最近回顾自己对Flink技术栈细节的理解，发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现...

LittleMagic

Data Enrichment 在流式处理作业（特别是实时数仓ETL作业）中，我们的数据流可以视为无界事实表，其中往往缺乏一些维度信息。例如，对于埋点日志流而言，为了减少传输...

LittleMagic

前言 流式聚合（streaming aggregation）是我们编写实时业务逻辑时非常常见的场景，当然也比较容易出现各种各样的性能问题。Flink SQL使得用户可以通过简...