9篇文章 · 17274字 · 1人关注
-
如何解决Elasticsearch的深度翻页问题
使用ES做搜索引擎拉取数据的时候，如果数据量太大，通过传统的from + size的方式并不能获取所有的数据（默认最大记录数10000），因为随...
-
Kafka 万亿级消息实践之资源组流量掉零故障排查分析一、Kafka 集群部署架构 为了让读者能与小编在后续的问题分析中有更好的共鸣，小编先与各位读者朋友对齐一下我们 Kafka 集群的部署架构及服...
-
数据倾斜导致子任务积压
业务背景： 一个流程中，有两个重要子任务：一是数据迁移，将kafka实时数据落Es，二是将kafka数据做窗口聚合落hbase，两个子任务接的是...
-
Flink水印不能触发窗口计算问题详解遇到的问题 按道理 窗口为4s,允许最大延迟是3s，那么当第一条数据01,1586489566000–2020-04-10 11:32:46进来...
-
记一次 Flink 反压问题排查过程问题出现 根据subtask的watermark发现延迟了10几分钟，然后查看是否有异常或者BackPressure的情况最终发现，source...
-
Flink SQL 性能优化实战缘起 最近我们组在大规模上线Flink SQL作业。首先，在进行跑批量初始化完历史数据后，剩下的就是消费Kafka历史数据进行追数了。但是发现某...
-
Flink 代码这么写，窗口能触发才怪！（不良编程习惯）1.序篇-先说结论 本文主要记录小伙伴萌在使用 DataStream API 实现事件时间窗口类应用时会遇到的窗口不触发问题的坑以及其排查过程。...
-
被坑惨了！盘点Kafka一些非比寻常的坑
前言 我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现...
-
彻底解决Hive小文件问题
最近发现离线任务对一个增量Hive表的查询越来越慢，这引起了我的注意，我在cmd窗口手动执行count操作查询发现，速度确实很慢，才不到五千万的...
文集作者
