发简信
IP属地：北京
-
索引之LSM——compaction分类为什么需要compaction? LSM是一个顺序存储的结构，而且删除，修改都是追加方式存储，所以需要定时合并以减少数据冗余。 compacti...
-
watermark原理之watermark的下发watermark 如何下发的? 一、 数据读取 A. AbstractStreamTaskNetworkInput：该类是用于读取上游数据 ...
-
flink checkpoint与statebackend关系介绍 什么是statebackend? statebackend是用于存储state的状态后端，StateBackend 默认是保存在 JobM...
-
flink 问题总结（15）Triggering a savepoint for the job failed.java.util.concurrent.TimeoutException
背景： bin/flink savepoint 162f59ee8c59f1617a1cf638e3640858 --target kubern...
-
flink 问题总结（14）"flink-**-cluster-resourcemanager-leader" is forbidden: User "system:serviceaccount...
背景 flink 1.12.2版本，session模式，配置高可用，使用的是k8s高可用。报错内容如下： "flink-**-cluster-r...
-
storm 问题总结问题1： host没同步，机器之间通信有问题 解决办法：同步hosts即可 问题2： zk连接数限制 任务跑了一段时间之后就开始背压，而且sup...
-
Hbase 读取流程Hbase 读取复杂原因： 主要基于两个方面的原因： 一是因为HBase一次范围查询可能会涉及多个Region、多块缓存甚至多个数据存储文件（H...
-
BlockCache
提升读取性能方法：热点数据存储到内存中，以避免昂贵的IO开销。 HBase也实现了一种读缓存结构——BlockCache。客户端读取某个Bloc...
-
数据技术篇大数据阶段 数据采集层（1）数据库同步（DataX/同步中心）（2）消息中间件（离线、实时） 数据计算层 数据服务层 数据应用层 一. 日志收集...