17篇文章 · 18971字 · 1人关注
-
[HBase] 查询Hbase，zk连接数过多问题转自 集群 zk 连接数过多问题排查 【大数据】集群 zk 连接数过多问题排查 背景： 周末接受到信总报警，说我们查询 hbase 的服务日志爆...
-
[Kafka] KafkaProducer Metadata的更新机制
1 前言 在查看KafkaProducer生产消息的源码过程中，经常能看到对元数据进行更新的请求，粗糙地看了下，Producer Metadat...
-
[Kafka] KafkaConsumer的poll分析2之获取分区偏移量
1 消费方式与订阅状态 1.1 消费方式 分为订阅（subscribe）和 分配（assign） subscribe：指定订阅的主题，由协调者（...
-
[HBase] 写入流程之客户端处理阶段1.前言 HBase服务器端并没有提供update,delete接口，所以这些操作在服务器端都被认作是写入操作。因此HBase中更新，删除操作的...
-
[Kafka] Producer发送消息机制解析1. 前言 Sync Producer：低延迟，低吞吐率，无数据丢失 Async Producer：高延迟，高吞吐率，可能会有数据丢失 2.Pr...
-
[HBase] HBase数据存储目录解析Hbase在hdfs上的存储位置，根目录是由配置项hbase.rootdir决定，默认就是"/hbase" /hbase/WALs在该目录下，对...
-
[Spark] 如何设置Spark资源
转自 1.公众号[Spark学习技巧] 如何设置Spark资源2.Spark性能优化篇一：资源调优 Spark和YARN管理的两个主要资源：CP...
-
[HDFS] 文件系统的小文件判定和合并问题
1 判定是否有小文件存在 分析：<1> 判定当前路径是否存在以及当前路径是目录而不是某具体文件。<2> RemoteIterator<Loca...
-
[Hbase] hbase中Region的定位1.版本0.96.0之前Region的查找 1.1 基本架构 早期Region的设计被称为三层查询架构。即 <1> Region：就是你需要查找...
文集作者
