在进行项目学习的时候，有个需求是将日志数据经过flume收集，然后sink到HBase中。经过查看官方文档，发现flume内置支持两种HBase...

本文主要内容：①kafka复制机制②分区leader副本宕掉怎么选新的leader③高水位与leader epoch的详细分析。④一些相关配置 ...

前言：接上一篇，我们总结了一下自定义Sink的流程，这次我们实现一个自己的Sink，将数据Sink到Mysql数据库中。我们还是使用 Flume...

前言：接上一篇，我们使用flume自带的logger有些bug，只能显示前16个字节。本文将介绍如何解决这个问题，并分析Logger Sink的...

前言：flume通过使用Interceptors（拦截器）实现修改和过滤事件的功能。举个栗子，一个网站每天产生海量数据，但是可能会有很多数据是不...

前言: 继上一篇从source到channel到sink实现了一整套的流程之后，我们这次学习一下Channel Selector与Sink Pr...

前言：为了呼应上篇文章总结部分提出的点。这一篇文章决定来个实战Demo。需求就是使用Spooling Directory Source监听一个文...

前言：本文是flume学习系列的开篇，主要介绍了flume的各种组件及相关配置。但是本篇文章并不打算从环境搭建开始，因为比较简单而且网上资料也很...