flume也很灵活,配置也简单
Flume日志采集系统与Logstash对比Flume日志采集系统——初体验(Logstash对比版) 本文就从如下的几个方面讲述下我的使用心得:初体验——与Logstash的对比安装部署启动教程参数与实例分析 Flu...
本地调试出现空指针的解决办法:
本地调试的时候会出现空指针的情况,这个是时候该如何解决呢?
1,下载hadoop包并解压,解决winutils 的问题
2,配置hadoop本地环境变量
3,程序中设置System.setProperty("hadoop.home.dir", "D:\\hadoop-2.6.5\\hadoop-2.6.5")
至此问题得到解决。
Structured Streaming实时读取kafka数据案例我们知道sparkstreaming官方已经停止了维护,从spark2.2开始全力打造Structured Streaming,下面我们来介绍Structured Strea...
package com.ky.produce; import org.apache.kafka.clients.producer.KafkaProducer;import o...
你的pom包版本有问题
Structured Streaming实时读取kafka数据案例我们知道sparkstreaming官方已经停止了维护,从spark2.2开始全力打造Structured Streaming,下面我们来介绍Structured Strea...
Mysql离线安装文档 第一大部分 Linux离线安装mysql 要用到编译工具(cmake)以及库文件。 可以使用命令查看服务器上是否已经安装了cmake编译工具 命令:r...
springboot如何访问windows本地和linux上的外部文件?首先编写一个WebMvcConfiguration配置文件类@Configurationpublic ...
spark连接到hive首先要先配置3个文件,放到idea的resource目录下,如下:core-site.xml从集群环境中拉下来。hdfs-site.xml从环境中拉下...
// HBase.createTable(table, new String[]{family}, false);final LineIterator ...
需要自定义一个sink组件,其实很简单,只需要继承ForeachWriter,实现相关的方法即可。class RedisSink extends ForeachWriterR...
springboot整合redis@Configuration@EnableCachingpublic class RedisConfig { } springboot整合k...