发简信
IP属地：福建
-
Flink任务日志写到kafka【最新1.12，1.13】
这篇文章如果对你有帮助，记得点赞哦！有问题也可以给我评论~ 一、背景 公司的日志希望能够同一到一个Kibana去做一个同一的展示，那就需要将任务...
-
最简单的clickhouse监控 —— grafana监控
一、简介 本文这种clickhouse的监控方式只需要用到一个组件—— grafana，只需要两个步骤就可完成监控，第一个步骤给grafana安...
-
解决flink消费kafka过期数据和目前存量数据的计算（未来的方向）背景： 目前公司业务需要统计超过7天以上的特征统计，但是kafka只存7天的数据，如果只想通过flink sql去计算30天的用户特征要求当天生...
-
java.io.FileNotFoundException: File does not exist: hdfs://xxx
一、产生问题背景 我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错： 二、定位问题及解决 通过去...
-
Hadoop和hive-exec-3.1.2的Guava的版本冲突导致Flink任务启动异常一、背景 1、出现异常 公司准备从CDH迁回社区版Hadoop集群，直接把Hadoop升级为比较新的3.30版本，Hive升级为3.12版本。F...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的监控（三） —— Grafana的Dashboard配置（以 Yarn 为例）一、整体效果 Yarn的监控最主要是能看到目前活跃的ResourceManager，同时能够显示目前的Nodemanager的活跃情况。其次是能...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的监控（二） —— Promethues数据源配置
注意：如果还未安装Promethues，参考HDFS & Yarn on Promethues + Grafana的监控（一） —— Prome...
-
HDFS & Yarn 即Hadoop by Jmx on Promethues + Grafana的监控（一） —— Promethues的安装一、安装Go环境 因为Promethues是用go语言开发，所以要先安装一个go环境 1、下载安装包地址： Linux ：go1.8.3.lin...
-
Flink Sql on Hive 的生产遇到的坑以及优化（持续更新 ...）
1、HiveSource-xxxx.xxxx's parallelism (200) is higher than the max parall...