本文记录使用promethes、grafana监控告警Hadoop服务的过程，文末附上grafana dashboard配置，有需要的下载后对应修改即可使用，不要再去csdn...
发简信
IP属地：北京
-
promethues+grafana监控hadoop服务 -
tez on yarn配置任务优先级一、现状当前yarn上任务只有队列间的资源抢占，队列内缺乏任务优先级配置，因此所有任务的优先级都是默认的，默认优先级的配置通过此参数配置yarn.scheduler.capa...
-
使用antlr4解析clickhouse sql获取表名
ANTLR是用java实现的一个语言识别器，它通过定义一个要识别目标语言的结构文件（DSL），然后用它的工具将该文件生成为可解析目标语言的java代码，利用生成的代码就可对目...
-
structuredstreaming checkpoint source目录spark2.0的structureStreaming在开启了checkpoint后会将偏移量记录到hdfs中，如下为sources的目录结构，此处研究sources下的子目...
-
spark启用CBO● RBO (Rule-Based Optimization)RBO使用的规则是根据经验形成的，只要按照这个规则去写SQL语句，无论数据表中的内容怎样、数据分布如何，都不会影...
-
yarn任务提交过程源码分析在Yarn上运行的container包含两类，一类是ApplicationMaster，这是每个yarn任务启动的第一个Container；另一类是运行用户任务的Contai...
-
Alluxio：架构及数据流1 架构 1.1 概述 Alluxio作为大数据和机器学习生态系统中的一个新的数据访问层，配置在任何持久性存储系统(如Amazon S3、Microsoft Azure...
-
一次sparksql问题排查记录
问题： 在调试一个sparksql左连接查询时发现数据结果不正确，经过一天折腾才发现使用子查询方式能够得到正确的结果，分析执行计划发现第一种写法的优化后的执行计划将wher...
-
Spark-assembly打包遇到的问题背景：项目中需要将常用的几个spark jar包打包成一个大的jar包，然后将此jar包上传到hdfs，在提交到yarn时使用参数spark.yarn.jars指向hdfs上...
