1 Ranger安装 这里涉及到3个插件的安装，分别是ranger-hdfs、ranger-hive、ranger-presto，下面将详细叙述安装过程。 1.1 配置RDB...
发简信
IP属地：北京
-
-
dolphinscheduler2.0.3工作流停止时偶现无法停止dependent类型节点现象：在页面上停止工作流时偶现depend类型节点无法正常结束，且后续无法停止；一、页面操作stop工作流api端代码org.apache.dolphinscheduler....
-
抱歉没研究那么深😢
使用antlr4解析clickhouse sql获取表名
ANTLR是用java实现的一个语言识别器，它通过定义一个要识别目标语言的结构文件（DSL），然后用它的工具将该文件生成为可解析目标语言的java代码，利用生成的代码就可对目...
-
hiveserver2内存异常分析1、现象hiveserver2发生过几次无法连接问题，进程存在，内存使用率达到了80%左右，使用lsof -i:10000查询1000端口连接并不太多，重启后恢复；2、排查过...
-
prestodb安装ranger插件一、背景 生产环境使用的prestodb为Facebook版本的prestodb，在安装ranger插件时发现源码中只支持prestosql版本，故考虑将ranger-pre...
-
hadoop日志审计
1、配置 hadoop开启审计日志需要修改hadoop-env.sh export HADOOP_NAMENODE_OPTS=.... -Dhdfs.audit.logger...
-
datanode域名
hadoop版本2.6.5 org.apache.hadoop.net.DNS#resolveLocalHostnameprivate static String resol...
-
tez on yarn配置任务优先级一、现状当前yarn上任务只有队列间的资源抢占，队列内缺乏任务优先级配置，因此所有任务的优先级都是默认的，默认优先级的配置通过此参数配置yarn.scheduler.capa...
-
promethues+grafana监控hadoop服务本文记录使用promethes、grafana监控告警Hadoop服务的过程，文末附上grafana dashboard配置，有需要的下载后对应修改即可使用，不要再去csdn...
-
使用antlr4解析clickhouse sql获取表名
ANTLR是用java实现的一个语言识别器，它通过定义一个要识别目标语言的结构文件（DSL），然后用它的工具将该文件生成为可解析目标语言的java代码，利用生成的代码就可对目...
-
structuredstreaming checkpoint source目录spark2.0的structureStreaming在开启了checkpoint后会将偏移量记录到hdfs中，如下为sources的目录结构，此处研究sources下的子目...
-
在spark structuredStreaming中使用hive表并支持缓存
基于structuredStreaming的流任务中需要将hive小表（一般是维度表）参与到流计算的处理中，以下研究是证明spark读取hive数据的及时性，即hive数据变...
-
hadoop鉴权逻辑改造背景：自研的数据安全管理系统中为用户分配的hive、hdfs权限最终需要在访问hadoop时生效，借鉴ranger的实现方案，采用javassist改写namenode鉴权的...
-
spark启用CBO● RBO (Rule-Based Optimization)RBO使用的规则是根据经验形成的，只要按照这个规则去写SQL语句，无论数据表中的内容怎样、数据分布如何，都不会影...
