在hive的使用中，我们都知道可以通过修改hive-log4j2.properties.template中的属性来让hive打印日志到指定的地方，如打印到/var/log/h...
IP属地：广东
-
如何修改hive日志目录
-
Java操作Git远程文件(ssh和http模式)
背景 在实际的项目开发中，有些需求要求将最新的配置自动提交到git上，然后合作方按照git上的配置进行业务的开展，看着有点分布式配置中心感觉。 本文提供了两种git操作常见的...
-
XXL-RPC (1)---RPC请求主流程背景和体会 在学习完xxl-job后，接着学习xxl-rpc项目。 xxl-rpc底层的rpc实现的基于netty项目，可以理解是对netty进行了上层应用封装。关于nett...
-
XXL-JOB (2)---任务重复调度问题排查背景 在将xxl-job-admin部署到正式环境后，发现存在重复调度的问题。系统部署在k8s中，共起了3个pods，后端存储为TIDB。 发现问题后，当即降pods的副本数...
-
XXL-JOB (1)---如何自定义告警及运行流程背景 有一些springboot项目涉及到较多的定时任务，使用XXL-JOB系统来进行管理，其默认实现通过邮件进行告警。 我们可以通过自定义的告警类来实现其它渠道的告警。 自...
-
Java和Spring中 isEmpty() 、isBlank()、hasText() 的区别
背景 org.apache.commons.lang3.StringUtils 中的isEmpty对" "(空格字符串)的返回值为false。 org.apache.comm...
-
springboot mongo查询游标(cursor)不存在错误
背景介绍 线上系统收到不到接口查询失败的告警，均为mongo查询，返回的错误状态码为-5，报错日志如下所示： 从上面的报错信息来看，是查询在执行过程中游标找不到导致的。可能是...
-
k8s容器pods滚动升级小记
背景 在日常开发特别是测试过程中，由于发布版本经常需要对pods进行升级，由于是采用Deployment的方式部署，则本身就支持RollingUpdate的方式来进行滚动升级...
-
hive2.3.3版本 log4j升级
背景 由于log4j的种种问题需要进行升级，这里就不做详细的描述 关于hive2.x版本其实是支持直接升级的,只是在启动的时候记得同步升级下disruptor即可 过程 在实...
-
springboot线程池简单监控
背景 在我们实际项目开发中，常常会为不同的优先级的任务设置相对应的线程池。 一般我们只关注相关池的相关参数如核心线程数据，最大线程数据等等参数，容易忽略了对线程池中实际运行情...
-
rocketmq springboot接入的测试
1.ConsumeFromWhere下关于设置消费者的消费进度 CONSUME_FROM_LAST_OFFSET:个新的订阅组第一次启动从队列的最后位置开始消费,后续再启动接...
-
Linux下单节点rocketmq的部署背景 本文主要介绍在Linux下如何部署rocketmq 本次部署的版本为5.0之前最后一个正式版本4.9.0 使用的服务器为腾讯云个人服务器(内存只有2G)，机器比较小，各...
-
springboot单抽象方法多实现调用介绍
背景 在项目开发中，不小心在两个不同的service中重新了同一个抽象类的抽象方法，引起了报错，特此记录一下。 由于我的serviceImpl中的@service并没有标记别...
-
记springboot程序OOM排查和解决过程背景 笔者的大数据监控系统中有一项hdfs路径下异常格式文件检测的功能。简单的说就是每天需要定期的采集hdfs下的路径。 在某天添加了hive staging路径后，发现程序...
-
PMQ源码阅读(3)---线程批次概念
背景 线程批次概念主要作用于消息消费的过程，在PMQ项目是比较好的设计功能点之一，可以借鉴学习在日后工作中。 概念 在PMQ中，消息消费默认是采用多线程进行消费，所以偏移量的...
-
PMQ源码阅读(2)---消息产生和消费过程背景 本章主要记录PMQ中关于消息从生产者端提交到消费者消费消息的过程 从中我们可以看到实现一个消息系统需要的发送、存储、消费和重试环节 一些有用的编码风格和技巧也值得学习 ...
-
关于Hdfs拆锁的学习和思考背景 最近学习腾讯/美团关于如何拆namenode大锁的方案，总体方案上大概相似，特此进行记录。 笔者目前在hdfs使用和原理上相对熟悉，但是源码层面的实现原理阅读不多，也经...
-
Apache Ozone的优化实践--hadoop meetup 2021腾讯在Apache Ozone上的优化实践 oZone的介绍主要是为了解决NN在自身元数据管理占用堆内存过多的问题介绍现有NN面临的压力和对应的元数据架构oZone是有had...
-
如何稳定解析Hdfs fsImage文件
背景 众所周知，要获取hdfs中存储的目录信息，比较简单的方式可通过访问8020来获取，但是此举会增加NN的压力，同时也采集不到我们最关心的数据访问时间这个字段。 通过解析H...
