问题描述 grafana doris overview 监控显示BE Compaction Score 分数递增，不稳定，正常应该是平稳为主 解决问题 分析思路：应该是数据导...
发简信
IP属地：内蒙古
-
doris Cumulative Compaction 版本堆积解决
-
Error: create: failed to create: Request entity too large: limit is 3145728
背景： helm 安装应用helm install dolphinscheduler . -n ds报错：Error: create: failed to create: R...
-
nfs-client unexpected error getting claim reference: selfLink was empty, can't make reference
背景 k8s安装nfs-clientk8s version:v1.20.6发现，pvc全部挂起，pv无法分配,nfs-client-provisioner 报错 解决 htt...
-
UPGRADE FAILED: failed decoding reader into objects: unable to recognize "": no matches for kind...
问题 应用市场报错提示Failed to install app xdata-plat. Error: UPGRADE FAILED: failed decoding rea...
-
canal 1.1.3 问题column size is not match for table
CanalParseException: column size is not match for table原因：新增字段改变表结构导致如上问题，tsdb已经开启维护元数据...
-
flink1.7.2 升级1.13.6问题集问题1 Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/jobhistory/E...
-
Paxos、Raft、ZAB、Gossip 分布式一致性算法理解
背景 ZAB、Raft 算法是对Paxos算法的简化和改进，是Paxos算法的变种二者的leader的选举都需要满足过半原则，并且写操作都是由leader发起共同点：都是共识...
-
kafka marking the coordinator (id rack null) dead for group
问题 flink kafka 设置自动offset 提交kafka-client 0.11.0.2kafka-broker 1.1.1隔一段时间老报错如下marking th...
-
spark streaming org.apache.spark.SparkException: ArrayBuffer(java.nio.channels.ClosedChannelExcep...
背景： 一个古老的项目运行了好多年，突然报错了spark version 1.6.3异常如下 源码分析 1、在DirectKafkaInputDStream拉取数据过程中传入...
-
clickhouse 版本由20.8.3升级最新版本21.9.4
背景： 初始集群使用的安装包是altinity提供 现在使用clickhouse官方包进行升级 1、准备安装包，放入自建的ck-21.9目录 2、备份配置文件 /etc/cl...
-
TopologySpreadConstraints field is immutable
背景想要重新执行 k8s 中的 job 解决job不可重复执行，只能删除pod，重新执行kubectl apply -f *.yaml 参考https://github.c...
-
hbase 数据迁移
hbase数据迁移前提2套集群的hosts文件内容都需要包含对方的主机地址配置hosts 在源集群所有机器的hosts中配置目标集群的hostname与ip 快照方式 hba...
-
hbase1.3 生产优化，scan请求导致get数据超时告警，源码分析
问题分析 思路：分离读写scan请求，各种处理各自的源码内部WriteQueues; Queues; ScanQueues; 优化参数 hbase.ipc.server.ca...
-
region hbase:meta,,1 is not online，hbase 1.3修复命令报错如下 解决 1、查看 hbase 的请求数量是否过高，查看Request Per Second 并不高，排除热点问题， 2、检查表是否存在一致性问题 hbase hbck...
-
hadoop机架感知配置数据balance，datanode stale
前提 hdfs dfsadmin -setBalancerBandwidth 524288000/usr/lib/hadoop-current/sbin/start-bala...
-
hadoop getSplits 源码分析
问题 mapreduce job 输入10个180m的文件，生成多少个map job? blocksize=128mminsize=1mmaxsize= 256 m 总结 一...
-
standby 节点报错 Encountered exception loading fsimage 加载fsimage时遇到异常
关键：Encountered exception loading fsimage 加载fsimage时遇到异常排查路径dfs.namenode.name.dir目录 解决问题...
-
ambari metric启动异常问题记录
上日志 解决1 卸载重装metric服务,没用metric 自动生成hbase元数据问题和hfile，让hbase master进行接管经排查，怀疑是 Ambari Metr...
-
task manager 因为代码异常等原因端挂了 或者内存不足full gc
flink 启动问题记录
flink 并行度设置 优先级从低到高排序，排序为api>env>p>file，parallelism不能多与slot个数，设置合适的并行度，能提高运算效率 flink 并行...
-
flink sql kafka 解析复杂json
目的： 从复杂json中提取关心的字段数据，利用ROW的方式, 可以让复杂的json转变为可操作的schema,然后可以通过 field as xx.xx.xx来使用vers...
