17篇文章 · 16238字 · 1人关注
-
hadoop机架感知配置数据balance，datanode stale
前提 hdfs dfsadmin -setBalancerBandwidth 524288000/usr/lib/hadoop-current/...
-
hadoop getSplits 源码分析
问题 mapreduce job 输入10个180m的文件，生成多少个map job? blocksize=128mminsize=1mmaxs...
-
standby 节点报错 Encountered exception loading fsimage 加载fsimage时遇到异常
关键：Encountered exception loading fsimage 加载fsimage时遇到异常排查路径dfs.namenode....
-
ambari metric启动异常问题记录
上日志 解决1 卸载重装metric服务,没用metric 自动生成hbase元数据问题和hfile，让hbase master进行接管经排查，...
-
NameNode Full GC导致集群退出问题剖析，以及重启journalnode节点导致namenode挂掉原因分析元数据流程图 问题1 在AsyncLogger异步flush写JournalNode过程中，出现IOException，而这个IOExcepti...
-
NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发版本hadoop 2.7 分段锁优化 Namenode的FSNamesystem类中主要有三块。1、INodeMap中存着目录树的映射关系：Id...
-
hdfs 集群重建，block损坏定位以及修复,Blocks with no live replicas，出现invalidate block
背景 说点没用的，我司进行集群迁移，没有用的测试机器要进行格式化卖掉了，然后突然一条伟大的命令，误删除了正在使用的hadoop集群所有节点的操作...
-
hdfs datanode 启动流程中关于拉取namenode信息做元数据校验hfds datanode 启动组件 注册心跳 BPOfferService.java 总结 可以发现，datanode通过BPServiceA...
-
hdfs namenode 启动流程进入安全模式条件FSNamesystem.java 总结 blockTotal=hdfs总块数this.blockThreshold = (int) (bloc...
文集作者
