错误描述
使用MR进行HFile Bulkload时候,发生错误异常信息:
trying to load more than 32 hfiles to one family of one region
解决方法
如使用命令启动,则可用-D指定参数
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles -Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=1024 <SOURCE> <TABLE>
如使用配置文件形启动式:
在hbase-site.xml 追加或修改如下配置为合适值:
<property>
<name>hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily</name>
<value>32</value>
</property>
- 其他:
生成HFile与实际表分区差异较大,load时候需要split,检查生成HFile的方式策略