起因
近日在工作中遇到一个Hive job报错，查看报错信息如下:
问题猜测是由于MapJoin导致了oom，经指点后设置如下参数
set mapred.max.split.size=96000000;
set mapred.min.split.size.per.node=96000000;
set mapred.min.split.size.per.rack=96000000;
Job 成功执行。具体原理经查阅资料后，整理如下：
原理
输入分片(Input Split)
在进行map计算前，MapReduce会根据输入文件计算输入分片(Input Split),每个输入分片针对一个map任务，输入分片存储的并非数据本身，而是一个分片长度和一个记录数据位置的数组
在Hadoop2.x中默认的block大小是128M，在1.x中默认的大小是64M，可是在hdfs-site.xml中自行设置：
dfs.block.size,单位是byte
分片的大小范围可以在mapred-site.xml中设置
mapred.min.split.size,默认为1B
mapred.max.split.size,默认为Long.MAX_VALUE=9223372036854775807
分片大小
minSize=max(minSplitSize,mapred.min.split.size)
maxSize=mapred.max.split.size
splitSize=max(minSize,min(maxSize,blockSize))
所以，当没有设置分片范围的时候，block块的大小决定了分片的大小，比如把一个258M的文件上传至HDFS，假设block的大小是128M，那么它就会被分成3个block块，与之相对应产生三个split，最终会有三个map task。这样产生一个新的问题，继续上面的例子，第3个block块存的文件大小只有2M，而它的block块的大小是128M，那它实际占用的Linux file system的空间是多大？答案是文件的实际大小；那在这种情况下，block大小的意义在于，当文件通过append操作不断增长时，可以通过block的大小决定何时split 文件。
计算map个数
blockSize：HDFS的文件块大小
totalSize：输入文件大小
inputFileNum：输入文件的数量
- 默认map个数
如果不进行任何设置，默认的map个数是和blockSize相关的，defaultNum=totalSize/blockSize - 期望个数
可以通过参数mapred.map.tasks来设置期望的map个数，但这个只有在大于默认map个数的时候才生效，goalNum=mapred.map.tasks - 设置处理的文件大小
可以通过mapred.min.split.size设置每个task处理的文件大小，但是这个大小只有在大于blockSize的时候才会生效
splitSize=max(mapred.min.split.size,blockSize)
splitNum=totalSize/splitSize - 计算的map个数
computeMapNum=min(splitNum,max(defaultNum,goalNum))
除了以上这些配置外，MapReduce还要遵循一些原则。MapReduce的每一个map处理数据是不能跨越文件的。也就是说minMapNum>=inputFileNum,所以，最终的map个数应该为：
mapNum=max(computeMapNum,inputFileNum)
