假设有一组数据，我们要统计订单号金额最大的一笔给区分出来应该怎么做？ 这里是一个综合案例，我们既要将数据转换，也要将数据给分组。首先我们需要将数...

有时候我们需要将输出的文件分别对应的输出到不同的文件夹中，通常TextOutputFormat类不能给我们实现这个功能，所以我们需要用自定义的O...

无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义Inpu...

自定义一个mapper类需要实现如下步骤 主类中 相当于不需要reducer，直接在mapper中合并k2 v2即可。

1. MapTask 工作机制 整个Map阶段流程大体如上图所示。 简单概述：inputFile通过split被逻辑切分为多个split文件，通...

每一个 map 都可能会产生大量的本地输出，Combiner 的作用就是对 map 端的输出先做一次 合并，以减少在 map 和 reduce ...

序列化 (Serialization) 是指把结构化对象转化为字节流 反序列化 (Deserialization) 是序列化的逆过程. 把字节流...

概念 在 MapReduce 中, 通过我们指定分区, 会将同一个分区的数据发送到同一个 Reduce 当中进行 处理 例如: 为了数据的统计,...

MapReduce开发阶段 MapReduce 的开发一共有八个步骤, 其中 Map 阶段分为 2 个步骤，Shuwle 阶段 4 个步 骤，R...