一、基本介绍

1，什么是 MapReduce?

2，MapReduce 的前世今生

二、MapReduce 的核心思想

1，分而治之

（2）通俗来说，Map 阶段就是对海量数据进行并行局部汇总，Reduce 阶段就是对局部汇总的数据进行全局汇总。

2，移动计算

（3）MapReduce 在计算海量数据时，使用的就是移动计算思想。假设需要对 HDFS 上 PB 级别的数据进行汇总计算，这份数据肯定会有多个 Block，多个 Block 会存储在多个节点中，这时可以把计算程序复制到数据所在的多个节点上并行执行，这样就可以利用数据本地化的特性，节省网络 I/O，提高计算效率。
（4）但是计算程序只能计算当前节点上的数据，无法获取全局的结果，所以还需要有一个汇总程序，这样每个数据节点上计算的临时结果就可以通过汇总程序得到最终的结果。

三、MapReduce 的执行流程

1，执行原理

2，Map 阶段详解

hello you
hello me

（2）第一步：MapReduce 框架会把输入文件划分为很多 Split。默认情况下，每个 Block 对应一个 Split。通过 RecordReader 类，把每个 Split 对应的数据解析成一个个的 <k1,v1>。默认情况下，每一行数据都会被解析成一个 <k1,v1>。k1 表示每一行的起始偏移量，v1 表示那一行内容。

• 所以，hello.txt 文件中的数据经过第一步处理之后的结果如下：

<0，hello you>
<10，hello me>

（3）第二步：MapReduce 框架调用 Mapper 类中的 map() 函数。map() 函数的输入是 <k1,v1>，输出是 <k2,v2>。一个 Split 对应一个 Map Task，程序员需要自己覆盖 Mapper 类中的 map() 函数，实现具体的业务逻辑。

<hello,1>
<you,1>

• 对于 <10,hello me>，执行 map() 函数中的逻辑之后结果为：

<hello,1>
<me,1>

（4）第三步：MapReduce 框架对 map() 函数输出的 <k2,v2> 数据进行分区，不同分区中的 <k2,v2> 由不同的 Reduce Task 处理。默认只有 1 个分区，所以所有的数据都会被分到 1 个分区中，最后只产生一个 Reduce Task。

<hello,1>
<you,1>
<hello,1>
<me,1>

（5）第四步：MapReduce 框架将每个分区中的数据都按照 k2 进行排序和分组。分组表示把相同 k2 的 v2 分到一个组。

<hello,1>
<hello,1>
<me,1>
<you,1>

• 按照 k2 进行分组：

<hello,{1,1}>
<me,{1}>
<you,{1}>

（6）第五步：在 Map 阶段，MapReduce 框架选择执行 Combiner 过程。Combiner 可以被翻译为“规约”。
（7）第六步：MapReduce 框架会把 Map Task 输出的 <k2,v2> 写入 Linux 系统的本地磁盘文件中。至此，整个 Map 阶段执行结束。

<hello,{1,1}>
<me,{1}>
<you,{1}>

3，Reduce 阶段详解

（1）第一步：MapReduce 框架对多个 Map Task 的输出，按照不同的分区，通过网络复制到不同的 ReduceTask 中。这个过程被称为 Shuffle。

<hello,{1,1}>
<me,{1}>
<you,{1}>

（2）第二步：MapReduce 框架对 Reduce Task 接收到的相同分区的 <k2,v2> 数据进行合并、排序和分组。Reduce Task 接收到的是多个 Map Task 的输出，所以需要对多个 Map Task 中相同分区的数据进行合并、排序和分组。

<hello,{1,1}>
<me,{1}>
<you,{1}>

（3）第 三 步 ： MapReduce 框架调用 Reducer 类中的 reduce() 函数 。 reduce() 函数的输入是 <k2,{v2...}>，输出是 <k3,v3>。每个 <k2,{v2...}> 会调用一次 reduce() 函数，程序员需要覆盖 reduce() 函数实现具体的业务逻辑。

<hello,2>
<me,1>
<you,1>

（4）第四步：MapReduce 框架把 Reduce Task 的输出结果保存到 HDFS 中。至此，整个 Reduce 阶段执行结束。

• 结果文件内容如下：

hello 2
me 1
you 1

4，Shuffle 过程详解