Hadoop认证课程：Map设计和Reduce设计

Hadoop认证课程：Map设计和Reduce设计，单词词频统计WordCount是Hadoop自带的一个简单的应用，它可以计算出指定文本集中每一个单词出现的次数。要利用MapReduce编程模型去实现一个词频统计的并行程序，对于开发者来讲需要做两件事：第一是如何将顺序执行的词频统计算法流程转化为MapReduce的处理模式，具体就是如何设计Map和Reduce的输入和输出的键值对，以及Map和Reduce分别如何处理，而具体的Map和Reduce数据流控制是由Hadoop来做的，开发者无须干涉;第二就是根据MapReduce的算法设计伪代码编程实现Hadoop的MapReduce函数接口。下面分别设计Map和Reduce函数。

在设计Map时，输入的是文档，默认Map函数的输入key是行偏移，value是一行本身的内容，当然可以指定key为文档id，那么在Map中就可以这样处理：

Map(文档id，文档)(词，计数)

需要将文档内容处理为<词，计数>键值对，这里的词是分词。为了简化我们只考虑英文状态，因此就不涉及中文分词了，计数值可以直接指定为1，空格切分后直接输出<词，1>键值对。

Map处理算法的伪代码如下：

Class Mapper

 Method Map(docid a,doc d)

  For each term t属于 d do

      Emit(term t, count 1)

在Reduce设计中，输入就是Map的输出，也就是Reduce输入的键值对就是Map输出的键值对，同时还需要注意在Map处理完之后是会按照key进行排序的，因此在Reduce处理之前Map的结果就已经是有序的了，这样Map结果中相同的key的value都全部在一起了，那么Reduce函数就可以这样设计：

Reduce(词，计数[……])(词，计数求和)

在Reduce中需要对相同key的value值求和，这样就可以得到每一个单词的频率。Reduce处理算法的伪代码如下：

Class Reducer

 Method Reduce(term t,count[c1,c2,...])

  Sum =0

  For each count c 属于 count[c1,c2,...] do

      sum=sum+c

      Emit(term t, count sum)

Reduce算法的思想很简单，就是对于每一个单词term，将其所有值相加，然后输出。

Reduce就是一个归约求和的过程，用户不需要关心Map之后的排序，以及Map的输出被shuffle映射到哪些Reduce作为输入，这些都是用Hadoop框架自动完成的。