MapReduce UnitTest

通常情况下，我们需要用小数据集来单元测试我们写好的map函数和reduce函数。而一般我们可以使用Mockito框架来模拟OutputCollector对象（Hadoop版本号小于0.20.0)和Context对象(大于等于0.20.0)。

下面是一个简单的WordCount例子：(使用的是新API）

在开始之前，需要导入以下包：

1.Hadoop安装目录下和lib目录下的所有jar包。

2.JUnit4

3.Mockito

map函数：

1. public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
2. );
3. private Text word = new Text();
4. @Override
5. protected void map(LongWritable key, Text value,Context context)
6. throws IOException, InterruptedException {
7. String line = value.toString();     // 该行的内容
8. String[] words = line.split(";");   // 解析该行的单词
9. for(String w : words) {
10. word.set(w);
11. context.write(word,one);
12. }
13. }
14. }

reduce函数：

1. public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
2. @Override
3. protected void reduce(Text key, Iterable<IntWritable> values,Context context)
4. throws IOException, InterruptedException {
5. ;
6. Iterator<IntWritable> iterator = values.iterator();       // key相同的值集合
7. while(iterator.hasNext()) {
8. int one = iterator.next().get();
9. sum += one;
10. }
11. context.write(key, new IntWritable(sum));
12. }
13. }

测试代码类：

1. public class WordCountMapperReducerTest {
2. @Test
3. public void processValidRecord() throws IOException, InterruptedException {
4. WordCountMapper mapper = new WordCountMapper();
5. Text value = new Text("hello");
6. org.apache.hadoop.mapreduce.Mapper.Context context = mock(Context.class);
7. mapper.map(null, value, context);
8. ));
9. }
10. @Test
11. public void processResult() throws IOException, InterruptedException {
12. WordCountReducer reducer = new WordCountReducer();
13. Text key = new Text("hello");
14. // {"hello",[1,1,2]}
15. ),new IntWritable(1),new IntWritable(2));
16. org.apache.hadoop.mapreduce.Reducer.Context context = mock(org.apache.hadoop.mapreduce.Reducer.Context.class);
17. reducer.reduce(key, values, context);
18. ));     // {"hello",4}
19. }
20. }

具体就是给map函数传入一行数据-"hello"

map函数对数据进行处理，输出{"hello",0}

reduce函数接受map函数的输出数据，对相同key的值求和，并输出。