Mapreduce-实现webcount代码

参考博文：https://blog.csdn.net/qq_41035588/article/details/90514824

首先安装一个Hadoop-Eclipse-Plugin 方便来对于hdfs进行管理

参考地址：http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

配置好Hadoop-Ecllipse-Plugin之后

建立一个txt文档，里面的内容如下：

 买家id 商品id 收藏日期
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::
   -- ::

然后建立一个java项目

然后把所有的包都导进去，重点是mapreduce,common,yarn,hdfs的包

然后再输入代码：

 package mapreduce;

 import java.io.IOException;
 import java.util.StringTokenizer;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.IntWritable;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.mapreduce.Job;
 import org.apache.hadoop.mapreduce.Mapper;
 import org.apache.hadoop.mapreduce.Reducer;
 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

 public class WordCount {

 public static class doMapper extends Mapper<Object, Text, Text, IntWritable>{
     //第一个object表示输入key的类型，第二个text表示输入value的类型；第三个text表示输出建的类型；
     //第四个INtWritable表示输出值的类型

 public static final IntWritable one = new IntWritable(1);
 public static Text word = new Text();
 @Override
 protected void map(Object key, Text value, Context context)
 //key value是输入的key value context是记录输入的key,value
 throws IOException, InterruptedException {
 StringTokenizer tokenizer = new StringTokenizer(value.toString(), "\t");
 //StringTokenizer是Java的工具包中的一个类，用于将字符串进行拆分
 word.set(tokenizer.nextToken());
 //返回当前位置到下一个分隔符之间的字符串
 context.write(word, one);
 //讲word存到容器中计一个数
 }
 }
 public static class doReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
     //输入键类型，输入值类型 输出建类型，输出值类型
 private IntWritable result = new IntWritable();
 @Override
 protected void reduce(Text key, Iterable<IntWritable> values, Context context)
 throws IOException, InterruptedException {
 int sum = 0;
 for (IntWritable value : values) {
 sum += value.get();
 }
 result.set(sum);
 context.write(key, result);
 }
 }
 public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
 Job job = Job.getInstance();
 job.setJobName("WordCount");
 job.setJarByClass(WordCount.class);
 job.setMapperClass(doMapper.class);
 job.setReducerClass(doReducer.class);
 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(IntWritable.class);
 Path in = new Path("hdfs://localhost:9000/mymapreduce1/in/buyer_favorite1");
 Path out = new Path("hdfs://localhost:9000/mymapreduce1/out");
 FileInputFormat.addInputPath(job, in);
 FileOutputFormat.setOutputPath(job, out);
 System.exit(job.waitForCompletion(true) ? 0 : 1);
 }
 }

然后运行之后查看左边的菜单：

双击part-r-00000就有返回的值了

最重要的问题就是分隔的问题

1. StringTokenizer tokenizer = new StringTokenizer(value.toString(),"\t");

这个是根据tab键来进行分割，但是我们复制粘贴后就是空格所以要换成空格