Hadoop学习之路（二十八）MapReduce的API使用（五）

求所有两两用户之间的共同好友

数据格式

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J,K

以上是数据：
A:B,C,D,F,E,O
表示：B,C,D,E,F,O是A用户的好友。

 public class SharedFriend {
     /*
      第一阶段的map函数主要完成以下任务
      1.遍历原始文件中每行<所有朋友>信息
      2.遍历“朋友”集合，以每个“朋友”为键，原来的“人”为值  即输出<朋友,人>
      */
     static class SharedFriendMapper01 extends Mapper<LongWritable, Text, Text, Text>{
         @Override
         protected void map(LongWritable key, Text value,Context context)
                 throws IOException, InterruptedException {
             String line = value.toString();
             String[] person_friends = line.split(":");
             String person = person_friends[0];
             String[] friends = person_friends[1].split(",");

             for(String friend : friends){
                 context.write(new Text(friend), new Text(person));
             }
         }
     }

     /*
       第一阶段的reduce函数主要完成以下任务
       1.对所有传过来的<朋友，list(人)>进行拼接，输出<朋友,拥有这名朋友的所有人>
      */
     static class SharedFriendReducer01 extends Reducer<Text, Text, Text, Text>{
         @Override
         protected void reduce(Text key, Iterable<Text> values,Context context)
                 throws IOException, InterruptedException {
             StringBuffer sb = new StringBuffer();
             for(Text friend : values){
                 sb.append(friend.toString()).append(",");
             }
             sb.deleteCharAt(sb.length()-1);
             context.write(key, new Text(sb.toString()));
         }
     }

     /*
     第二阶段的map函数主要完成以下任务
     1.将上一阶段reduce输出的<朋友,拥有这名朋友的所有人>信息中的 “拥有这名朋友的所有人”进行排序 ，以防出现B-C C-B这样的重复
     2.将 “拥有这名朋友的所有人”进行两两配对，并将配对后的字符串当做键，“朋友”当做值输出，即输出<人-人，共同朋友>
      */
     static class SharedFriendMapper02 extends Mapper<LongWritable, Text, Text, Text>{
         @Override
         protected void map(LongWritable key, Text value,Context context)
                 throws IOException, InterruptedException {
             String line = value.toString();
             String[] friend_persons = line.split("\t");
             String friend = friend_persons[0];
             String[] persons = friend_persons[1].split(",");
             Arrays.sort(persons); //排序

             //两两配对
             for(int i=0;i<persons.length-1;i++){
                 for(int j=i+1;j<persons.length;j++){
                     context.write(new Text(persons[i]+"-"+persons[j]+":"), new Text(friend));
                 }
             }
         }
     }

     /*
     第二阶段的reduce函数主要完成以下任务
     1.<人-人，list(共同朋友)> 中的“共同好友”进行拼接 最后输出<人-人，两人的所有共同好友>
      */
     static class SharedFriendReducer02 extends Reducer<Text, Text, Text, Text>{
         @Override
         protected void reduce(Text key, Iterable<Text> values,Context context)
                 throws IOException, InterruptedException {
             StringBuffer sb = new StringBuffer();
             Set<String> set = new HashSet<String>();
             for(Text friend : values){
                 if(!set.contains(friend.toString()))
                     set.add(friend.toString());
             }
             for(String friend : set){
                 sb.append(friend.toString()).append(",");
             }
             sb.deleteCharAt(sb.length()-1);

             context.write(key, new Text(sb.toString()));
         }
     }

     public static void main(String[] args)throws Exception {
         Configuration conf = new Configuration();

         //第一阶段
         Job job1 = Job.getInstance(conf);
         job1.setJarByClass(SharedFriend.class);
         job1.setMapperClass(SharedFriendMapper01.class);
         job1.setReducerClass(SharedFriendReducer01.class);

         job1.setOutputKeyClass(Text.class);
         job1.setOutputValueClass(Text.class);

         FileInputFormat.setInputPaths(job1, new Path("H:/大数据/mapreduce/sharedfriend/input"));
         FileOutputFormat.setOutputPath(job1, new Path("H:/大数据/mapreduce/sharedfriend/output"));

         boolean res1 = job1.waitForCompletion(true);

         //第二阶段
         Job job2 = Job.getInstance(conf);
         job2.setJarByClass(SharedFriend.class);
         job2.setMapperClass(SharedFriendMapper02.class);
         job2.setReducerClass(SharedFriendReducer02.class);

         job2.setOutputKeyClass(Text.class);
         job2.setOutputValueClass(Text.class);

         FileInputFormat.setInputPaths(job2, new Path("H:/大数据/mapreduce/sharedfriend/output"));
         FileOutputFormat.setOutputPath(job2, new Path("H:/大数据/mapreduce/sharedfriend/output01"));

         boolean res2 = job2.waitForCompletion(true);

         System.exit(res1?0:1);
     }
 }

第一阶段输出结果

 A    F,I,O,K,G,D,C,H,B
 B    E,J,F,A
 C    B,E,K,A,H,G,F
 D    H,C,G,F,E,A,K,L
 E    A,B,L,G,M,F,D,H
 F    C,M,L,A,D,G
 G    M
 H    O
 I    O,C
 J    O
 K    O,B
 L    D,E
 M    E,F
 O    A,H,I,J,F

第二阶段输出结果

 A-B    C,E
 A-C    D,F
 A-D    E,F
 A-E    C,B,D
 A-F    E,O,C,D,B
 A-G    F,C,E,D
 A-H    D,O,C,E
 A-I    O
 A-J    B,O
 A-K    C,D
 A-L    D,E,F
 A-M    E,F
 B-C    A
 B-D    A,E
 B-E    C
 B-F    A,C,E
 B-G    E,C,A
 B-H    A,E,C
 B-I    A
 B-K    A,C
 B-L    E
 B-M    E
 B-O    K,A
 C-D    F,A
 C-E    D
 C-F    D,A
 C-G    D,F,A
 C-H    D,A
 C-I    A
 C-K    A,D
 C-L    D,F
 C-M    F
 C-O    I,A
 D-E    L
 D-F    A,E
 D-G    F,A,E
 D-H    A,E
 D-I    A
 D-K    A
 D-L    F,E
 D-M    F,E
 D-O    A
 E-F    C,D,M,B
 E-G    C,D
 E-H    C,D
 E-J    B
 E-K    D,C
 E-L    D
 F-G    C,E,D,A
 F-H    D,O,A,E,C
 F-I    A,O
 F-J    O,B
 F-K    D,C,A
 F-L    D,E
 F-M    E
 F-O    A
 G-H    E,C,D,A
 G-I    A
 G-K    D,A,C
 G-L    F,E,D
 G-M    E,F
 G-O    A
 H-I    A,O
 H-J    O
 H-K    C,D,A
 H-L    D,E
 H-M    E
 H-O    A
 I-J    O
 I-K    A
 I-O    A
 K-L    D
 K-O    A
 L-M    F,E