MapReduce简单实践：两步实现查找共同好友

问题需求：
现在有某社交网络中的记录每个用户的好友的数据集，数据的具体格式如下所示，冒号前为用户的代号，冒号后面为该用户的好友的代号，好友之间以逗号分隔。现在需求是根据此数据集，求出任意两个人之间的共同好友都有谁（
好友关系是单向的，也就是说A的好友里面有E，但是E的好友里面不一定有A）。例如可以很明显的看出 A，B用户的共同好友有：C和E；A，C用户的共同好友有：D和F；

原始数据：

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

使用MapReduce对这个问题进行处理的时候可以通过两个MapReduce任务完成这个需求：

1、对原始数据进行反转解析，找出都有谁的好友里面有该用户；例如对于原始 A:B,C,D,F,E,O 数据，通过在map task中解析成 < B, A><
C, A>< D,A><
F,A>…的形式，这一系列的键值对表示所有代号为key值的用户，他的好友里面都有value值代表的用户。然后对这些键值对在reduce
task中对key值相同的键值对（< A, B>< A, D>< A, F>…）进行拼接，拼接成< A B,D,F,
…>的形式作为第一次MapReduce任务的输出。



上图为第一次MapReduce的输出，以其中的第一行数据（A
F,D,O,I,H,B,K,G,C,）为例，这一行数据的含义是：F,D,O,I,H,B,K,G,C 这些用户的好友里面都有A。即
分隔符后面的所有用户的好友里面都有分隔符前面的用户。


2、根据第一次MapReduce的输出结果，我们可以很容易的想到，只要把分隔符后面的用户两两任意组合，就可以得到这两个用户的一个共同好友。以第一行数据为例，拆分之后可以得到：<
F-D , A>, < F-O , A>, < F-I , A> … < D-O , A>,< D-I , A> …然后我们再在reduce
task中按照相同的key值对键值对进行拼接，就得到了整个数据集中任意两个用户之间的共同好友的列表。



以下为两次MapReduce的实现代码

- Step 1：
package com; import org.apache.hadoop.conf.Configuration; import org.apache
.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache
.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache
.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org
.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop
.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util
.GenericOptionsParser; import java.io.IOException; public class
FindCommonFriendsStep1 { public static class FindCommonFriendsStep1Mapper
extends Mapper<LongWritable, Text, Text, Text> { public void map(LongWritable
key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString(); //获取Mapper端的输入值 String[] userAndfriends = line
.split(":"); String user = userAndfriends[0]; //获取输入值中的用户名称 String[] friends =
userAndfriends[1].split(","); //获取输入值中的好友列表 for (String friend : friends) {
context.write(new Text(friend), new Text(user)); //以<B,A><C,A><D,A><F,A>...的格式输出
} } } public static class FindCommonFriendsStep1Reducer extends Reducer<Text,
Text, Text, Text> { public void reduce(Text friend, Iterable<Text> users,
Context context) throws IOException, InterruptedException { StringBuffer sb =
new StringBuffer(); for (Text user : users) { sb.append(user).append(",");
//对键值相同的键值对<A,B><A,D><A,F>...进行拼接 } context.write(friend, new Text(sb.toString
())); //以<A B,D,F, ...>的形式写入到HDFS上，作为中间结果，注意中间是以制表符（\t）分隔开 } } public static
void main(String[] args) throws Exception { Configuration conf = new
Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args)
.getRemainingArgs(); //获取参数 if (otherArgs.length < 2) { System.err.println(
"error"); System.exit(2); //如果获取到的参数少于两个，报错之后退出作业 } Job job = Job.getInstance
(conf,"find common friends step1"); job.setJarByClass(FindCommonFriendsStep1
.class); //加载处理主类 job.setMapperClass(FindCommonFriendsStep1Mapper.class);
//指定Mapper类 job.setReducerClass(FindCommonFriendsStep1Reducer.class);
//指定Reducer类 job.setOutputKeyClass(Text.class); //指定Reducer输出键的类型 job
.setOutputValueClass(Text.class); //指定Reducer输出值的类型 for (int i = 0; i <
otherArgs.length - 1; ++i) { FileInputFormat.addInputPath(job, new
Path(otherArgs[i])); } FileOutputFormat.setOutputPath(job, new
Path(otherArgs[otherArgs.length - 1])); System.exit(job.waitForCompletion(true)
?0 : 1); } }
- Step 2：
package com; import org.apache.hadoop.conf.Configuration; import org.apache
.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache
.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache
.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org
.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop
.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util
.GenericOptionsParser; import java.io.IOException; import java.util.Arrays;
public class FindCommonFriendsStep2 { public static class
FindCommonFriendsStep2Mapper extends Mapper<LongWritable, Text, Text, Text> {
public void map(LongWritable key, Text value, Context context) throws
IOException, InterruptedException { String line = value.toString(); String[]
friendAndusers = line.split("\t"); String friend = friendAndusers[0]; String[]
users = friendAndusers[1].split(","); Arrays.sort(users); //
下面的循环实现了对分隔符之后的任意两个用户的拼接，并作为新的key值生成键值对 for (int i = 0; i < users.length - 2;
i++) { for (int j = i + 1; j < users.length - 1; j++) { context.write(new Text(
"[" + users[i] + "-" + users[j] + "]:"), new Text(friend)); } } } } public
static class FindCommonFriendsStep2Reducer extends Reducer<Text, Text, Text,
Text> { public void reduce(Text user, Iterable<Text> friends, Context context)
throws IOException, InterruptedException { StringBuffer sb = new StringBuffer();
for (Text friend : friends) { sb.append(friend).append(","); //对key值相同的键值对进行拼接
} context.write(user, new Text(sb.toString())); } } public static void
main(String[] args) throws Exception { Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length < 2) { System.err.println("error"); System.exit(2); } Job
job = Job.getInstance(conf, "find common friends step2"); job.setJarByClass
(FindCommonFriendsStep2.class); job.setMapperClass(FindCommonFriendsStep2Mapper
.class); job.setReducerClass(FindCommonFriendsStep2Reducer.class); job
.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); for (int i
=0; i < otherArgs.length - 1; ++i) { FileInputFormat.addInputPath(job, new
Path(otherArgs[i])); } FileOutputFormat.setOutputPath(job, new
Path(otherArgs[otherArgs.length - 1])); System.exit(job.waitForCompletion(true)
?0 : 1); } }

• « 上一篇：使用函数思想进行编程
• » 下一篇：tensorflow训练自己的数据集实现CNN图像分类1