找出共同好友 - 数据挖掘 - Scala版

大家好，关于“找出共同好友”的算法，网上有不少语言的实现，今天有空之余，自己研究了下Scala算法的写法

完整代码可以参考Git地址：https://github.com/benben7466/SparkDemo/blob/master/spark-test/src/main/scala/testCommendFriend.scala

录入的数据：

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

核心算法：

 package chunbo.recommend

 import org.apache.spark.SparkContext

 //共同好友统计问题
 //参考：http://www.cnblogs.com/charlesblc/p/.html
 object testCommendFriend {
   def index(_spark_sc: SparkContext): Unit = {

     //获取数据
     val friendRDD = _spark_sc.textFile(Config.HDFS_HOSH + "test/common_friend")

     //map
     val friendKV = friendRDD.map(x => {
       val fields = x.split(":")
       val person = fields()
       val friends = fields().split(",").toList
       (person, friends)
     })

     val mapRDD = friendKV.flatMap(x => {
        until x._2.length) yield (x._2(i), x._1)
     })

     //reduce
     val reduceRDD = mapRDD.reduceByKey(_ + "::" + _)

     //打印
     reduceRDD.foreach(println)

   }

 }

参考：http://www.cnblogs.com/charlesblc/p/6126346.html