推荐系统之余弦相似度的Spark实现

推荐系统之余弦相似度的Spark实现

（1）原理分析

   余弦相似度度量是相似度度量中最常用的度量关系，从程序分析中，

• 第一步是数据的输入，
• 其次是使用相似性度量公式
• 最后是对不同用户的递归计算。

   本例子是基于欧几里得举例的相似度计算。

（2）源代码

 package com.bigdata.demo

 import org.apache.spark.{SparkContext, SparkConf}

 /**
   * Created by SimonsZhao on 3/29/2017.
   */
 object CollaborativeFilteringSpark {
   //1.设置环境变量
   val conf=new SparkConf().setMaster("local").setAppName("CollaborativeFilteringSpark")
   //2.实例化环境
   val sc=new SparkContext(conf)
   //3.设置用户
   val users=sc.parallelize(Array("aaa","bbb","ccc","ddd","eee"))
   //4.设置电影名
   sc.parallelize(Array("smzdm","ylxb","znb","nhsc","fcwr"))
   //5.使用一个source嵌套map作为姓名电影名和分值的存储
   var source=Map[String,Map[String,Int]]()
   //6.设置一个用以存放电影分的map
   val filmSource =Map[String,Int]()
   //7.设置电影评分
   def getSource():Map[String,Map[String,Int]]={
     val user1FilmSource=Map("smzdm"->2,"ylxb"->3,"znb"->1,"nhsc"->0,"fcwr"->1)
     val user2FilmSource=Map("smzdm"->1,"ylxb"->2,"znb"->2,"nhsc"->1,"fcwr"->4)
     val user3FilmSource=Map("smzdm"->2,"ylxb"->1,"znb"->0,"nhsc"->1,"fcwr"->4)
     val user4FilmSource=Map("smzdm"->3,"ylxb"->2,"znb"->0,"nhsc"->5,"fcwr"->3)
     val user5FilmSource=Map("smzdm"->5,"ylxb"->3,"znb"->1,"nhsc"->1,"fcwr"->2)
     //存储人的名字
     source += ("aaa" -> user1FilmSource)
     //存储人的名字
     source += ("bbb" -> user2FilmSource)
     //存储人的名字
     source += ("ccc" -> user3FilmSource)
     //存储人的名字
     source += ("ddd" -> user4FilmSource)
     //存储人的名字
     source += ("eee" -> user5FilmSource)
     //返回嵌套的map
     source
   }
   //采用余弦相似度两两计算分值
   def getCollaborateSource(user1:String,user2:String):Double={
     //获得第一个用户的评分
       val user1FilmSource =source.get(user1).get.values.toVector
     //获得第二个用户的评分
       val user2FileSource=source.get(user2).get.values.toVector
     //对公示分子部分进行计算
       val member=user1FilmSource.zip(user2FileSource).map(d => d._1 *d._2).reduce(_+_).toDouble
     //求解分母的第一个变量
       val temp1=math.sqrt(user1FilmSource.map(num=>{math.pow(num,2)}).reduce(_+_))
     //求解分母第二个变量
       val temp2=math.sqrt(user2FileSource.map(num=>{math.pow(num,2)}).reduce(_+_))
     //求出分母
       val denominator=temp1*temp2
     //求出分式的值
       member/denominator
   }
   def main(args: Array[String]) {
     //初始化分数
     getSource()
     //设定目标对象
     val name="bbb"
     //进行迭代计算
     users.foreach(user=>{
       println(name+" 相对于"+user+"的相似性分数是："+getCollaborateSource(name,user))
     })
   }
 }

点击可复制代码

 package com.bigdata.demo

 import org.apache.spark.{SparkContext, SparkConf}

 /**
   * Created by SimonsZhao on 3/29/2017.
   */
 object CollaborativeFilteringSpark {
   //1.设置环境变量
   val conf=new SparkConf().setMaster("local").setAppName("CollaborativeFilteringSpark")
   //2.实例化环境
   val sc=new SparkContext(conf)
   //3.设置用户
   val users=sc.parallelize(Array("aaa","bbb","ccc","ddd","eee"))
   //4.设置电影名
   sc.parallelize(Array("smzdm","ylxb","znb","nhsc","fcwr"))
   //5.使用一个source嵌套map作为姓名电影名和分值的存储
   var source=Map[String,Map[String,Int]]()
   //6.设置一个用以存放电影分的map
   val filmSource =Map[String,Int]()
   //7.设置电影评分
   def getSource():Map[String,Map[String,Int]]={
     val user1FilmSource=Map("smzdm"->2,"ylxb"->3,"znb"->1,"nhsc"->0,"fcwr"->1)
     val user2FilmSource=Map("smzdm"->1,"ylxb"->2,"znb"->2,"nhsc"->1,"fcwr"->4)
     val user3FilmSource=Map("smzdm"->2,"ylxb"->1,"znb"->0,"nhsc"->1,"fcwr"->4)
     val user4FilmSource=Map("smzdm"->3,"ylxb"->2,"znb"->0,"nhsc"->5,"fcwr"->3)
     val user5FilmSource=Map("smzdm"->5,"ylxb"->3,"znb"->1,"nhsc"->1,"fcwr"->2)
     //存储人的名字
     source += ("aaa" -> user1FilmSource)
     //存储人的名字
     source += ("bbb" -> user2FilmSource)
     //存储人的名字
     source += ("ccc" -> user3FilmSource)
     //存储人的名字
     source += ("ddd" -> user4FilmSource)
     //存储人的名字
     source += ("eee" -> user5FilmSource)
     //返回嵌套的map
     source
   }
   //采用余弦相似度两两计算分值
   def getCollaborateSource(user1:String,user2:String):Double={
     //获得第一个用户的评分
       val user1FilmSource =source.get(user1).get.values.toVector
     //获得第二个用户的评分
       val user2FileSource=source.get(user2).get.values.toVector
     //对公示分子部分进行计算
       val member=user1FilmSource.zip(user2FileSource).map(d => d._1 *d._2).reduce(_+_).toDouble
     //求解分母的第一个变量
       val temp1=math.sqrt(user1FilmSource.map(num=>{math.pow(num,2)}).reduce(_+_))
     //求解分母第二个变量
       val temp2=math.sqrt(user2FileSource.map(num=>{math.pow(num,2)}).reduce(_+_))
     //求出分母
       val denominator=temp1*temp2
     //求出分式的值
       member/denominator
   }
   def main(args: Array[String]) {
     //初始化分数
     getSource()
     //设定目标对象
     val name="bbb"
     //进行迭代计算
     users.foreach(user=>{
       println(name+" 相对于"+user+"的相似性分数是："+getCollaborateSource(name,user))
     })
   }
 }

点击+可复制代码

（3）结果分析