《集体智慧编程学习笔记》——Chapter2:提供推荐

知识点：

1. 协作型过滤——Collaboraive Filtering

　　通常的做法是对一群人进行搜索，并从中找出与我们品味相近的一小群人，算法会对这些人的偏好进行考察，并将它们组合起来构造出一个经过排名的推荐列表

2.搜索偏好——Collecting Preferences

3.寻找相近的用户——Finding Similar Users

　　3.1 通过相似度评价值来寻找相近的用户

　　3.2 相似度评价值体系：欧几里得距离（Euclidean Distance ），皮尔逊相关度（Pearson Collelation）曼哈顿距离和Jaccard系数等

代码实现：

  1 # !/usr/bin/local/python3
  2 # -*- coding utf-8 -*-
  3 from math import sqrt
  4
  5 # prepare data
  6 critics = {'Lisa Rose':{'Lady in the Water': 2.5, 'Snakes on a Plane': 3.5,
  7                         'Just My Luck': 3.0, 'Superman Returns': 3.5, 'You,Me and Dupree': 2.5,
  8                         'The Night Listener': 3.0},
  9            'Gene Seymour': {'Lady in the Water': 3.0, 'Snakes on a Plane': 3.5, 'Just My Luck': 1.5,
 10                             'Superman Returns': 5.0, 'The Night Listener': 3.0, 'You,Me and Dupree': 3.5},
 11            'Michale Phillips': {'Lady in the Water': 2.5, 'Snakes on a Plane': 3.0, 'Superman Returns': 3.5,
 12                                 'The Night Listener': 4.0},
 13            'Claudia Puig': {'Snakes on a Plane': 3.5, 'Just My Luck': 3.0, 'The Night Listener': 4.5,
 14                             'Superman Returns': 4.0,'You,Me and Dupree': 2.5},
 15            'Mick LaSalle': {'Lady in the Water': 3.0, 'Snakes on a Plane': 4.0, 'Just My Luck': 2.0,
 16                             'Superman Returns': 3.0, 'The Night Listener': 3.0,'You,Me and Dupree': 2.0},
 17            'Jack Mattews': {'Lady in the Water': 3.0, 'Snakes on a Plane': 5.0, 'The Night Listener': '3.0',
 18                             'Superman Returns': 5.0, 'You,Me and Dupree': 3.5},
 19            'Toby': {'Snakes on a Plane': 4.5, 'You,Me and Dupree': 1.0, 'Superman Returns': 4.0}}
 20
 21
 22 # 测试数据
 23 #data =critics['Lisa Rose']['Lady in the Water']
 24 #print(data)
 25
 26 # 返回一个有关P1和P2的基于欧几里得距离的相似度评价
 27 def sim_distance(prefs, p1, p2):
 28     #　得到共同评价的电影列表
 29     si = {}
 30     for item in prefs[p1]:
 31         if item in prefs[p2]:
 32             si[item] = 1
 33     # 如果两人没有共同之处,则返回0
 34     if len(si) ==0: return 0
 35     #　计算所有差值的的平方和
 36     sum_of_squares = sum([pow(prefs[p1][item]-prefs[p2][item], 2) for item in prefs[p1]
 37                           if item in prefs[p2]])
 38 　　 # 表示偏好越相近，返回的值越大，（避免被零整除的错误，当返回为1表示两人具有一样的偏好）
 39     return 1/(1+sqrt(sum_of_squares))
 40
 41
 42 # 返回p1和p2的皮尔逊相关系数
 43 def sim_pearson(prefs, p1, p2):
 44     si={}
 45     for item in prefs[p1]:
 46         if item in prefs[p2]:
 47             si[item] = 1
 48
 49     n = len(si)
 50
 51     if n == 0: return 1
 52     #　求所有偏好之和
 53     sum1 = sum([prefs[p1][it] for it in si])
 54     sum2 = sum([prefs[p2][it] for it in si])
 55
 56     # 求偏好平方和
 57     sum1Sq = sum([pow(prefs[p1][it], 2) for it in si])
 58     sum2Sq = sum([pow(prefs[p2][it], 2) for it in si])
 59
 60     # 求两人偏好乘积之和
 61     pSum = sum([prefs[p1][it] * prefs[p2][it] for it in si])
 62
 63     # 计算皮尔逊评价值
 64     num = pSum - (sum1*sum2/n)
 65     den = sqrt((sum1Sq-pow(sum1, 2)/n)*(sum2Sq-pow(sum2, 2)/n))
 66     if den == 0: return 0
 67 　　 # 返回值介于-1和1之间，值为1则表示两个人对每一样物品均有着完全一致的评价
 68     r = num/den
 69     return r
 70
 71
 72 #   从反映偏好的字典中返回最为匹配者
 73 # 　返回结果的个数和相似度函数均为可选参数
 74 def topMatches(prefs, person, n=5, similarity=sim_pearson):
 75     scores = [(similarity(prefs, person, other), other) for other in prefs if other != person]
 76
 77     # 对表进行排序,评价值最高的排在最前面
 78     scores.sort()
 79     scores.reverse()
 80     return scores[0:n]
 81
 82
 83 # 利用所有他人评价值的加权平均,为某人提供建议
 84 def getRecommendations(prefs, person, similarity=sim_pearson):
 85     totals = {}
 86     simSum = {}
 87     for other in prefs:
 88         #　不和自己作比较
 89         if other == person: continue
 90         #　获取两人之间的相似度
 91         sim = similarity(prefs, person, other)
 92
 93         # 忽略评价值小于零或者为零的情况
 94         if sim <= 0: continue
 95         for item in prefs[other]:
 96             # 只对自己未看过的电影进行评价
 97             if item not in prefs[person] or prefs[person][item] == 0:
 98                 # 相似度*评价值
 99                 totals.setdefault(item, 0)
100                 totals[item] += sim * float(prefs[other][item])
101                 # 相似度之和(多人评价对于特定电影的相似度之和)
102                 simSum.setdefault(item, 0)
103                 simSum[item] += sim
104
105     # 建立一个归一化的列表
106     rankings = [(total/simSum[item], item) for item, total in totals.items()]
107     print(simSum)
108     # 返回经过排序的列表
109     rankings.sort()
110     rankings.reverse()
111     return rankings
112
113
114 #　将人名和物品进行对调
115 def transforPrefs(prefs):
116     result = {}
117     for person in prefs:
118         for item in prefs[person]:
119             result.setdefault(item,{})
120             result[item][person] = prefs[person][item]
121     return result

总结：

1.相似性度量方法的选择问题：

　　1.1  当采用Pearson方法进行评价时，它修正了‘夸大分值’的情况

　　1.2 当采用Euclidean Distance方法进行评价时，适用于存在一定共性的数据之间

2.基于用户过滤和基于物品过滤的选择：
　　2.1 基于用户过滤方法更容易实现，而且无需额外步骤，更适用于规模较小的变化非常频繁的内存数据集

　　2.2 基于物品过滤明显比基于用户的过滤更快，不过在维护物品相似度表有额外的开销,更适用于稀疏数据集