Amazon的推荐系统
本文引自http://blog.csdn.net/fwing/article/details/4942886
现在的推荐系统特别火啊。做得最好的应该是Amazon了。
上面是Amazon的图书推荐。
用的就是著名的 协同过滤(Collaborative filtering)算法。
我们用一个简单的例子来说明。
下面是一个用户购买的书籍的表格。
计算机网络 |
算法导论 |
人工智能 |
数据库系统实现 |
概率统计 |
GRE 词汇手册 |
|
小明 |
1 |
0 |
1 |
0 |
1 |
0 |
小张 |
0 |
1 |
1 |
0 |
1 |
0 |
小李 |
1 |
1 |
0 |
0 |
0 |
0 |
小王 |
0 |
0 |
0 |
0 |
1 |
1 |
上面的1表示购买,0表示没有购买。
那么我们怎么来给小明推荐书籍呢?
先来看看Amazon之前的传统的协同过滤(Collaborative filtering)是怎么做的。
首先呢,根据每个人买的书籍,我们可以将每个用户表示成一个向量。
例如,
V(小明)=<1, 0, 1, 0, 1, 0>
V(小张)=<0, 1, 1, 0, 1, 0>
V(小李)=<1, 1, 0, 0, 0, 0>
V(小王)=<0, 0, 0, 0, 1, 1>
然后呢,我们做这样的假设,买书习惯跟小明类似的人,如果购买了小明没有买的书,那么我们就认为,小明很有可能买这本书。
于是,问题变成了找买书习惯跟小明类似的人。提到向量跟相似度,我们自然就想到了用余弦来衡量相似度。
扔个公式在此给那些忘记了的童鞋们。
接下来,大家动手算一下吧。
cos<V(小明), V(小张) >=0.67
cos<V(小明), V(小李) >=0.41
cos<V(小明), V(小王) >=0.41
呵呵,那么跟小明习惯最像的就是小张了。
然后,我们发现小张买了《算法导论》,但是小明没有买,于是我们就给小明推荐《算法导论》。
这个方法看起来很不错,那么为什么Amazon提出了另外的一种方法呢?
再来看看Amazon的item-to-item协同过滤系统吧。
有一天呢,Amazon的一个工程师脑袋抽筋,不小心把上面的表格拿错方向了。于是变成了下面的样子。
小明 |
小张 |
小李 |
小王 |
|
计算机网络 |
1 |
0 |
1 |
0 |
算法导论 |
0 |
1 |
1 |
0 |
人工智能 |
1 |
1 |
0 |
0 |
数据库系统实现 |
0 |
0 |
0 |
0 |
概率统计 |
0 |
1 |
0 |
1 |
GRE 词汇手册 |
0 |
0 |
0 |
1 |
如果把书的那一行看成一个向量,有啥发现没?对了,我们可以找相似的人,我们还可以找相似的书!!!
这也就是Amazon的item-to-item协同过滤系统。
很多时候,创新就是这么简单,写paper就是这么容易啊 ,换个方向思考 (呃,那位童鞋,不是叫你把书拿反了看)。
下面简单描述一下方法。
我们可以先算出任意两个物品之间的相似度(跟上面类似啊,自己算)。
接下开我们看到小明买了《计算机网络》和《人工智能》的书,把跟这两本书类似的书推荐给小明。
跟《计算机网络》最相似的是 《算法导论》和 《人工智能》,跟 《人工智能》最相似的是 《计算机网络》和 《算法导论》。
最后的结果,是《算法导论》^_^。
用这个方法呢,我们就可以给用户推荐说,买了这个商品的用户还购买了***
那这方法是不是有什么优点呢?(废话啊,不然Amazon会拿来用,商人是很聪明的)
Tradition VS Amazon
Amazon的CF算法可以在离线的情况下把item之间的相似度计算好。当一个用户登陆后,我们需要的也只是检查用户的购买历史,然后把跟这些item相似的item按一定的方法(比如受欢迎程度)排序展现给用户。一般来说,用户购买的东西只是一个小的集合,因此不需要花很多的时间来计算。
而且,如果用户没有登陆,我们依然可以根据他的浏览历史来做推荐。例如,上面的图片就是我在没有登陆的情况下查看了一下《Beautiful Architecture》,然后Amazon给我做了推荐。
对于Amazon这样的网站来说,用户量是远远大于商品数量的。因此,Amazon的CF算法(计算商品相似度)比起传统的CF算法(计算用户相似度),大大地节约了资源。
对于一个未登陆的用户来说,传统的CF算法没办法根据他的浏览历史来推荐(在线计算一个用户跟其他所有用户的相似度显然不可能)。
Amazon的推荐系统的更多相关文章
- Mahout构建图书推荐系统【一起学Mahout】
阅读导读: 1.Mahout中推荐过滤算法支持哪两种算法? 2.用java代码怎样计算男性用户打分过的图书? 3.itemEuclidean.userEuclideanNoPref各自是什么算法? 1 ...
- 推荐系统第3周--- 大数据环境下的itemCF实现
代码报错注意事项: 1:最后Ctrl+shift+O 导入包2:导入mahout包3:新建datafile文件包,在其下面新建csv文件
- 项目实战:Mahout构建图书推荐系统
前言 本文是Mahout实现推荐系统的又一案例,用Mahout构建图书推荐系统.与之前的两篇文章,思路上面类似,侧重点在于图书的属性如何利用.本文的数据在自于Amazon网站,由爬虫抓取获得. 目录 ...
- 转】Mahout构建图书推荐系统
原博文出自于: http://blog.fens.me/hadoop-mahout-recommend-book/ 感谢! Mahout构建图书推荐系统 Hadoop家族系列文章,主要介绍Hadoop ...
- data mining,machine learning,AI,data science,data science,business analytics
数据挖掘(data mining),机器学习(machine learning),和人工智能(AI)的区别是什么? 数据科学(data science)和商业分析(business analytics ...
- 数据挖掘(data mining),机器学习(machine learning),和人工智能(AI)的区别是什么? 数据科学(data science)和商业分析(business analytics)之间有什么关系?
本来我以为不需要解释这个问题的,到底数据挖掘(data mining),机器学习(machine learning),和人工智能(AI)有什么区别,但是前几天因为有个学弟问我,我想了想发现我竟然也回答 ...
- [Recommendation System] 推荐系统之协同过滤(CF)算法详解和实现
1 集体智慧和协同过滤 1.1 什么是集体智慧(社会计算)? 集体智慧 (Collective Intelligence) 并不是 Web2.0 时代特有的,只是在 Web2.0 时代,大家在 Web ...
- 机器学习系列(17)_Yelper推荐系统
1. 我们为什么需要推荐系统?“推荐”可是个当红话题.Netflix愿意用百万美金召求最佳的电影推荐算法,Facebook也为了登陆时的推荐服务开发了上百个项目,遑论现在市场上各式各样的应用都需要个 ...
- Netflix公布个性化和推荐系统架构
Netflix的推荐和个性化功能向来精准,前不久,他们公布了自己在这方面的系统架构. 3月27日,Netflix的工程师Xavier Amatrain和Justin Basilico在官方博客发布文章 ...
随机推荐
- arduino api手册
本文由博主原创,如有不对之处请指明,转载请说明出处. arduino 函数 api 程序结构 在Arduino中, 标准的程序入口main函数在内部被定义, 用户只需要关心以下两个函数:void se ...
- openvpn安装
1,wget http://swupdate.openvpn.org/as/openvpn-as-2.0.10-CentOS7.x86_64.rpm 2,passwd openvpn
- 需要一个策略文件,但在加载此媒体时未设置checkPolicyFile标志
LoaderContext的checkPolicyFile属性: 如果您从执行调用的 SWF 文件所在的域之外加载图像(JPEG.GIF 或 PNG),并且您预计将需要从 ActionScript 访 ...
- poj1087 A Plug for UNIX(网络流最大流)
http://poj.org/problem?id=1087 好久没遇见过这么坑的题了这个题真是挫的够可以的.题目大意:你作为某高管去住宿了,然后宾馆里有几种插座,分别有其对应型号,你携带了几种用电器 ...
- java中运算符的优先级
所谓优先级,就是在表达式中的运算顺序.Java 中常用的运算符的优先级如下表所示: 级别为 1 的优先级最高,级别 11 的优先级最低.譬如,x = 7 + 3 * 2 得到的结果是 13 &quo ...
- 选择c3p0作为连接池
<hibernate-configuration> <session-factory> <property name="dialect& ...
- 不起眼的 z-index 却能牵扯出这么大的学问
z-index在日常开发中算是一个比较常用的样式,一般理解就是设置标签在z轴先后顺序,z-index值大的显示在最前面,小的则会被遮挡,是的,z-index的实际作用就是这样. 但是你真的了解z-in ...
- solr 中文分词 IKAnalyzer
solr中文分词器ik, 推荐资料:http://iamyida.iteye.com/blog/2220474?utm_source=tuicool&utm_medium=referral 使 ...
- Java是如何读取和写入浏览器Cookies的
首先我们认识下什么是cookies: cookie实际上是一个存在你硬盘里的数据,但是这些数据很特殊,只能由web应用提交给浏览器帮助存储,并且我们还能读取浏览器存在本地的cookie web应用一般 ...
- Python 第一个Python项目Hello,Python 学习之路(二)
print("Hello,Python")