Mahout推荐算法基础
转载自(http://www.geek521.com/?p=1423)
Mahout推荐算法分为以下几大类
GenericUserBasedRecommender
算法:
1.基于用户的相似度
2.相近的用户定义与数量
特点:
1.易于理解
2.用户数较少时计算速度快
GenericItemBasedRecommender
算法:
1.基于item的相似度
特点:
1.item较少时就算速度更快
2.当item的外部概念易于理解和获得是非常有用
SlopeOneRecommender(itemBased)
算法:
1基于SlopeOne算法(打分差异规则)
特点
速度快
需要预先计算
当item数目十分少了也很有效
需要限制diffs的存储数目否则内存增长太快
SVDRecommender (item-based)
算法
基于支持向量机(item的特征以向量表示,每个维度的评价值)
特点
需要预计算
推荐效果佳
KnnItemBasedRecommender (item-based)
类似于GenericUserBasedRecommender 中基于相似用户的实现(基于相似的item)
与GenericItemBasedRecommender 的主要区别是权重方式计算的不同(but, the weights are not the results of some similarity metric. Instead, the algorithm calculates the optimal set of weights to use between all pairs of items=>看的费劲)
TreeClusteringRecommender
算法
基于树形聚类的推荐算法
特点
用户数目少的时候非常合适
计算速度快
需要预先计算
基于模型的推荐算法、基于满意度得推荐算法(未实现)
Mahout中的数据输入
DataModel
以下包含
GenericDataModel
数据接口类 基于内存
内部使用FastByIDMap 保存PreferenceArray,在PreferenceArray内保存用户->Item的评价值
GenericBooleanPrefDataModel.
基于内存的数据接口类
但是无用户偏好值
使用FastByIDMap<FastIDSet>为用户或者Item保存相关的Item或者用户。
FileDataModel
基于文件的数据接口内,内部使用GenericDataModel 保存实际的用户评价数据
增加了压缩文件(.zip .gz)等文件类型的支持
支持动态更新(更新文件文件名必须保存为一定的格式 例如 foo.txt.gz 后续更新文件必须为foo.1.txt.gz)
查了以下代码 好像是自定义时间间隔后可以更新,但是好像是全部更新(以后看代码)
JDBCDataModel
基于数据库的数据接口 目前已经实现MySQLJDBCDataModel(支持MySQL 5.x)可以使用MysqlDataSource生成MySQLJDBCDataModel
注:0.7版本里面没有找到MySQLJDBCDataModel类多了一个MySQLJDBCIDMigrator
不知道关系如何
PlusAnonymousUserDataModel.
用于匿名用户推荐的数据类 将全部匿名用户视为一个用户(内部包装其他的DataModel类型)
Mahout中的相似度计算
主要按照基于User,基于Item等
GenericItemSimilarity包含内部类 GenericItemSimilarity.ItemItemSimilarity
GenericUserSimilarity包含内部类 GenericUserSimilarity.UserUserSimilarity
以内存方式保存相似度计算结果 使用FastByIDMap<FastByIDMap<Double>>保存计算结果
以cache方式保存相似度计算结果防止每次请求是重复计算
内部使用 Cache<LongPair,Double> similarityCache保存相似度
与 GenericUserSimilarity用法和区别暂时看不懂
Mathout中实现的基于不同算法相似度度量的:
PearsonCorrelationSimilarity 皮尔逊距离
EuclideanDistanceSimilarity 欧几里德距离
CosineMeasureSimilarity 余弦距离(0.7变成了 UncenteredCosineSimilarity)
SpearmanCorrelationSimilarity 斯皮尔曼等级相关
TanimotoCoefficientSimilarity 谷本相关系数
LogLikelihoodSimilarity 一般好于TanimotoCoefficientSimilarity(不懂)
CityBlockSimilarity基于曼哈顿距离
相似度使用的典型用法
UserSimilarity similarity = new CachingUserSimilarity(
new SpearmanCorrelationSimilarity(model), model);
对缺失数据的处理
PreferenceInferrer 数据丢失或者数据太少时可能用到 具体实现有 AveragingPreferenceInferrer 以平均值填充缺失数据
一般来说PreferenceInferrer除了增加计算量对推荐结果无任何影响(缺失值根据已有数据得出)所以一般只用于研究领域。
聚类的相似度
ClusterSimilarity
聚类的相似度用于两个不同的聚类之间的距离(类似坐标系内的距离)
目前聚类之间的距离计算只包含以下两个实现(暂时没有更好的实现算法)
NearestNeighborClusterSimilarity 计算两个聚类中所有项距离中的最小距离
FarthestNeighborClusterSimilarity 计算两个聚类中所有项距离中的最大距离
Mahout推荐算法基础的更多相关文章
- Mahout推荐算法API详解
转载自:http://blog.fens.me/mahout-recommendation-api/ Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, ...
- 转】Mahout推荐算法API详解
原博文出自于: http://blog.fens.me/mahout-recommendation-api/ 感谢! Posted: Oct 21, 2013 Tags: itemCFknnMahou ...
- [转]Mahout推荐算法API详解
Mahout推荐算法API详解 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeepe ...
- Mahout推荐算法之SlopOne
Mahout推荐算法之SlopOne 一. 算法原理 有别于基于用户的协同过滤和基于item的协同过滤,SlopeOne采用简单的线性模型估计用户对item的评分.如下图,估计UserB对 ...
- Mahout推荐算法API具体解释【一起学Mahout】
阅读导读: 1.mahout单机内存算法实现和分布式算法实现分别存在哪些问题? 2.算法评判标准有哪些? 3.什么会影响算法的评分? 1. Mahout推荐算法介绍 Mahout推荐算法,从数据处理能 ...
- Mahout推荐算法ItemBased
Mahout推荐的ItemBased 一. 算法原理 (一) 基本的 下面的例子,参见图评分矩阵:表现user,归类为item. 图(1) 该算法的原理: 1. 计算Item之间的相似度. ...
- Mahout推荐算法之ItemBased
Mahout推荐之ItemBased 一. 算法原理 (一) 基本原理 如下图评分矩阵所示:行为user,列为item. 图(1) 该算法的原理: 1. 计算Item之间的相似度. 2. ...
- 从源代码剖析Mahout推荐引擎
转载自:http://blog.fens.me/mahout-recommend-engine/ Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pi ...
- 转】从源代码剖析Mahout推荐引擎
原博文出自于: http://blog.fens.me/mahout-recommend-engine/ 感谢! 从源代码剖析Mahout推荐引擎 Hadoop家族系列文章,主要介绍Hadoop家族产 ...
随机推荐
- 多线程处理sql server2008出现Transaction (Process ID) was deadlocked on lock resources with another process and has been chose问题
多线程处理sql server2008某个表中的数据时,在Update记录的时候出现了[Transaction (Process ID 146) was deadlocked on lock reso ...
- Redis学习记录之————微博项目
Key设计 全局相关的key: 表名 global 列名 操作 备注 Global:userid incr 产生全局的userid Global:postid Incr 产生全局的postid 用户相 ...
- Shell脚本———— /dev/null 2>&1详解
1.可以将/dev/null看作"黑洞". 它非常等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到. 然而, /dev/null对命令行和 ...
- php按条件查询的数据分页显示,点击下一页时又列出全部数据的解决办法
其实很简单,只要把表单提交方式改为get方式就行了,然后调用分页函数: function getpage(&$m,$where,$pagesize=10){ $m1=clone $m;//浅复 ...
- OpenWrt网络结构
原文链接:http://www.freezhongzi.info/?p=104 OpenWrt网络结构 OpenWrt的网络配置很丰富,在我看来几乎可以完成任何网络结构.下图为一个支持OpenWrt的 ...
- Activtiy
Class Overview An activity is a single, focused thing that the user can do. Almost all activities in ...
- [转载]WEB缓存技术概述
[原文地址]http://www.hbjjrb.com/Jishu/ASP/201110/319372.html 引言 WWW是互联网上最受欢迎的应用之一,其快速增长造成网络拥塞和服务器超载,导致客户 ...
- c++程序编码
c++程序中涉及到中文字符的输入输出以及其他操作经常会出现乱码.乱码主要是由于程序的源文件编码.可执行文件编码以及程序运行环境的编码不匹配导致.比如,c++源程序文件编码为GB18030, 在源程序中 ...
- Graph-tool简介 - wiki
graph-tool is a Python module for manipulation and statistical analysis of graphs[disambiguation nee ...
- [BI基础] ( 商务智能 ) 简介
一.什么是BI BI(商务智能)通过给海量云数据制定“游戏规则”(对不同主题进行不同分析),将分散的数据进行搜集.整合.清理和诊断,借助一定的分析手段,进而将数据转化为信息和知识,快速准确的提供报表并 ...