【论文标题】AutoRec: Autoencoders Meet Collaborative Filtering (WWW'15)

【论文作者】Suvash Sedhain †∗ , Aditya Krishna Menon †∗ , Scott Sanner †∗ , Lexing Xie ∗†

【论文链接】Paper(2-pages // Double column)

<札记非FY>

====================首先,AutoEncoder 是什么?[ref-1]====================

在神经网络有,一有类特殊的网络叫做AutoEncoder,简称AE。
AE是一个包含单隐层的神经网络。如下图所示: 

 
AE的目标是学习一个模型能使得输出尽可能接近输入,选用平方误差作为 loss function 后目标为  。本质上AE是学习到了一个原始输入的一个向量表达。
从input layer->hidden layer的过程是encode的过程,
从hidden layer->output layer是个decode的过程,希望这个模型能够对原始数据进行最大程度的重构。
AE是一种无监督聚类的方法,用途很多,比如特征提取、数据压缩等。
 
AutoRec的想法是将AE拿来直接学习Rating Matrix里的行或列数据的压缩向量表达,分为user-based AutoRec和item-based AutoRec两种。对于item-based AutoRec,input为R里的每列,即每个item用各个user对它的打分作为其向量描述;对于user-based AutoRec是用R里的每行。下图给出了item-based AutoRec的网络结构和数据流程。
 

=======================关于论文内容==============================

【概要简介】- [ref-2]

这篇文章提出了一种基于AutoEncoder的协同过滤方法来解决评分预测问题。
将协同过滤和 Autoencoder 结合,在协同过滤算法中,假设有m个用户和n个物品,以及用户对物品的评分矩阵R,任务是尽可能准确地推测出用户对未评分物品的评分值。实验证明在RMSE指标数上优于CF和RBM等模型。
 
目的:通过AutoEncoder模型来预测用户-物品矩阵(评分矩阵M x N)中缺失的评分值。
 
【具体模型】
 
1、模型输入
 item-based:每个item用各个user对它的打分作为其向量描述(user-based:每个user用该user对各个item的打分作为输入)。
 
n:物品数 i=1...n
m:用户数
 
2、AutoEncoder 模型
   AutoEncoder是解决这样一个问题:
 
其中的输出 h(r;theta ) 为:

3、AutoRec 模型

AutoRec 在传统 AutoEncoder的基础上做了如下的变化:

  • 损失函数只和观察到的元素有关
  • 加上正则化项
 因此,目标函数为:
 
4、模型输出(即预测函数)
 
将模型对 input 重建后的新向量里对应位置的值认为是预测值。

5、实验结果

对比实验,基线:RBM-CF

AutoRec和RBM-CF的区别:

  • RBM是生成模型,AutoRec是判别模型
  • RBM通过极大化对数似然来估计参数,AR直接用极小化RMSE
  • 训练中,RBM需要用对比散度,AR直接用梯度下降
  • RBM只能预测离散分数
  • 参数量:RBM-CF:nkr(or mkr)AutoRec:nk(or mk)

实验结果:

通过对比各个模型的实验结果:
(1)item-based AutoRec胜出user-based AutoRec,比传统的FM类方法都要更好。(这可能是由于每个项目评分的平均数量是高于每个用户的输入评分数;用户评分数量的高方差导致基于用户的方法的预测不可靠)。
(2)sigmoid好于RELU。
(3)随着hidden 层节点数增加,RMSE越来越小。

6、实验源码:GitHub :https://github.com/gtshs2/Autorec

【Reference】

1、https://blog.csdn.net/studyless/article/details/70880829

2、https://www.jianshu.com/p/4aadd0bdc901

3、https://blog.csdn.net/qq_40006058/article/details/87936043

【RS】AutoRec: Autoencoders Meet Collaborative Filtering - AutoRec:当自编码器遇上协同过滤的更多相关文章

  1. [转]-[携程]-A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems

    原文链接:推荐系统中基于深度学习的混合协同过滤模型 近些年,深度学习在语音识别.图像处理.自然语言处理等领域都取得了很大的突破与成就.相对来说,深度学习在推荐系统领域的研究与应用还处于早期阶段. 携程 ...

  2. 【翻译】Neural Collaborative Filtering--神经协同过滤

    [说明] 本文翻译自新加坡国立大学何向南博士 et al.发布在<World Wide Web>(2017)上的一篇论文<Neural Collaborative Filtering ...

  3. 【RS】Sparse Probabilistic Matrix Factorization by Laplace Distribution for Collaborative Filtering - 基于拉普拉斯分布的稀疏概率矩阵分解协同过滤

    [论文标题]Sparse Probabilistic Matrix Factorization by Laplace Distribution for Collaborative Filtering  ...

  4. 【RS】Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model - 当因式分解遇上邻域:多层面协同过滤模型

    [论文标题]Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model   (35th-ICM ...

  5. 【RS】List-wise learning to rank with matrix factorization for collaborative filtering - 结合列表启发排序和矩阵分解的协同过滤

    [论文标题]List-wise learning to rank with matrix factorization for collaborative filtering   (RecSys '10 ...

  6. 【RS】Amazon.com recommendations: item-to-item collaborative filtering - 亚马逊推荐:基于物品的协同过滤

    [论文标题]Amazon.com recommendations: item-to-item collaborative filtering (2003,Published by the IEEE C ...

  7. 【RS】:论文《Neural Collaborative Filtering》的思路及模型框架

    [论文的思路] NCF 框架如上: 1.输入层:首先将输入的user.item表示为二值化的稀疏向量(用one-hot encoding) 2.嵌入层(embedding):将稀疏表示映射为稠密向量( ...

  8. Collaborative filtering

        Collaborative filtering, 即协同过滤,是一种新颖的技术.最早于1989年就提出来了,直到21世纪才得到产业性的应用.应用上的代表在国外有Amazon.com,Last. ...

  9. 协同滤波 Collaborative filtering 《推荐系统实践》 第二章

    利用用户行为数据 简介: 用户在网站上最简单存在形式就是日志. 原始日志(raw log)------>会话日志(session log)-->展示日志或点击日志 用户行一般分为两种: 1 ...

随机推荐

  1. 【原创】闲来无事,用Winform写了个简易浏览器

    核心是利用了winform自带的WebBrowser控件,修改了下IE内核的版本,目前还是单线程的,逻辑挺简单的,萌新都能看懂. 废话不多说,上代码,附打包project. 链接:https://pa ...

  2. go 中string[0]到底是rune还是byte?

    好像没区别,对吧? 来看个全面的对比: package main import ( "fmt" "reflect") func main(){ asci:=&q ...

  3. Spring IOC 复习

    Inversion of Control 将创建对象的权利交给框架,包括DI(Dependency Injection,依赖注入)和DL(Dependency Lookup,依赖查找),能削减计算机程 ...

  4. python高级编程——网络编程(一)

    计算机网络基础 概念:计算机网络就是把各个计算机连接到一起,让网络中的计算机可以互相通信.网络编程就是如何在程序中实现两台计算机的通信.而网络编程就是开发计算机网络应用程序 计算机的通信协议 概念:计 ...

  5. iOS 报错信息: dyld: Library not loaded: @rpath/XCTest.framework/XCTest Referenced from

    新建项目,引入framework,运行时出现警告:dyld: Library not loaded: @rpath/RLLibrary.framework/RLLibrary  Referenced ...

  6. Centos7下安装redis并能使得外网访问

    一.安装脚本 #!/bin/bash #FileName: install_redis_centos7.sh #Date: #Author: LiLe #Contact: @qq.com #Versi ...

  7. itextpdf5生成document生成pdf的简单dome

    package dbzx.pdf; import java.io.FileNotFoundException; import java.io.FileOutputStream; import org. ...

  8. (原)pytorch中使用TensorRT

    转载请注明出处: https://www.cnblogs.com/darkknightzh/p/11332155.html 代码网址: https://github.com/darkknightzh/ ...

  9. Zabbix监控多个JVM进程

    一.场景说明:   我们这边的环境用的是微服务,每个程序都是有单独的进程及单独的端口号,但用jps查询出来的结果有些还会有重名的情况,所以某些脚本不太适用本场景: 二.需求说明: 需使用Zabbix- ...

  10. PCI_PCIe_miniPCIe规格说明

    PCI PCI是一种本地总线(并行),规格书名称:PCI Local Bus Specification.并行总线,插槽规格统一. PCI stands for Peripheral Componen ...