博客地址:http://www.cnblogs.com/daniel-D/p/5602254.html

新浪微博:http://weibo.com/u/2786597434

欢迎多多交流~

Main Idea

这篇论文的工作是讲 RNN 应用到推荐系统中,想法在于把一个 session 点击一系列 item 的行为看做一个序列,用来训练一个 RNN 模型。在预测阶段,把 session 已知的点击序列作为输入,用 softmax 预测该session下一个最有可能点击的item。论文想法虽然很朴素很直白,但是目前这类直接用deep learning的结构来做推荐的论文非常少(RBM除外),因此值得仔细研读。

Architecture

论文采用了 RNN 中的 GRU 单元作为基本结构,组建了一个深层的神经网络来预测该session下一个点击的item 的概率。比如item拥有 2w 个,那么通过 1-of-N coding 的方式(one hot encoding),神经网络的第一层就有2w个节点,然后通过第二层embedding层压缩为低维连续向量(假设200维),当然最开始这些向量都是随机初始化的。embedding这一层实际上是一个 2w * 200的矩阵字典,每一行 200 维的向量就是一个item的presentation。这200维向量可作为 stacked GRU 的输入,得到低维连续的输出(200维),然后通过与 一个 200 * 2w 的矩阵相乘,得到了下一个点击的item在 2w 个节点中的预测概率,整体而言,这是一个 sequence to sequence 的预测问题。

为了更好的并行计算,论文采用了mini-batch的处理,即把不同的session拼接起来,同一个sequence遇到下一个Session时,要注意将 GRU 中的一些向量重新初始化。因为item的维度非常高,每次要预测 2w 个item 的概率会导致计算量庞大,因此原则上只选取当前的正样本(即下一个点击的item)加上随机抽取的负样本。论文采用了取巧的方法来减少采样需要的计算量,即选取了同一个 mini-batch 中其他sequence下一个点击的item作为负样本,用这些正负样本来训练整个神经网络。

Loss Function

作者尝试了 常见的 point-wise rank loss,即认为负样本为 0, 正样本为 1 的loss function,发现训练出来的模型并不稳定,原因可能因为在推荐里面,并不存在绝对的正样本和负样本。在同一个情景里面,用户只能点击一个最偏好的item,对其他item可能也存在偏好,这并不是一个非黑即白的classification问题。然后作者尝试了 pair-wise rank loss,并且对于负样本的分数进行了近0约束,防止训练过程中分数相互“攀比”的情形下所有的预测分数都越来越高。实际上,我认为这种约束方法近似于对 权重进行了 L2 约束。

Results

论文在 recSys2015 竞赛的数据集上进行了点击item的预测评比,对比的方法有 pop 、s-pop 、item-knn以及 BPR-MF,评测标准有 MRR@20 和 Recall@20,貌似都取得了不错的效果。

Deep Learning 论文解读——Session-based Recommendations with Recurrent Neural Networks的更多相关文章

  1. 论文解读 - Composition Based Multi Relational Graph Convolutional Networks

    1 简介 随着图卷积神经网络在近年来的不断发展,其对于图结构数据的建模能力愈发强大.然而现阶段的工作大多针对简单无向图或者异质图的表示学习,对图中边存在方向和类型的特殊图----多关系图(Multi- ...

  2. Deep Learning 16:用自编码器对数据进行降维_读论文“Reducing the Dimensionality of Data with Neural Networks”的笔记

    前言 论文“Reducing the Dimensionality of Data with Neural Networks”是深度学习鼻祖hinton于2006年发表于<SCIENCE > ...

  3. Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)

    Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文, ...

  4. Deep Learning论文笔记之(八)Deep Learning最新综述

    Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...

  5. Deep Learning论文笔记之(六)Multi-Stage多级架构分析

    Deep Learning论文笔记之(六)Multi-Stage多级架构分析 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些 ...

  6. Deep Learning论文笔记之(一)K-means特征学习

    Deep Learning论文笔记之(一)K-means特征学习 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感 ...

  7. Deep Learning论文笔记之(三)单层非监督学习网络分析

    Deep Learning论文笔记之(三)单层非监督学习网络分析 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感 ...

  8. Spectral Norm Regularization for Improving the Generalizability of Deep Learning论文笔记

    Spectral Norm Regularization for Improving the Generalizability of Deep Learning论文笔记 2018年12月03日 00: ...

  9. 论文翻译:2020_Lightweight Online Noise Reduction on Embedded Devices using Hierarchical Recurrent Neural Networks

    论文地址:基于分层递归神经网络的嵌入式设备轻量化在线降噪 引用格式:Schröter H, Rosenkranz T, Zobel P, et al. Lightweight Online Noise ...

随机推荐

  1. 【VB超简单入门】三、开始编程

    接下来要进入正题了!同学们要认真看咯~ 第一步:安装VB开发IDE 在这里我推荐大家安装的是VB迷你版,现在大多数同学使用win7,这个版本可以在win7上运行的妥妥的~ 下载链接:http://pa ...

  2. 字符串长度函数strlen()

    如下是我的测试文件: #include <stdio.h> #include <stdlib.h> #include <string.h> int main() { ...

  3. C++ transform

    transform函数的作用是:将某操作应用于指定范围的每个元素.transform函数有两个重载版本: transform(first,last,result,op);//first是容器的首迭代器 ...

  4. 矩阵乘法快速幂 codevs 1732 Fibonacci数列 2

    1732 Fibonacci数列 2  时间限制: 1 s  空间限制: 128000 KB  题目等级 : 钻石 Diamond 题解  查看运行结果     题目描述 Description 在“ ...

  5. android studio没有org.apache.http.client.HttpClient;等包问题 解决方案

    以前用Eclipse做Android开发工具一直使用apache的http做网络请求,最近换用了Android studio发现没有办法引用apache的包,下面是我引用的步骤

  6. 服务器操作系统应该选择 Debian/Ubuntu 还是 CentOS?

    来自 http://www.zhihu.com/question/19599986 服务器操作系统应该选择 Debian/Ubuntu 还是 CentOS? 想选择一个 Linux 发行版作为服务器. ...

  7. Android开发配置,消除SDK更新时的“https://dl-ssl.google.com refused”异常

    消除SDK更新时的“https://dl-ssl.google.com refused”错误 消除SDK更新时,有可能会出现这样的错误:Download interrupted: hostname i ...

  8. 【转】Bresenham快速画直线算法

    一.             算法原理简介: 算法原理的详细描述及部分实现可参考: http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresen ...

  9. Linux 网络编程六(socket通信UDP版)

    //udp接收消息 #include <stdio.h> #include <stdlib.h> #include <string.h> #include < ...

  10. 文件“D:\file.txt”正由另一进程使用,因此该进程无法访问该文件。

    关于如题的解决方案! 都是有一定编程基础的人,我就不讲其它的了. 1.在实例化一个FileStream后,用完它一定要关闭.先试试这一条: 2.第一条不起作用的话,用本条.在实例化FileStream ...