李宏毅深度学习

https://www.bilibili.com/video/av9770302/?p=8

在看RNN的时候，你是不是也会觉得有些奇怪，

Train的过程中，

是把训练集中的结果作为下一步的输入

目标函数，是每一步的真实输出和训练集结果的交叉熵

Test的过程中，

是直接把每一步的输出作为下一步的输入

可以看到train和test的时候，每一步的输入是不一样的，这种不一致会带来什么问题？

对上面的树形结构，

表示学习的过程，如果网络完全正确的学习到我们的训练集，那就是左边的分支

但如果网络只在第一步没有学对，选择了B，而不是A

那么在test的时候，面对相同的句子，

那么它第一步会选B，但我们之前大部分的学习到的知识都集中在左边的分支，而右边的分支在学习的时候没有碰到过

所以对于网络后续的选择都只能乱选

从这个例子可以看出来，这种mismatch所带来的问题

那么问题是，为什么train的时候，不也把真实的输出作为下一步的输入？

将真实输出作为下一步的输入，会导致网络很难训练

原因是，真实的输出是会变化的，

如上图，开始第一步的输出是B，那么第二步学到的是，输入是B的时候，我们也应该得到一个B

但是随着train的继续，第一步的输出会变成A，趋向正确的结果，这样，之前在第二步学的知识就没有用了，

所以对于训练过程中，我们需要保持condition的稳定性

那到底应该怎么样做？

Scheduled Sampling的方法就是每次用一个随机sampling来决定是用哪一个作为下一步的输入

那这个方法不是也会有我们上面说的不稳定问题吗？

注意上面的曲线图，这里sampling的概率是不断变化的，图表示的是用reference的概率随着训练次数的变化

可以看出来，刚开始选reference的概率非常大，所以刚开始和普通的RNN训练没有区别

但是随着训练次数的增多，慢慢的用model的概率会越来越大

这样做的好处是啥，

因为刚开始的时候model不稳定，所以用reference，但是随着训练的进行，model的输出越来越稳定，这时就换成用medel的输出来训练

这样做的好处是，在condition相对稳定的情况下，又可以消除train和test的mismatch

RNN Train和Test Mismatch的更多相关文章

  1. RNN入门（二）识别验证码

    介绍   作为RNN的第二个demo,笔者将会介绍RNN模型在识别验证码方面的应用.   我们的验证码及样本数据集来自于博客: CNN大战验证码,在这篇博客中,我们已经准备好了所需的样本数据集,不需要 ...

  2. 自己动手写RNN

    说的再好,也不如实际行动,今天手写了一个RNN,没有使用Numpy库,自己写的矩阵运算方法,由于这也只是个学习用的demo,所以矩阵运算那一部分写的比较丑陋,见笑了. import com.mylea ...

  3. RNN-theano代码解析

    import theano import numpy import os import pdb from theano import tensor as T from collections impo ...

  4. AlexeyAB DarkNet YOLOv3框架解析与应用实践（五）

    AlexeyAB DarkNet YOLOv3框架解析与应用实践(五) RNNs in Darknet 递归神经网络是表示随时间变化的数据的强大模型.为了更好地介绍RNNs,我强烈推荐Andrej K ...

  5. RNN 入门教程 Part 4 – 实现 RNN-LSTM 和 GRU 模型

    转载 - Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano ...

  6. RNN 入门教程 Part 3 – 介绍 BPTT 算法和梯度消失问题

    转载 - Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradien ...

  7. RNN 入门教程 Part 2 – 使用 numpy 和 theano 分别实现RNN模型

    转载 - Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano 本 ...

  8. RNN神经网络和英中机器翻译的实现

    本文系qitta的文章翻译而成,由renzhe0009实现.转载请注明以上信息,谢谢合作. 本文主要讲解以recurrent neural network为主,以及使用Chainer和自然语言处理其中 ...

  9. RNN and LSTM saliency Predection Scene Label

    http://handong1587.github.io/deep_learning/2015/10/09/rnn-and-lstm.html  //RNN and LSTM http://hando ...

随机推荐

  1. 20151224今天发现到的两篇关于CSS架构、可复用可维护CSS和CSS学习提升能有改变思想观念意识的文章 分别是CSS架构目标和说说CSS学习中的瓶颈

    多讲一个,CSS全称是什么?CSS全称为Cascading Style Sheets,中文翻译为“层叠样式表”,简称CSS样式表又被我们称为CSS样式,CSS样式又被作为一种能制作出各种样式网页的技术 ...

  2. OpenCV 学习笔记 07 支持向量机SVM（flag）

    1 SVM 基本概念 本章节主要从文字层面来概括性理解 SVM. 支持向量机(support vector machine,简SVM)是二类分类模型. 在机器学习中,它在分类与回归分析中分析数据的监督 ...

  3. CentOS 6.5 x64下查看服务版本

    1.查看服务是否是64位 [root@Yimmei ~]# getconf LONG_BIT 642.查看服务器版本信息 [root@Yimmei ~]# lsb_release -a LSB Ver ...

  4. [转]正则表达式的先行断言(lookahead)和后行断言(lookbehind)

    正则表达式的先行断言和后行断言一共有4种形式: (?=pattern) 零宽正向先行断言(zero-width positive lookahead assertion) (?!pattern) 零宽 ...

  5. 转载：Quartz.NET 入门

    分享自:http://www.cnblogs.com/jys509/p/4628926.html 概述 Quartz.NET是一个开源的作业调度框架,非常适合在平时的工作中,定时轮询数据库同步,定时邮 ...

  6. mybatis generator 为数据库保留字段 转义

    为order 添加转义符号“ ` ” `order` <property name="autoDelimitKeywords" value="true"& ...

  7. caffe网络结构可视化在线工具

    http://ethereon.github.io/netscope/#/editor shift+enter

  8. C# 在while循环中new的对象

    一: 问:那每次循环都会new一个A?那内存不是会满吗?还是说要把这个初始化对象的动作放到循环外面的写法会比较好? while(true) { A a = new A(); ... sleep(100 ...

  9. idea创建maven SSM项目

    maven配置 ➜ ~ cd /Applications/IntelliJ IDEA.app/Contents/plugins/maven/lib/maven3/conf ➜ conf vim set ...

  10. 【QT】文件读写操作

    读取输出: QFile file("D:/Englishpath/QTprojects/1.dat"); if(!file.open(QIODevice::ReadOnly)) { ...