ICANN 2001-Learning to Learn Using Gradient Descent

Key

Gradient Descent+LSTM元学习器

解决的主要问题

• 在之前的机器学习的学习方法中，不会利用到之前的经验，利用到之前经验的“knowledge transfer”（元学习是其中一个）。meta-learner会搜索并找到适合特定学习任务的学习算法。要想有这样的学习方法，必须增加一个监督算法来审查和修改训练算法。现有的方法中是存在“人作为监督器”。
  
   作者主要是通过适当的系统替换人体部分，自动获得这种学习方法的改进。

• 处理多个自由参数

---

文章内容

• Introduction

   介绍元学习系统的组成：固定的监督系统和可调整的从属系统

• Theoretical considerations

  • 数据如何设置

    • 从属系统input：y(j-1),x(j)
    • 监督属系统input：y(j),x(j),output(从属系统)

    如果元学习系统输出不是正确的target y(j)，元学习系统就会在每个时间点受到惩罚，这就迫使元学习系统对从属算法进行改进，使其变得更快更准确

  • 为何选择循环架构LSTM
    
    （公式推导没看懂）
    
    查阅资料上的理解：考虑到梯度爆炸和梯度消失现象，所以使用LSTM

  • 从bayes角度理解
    
    元学习可以被视为不断地适应和移动超参数和先验(“归纳偏差移动”)

• Experiments

  分别实验布尔函数、半线性函数、二次函数

• Conclusion

  以前的元学习方法对于大量的系统参数是不可行的。为了处理多个自由参数，提出了利用递归网的梯度下降法在元学习中的应用。
  
  理论分析表明，LSTM是一种良好的元学习者，实验也证实了这一点。通过一个LSTM网络，我们的系统得到了一个学习算法，可以在35个例子后近似任何二次函数。
  
  该方法需要一个单一的训练序列，因此，它可能适用于终身学习和自主机器人。
  
  提出的元学习器能够进行非平稳时间序列预测。我们演示了机器如何从零开始推导出新颖、快速的算法

---

文章方法的优缺点

• 优点
  • 对于含有大量参数的系统，梯度下降处理会比较容易
  • LSTM会利用之前经验信息
• 缺点
  • 基于上下文的，RL中在处理的时候需要一个完整episode

论文链接

[版权归原作者 Lee_ing 所有]

未经原作者允许不得转载本文内容，否则将视为侵权；