LSTM与Highway-LSTM算法实现的研究概述

LSTM与Highway-LSTM算法实现的研究概述

zoerywzhou@gmail.com

http://www.cnblogs.com/swje/

作者：Zhouwan

 2015-12-22

 

声明：

1）该LSTM的学习系列是整理自网上很多大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。

2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。

3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。

请联系：zoerywzhou@gmail.com 或13813017783@163.com

 

本研究课题系本人本科毕业设计，开题报告初步确定，后面会实时更新，希望能与大家相互交流，共同进步！

 

一、研究计划： 

 

1、理解LSTM的基本概念、原理与相关应用

2、剖析LSTM的代码实现

3、理解深度学习中Highway的思想，以及如何在LSTM中实现Highway

4、剖析Highway-LSTM代码

5、选择一个应用，进行验证

 

定期（每隔一月）对算法剖析的进展做总结，目标在3月底，完全掌握LSTM的代码与算法。

 

二、以下为部分学习资料的链接：

 

Github上的资源：

 

Basic LSTM (LUA) https://github.com/wojzaremba/lstm 

 

Basic LSTM by Torch (LUA) https://github.com/karpathy/char-rnn 

 

Highway LSTM by Torch (LUA) https://github.com/yoonkim/lstm-char-cnn 

 

LSTM : http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 

 

LSTM implementation: http://apaszke.github.io/posts.html 

 

部分参考文献：

[High-way-lstm-1]High-way LSTM RNNS FOR Distant Speech Recognition.pdf ： 访问密码 510b

[High-way-lstm-2]Character-Aware Neural Language Models.pdf  ：访问密码 510b

神经网络课件：NN-Lectures：CSC321 Winter 2015 Introduction to Neural Networks：访问密码 0442

三、我的学习计划如下：

1、2015.12.23、24，28-30；2016.1.3、4（一周时间）————理解LSTM的基本概念、原理与相关应用

　　（1）结合NN-lectures课件和以下网址看BP算法，了解其原理：（2015.12.23、24）

 

　　　　　　Calculus on Computational Graphs: Backpropagation

　　　                              

　　　　　　Principles of training multi-layer neural network using backpropagation 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　（2）理解LSTM的基本概念、原理：（12.28~31）

 

　　　　　　理解LSTM : http://colah.github.io/posts/2015-08-Understanding-LSTMs/  （译文）

 

　　　　　　LSTM implementation: http://apaszke.github.io/posts.html   (译文)　　　　

 

　  　　　　 RNN以及LSTM的介绍和公式梳理：http://blog.csdn.net/Dark_Scope/article/details/47056361　　　　

　　　　　　

　　　　　　深入浅出LSTM神经网络：http://www.csdn.net/article/2015-06-05/2824880

 

　　　　　　Learning to read with recurrent neural networks（博士生Zachary Chase Lipton）

 

　　　　　　顺便理解一下RNN，Andrej Karpathy写了篇非常棒的博客：递归神经网络不可思议的有效性（英文原版）

 

（3）了解LSTM的应用：（2016.1.3、4）

　目前了解到的LSTM应用大概有以下几个：

 

来自知乎：http://www.zhihu.com/question/37082800/answer/70333603

（1） Language Model
The Unreasonable Effectiveness of Recurrent Neural Networks

（2） Image Captioning
[CVPR15]]Long-term Recurrent Convolutional Networks for Visual Recognition and Description
Deep Visual-Semantic Alignments for Generating Image Descriptions

（3）Speech Recognition

（4）Machine Translation
[NIPS15]Sequence to Sequence Learning with Neural Networks.

（5） Computer-composed Music
https://www.quora.com/What-is-the-state-of-the-art-in-computer-composed-music
Composing Music With Recurrent Neural Networks

 

2、2016.1.5-2016.1.19 ————剖析LSTM的代码实现，动手编程序，并写一篇总结日志，发布到CSDN上：

 

　　　　2016.1.5-2016.1.10 ——Basic LSTM (LUA) https://github.com/wojzaremba/lstm  　　

　　　　　　 https://github.com/bgshih/crnn、

 

　　　　　　 学LUA:(在线学习手册)：http://manual.luaer.cn/、

　　　　　　　　入门教程：http://www.cnblogs.com/thinksasa/p/4039640.html、http://www.jb51.net/article/55394.htm

　　　　　　　　关于LUA闭包的解释：http://www.2cto.com/kf/201503/382691.html

 

　　　　2016.1.11-2016.1.18 ——Basic LSTM by Torch (LUA) https://github.com/karpathy/char-rnn 

 

　　　　2016.1.19 ——写一篇总结日志，发布到CSDN上

 

 *******************************************************************

　　　

　非学习时间：2016.1.19-2.22寒假回家，暂定每周两天时间看看论文

　{

　　　　2016.1.19寒假回家！

　　

　　　　提高time：健身、读书【写读后感】、写日志【完成日志《保研之路》，分享到保研论坛】

　}

　

 *******************************************************************

 

 

3、2016.2.15-2016.2.27 ————理解深度学习中Highway的思想，以及如何在LSTM中实现Highway

 

　看论文：

[High-way-lstm-1]High-way LSTM RNNS FOR Distant Speech Recognition.pdf ： 访问密码 510b

[High-way-lstm-2]Character-Aware Neural Language Models.pdf  ：访问密码 510b

 

　2016.2.28-2016.2.29 ——写一篇总结日志，发布到CSDN上

 

4、2016.3.1-2016.3.29 ————剖析Highway-LSTM代码

 

　　Highway LSTM by Torch (LUA) https://github.com/yoonkim/lstm-char-cnn 

 

　　Very Deep Learning with Highway Networks

　干货 | ICCV 2015 揭开152层神经网络的面纱

　　干货 | NIPS 2015 Deep Learning Symposium（一）

　　干货 | NIPS 2015 Deep Learning Symposium（二）

　2016.3.30-2016.3.31 ——写一篇总结日志，发布到CSDN上

 

5、2016.4.1-2016.4.30 ————选择一个应用，进行验证

 　　　

 

 先做出来，再看应用吧。。