deep learning新征程

deep learning新征程（一）

zoerywzhou@gmail.com

http://www.cnblogs.com/swje/

作者：Zhouwan

2015-11-26

声明：

1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。

2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。

3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。

请联系：zoerywzhou@gmail.com

最近一段时间在看deep learning，刚刚接触，还处于学习阶段。想记录一下自己的学习过程、学习用到的网址和笔记心得等，以便在日后想回顾的时候能随时查到，也希望能分享给大家，提供给同样处于deep learning学习起步阶段的朋友们一个入门的案例（that's me，right~O(∩_∩)O~）

由于本科专业不是学的deep learning，甚至连计算机专业都不是（本人本科专业是电子院的信息工程专业，研究生阶段的方向是计算机），只是想毕业设计做一下计算机相关的内容，为研究生阶段打打基础，提前接触一些，所以跟了做CV的导师。也由于是毕业设计所需，研究生阶段的方向也不是DL，所以并没有那么多时间从头学machine learning，只想尽快入门，能研究出一些有意思的东西。。下面说说我的学习过程。

刚开始我看了很多乱七八糟的资料，导师推荐了很多前沿的学习资料，但是我打开网页，都不知道从何入手，看到全是英文的网页，顿时不知道从哪里入手学习了。贴一下导师推荐的学习网站。

CSC321 Winter 2015: （多伦多大学今年的Deep learning课件资料）：http://www.cs.toronto.edu/~rgrosse/csc321/calendar.html

UFLDL Tutorial - Ufldl（Stanford的Deeplearning入门教程）：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

deep learning 简明教程：http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning

Welcome to Lasagne：http://lasagne.readthedocs.org/en/latest/index.html

GitHub:https://github.com/ 一个非常好的开源网站，可惜我还不怎么能充分利用，正在努力学习中！

　　　——新手该如何使用GitHub？http://www.zhihu.com/question/21669554

　　　——Git版本控制软件结合GitHub从入门到精通常用命令学习手册：http://www.ihref.com/read-16369.html#1

后来导师让我看一篇minerva论文，并要求我翻译之，我看了两遍论文，语言上基本上克服了，但是里面有很多生疏的算法和专业术语我不懂，所以想还是先了解一下deep learning、熟悉一些名词。无意间，我看到了一个博客上关于DL的介绍，很详细，也比较通俗易懂，属于入门者能接受的深度。里面有很多章节，深入浅出。http://blog.csdn.net/zouxy09/article/details/8775360。断断续续看了几天，感觉还不错，比直接看一些书或者视频效果好一些，比看书本更生动，相比于看视频有更多的思考时间。

在理解一些概念上，我也参考了一些其他资源，以下网址中是对一些名词的解释和理解，我认为是比较好的资料：

BP（Back propagation）反向传播算法：http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

2015-12-01

经过两三天的时间，我翻译完了Minerva这篇文章，希望大家给出修改意见。Minerva - A Scalable and Highly Efficient Training Platform for Deep Learning。本文是关于Minerva简介的一篇译文。本人刚接触深度学习方向，专业术语了解甚少，斗胆翻译了这篇文章，有诸多语言不通顺和不准确之处。望与同是入门的朋友分享本文，也希望各界机器学习方面的大神不吝指教！第一次发公开博客，期待大家的宝贵建议，希望能与君共同进步！

2015-12-07

下一步的学习计划：

1、学Mxnet：http://mxnet.readthedocs.org/en/latest/index.html

https://github.com/dmlc/mxnet

重点将其中的python package document（里面的tutorials和python API documents）和developer documents以及programming models for deep learning这三块重点看一下

2、学Python：

　　python 2.7下载:https://www.python.org/downloads/release/python-2710/

　　一是结合《python实战第四版》那本书学；

　　二是结合theano学：https://github.com/fchollet/keras；

　　三是通过官网文件学：https://www.python.org/doc/

3、学神经网络：看CNN、RNN论文

　　　NN-Lectures：多伦多大学课件 CSC321 Winter 2015: Introduction to Neural Networks

　　　　链接：http://pan.baidu.com/s/1gdpuo1t 密码：ueib

4、安装Ubuntu双系统（Ubuntu 14.04.1 LTS ），并熟悉命令操作，学vim命令的使用

5、LSTM：

　　深入浅出LSTM神经网络：http://www.csdn.net/article/2015-06-05/2824880

　　RNN以及LSTM的介绍和公式梳理：http://blog.csdn.net/Dark_Scope/article/details/47056361

　　递归神经网络不可思议的有效性：http://www.csdn.net/article/2015-08-28/2825569

　　　　　　——英文版：The Unreasonable Effectiveness of Recurrent Neural Networks

需要了解的概念性名词（直接Google就行了）：　　

　　　　bayes 定律：http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/

　　　　　　——应用：怎样写一个拼写检查器

好啦，在此树立下目标，下面就一项一项攻克，并且我会在上面更新自己的学习体会、学习笔记和学习资料等。与君共勉！

2015-12-12

在大家都出去嗨的双十二，我还是默默地回到了实验室（主要是前一段时间出去频率太高了O(∩_∩)O~）。今天起得特别早，也很有动力，就起来学习啦。

昨天下午和导师一起讨论了一下毕业设计的具体研究背景，从一篇论文中得出启发，想做一个***（嘿嘿）。贴一下我的学习目标和进程

1、安装source insight，看代码专用软件

2、研究CRFasRNN那篇论文和代码，学一学核心思想（马尔科夫、条件随机场CRF、RNN）

3、确定自己的研究思路

4、继续学Python、Mxnet,了解CNN、RNN。

后续学习见deep learning新征程（二）。