cs231n spring 2017 lecture1 Introduction to Convolutional Neural Networks for Visual Recognition

1. 生物学家做实验发现脑皮层对简单的结构比如角、边有反应，而通过复杂的神经元传递，这些简单的结构最终帮助生物体有了更复杂的视觉系统。1970年David Marr提出的视觉处理流程遵循这样的原则，拿到图像后，先提取角、边、曲线等等简单的几何元素，然后再用深度信息、表面信息等更高层的复杂信息，最后是更高层的更抽象的表达。 深度学习也是遵循这样的基本思想，从最简单的特征出发，通过多层函数传递，实现复杂的功能。

2. Image-Net比赛，2012年突破性的变化，AlexNet用卷积神经网络大幅提高了准确率，之后这种方法成为了主流，层数越来越多，2015年微软用了100多层的网络。之后这种比赛的意义就不大了，因为确实用更多的层数会有更好地效果（比如200层），但对GPU等硬件提出了要求，而且识别率已经超过人类了。

3. 深度学习并不是一下子火起来，2012年的AlexNet本质上和1998年LeCun识别字母的论文一样的。促成近些年深度学习的最主要原因一是硬件的进步，二是数据量的增加。