MATLAB神经网络应用设计【2】

一、深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别：

（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
（2）iteration：1个iteration等于使用batchsize个样本训练一次；
（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；

举个例子，训练集有1000个样本，batchsize=10，那么：
训练完整个样本集需要：
100次iteration，1次epoch。

二、线性神经网络的结构

（一）她与先前感知器的区别是：感知器只能输出两种可能的值：（1或0）、（1或-1），而线性神经网络的输出可以是任意值。

（二）缺点：依然只能解决线性可分的问题。

（三）Madaline神经网络：若网络中包含多个神经元节点，就能形成多个输出。

（四）【思考：量化投资这个市场在中国才刚刚兴起，可以做】

三、神经网络的LMS学习算法

（1）定义变量和参数
（2）初始化。给向量赋一个较小的随机初值。
   ***学习率可以理解为误差的增值。
（3）输入样本，计算实际输出和误差。
（4）调整权值向量。
  w（n+1）=w（n）+αx^T(n)e(n)
  ***这里α是学习率
(5)判断算法是否收敛、若满足收敛条件，则算法结束，否则跳转到第3步重新计算。

【真想做好一件事，那么就在做这件事的期间不要去了解其他新的东西；做任何事情都有风险，这件事情的风险就是如果不能高效率完成，就有可能因为事情的突变产生波动（可能是好，也可能是坏），如果可以高效完成，可以尽可能降低坏的概率，还能吃下好收获的概率】