【ML】关于神经网络优化问题的随笔记

1. 为什么不去试着最大化正确分类的图像数量而使用二次代价函数？

　　在神经网络中，被正确分类的图像数量所关于权重和偏置的函数并不是一个平滑的函数。大多数情况下，对权重和偏执做出的微小变动完全不会影响被正确分类的图像的数量。这会导致我们很难去解决如何改变权重和偏置来取得改进的性能。而用⼀个类似⼆次代价的平滑代价函数则能更好地去解决如何⽤权重和偏置中的微⼩的改变来取得更好的效果。只有先专注于最小化二次代价，之后才能测试分类精度。

　　注：平滑函数，在数学中特指无穷阶连续可导的函数，若一函数是连续的，则称其为C^0函数；若函数存在导函数，且其导函数连续，即连续可导，则称其为C^1函数；若一函数n阶可导，并且其n阶导函数连续，则为函数C^n。而光滑函数是对所有n都属于C^n的函数，特称其为C∞函数。优化过程中，如果目标函数是光滑函数，那么有一些最优化方法可以保证优化时得到全局最优解

2.