Bias vs. Variance(4)---根据是high bias还是high variance问题来判断接下来做些什么

怎么区分哪些措施对我们有用呢?----首先根据learning curve来判断你的问题是high bias or variance

当你的算法是high bias问题时，如果你get more training examples是没有用处的，这时我们就不要浪费时间在get5 more training examples上面了。

对如何选择neural network architecture(选择几层hidden layer以及神经网络的大小)的建议

我们可以选择相对于来说"small"的neural network.=>特点： few parameters, more prone to underfitting 优点: 计算方便

我们也可以选择相对于来说"large"的neural network.(more units in hidden layer或者more hidden layers)=> 特点: more parameters,more prone to overfitting 缺点: computationally expensive(通常来说不是大的问题)。这种大型网络最主要的问题是出现overfitting的现象。

如果我们经常使用神经网络的话，会发现越大型的网络性能越好，如果出现了overfitting的现象，可以使用正则化的方法来修正overfitting。一般来说，使用"large"神经网络并且使用正则化来修正overfitting比使用"small"神经网络效果更好，出现的问题是计算量会较大。

如何来选择使用多少层hidden layer呢?是使用1层还是2层还是3层？ 默认的情况是使用1层hidden layer，但是如果你确实想要使用多层的话，我们可以将数据分为trainning/cross validation/test data set,然后使用交叉验证的方法比较1个/2个/3个 hidden layer在cross validation data set上的表现情况，即我们有三个神经网络模型，通过交叉验证来选择一个表现最好的。