Overfitting & Train Set & Test Set

假设数据集是独立同分布的，可以将数据集划分为不同的比例：Train Set and Test Set.

同时在Train Set and Test Set上做精度测试，或者隔一段时间在Test Set上做测试，来判断训练模型是否发生过拟合，受否需要提前的终止，目的是选择最好的模型参数。（严格的说，其实应该是Validation）

严格的会分为三部分：Train Set; Validation Set（提前终止，提高泛化能力）; Test Set（不会得到）

K-fold cross-validation：每个数据都有可能back propagation。

换着方式取Train Set,将能利用的数据都利用起来：

减缓过拟合的方法：

1） regularization

2）momentum

3）Learning rate tunning

4）Early Stopping

5）Dropout

pytorch和tensorflow中的Dropout参数含义是不同的