DL 调参经验

2019-10-20 11:45:54

• 数据侧

1、在数据集很大的情况下，不要立马跑全量数据。可以现在小数据集上进行测试，估算一下运行时间。

2、数据shuffle和augmentation，训练之前需要将数据集进行随机化处理；数据增强往往可以增加模型的鲁棒性，可以尝试一下。

3、数据的清洗过滤非常重要。数据的质量直接决定了模型的上限。

• 模型侧

1、不要一上来就手写模型，可以先用开源的模型代码跑跑效果，再做调整。

2、分类问题的dropout基本最后一层使用就可以了，可以降低过拟合，但是对精度提升不大。

3、batch_size一般来说越大越好。

4、随时存档，可以在每轮epoch后进行validation，并将模型的参数保存下来，方便观察结果。

5、lr的调整是很重要的，可以尝试。