Benjio0-Curriculum Learning 2009

Curriculum Learning 2009

核心思想：

• 相比于随机选取训练样本对模型进行训练，使用由易到难的样本（更加复杂，包含更多信息）训练模型可以取得更好的训练效果。
• 由于这种训练模式类似于人们接受教育的过程（上课学习知识也是由易到难），因此将其称为课程学习方式（curriculum learning）。

该训练策略为什么有效：

• 文中提出了一种假设：精心设计的curriculum learning策略可以帮助找到更好的非凸训练的局部最小值。
  • 首先使用简单样本训练模型，这可以视为使用困难样本之前的预训练，相比与随机初始化可以获得更好的效果并加速收敛。
• curriculum learning策略可以起到正则化的作用。

效果：

• 提升模型性能
• 加速收敛