【Babble】批量学习与增量学习、稳定性与可塑性矛盾的乱想

一、开场白

做机器学习的对这几个词应该比较熟悉了。

最好是拿到全部数据，那就模型慢慢选，参数慢慢调，一轮一轮迭代，总能取得不错效果。

但是面对新来数据，怎么能利用已经训练好的模型，把新的信息加进去？

所以有很多人，包括我们组，一直想做好在线增量式学习。

(1)来一波新数据，(2)抽信息更新模型，(3)扔掉那些数据

用完的数据就扔掉，所以输入数据的顺序，会影响很大。

二、暑假结束了

在暑假的最后一天，发现过去的两周没有被最优利用。

如果我提前知道我的暑假有整整两周，那么我可以把python系统地学一遍，或者把C++从头复习一遍。

但是我暑假的状态属于来一天过一天，我并不知道暑假什么时候结束。

我就只能在懒散之余，把每天仅有的一点学习时间，用在可以速成的、我最感兴趣的东西。

比如看一篇文章，做两个折磨过我的题。

每天还算过的充实，但是回头去看整体，还是觉得有点可惜。

三、人生是一次在线增量学习

时间再拉大一点，比如长期计划。

人的想法是会变的，社会是会变的，

依照今天的想法，依照社会现状，制定了三年的学习、生活目标与规划，

过了半年、一年，有了一些阶段性成果，

幸运的情况是，实现了自己的追求、符合行业发展，庆幸及早的规划，

也有可能是，偏离了当前的追求、偏离了行业发展，甚至可能觉得过去的规划是一种误导。

这样来看，“早知如此，何必当初” 就是现实生活的稳定性与可塑性矛盾。

人生是一次彻头彻尾的在线增量学习，没有岁月可回头，愿无岁月可回头。

四、机器学习科学家都是哲学家

我们可以猜测明天，但不能预见明天。

为了明天更好的生活，

我们可以基于<今天>的经验，可以基于<昨天, 今天>的经验，可以基于<去年,今年>的经验。

利用多少/哪些历史信息，可以最好的预测明天，从而让自己准备好适应明天。

这真是个哲学问题。

但是机器学习科学家居然通过调参数就给解出来了。真是一群哲学家！