浅谈AutoML

Auto ML的概念很广很深，本篇文章旨在概念上的一些理解。

 

我们之前谈过一个模型从幕后走向台前是有很多的工作要做的，AutoML的最初目标正如其名字是想自动化这个过程。实际上有很多人讨论到AutoML的时候也是停留在这个级别。

一个机器学习的pipeline可以大致分为feature选择，算法选择， hyperparameter(超参数)优化，模型训练和模型评估。根据自动化的范围，把AutoML分成了几个级别。比如说，

初级的AutoML可以自动做hyperparameter优化+模型训练

中级的AutoML在初级的基础上还可以自动选择算法

高级的AutoML可以自动选择feature，有人说，AutoML出来的模型如果可以和kaggle的top几相当就基本成功了。

对于AutoML的使用者来说，就是给我数据，我就给你最优模型。

AutoML的本意也是能够推广机器学习，即使你不懂机器学习，只要你有数据，用AutoML, 你就可以轻松得到好模型。

 

 

如果把AutoML只是automation的话，可以自动化的东西全部自动化了就好了，本文可以结束了。

 

事实上的情况要复杂很多。当大家照着这个过程来做自动化的时候会发现，这个傻傻的自动化过程实在太不有效了。比如说hyperparameter都过一遍，那一个算法的计算量被重复了n次，n就是超参数的组合可能数，如果一个算法稍微复杂一点，被这么一乘，结果相当可观。比如说一个深度模型算法原来只需要一天，n是10，那就变成10天了，更何况超参数的组合可不是10这个数量级的。

选择算法也一样，不可能去遍历。

 

因此我们就有了meta-learning这个概念。meta-learning的主要目的就是如何有效的选择超参数和算法。而理论背景也可以说参考了人类是怎么学习的。

之前我们在transfer learning一文中提到，为什么即使是小朋友也可以做到one-shot learning，来推导出机器也可以像人类一样用已有的知识做基础，要学的新知识只是一种叠加，并不是从零学起，所以学得快。

 

而meta learning是什么呢？meta learning是说人可以从学习过程中掌握学习方法，然后用最有效的学习方法来学习新的内容。也就是我们经常说的learn to learn。transfer learning可以说是meta learning的一个特列。其实这个intuition也是很强的。在机器学习过程当中，机器学会了学习方法，当有一组新的学习任务来临的时候，机器通过之前的经验，来选择合适的算法和超参数，把要学习的内容从盲目的全遍历缩小到一个有效的学习空间。

 

一个meta-learning的简单实现例子是，如果一个新的任务的数据和之前执行过的学习任务数据类似，那用于之前任务的超参数和算法也适用于这个新任务。在推荐引擎算法中，其实也用到类似技术。如果一个新用户的profile和已知用户的profile类似，那么已知用户感兴趣的内容也适用于新用户。那要处理的一个重要问题是cold start。

 

 

当提到learn to learn的时候大家可能会很惊恐AGI的到来。(AGI: artificial general intelligence). 虽然AGI需要learn to learn，但这里的learn to learn还是针对某个学习范畴，离general还是有很远很远的路要走。

 

需要知道的是，meta-learning目前并不是靠一个特别先进的新框架新算法来解决所有问题，还是要拆分到各个环节上来。比如说超参数的优化是一大块，神经网络的选择是一大块。

 

谷歌，微软，亚马逊等这些cloud提供商们纷纷都在推广自己的AutoML, 但是技术方面确是各有各的侧重点。

 

推荐一些最近读过的相关文章:

https://medium.com/@santiagof/auto-is-the-new-black-google-automl-microsoft-automated-ml-autokeras-and-auto-sklearn-80d1d3c3005c

http://www.automl.org/book/

https://medium.com/@tunguz/six-levels-of-auto-ml-a277aa1f0f38

希望不久后，我们一起来讨论learn to learn的细节。

 

关注作者微信公众号，阅读大数据和机器学习的更多原创文章。