Model-Agnostic Meta-Learning (MAML) 理解

　　模型不可知元学习（Model-Agnostic Meta-Learning, MAML）的目标是使模型每次的梯度更新更有效、提升模型的学习效率、泛化能力等，它可以被看做一种对模型进行预训练的方法，适用于小样本学习。

　　原文：http://proceedings.mlr.press/v70/finn17a/finn17a.pdf

　　其它理解可以看：https://zhuanlan.zhihu.com/p/57864886

主旨

　　论文的主旨主要就概括为以下损失函数（元目标）。其中$f_\theta$表示某个参数为$\theta$的模型；$p(\mathcal{T})$表示适用于模型$f_\theta$的各种任务的分布，它的一个抽样$\mathcal{T}_i$就表示模型的某个任务，任务包含数据集和损失函数；模型在任务$\mathcal{T}_i$上进行一次训练后所得到的模型为$f_{\theta_i'}$ 。

$\min\limits_\theta\sum\limits_{\mathcal{T}_i\sim p(\mathcal{T})}\mathcal{L}_{\mathcal{T}_i}(f_{\theta_i'})=\sum\limits_{\mathcal{T}_i\sim p(\mathcal{T})}\mathcal{L}_{\mathcal{T}_i}(f_{\theta-\alpha\nabla_\theta\mathcal{L}_{\mathcal{T}_i}(f_{\theta})})$

　　以上目标表示，优化模型参数$\theta$，使得模型在某个任务上进行一次梯度更新之后，在这个任务上的表现就要好。惩罚的是模型对数据参数的不敏感性：我不要通过多次训练才能达到比较好的效果，我只要一次训练，就达到！

　　当然，其中的一次梯度更新也可以修改为多次更新。解释就是：让模型能在某个任务的数次梯度更新内，达到好的效果。当然，由于这个目标的元更新需要计算二阶梯度，每次元更新所需的显存会因前面梯度更新次数增加而过大。感觉一次就够了，多次没有意义。

思考

　　根据以上目标，我们可以在此基础上思考各种用法的可能性。

　　1、小样本学习，文中介绍的就是这个。目标函数就是上面的式子，梯度更新和元更新阶段用的同一个任务数据集的不同数据抽样。具体做法看算法2。

　　2、任务分布$p(\mathcal{T})$中的任务类型不一定是要接近的。比如有的模型的通过替换输出层，既可以适应分类任务，又可以适用于缺陷检测任务。那么同时用这些任务进行MAML训练，能让模型对多种类型任务的适用性更强。也就是通过MAML的参数初始化，模型能同时在多类任务上实现快速学习。

　　3、前后梯度更新与元更新用不同的任务类型，前一次用数据充足的，后一次用数据不充足的。比如让模型经过一次的缺陷检测任务训练，能解决分类任务问题。暂时还没想到什么好的应用。

$\min_\theta\sum\limits_{\mathcal{T}_i\sim p_1(\mathcal{T}),\mathcal{T}_j\sim p_2(\mathcal{T})}\mathcal{L}_{\mathcal{T}_j}(f_{\theta_i'})=\sum\limits_{\mathcal{T}_i\sim p_1(\mathcal{T}),\mathcal{T}_j\sim p_2(\mathcal{T})}\mathcal{L}_{\mathcal{T}_j}(f_{\theta-\alpha\nabla_\theta\mathcal{L}_{\mathcal{T}_i}(f_{\theta})})$

实验部分

优势

　　图2展示了MAML相较于预训练的优势：

　　1、左边2张图可以看出，用MAML在类似的正弦函数上进行元训练后，在未见过的正弦函数上，用5个抽样进行一次梯度更新就能回归出比较好的结果，而用10个抽样则几乎拟合出了整个曲线。而且可以看出梯度更新的次数对结果影响很小，说明一次更新就能得到比较理想的结果。

　　2、右边2张图看出，用普通预训练模型微调，在小样本数据上作用很小。

二阶梯度的省略

　　文章做了实验忽略元更新中的二阶导数（Hessian矩阵），仅保留元更新中的一阶部分。发现性能几乎没有损失，表明MAML的大部分改进来自更新后参数值处目标的梯度，而不是二阶梯度。过去的工作已经观察到ReLU神经网络的局部几乎线性的（ReLU的二阶导数为0），也就是大多数情况下二阶导数接近于零，部分解释了一阶近似的良好性能。这种近似使模型训练加速33%。