META-PDE

未发表

摘要

本文提出了一种基于元学习的方法，该方法从一系列相关的偏微分方程中学习快速解决问题。作者使用元学习（MAML和LEAP）来识别近似PDE解的神经网络的初始化，以便在新任务中快速最小化 PDE 的残差。由此产生的meta-PDE方法可以在几个梯度步骤内找到大多数问题的解，中等精度下可以比有限元方法快一个数量级。

介绍

目前，求解PDE最常用的方法是有限元分析，解由网格上的分段多项式表示。但是当网格变得精细时，会带来非常大的计算量。

本文的主要目的是使用基于梯度的元学习来加速使用物理信息神经网络（PINN）求解偏微分方程。这使得相对于有限元分析，能以较低计算成本实现比较准确的求解。尽管这些求解器具有初始训练成本，但它们可以在必须重复求解偏微分方程的问题中节省计算成本。

PINN的缺点：

PINN主要存在两个问题。首先，PINN尚未证明可以求解所有的偏微分方程。特别是，PINN难以求解解依赖时间的偏微分方程，其解表现出混沌行为或者湍流。其次，普通的PINN比经典数值方法慢很多。

本文试图通过应用元学习来降低优化成本来缓解第二个问题，用来减少在特定问题上找到准确解决方案所需的时间。

元学习的最新工作集中在如何构建学习算法，这些算法可以通过尽可能少的额外训练来适应新任务。本文主要涉及基于梯度的元学习算法，如MAML、REPTILE和LEAP。这些算法将元学习视为一个双层优化问题：内部学习循环优化给定任务的模型参数，外部学习循环在内部循环可能遇到的任务中优化内部循环的学习过程。

在这里借助一个下图描述我理解的元学习：元学习就是学习函数的函数，就像泛函。

本文的主要贡献：

引入了一个框架，通过结合元学习和PINNs来加速PDE求解。通过使用基于梯度的元学习技术（如 LEAP 和 MAML）来训练 PINN 初始化，该初始化在针对从一组相关任务中提取的任务进行优化时将快速收敛，从而加速偏微分方程求解。

问题的分布由偏微分方程的不同参数化组成，例如不同的边界条件、初始条件、控制方程中的系数，甚至偏微分方程的问题域。这很像以前看过的一篇通过迁移学习加速PINN训练点，那一个是预训练好后，微调最后一个线性层。

在部署期间，元学习模型可用于为分布中的偏微分方程生成快速解决方案。

Meta-PDE

Meta-PDE使用基于梯度的元学习来摊销从参数化偏微分方程分布中求解问题所需的训练时间。本文主要关注两种学习方法：LEAP和MAML。这里主要介绍基于LEAP的方法。

大多数 PDE 都可以通过它们的域、边界、表示控制方程的运算符和表示边界条件的运算符来完全指定。

Meta-PDE的输入规范如下图所示：

其中，算子可以直接提供，不需要特定的参数形式。以上的输入足以计算出对损失L的估计L^^^ ，L是积分形式，L^^^ 是离散形式的损失，当神经网络足够大时，我们允许两个损失不完全相等。

基于LEAP的方法学习模型初始化θ⁰ 对于神经网络f₀，然后可以训练它来近似PDE的单个参数化的解u。每个任务都由采样器和约束运算符为边界和损失指定。然后我们可以得到一系列任务的n个损失函数L_i 。

每个内部任务的初始化为θ⁰ ，并由内部梯度更新规则更新。 在每次内部梯度更新期间，我们都会根据 LEAP 算法更新元梯度。

学习过程如下：

首先，展开内循环训练K次，为n个任务寻找近似解。然后，在内循环训练K次后，利用元梯度更新内部循环中学习模型的初始化θ⁰ ：

其中 d(θ⁰ ; M_i ) 是任务i在其流形M_i上的梯度路径的距离。 MAML 涉及略有不同的损失函数，并且还学习每个参数的步长。

在部署期间：

“前向传递”使用随机优化的 K 步计算给定 PDE 参数化的近似解。K 梯度步骤可最大程度地减少任务 L（f） 的训练损失。如果模型已使用基于 LEAP 的元偏微分方程方法进行训练，它将从元学习模型初始化 θ⁰ 开始训练。

人们也可以在K梯度步骤之外进一步微调模型，以延长求解时间为代价实现更高的求解精度。

注：在实验中，作者将梯度的上限设成了100。

实验结果

实验设置

实验结果