Characterizing possible failure modes in physics-informed neural network

NeurIPS 2021

表征PINN中可能的失败模式。本文的思路也比较简单，通过对PINN的优化域进行观察，发现导致PINN训练的原因并不是因为神经网络的表达力不足，而是由于PINN中引入了基于PDE微分算子的软正则化约束（也就是残差项），这导致了许多微妙的问题，使得问题病态。简单的事，是由于PINN的设置，导致了一个极度凹凸不平不平滑的优化域，使得虽然神经网络的表示力是充足的，但仍然学习不到一个好的解决方案。

针对上述的问题，作者提出了两种解决方法，一是课程学习：PINN的损失想先从简单的PDE正则化开始（小系数），随着训练的进行，逐渐变得更复杂。第二种是串行到串行的学习，相比较与目前的PINN设置，在全时空域上一次性的学习解，该方法将时空域进行分割，按照顺序进行学习。因为如果同时在全时空上学习，就很有可能会违反PDE固有的因果关系。

我们可以看到，在参数较大时，PINN失败于找到一个正确的解。那么也就是，即使面对简单的问题，PINN也容易失败。是什么导致了这种问题呢？作者认为，是损失函数中物理项的存在，导致了PINN的训练失败。首先作者观察了PINN的优化域，我们可以发现，随着PDE参数的变大，损失函数的优化域迅速变得夸张起来，肉眼可见的不光滑，还有z轴增长速度也很快。

那么，作者为什么就认为是残差项带来的问题呢？而不是神经网络结构的问题，即神经网络的表达力不足，失败于去近似精确解。通过第一种解决方法，即课程学习，作者给出了解释。

我们可以看到，使用课程学习的思想训练PINN，最终可以得到一个满意的解决方案。而普通的PINN失败了。而这拥有相同的神经网络结构，所以，普通PINN的失败并不是由于网络的表达力不足（课程学习是从小参数的PDE开始训练PINN，随着训练的进行逐渐的增加PDE的参数，这体现在PINN的损失项中）。

紧接着，作者提供了第二种解决方案，串行到串行。这类的解决方案最近已经看到了很多了。通过时空域分割，按照顺序学习。学习方法和实验结果如下。