How to Avoid Trivial Solutions in Physics-Informed Neural Networks

未发表（2021）

本文也是关注采样点的一篇工作。主要从PINN的性能与采样点数量的关系方面入手考虑。提出了一个新的惩罚项，并对采样策略提出了一点看法。

本文的工作相对比较直观，简单，效果可能并不是很好。作者也没有做其他的方程，文章也比较短，没有理论保证并且工作量也不足。

首先，作者认为，虽然自动微分帮助了PINN的想法实现，但是自动微分的使用也会带来显著的计算消耗。故而本文的关注点在于如何减少计算量。简单地说，作者希望通过减少配置点的数量来降低训练PINN所需要的时间。但是，直接的减少数量是不行的，因为在训练点减少时，PINN会收敛到不同的解。所以，作者寻找了方法试图使得减少配置点数量的同时，也不会使得PINN的性能大幅度下降（针对PINN的计算量，我也深有感触，虽然模型的框架并不复杂，但是所需要的计算量却很大，主要是训练时间会很长，因为需要在每一个配置点进行自动微分，计算物理损失）。

一个观察如下，当采样点减少时，PINN的解会从初始条件开始，退化为平凡解。平凡解也满足物理损失最小（对于齐次PDE）。

作者通过研究一维滤波器，发现了一个规律，即使对于简单的问题，解也会存在一个突然的变化，退化为平凡解（这也是一个经验性的观察）。为了避免这个情况，作者准备引入一个新的正则化项，用来稳定PINN的训练，同时还会保持预测的准确性。此外，作者还表明，规律采样会优于随机采样，在当配置点数量比较少的情况下。具体如下。

因为作者的目标是通过减少配置点的数量来降低训练时间和计算量，并且还要使得性能有保证。所以作者基于一个观察，即，当PINN预测失败的时候，NN在某些点会找到一个平凡解，并且在当某个区域开始陷入到平凡解的时候，该区域的物理损失通常会急剧增加（由前几天看的一篇论文，传播假设来解释的话，可以说是，当某个点陷入到了平凡解，它会很快的传播给附近的点，导致PINN训练失败，但遗憾的是，这两篇文章都只是经验性的观察，没有理论保障）。最后，为了避免网络学习到平凡解，作者基于上述的观察，提出了一个新的惩罚项，对物理损失的梯度进行惩罚，来避免网络陷入到平凡解。损失梯度惩罚项如下。

第二点，作者表明，目前流行的Latin Hypercube Sampling (LHS)在样本较少的时候，可能会存在覆盖不好的区域，而在那时，规则采样会优于LHS。

实验部分如下：

首先，使用68个配置点训练PINN拟合一个一维滤波方程，PINN可以找到正确的解。

然后，使用32的配置点重新进行训练，可以看到训练失败了，PINN陷入到了一个平凡解。但是，在最先开始陷入平凡解的位置，残差的梯度出现了剧烈的波动。

下图是作者添加了物理损失梯度惩罚项之后，同样是32个配置点，这次PINN训练成功了。

紧接着，作者使用了12个配置点，在配备有物理损失梯度惩罚项的情况下，同样找到了正确的解。