ICLR2025-MMFNET：用于多变量时间序列预测的多尺度频率掩码神经网络

title：MMFNET: MULTI-SCALE FREQUENCY MASKING NEURAL NETWORK FOR MULTIVARIATE TIME SERIES FORECASTING

paper：https://arxiv.org/pdf/2410.02070

code：暂未公开

highlights：MMFNet 是一种新颖的模型，旨在通过多尺度频率掩码分解方法来增强长期多变量时间序列预测。该模型通过将时间序列转换为不同尺度的频率段，并使用可学习的掩码自适应地过滤掉不相关的成分，从而捕捉细粒度、中间和粗粒度的时间模式。

• MMFNet采用多尺度频域分解方法，以捕捉频域中的动态变化。

• MMFNet利用可学习的频率掩码，根据时间序列片段的频谱特性，自适应地过滤掉无关的频率成分。

背景

虽然单尺度频域分解提供了频域中时间序列数据的全局视角，但它缺乏在序列中定位特定频率分量的能力。此外，这种方法假设频率分量在整个序列中保持不变，因此无法解释在实际时间序列中经常观察到的非平稳行为。此外，FITS 采用的低通滤波器可能会无意中消除准确预测所需的关键短期波动。低通滤波器的固定截止频率可能不是各种时间序列数据集的普遍最佳频率，这进一步限制了其适应性。

方法

在本文中，我们提出了 MMFNet，这是一种旨在通过多尺度掩蔽频率分解方法增强 LTSF 的新模型。MMFNet 通过在多个尺度上分割时间序列，在频域中捕获精细、中等和粗颗粒模式。在每个尺度上，MMFNet 都采用可学习掩码，根据路段的频谱特性自适应地过滤掉不相关的频率分量。MMFNet 提供了两个关键优势：

（i） 多尺度频率分解使 MMFNet 能够有效地捕获数据的短期波动和更广泛的趋势;

（ii） 可学习的频率掩码自适应地过滤不相关的频率分量，使模型能够专注于信息量最大的信号。

这些功能使 MMFNet 非常适合在复杂的时间序列中捕获短期和长期依赖关系，将其定位为各种 LTSF 任务的有效解决方案。

作者首先定义了什么是长时序列预测和单尺度频率变换（SFT）：

• 长时序列预测就是使用一段已知的历史序列预测未来相当长度时间的值：
  
  

• 而SFT 是指将时域数据在单个全局尺度上转换为频域而不对时间序列进行分割的过程。这种变换通常使用快速傅里叶变换 （FFT） 等方法执行，该方法可以有效地计算离散傅里叶变换 （DFT）。SFT 将整个信号分解为正弦分量，从而能够分析其频率成分。每个频率分量可以表示为：
  
  
  
  尽管 SFT 能够捕获广泛的时间模式，例如通过低通滤波捕获长期趋势或通过高通滤波捕获短期波动，但其全局应用会统一处理整个信号。这种统一的处理可能会导致在不同尺度上发生的重要局部时间变化和非平稳行为的丢失。

基于此，作者定义了多尺度频率变换：

相比但尺度频率变换，MMFT 将信号划分为多个尺度，每个尺度都经过频率分解。在每个尺度上，都会应用可学习的频率掩码，以保留信息量最大的频率分量，同时选择性地丢弃噪声。这种多尺度方法使模型能够适应非平稳信号，捕获跨越不同时间范围的复杂依赖关系。通过利用多个尺度的频率分解并应用自适应掩码，MMFT 通过关注数据中的短期波动和长期趋势来提高长期预测的准确性。这种方法提高了模型的灵活性和稳健性，特别适用于非平稳和多变量时间。

MMFNet 通过结合所提出的 MMFT 方法来捕获不同尺度上复杂的频率特征，从而增强时间序列预测。MMFNet 的整体架构如图包括三个关键组件：多尺度频率分解、掩蔽频率插值和频谱反转。

**1. 多尺度 Frequency Decomposition **

• Fragmentation:
  
  将时间序列数据分解为不同长度的段，以捕获多个比例的特征：将归一化后的输入序列 X 分为三组片段：精细片段、中尺度片段和粗尺度片段。
  
  精细分段 （Xf ine） 由较短的分段组成，这些分段捕获时间序列的详细高频分量，从而能够检测在较长分段中可能遗漏的复杂模式和异常。
  
  中级段 （Xintermediate） 长度适中，旨在捕捉中级形态和趋势，在精细段和粗段之间取得平衡。
  
  粗略尺度区段 （Xcoarse） 由较长的区段组成，这些区段捕获数据中更广泛的低频趋势和总体模式。
  
  这种多尺度碎片化使模型能够有效地捕获和利用不同时间尺度的模式。

• 分解
  
  将多尺度时域段转换为相应的频率分量，以捕获各种时间尺度上的频率模式。对于每个分段，应用 DCT 来提取频域表示。
  
  
  
  这种转换使 MMFNet 能够在频域中捕获和分析多个时间尺度的模式，从而增强其识别和解释时间序列数据中复杂模式的能力。

**2. Masked Frequency Interpolation **

掩码频率插值利用可学习的掩码在频域中自适应地过滤不同尺度的频率分量，然后通过线性层神经网络进行重建。这种方法使模型能够学习和应用针对不同数据集量身定制的特定于比例的筛选策略。

• 掩码
  
  区别于传统方法使用预定义截止频率的固定低通滤波器来过滤频率分量。因为这些方法假设某些频率在整个时间序列中普遍重要或不相关，这一假设可能不适用于频率分量相关性随时间变化的非平稳数据。且这种过度过滤的方式会导致关键细节丢失，从而导致过度简化的表示和模型在预测和信号分析等任务中的性能下降。

为了避免以上问题，MMFNet 采用自适应屏蔽技术来捕获频域中的动态行为。给定频率段 XDCT ，将生成一个可学习掩码来自适应地过滤频率分量。掩码通过根据不同频率分量与任务的相关性来减弱或强调它们，从而调整它们的重要性。此过滤过程通过元素乘法应用，表示为：



这种自适应机制提高了模型捕获有意义模式的能力，同时最大限度地减少了不相关或噪声信息的影响。

• 插值
  
  掩蔽的频段 Xmask DCT 通过线性层转换为预测的频域段 Xpred DCT。此线性转换将筛选后的频率分量映射到与模型的预测目标一致的目标频率表示。具体来说，将完全连接（密集）层应用于掩蔽频率分量，此作可以表示为：
  
  
  
  这种转换进一步细化了频域信息，产生了 Xpred DCT ，这对于重建准确的时域预测至关重要。通过利用细化的频率信息并减少不相关频率分量的影响。

3. 频谱反转Spectral Inversion

使用 iDCT 将插值的频率分量转换回时域，与之前的 DCT 过程相反。iDCT 单独应用于预测的频域段 X f ine pred DCT 、 Xintermediate pred DCT 和 Xcoarse pred DCT 。区段的 iDCT 由以下公式给出：



这个方程通过对每个频率分量的贡献求和来重建时域信号（Davis & Marsaglia， 1984）。

一旦对每个标度分别执行 iDCT，就会将得到的时域信号组合在一起。此积分步骤通过组合精细、中间和粗调的输出来合并多尺度频率信息。最终重建的信号保留了原始输入的关键特性，同时结合了通过掩蔽频率滤波实现的增强插值。

实验

结论

MMFNet 通过采用 MMFT 方法显著推进了长期多变量预测。通过对基准数据集的全面评估，我们证明 MMFNet 在预测准确性方面始终优于最先进的模型，凸显了它在捕获复杂数据模式方面的稳健性。通过将多尺度分解与可学习的掩码滤波器有效地集成在一起，MMFNet 可以捕获复杂的时间细节，同时自适应地减轻噪声，使其成为适用于各种 LTSF 任务的多功能且可靠的解决方案。