HTMformer：用于时间序列预测的混合时间和多元变换器

于红博

摘要: 基于Transformer的方法在时间序列预测中取得了令人印象深刻的结果。然而，现有的Transformer在序列建模方面仍存在局限性，因为它们往往过分强调时间依赖关系。这会导致额外的计算开销，而没有产生相应的性能提升。我们发现，Transformer的性能高度依赖于用于学习有效表示的嵌入方法。为了解决这个问题，我们提取多变量特征，以增强嵌入层捕获的有效信息，从而产生传达更丰富和更有意义的序列表示的多维嵌入。这些表示使基于Transformer的预测器能够更好地理解该系列。具体而言，我们引入了混合时间和多变量嵌入（HTME）。HTME提取器集成了一个轻量级的时间特征提取模块和一个精心设计的多变量特征提取模块，以提供互补特征，从而在模型复杂性和性能之间实现平衡。通过将HTME与Transformer架构相结合，我们提出了HTMformer，利用HTME提取器的增强特征提取能力来构建一个轻量级的预测器。在八个真实世界数据集上进行的实验证明，我们的方法在准确性和效率方面优于现有基线。

更新时间: 2025-10-08 14:40:42

领域: cs.LG,cs.AI

下载: http://arxiv.org/abs/2510.07084v1