Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
工作出发点
任务背景
解决待预测的序列长度远远大于输入长度，即基于有限的信息预测更长远的未来。
- obscured by entangled temporal patterns
现有方法的缺点及其原因
- Transformer的不足
- 长序列中的复杂时间模式使得注意力机制难以发现可靠的时序依赖（即一个时间点的数据如何影响另一个时间点）
- 基于Transformer的模型不得不使用稀疏形式的注意力机制来应对二次复杂度的问题，但造成了信息利用的瓶颈。