这篇论文名为“Adaptive Normalization for Non-stationary Time Series Forecasting: A Temporal Slice Perspective”,由Zhiding Liu等人撰写。它主要探讨了使用深度学习模型进行时间序列预测的挑战,特别是在处理非平稳时间序列数据时。作者提出了一种名为Slicing Adaptive Normalization (SAN)的新方法,用于改进时间序列预测的准确性。SAN通过在局部时间片(或称子序列)上消除时间序列的非平稳性,而不是整体实例上,从而提高了时间序列预测的灵活性和准确性。
论文的贡献包括:
- 提出SAN框架,它通过从时间片角度建模非平稳性,更好地移除输入序列中的非平稳因素,同时保留其独特模式。
- 设计了灵活的统计预测模块,独立建模统计属性的演变趋势。这通过分治法简化了非平稳预测任务。
- 在九个真实世界数据集上进行了充分的实验。结果表明,SAN能够应用于各种主流预测模型,并显著提高性能。
此外,作者还进行了与现有归一化方法的比较,发现SAN在大多数情况下优于其他方法。他们通过实验表明,SAN特别适用于处理非平稳数据集,如交易和流感样本数据集。
作者还进行了定性评估,展示了使用SAN的FEDformer模型在ETTm2数据集上的样本预测结果,与其他方法相比,SAN产生的预测结果更为现实。
总体来说,这项研究提出了一种新的时间序列预测方法,通过从时间片的角度来处理和理解非平稳性,显著提高了预测模型的性能。
LAMDA
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F6278b72a-c184-4df6-9574-24a7e0f428fd%2FUntitled.png?table=block&id=d2f021c5-ae83-4c32-978e-4914aaf24982&t=d2f021c5-ae83-4c32-978e-4914aaf24982&width=3018&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F6a7b7766-da8d-4982-96d1-9dc2abecbcaa%2FUntitled.png?table=block&id=5b8576d5-8b96-4229-b1e3-d9ad005599b6&t=5b8576d5-8b96-4229-b1e3-d9ad005599b6&width=3093&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2Ff32931f4-abf4-4266-a690-6f2962b5bfe4%2FUntitled.png?table=block&id=031e0577-4f40-4f00-a541-5ed792f93ec1&t=031e0577-4f40-4f00-a541-5ed792f93ec1&width=2830&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F0b55a359-7fae-456e-86c0-f2c23d625780%2FUntitled.png?table=block&id=c8c9d4bd-cf13-446f-ba16-1491b7a1e2cf&t=c8c9d4bd-cf13-446f-ba16-1491b7a1e2cf&width=2860&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F1db31dd1-3930-49ba-b460-fc57db57f172%2FUntitled.png?table=block&id=d44d976f-7004-463b-a6e2-803bae14b162&t=d44d976f-7004-463b-a6e2-803bae14b162&width=336&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2Ffd45728b-079f-498f-8269-6cea0344f663%2FUntitled.png?table=block&id=5cd0e3bb-2169-47b8-b15f-54113a9059bc&t=5cd0e3bb-2169-47b8-b15f-54113a9059bc&width=2883&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F7e6ed760-c1b8-4101-bde2-36d9cadbd5e4%2FUntitled.png?table=block&id=3709983c-330c-454c-903f-221de2fb7be5&t=3709983c-330c-454c-903f-221de2fb7be5&width=2643&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F5801b803-afc0-4a53-b02c-f96421f36c0c%2FUntitled.png?table=block&id=62872fd4-572b-4c52-98bb-05312cd9a6c4&t=62872fd4-572b-4c52-98bb-05312cd9a6c4&width=2914&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2Fd75304e6-be52-4974-9cf1-23ef22613cb8%2FUntitled.png?table=block&id=ac8a12b9-3be5-4b94-a964-52876210c5d4&t=ac8a12b9-3be5-4b94-a964-52876210c5d4&width=3087&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2Fd990ddeb-bcbd-44c5-9056-75c1ed4faa00%2FUntitled.png?table=block&id=a9b11a0e-c456-4bc1-a5a2-9822d52bffcf&t=a9b11a0e-c456-4bc1-a5a2-9822d52bffcf&width=3036&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2Fb8b203af-fa44-4aaf-be30-575c114ee313%2FUntitled.png?table=block&id=beb55c7d-9e1a-4e15-98ce-de3b050fd433&t=beb55c7d-9e1a-4e15-98ce-de3b050fd433&width=2997&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F84a0d66e-d6ab-474d-8247-57c6a520067e%2FUntitled.png?table=block&id=ad055f26-9d79-49af-a19c-6293439ac72b&t=ad055f26-9d79-49af-a19c-6293439ac72b&width=3071&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F0295ca2a-c5c9-43c1-9bf8-4ca7a76ccc9f%2FUntitled.png?table=block&id=09420a7e-6948-45a2-be57-56b93864d966&t=09420a7e-6948-45a2-be57-56b93864d966&width=3204&cache=v2)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F61ee49fa-4328-4cbf-96bb-7e9d976c9209%2FUntitled.png?table=block&id=656fdeb1-c423-4af4-97d3-c58e10d27d92&t=656fdeb1-c423-4af4-97d3-c58e10d27d92&width=2951&cache=v2)
- TSF-Linear:一种特殊类型的线性模型,用于长期序列预测。
- DLinear:该模型专注于从数据中分离和建模趋势(Trend)和剩余(Remaining)部分。这种方法允许模型分别处理时间序列数据的长期趋势和短期波动。
通过线性变换 Ynew=WYold 将历史数据映射到未来预测。这种方法假设未来的值可以通过历史数据的线性组合来预测。
时间步依赖性(Time-step-dependent)
这个属性指的是模型的预测能力依赖于时间步的顺序。线性模型虽然简单,但在建模时间模式方面非常有效。
数据依赖性(Data-dependent)
模型如何根据数据本身的特点来做出预测,而不仅仅是时间步的顺序。
当输入历史序列的长度不小于周期时,线性映射可以预测周期信号。但这并不是唯一的解决方案
the linear model fits seasonality well but performs poorly on the trend
趋势可能涉及到随时间变化的系数或者结构性断裂,这是单纯的线性模型无法捕捉的
Reversible Instance Normalization(RevIN)是一种用于时间序列预测的技术,旨在提高模型对分布偏移的鲁棒性。在实际应用中,模型通常在一个数据分布上进行训练,但在另一个可能有所不同的数据分布上进行测试和使用。这种变化被称为分布偏移,可能会显著影响模型性能。
RevIN的核心思想是调整模型的输入和输出,以适应可能出现的分布偏移。这是通过将实例归一化(Instance Normalization)应用于模型的每个输入实例来实现的。实例归一化涉及到从输入数据中减去平均值并除以标准差,使得每个输入特征的分布都具有零均值和单位方差。这个过程可以帮助模型更好地处理输入数据中的变化,从而使预测更加准确。
然而,简单的归一化可能会导致信息丢失,因为它会移除数据中的绝对尺度信息。RevIN通过在模型的后期阶段将归一化过程逆转来解决这个问题。在输出端,RevIN重新引入了原始数据的尺度和位置信息,从而恢复了被归一化过程改变的特征。通过这种方式,RevIN不仅提高了模型对新数据分布的适应性,还保持了数据中的重要信息。
直接对输入数据应用归一化可能会消除统计信息,导致预测不准确。而使用RevIN,尤其是在趋势数据上,可以将连续变化的趋势转化为多个具有固定和类似趋势的片段,这些片段展现出周期性特征。
对于季节性信号,RevIN调整了范围但并没有改变周期性。
对于趋势信号,RevIN将每个片段缩放到相同的范围,并展示出周期性模式。这使得模型能够更好地学习或记忆趋势项。
RevIN对原始连续变化趋势数据的影响,将其转化为多个段,每个段都具有固定和相似的趋势,显示出周期性特征。这种方法有助于减轻由于过去时间步累积误差导致的趋势预测错误,从而提高了预测结果的准确性。
Slice-level Adaptive Normalization (SAN) 技术,这是一种针对非平稳时间序列预测设计的方法。
非平稳时间序列指的是其统计特性如均值和方差随时间变化的序列。SAN的目标是通过对时间序列的每个小片段进行标准化处理来改善预测模型的性能。
- 标准化:每个片段都被独立地标准化
- 预测模型
- 统计预测模块:得到统计特性
- 反标准化:考虑了预测模型输出的统计特性,并将这些特性重新引入到最终预测中,这有助于在保持数据特征的同时提高预测准确性
多变量时间序列预测中的两种不同策略:Channel Dependent (CD) 策略和 Channel Independent (CI) 策略
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F67ce5aa4-f53a-4833-a23e-ad62e6562f0a%2F82f3fcd9-4a73-4ba6-ac9c-fcb9423e1e32%2FUntitled.png?table=block&id=e1d5aeb0-1a50-413a-9789-d45d4768e363&t=e1d5aeb0-1a50-413a-9789-d45d4768e363&width=2917&cache=v2)