Temporally Consistent Online Depth Estimation in Dynamic Scenes, WACV 2022

工作出发点/动机

现有方法的缺点

Online体现在只能通过本帧之前的帧对于本帧的预测进行调整

In an online setting, this process is further aggravated because only past frames are available.

Dynamic体现在物体和相机的运动是同时发生的

Stabilizing depth temporally in dynamic scenes is challenging due to concurrent object and camera motion.

However, in a dynamic environment with moving and deforming objects, multi-view constraints do not hold. Even if cross-frame correspondences are established, independent depth estimates for corresponding points cannot simply be fused.

1. 当前的深度估计技术在时间上的一致性很差。

2. 在在线设置中，只有过去的帧是可用的，这进一步加剧了问题。

3. 由于物体和摄像机的并发运动（concurrent object and camera motion），动态场景中的深度稳定性是具有挑战性的。

4. 现有的专注于深度估计的时间一致性的方法通常假设场景是静态的或遮挡移动的物体（moving objects），这限制了它们在动态环境中的适用性。

5. 一些方法，如卡尔曼滤波器（Kalman filter），假设高斯测量误差（Gaussian measurement error），这在帧之间有遮挡（occlusion）和去遮挡（de-occlusion）的场景中经常失败。

缺点出现的原因

1. 大多数现有方法专注于逐帧精度（per-frame accuracy），不考虑时间信息或试图保持时间一致性（temporal consistency）。

2. 在有移动和变形物体的动态环境中，多视图约束（multi-view constraints）不成立，使得保持时间一致性变得具有挑战性。

3. 许多现有的方法不提供帧之间的明确推理，特别是在在线设置中。

4. 单目深度估计的尺度模糊性导致重点放在产生具有一致尺度的估计上，而不是减少度量深度估计中的帧间抖动（inter-frame jitter in metric depth estimation）。

工作的构思/创新点

• 发现AR中研究不足的问题：从立体图像中估计深度时的时间一致性。

• 我们提出了一个通用的框架CODD，它建立在逐帧立体深度网络上，以提高时间稳定性。

• 我们在多种数据集上进行实验，以证明CODD在不牺牲逐帧准确性的情况下具有有利的时间性能。

 

1. 时间一致性: CODD通过新颖的运动和融合网络增强逐帧立体网络，以提高时间深度一致性。

2. 处理动态: 运动网络通过预测每像素SE3变换并对齐观测值来考虑动态。

3. 聚合信息: 融合网络通过聚合当前和过去的估计来提高时间深度一致性。

4. 每像素SE3变换: 这允许将先前的估计与当前帧对齐，适应场景中的动态。

5. 可微渲染: 用于将先前的内存状态投影到当前帧，确保对齐和一致性。

技术方案的解读

• The objective of the stereo network is to extract an initial estimate of disparity and semantic feature map on a perframe basis.

• The motion network aligns the previous memory state with that of the current frame.

• The objective of the fusion network (Fig. 3b) is to promote temporal consistency by aggregating the disparities of the motion and stereo memory states.

Stereo Network

Motion Network

Fusion Network

1. disparity confidence: 计算左右特征的 ℓ1 distance，并±1从而收集局部置信度信息，形成3通道的confidence（-1,0,1）

2. local smoothness: 使用self-correlation从而平滑处理，解决“只有左图像可见而右图像不可见”的问题

3. inter-frame disagreement: 使用cross-correlation评估跨帧的视差和外观相似性，减轻“运动预测不准确”的问题

4. flow magnitude and confidence and visibility mask：解决帧间运动很大的问题以及识别无效区域

实验结果

标准数据集

评价标准

Baseline&SOTA

1. PSMNet (Pyramid Stereo Matching Network) [Jia-Ren Chang and Yong-Sheng Chen, 2018]:
• 发表会议/年代: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.
• 简要介绍: PSMNet (Pyramid Stereo Matching Network) 是一种基于深度学习的立体匹配网络。它使用了多尺度的3D卷积来捕捉不同尺度的上下文信息。这种方法在其发布时代表了立体匹配领域的先进技术。

2. SGM (Semi-Global Matching) [Heiko Hirschmuller, 2007]:
• 发表会议/年代: IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007.
• 简要介绍: SGM是一种基于代价聚合的立体匹配方法。它通过在多个方向上累积匹配代价来考虑像素之间的空间关系，从而提高匹配的准确性。这种方法在其发布时代表了立体匹配领域的先进技术。

3. Revisiting Stereo Depth Estimation with Transformers [Zhaoshuo Li et al., 2021]:
• 发表会议/年代: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021.
• 简要介绍: 这篇文章从序列到序列的角度重新审视立体深度估计，并使用了变压器（Transformers）这种先进的深度学习结构。这种方法可能提供了一种新的、更有效的方式来处理立体匹配问题，利用了变压器在处理序列数据上的强大能力。

4. HITNet (Hierarchical Iterative Tile Refinement Network) [Vladimir Tankovich et al., 2021]:
• 发表会议/年代: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021.
• 简要介绍: HITNet 是一种为实时立体匹配设计的深度学习网络。该网络采用了分层的迭代瓦片细化策略，通过在多个分辨率上进行迭代细化来提高匹配的准确性。HITNet 的目标是在保持高精度的同时实现实时性能，这使其在实时应用中非常有用。

5. Kalman filter [13]
• 发表会议/年代: 卡尔曼滤波器是一种经典的滤波方法，早在1960年代就已经存在。
• 简要介绍: 卡尔曼滤波器是一种递归的滤波方法，用于估计线性动态系统的状态。在立体匹配和深度估计的上下文中，它可能被用于时间序列数据的滤波，以提高深度估计的稳定性和准确性。
• 卡尔曼滤波器利用目标的动态信息，去掉噪声影响，获取目标此刻好的位置估计（即滤波过程），将来的位置估计（即预测过程），也可以是过去位置估计的（即插值或平滑过程）。

核心结论分析

消融实验分析

1. Reset weights
探讨是否需要额外的重置权重，理论上只要就好，因为它可以通过估计极端值（例如0或1）来拒绝异常值，结果发现reset可以提高性能。

2. Fusion input cues
除了视差置信度、自相关和交叉相关外，我们还逐步向融合网络中添加流置信度/幅度（+FL）、可见性掩码（+V）和语义特征图（+SM）。随着额外输入的增加，指标略有提高，尤其是对于TEPE。

3. Training sequence length
默认情况下，我们使用两帧的序列进行训练，其中第二帧将第一帧的立体输出作为输入。但在推理过程中，前面的输出来自融合网络。因此，为了更好地近似推理过程，我们进一步将序列长度扩展到三和四。融合网络从增加的训练序列长度中持续受益。但这按比例延长了训练时间。

4. Empirical Best Case
完美的运动导致TEPEr大幅减少，而完美的融合导致TEPE大幅减少。在这两种情况下，EPE也都有所改善。【是之后改进的方向之一】

可视化效果

总结与展望

论文贡献点

• 提出了一个名为CODD（Consistent Online Dynamic Depth）的框架，该框架生成具有时间一致性的深度预测。为了解决帧间运动的问题，该模型使用了一个新颖的运动网络来适应动态，并使用了一个新颖的融合网络来结合当前和先前的预测。

• 通过广泛的消融研究，展示了CODD的各个组件的重要性，并进一步实证地展示了所提议设置的性能上限，这可能会激励未来的研究。

论文缺陷

• 当前的解决方案在时间一致性方面表现不佳。尽管CODD在各种数据集上均优于竞争方法，但我们认识到CODD与第5.4.2节中的经验最佳情况之间仍然存在差距。

• CODD不能在当前和先前的预测中都存在错误的情况下纠正错误。这意味着，如果两个连续的帧都有不准确的深度预测，CODD可能无法完全纠正这些错误。

改进思路

• 针对第一个缺陷：可以考虑进一步研究和改进运动和融合网络，以提高时间一致性。此外，可以考虑引入更多的时间信息或使用更复杂的时间模型来捕获深度预测的时间变化。

• 针对第二个缺陷：可以考虑引入一个纠错机制或反馈循环，该机制可以检测并纠正连续帧之间的不一致性。此外，可以考虑使用更强大的深度估计模型或结合多个模型的预测来提高每帧的准确性。