【CVPR‘24】BP-Net：用于深度补全的双边传播网络，新 SOTA！
【CVPR'24】BP-Net：用于深度补全的双边传播网络，新 SOTA！
- 摘要
- 介绍
- 方法
- 1. 总体架构
- 2. 双边传播模块（Bilateral Propagation Module）
- 深度参数化
- 参数生成
- 先验编码
- 3. 多模态融合（Multi-modal Fusion）
- 4. 深度细化（Depth Refinement）
- 5. 损失函数
- 结果与分析
- 结论
论文地址：https://arxiv.org/abs/2403.11270
开源代码：https://github.com/kakaxi314/BP-Net
摘要
深度补全任务旨在从稀疏的深度测量数据和同步的彩色图像中生成密集的深度图。现有的最先进方法多为基于传播的，通常作为对初始估计的密集深度的迭代改进。然而，这些初始深度估计通常直接将卷积层应用于稀疏深度图。在本文中，我们提出了一种双边传播网络（BP-Net），在最早阶段进行深度传播，以避免直接在稀疏数据上进行卷积。具体而言，我们的方法通过一个非线性模型从附近的深度测量中传播目标深度，该模型的系数由一个多层感知器生成，并基于辐射差异和空间距离进行调整。通过在多尺度框架中将双边传播与多模态融合和深度细化相结合，BP-Net 在室内和室外场景中均表现出色，并在 NYUv2 数据集上取得了 SOTA 结果，并在提交时在 KITTI 深度补全基准上排名第一。实验结果不仅展示了双边传播的有效性，也强调了早期传播相较于后期细化的意义。