93、Dehazing-NeRF: Neural Radiance Fields from Hazy Images

简介

论文：https://arxiv.org/pdf/2304.11448.pdf

从模糊图像输入中恢复清晰NeRF

使用大气散射模型模拟有雾图像的物理成像过程，联合学习大气散射模型和干净的NeRF模型，用于图像去雾和新视图合成

通过将NeRF 3D场景的深度估计与大气散射模型相结合，提出的模型在保持几何一致性的同时，突破了单幅图像去雾的不适定问题

为了缓解信息丢失导致的图像质量下降，在模型训练过程中解决了软边缘一致性正则化、大气一致性和对比度判别损失等问题

• 提出了一种新的无监督视图合成框架，该框架可以从模糊输入中恢复清晰的NeRF。利用三维场景的深度信息来补充ASM的不确定参数，解决了单幅图像去雾的不适定问题。
• 为了在保证重建图像一致性的同时，缓解模糊图像量化带来的信息丢失问题，提出了一种软边缘一致性正则化方法。
• 实验验证了该方法能够去除图像中的雾霾，合成清晰的新视图图像。

实现流程

(a)模糊图像重建分支，估计ASM的参数。它结合了来自新视图合成分支的清晰图像和深度图来生成重建的朦胧图像。其中A为大气光，β为描述介质散射能力的散射系数。
(b)生成估计清晰图像的新视图合成分支;

ASM

大气中粒子的散射作用是造成雾霾的主要原因，雾霾图像的低能见度是由于大气中悬浮粒子对光的吸收和散射

大气散射模式对雾霾天气下的成像过程进行了物理模拟，并分析了雾霾天气下图像退化的两个原因

• 物体反射的光被悬浮粒子吸收散射而衰减
• 环境光，如阳光被悬浮粒子散射形成背景光
  
  I(x)为观测到的模糊图像，J(x)为待恢复的清晰图像，t(x)为透射图，β为大气散射系数，A为大气光或空气光，d(x)为目标物与相机之间的距离。其中(x)表示逐像素计算

Hazy image reconstruction branch

分支(a)的核心是图像退化的物理模型。采用ASM算法重建模糊图像的退化过程。ASM中存在三个未知参数，分别是大气散射系数β、大气光强 A和深度图$\hat{D}$。为了解决图像去雾的不确定问题，减少需要估计的参数数量，使用分支(b)预测的深度图像 $\hat{j}$，同时保证了重建清晰场景的几何一致性

为了解决样本少的问题，分支(a)使用预训练好的DNN来预测 β 和 a 这两个参数。从上述参数和分支(b)估计的清晰图像，使用ASM重建估计的模糊图像

重建的朦胧图像应与真实的朦胧图像 I 一致

Novel View Synthesis Branch
分支(b)的输入为对应视角的方向和位置，输出为估计的清晰图像 $\hat{j}$，视角的方向和位置对应于分支(a)输入的真实模糊图像 I。与原始NeRF在整个图像中随机采样不同，该框架分支(a)输入的真实模糊图像是按等间隔下采样的，采样偏移是随机产生的。这样可以保证采样结果与图像一致，然后在大规模数据集上使用预训练的模型，避免ASM中由于样本数量少而难以估计参数的问题。同时，下采样减少了整个框架消耗的GPU内存

Soft Margin Reconstruction Consistency

模糊图像与无模糊图像的像素直方图存在巨大差异，模糊图像的像素值往往被压缩到更小的范围

数字图像的量化序列通常为256，而朦胧图像的大部分像素值对应的量化序列都大大减小，使得图像中有相当数量的信息丢失

提出了一种软边缘一致性正则化方法。量化不是将信号 q 分配给单个值，而是一个区间 $(b_i,b_{i+1})$，没有严格约束真实图像与重建图像完全相同，而是允许两者之间有细微的差异，这是由量化水平的大小决定的

其中 I 为真实模糊图像，$\hat{I}$为重建模糊图像，‖·‖SMRC为提出的软边缘重建一致性正则化

其中u为像素的预测值，b为像素的实值，$(b_i,b_{i+1})$ 为量化区间，λ为0 ~ 1之间的系数

loss function

Atmospheric consistency loss

为了保证同一场景不同视点图像估算的大气参数值的一致性，该算法依赖于静态朦胧场景假设的先验。它有助于NeRF的收敛，避免在朦胧的场景中丢失细节

${\beta }_i$ 和 $A_i$ 分别为DNN估算的第 i 幅图像的大气散射系数和大气光强。N是多视图图像的个数

Contrast discriminative loss
用于保证模糊和清晰图像的区别，避免琐碎的解决方案

Lc(·)用于计算图像的局部对比度

其中I表示输入图像，upsample(·)表示上采样，Avgpool(·)表示均值池化，其中上采样放大倍数与均值卷积的步长和核大小相同

Total Variation loss
为了避免新视图合成结果的噪声并保证其平滑性，加入总变差损失来约束图像像素值的梯度

其中 $D_u$ 是图像的邻域，$u_x=\frac{{\partial }_u}{{\partial }_x}$, $y=\frac{{\partial }_u}{{\partial }_y}$。该框架的总损失函数为SMRC、大气一致性损失、对比度辨别损失和总变差损失之和，即:

其中 ${\lambda }_1{\lambda }_2{\lambda }_3$ 是用来平衡不同损失的系数。$L_{rec}、L_{cons}$和$L_{cd}$分别为软边缘重建一致性、大气一致性损失、对比度判别损失和总变化损失。

实验