0%

(ECCV 2016) Single image dehazing via multi-scale convolutional neural networks

Ren W, Liu S, Zhang H, et al. Single image dehazing via multi-scale convolutional neural networks[C]//European Conference on Computer Vision. Springer International Publishing, 2016: 154-169.



1. Overview


现有的hand-designed feature

  • dark channel
  • color disparity
  • maximum contrast
  • fusion schemes

存在局限性。因此,论文提出multi-scale结构

  • coarse-scale net. predict holistic transmission map
  • fine-scale net. refine result locally

1.1. 模型



网络使用max-pooling增加模型的非线性能力,而输出的t需要与hazy image尺寸一样,因此使用bilinear interpolation.

  • 网络预测透射率矩阵t. 选择t中0.1%透射率最小的像素点位置,对应到hazy image像素点,其中强度最大的值作为A



  • 当t为0时,对其设置阈值



1.2. Loss Function



同时用在coarse-scale和fine-scale的网络输出上.

1.3. 数据集

  • A = [k, k, k], k ∈ [0.7, 1.0]
  • β ∈ [0.5, 1.5]

  • β ∈ (0, 0.5),透射率增大,导致thin haze, boost noise

  • β ∈ (1.5, OO), 透射率减小
  • 利用数据集提供的depth-meta生成数据.
  • 320 x 240

  • NYU Depth Dataset

    • Training Set. 6000 images x 3
  • Middlebury Stereo Dataset
    • Valid Set. 50 images x 3
  • Multiple images
  • Albedo
  • Maximizing local contrast
  • Boundary constraint and contextual regularization
  • Dark channel prior
  • Random Forest



2. Experiments


2.1. 实验结果



He.估计的透射矩阵是均匀分布的,一些区域中的hazy thickness overestimated.



2.2. 运行时间



2.3. 泛化性

虽然real image depth通常很大,而训练集中的depth较小。但是可以通过调整介质的消光系数(medium extinction coefficient)来增加雾的浓度。这种方案独立于depth,能够包含real transmission map的范围。

2.4. Fine-Scale的作用



  • 3-scale网络性能并没有提升
  • single-deep-scale网络性能降低

得出结论:相比于high-level task,deep structure对low-level task并不明显。

2.5. Up-Sampling的作用



  • (c)不使用pooling,效果较差
  • 虽然(d)与(b)相似,但(b)计算量较大

2.6. 特征提取方法对比



CNN提取的特征类似于dark channel, local max contrast.

2.7. Failure Case



由于缺少相应数据,对夜间hazy image效果并不好

2.8. Future Work

  • 处理上述缺陷
  • End-to-end同时估计transmission map, atmosphere light