何恺明技惊四座的首篇经典之作：暗通道先验去雾到底是在解决一个什么问题？

MLNLP(机器学习算法与自然语言处理)是国内外最大的自然语言处理社区之一，汇聚超过50w订阅者，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步。

作者丨Smarter

来源丨Smarter

Dark Channel Prior

图像去雾任务的目标是把一张雾图转变成一张无雾图和一张深度图。

Haze Imaging Model

一张雾图可以表示成haze imaging model：

其中I是hazy image，J是scene radiance，A是atmospheric light，t是传递系数。可以理解为I是雾图，J是无雾图，A是空气光图，这样子看就跟image matting公式非常类似(无雾图是背景，空气光图是前景)。其中深度图可以通过公式  得到。

Dark Channel Prior

kaiming he通过大量无雾图片统计发现了dark channel prior—在无雾图的局部区域中，3个通道的最小亮度值非常小接近于0(不包括天空区域)。

先通过min(r, g, b)，得到单通道图片，然后通过最小滤波器得到dark channel图片。

和haze imaging model相对应，可以把dark channel图片写成：

dark channel prior的统计规律表明，无雾图的dark channel应该是一个近似于全黑的图片，也就是无雾图的  。

可以对haze imaging model进行等价变换，如上图所示。

由dark channel prior规律对t进行近似。A可以通过图片10%最亮区域得到近似值。也就是A已知，可以求解出t。

直接计算得到的t图片是粗糙的，没有办法细致的对雾进行区分。

上面也说到，haze imaging model公式和matting model公式非常类似，而image matting一种常用的做法是，输入图片和trimap图片(包含三部分区域: 白色前景、黑色背景和灰色未知)，用封闭式抠图算法得到alpha matting。仿照image matting的方式，图像去雾也可以通过输入图片和transmission图片(类似trimap图片)，得到refined transmission(类似alpha matting)。

image matting通常用马尔科夫随机场(MRF)来得到alpha matting，于是haze removal也可以通过MRF公式来得到优化后的transmission，公式如下：

其中L是matting拉普拉斯矩阵，  是优化前的transmission，t是优化后的transmission。

通过拉格朗日乘子法可以得到linear system：

linear system一般可以通过Conjugate Gradients方法计算得到。何恺明后续提出了Large-Kernel和Guided Filter两种方法对linear system计算进行加速。

通过上述的推导计算，A、I和t都已知，那么可以通过haze imaging model还原出去雾图片J。

Dark Channel Prior整体算法流程如下：

Efficient Solutions to Refinement

何恺明后续提出Large-Kernel和Guided Filter两种方法对linear system计算进行加速。

A Large-Kernel-Based Linear Solver

上面得到的linear system公式:

linear system一般可以通过Conjugate Gradients(CG)方法计算得到，算法如下：

CG是迭代计算的方法，计算复杂度由step4决定(矩阵运算)，假设kernel size为r，总的像素点数为N，那么step4的复杂度为  ，需要迭代  轮，总的计算复杂度为  。

Large-Kernel发现通过推导，step4可以只需要  复杂度，总的计算复杂度为  算法如下：

实际上，(4.13)和(4.14)中的所有运算都是滑动窗口的均值、方差或协方差，可以通过box filter统一计算得到，跟kernel size的大小无关。

实验结果可以看出，large kernel对去雾质量影响不大，但是能够极大的加快算法速度。

Guided Image Filtering

kaiming he发现t和  具有类似的强度，但是t和I的边缘保持一致。也就是说，  可以经过一个滤波过程转换成t，类似于保边滤波的效果。

linear system公式可以转化成：

这实际上是一个位置敏感的滤波过程:

是  的加权平均值，其中权重Wij完全由图像I决定。也就是说图像I通过调整权值来“引导”滤波过程，确保t的边缘与I一致。

通过上述观察，kaiming he提出了一种新颖的guided filter来替代soft matting step，不需要求解linear system。并且进一步提出了一种跟kernel size r无关的O(N)算法，使得滤波器具有实时性。

Guided image filtering是结合两幅图片信息的过程，一个filtering input image(表示为p)和一个guide image(表示为I)生成一个filtering output image(表示为q)。p决定了q的颜色,亮度,和色调，I决定了q的边缘。对于图像去雾来说，transmission就是p，雾图就是I，refined transmission就是q。

假设q是图像I中以像素点k为中心的窗口w_k的线性变换：

由于一个像素点会由多个窗口计算得到，一个简单的做法是对相关的窗口计算求平均：

通过推导，guided filter只需要O(N)复杂度就能得到q，算法如下：

guided filter直接计算得到q，不需要迭代求解linear system。

实验结果可以看出，guided filter效果很好，比起large kernel速度更快。

总结

dark channel prior通过暗通道先验对haze imaging model进行化简，近似计算得到粗糙的transmission，然后将haze imaging model和matting model联系起来，巧妙的将图像去雾问题转化为抠图问题，得到refined transmission，精彩！large-kernel在CG算法的基础上通过公式推导，避免了kernel size对计算复杂度的影响，从而加快了linear system的计算速度；而guided filter则通过公式转换，和滤波联系起来，提出新颖的guided filter，巧妙的避开了linear system的计算过程，极大加快了transmission优化的速度。

不得不说kaiming he的科研嗅觉太敏锐了，做haze removal可以联想到和matting的关系，并且发现了dark channel prior，然后通过扎实的数理功底，找出soft matting速度优化的可能性，并且通过filter的启发，找出O(N)解法，简直太神了！

Reference

kaiminghe.com/publications/thesis.pdf

untitled (kaiminghe.com)

kaiminghe.com/cvpr09/cvpr09slides.pdf

kaiminghe.com/publications/cvpr10matting.pdf

kaiminghe.com/publications/pami12guidedfilter.pdf

eccv10ppt.pdf (kaiminghe.com)

iterative.pdf (huji.ac.il)

关于我们

MLNLP(机器学习算法与自然语言处理) 是由国内外自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外最大的自然语言处理社区之一，汇聚超过50w订阅者，旗下包括万人顶会交流群、AI臻选汇、AI英才汇以及AI学术汇等知名品牌，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。