Bilateral Filter

最近在看图像风格化的论文的时候，频繁遇到 Bilateral Filter。google 一波后，发现并不是什么不得了的东西，但它的思想却很有借鉴意义。

简介

Bilateral Filter，中文又称「双边滤波器」。相比以往那些仅仅使用位置信息进行滤波的 filter，Bilateral Filter 还考虑了颜色信息，可以保证边缘部分不会被过滤。

简单来说，一般的 filter 都是基于这样的公式进行滤波的：

\[h(x)=k_{d}^{-1}{(x)}\iint_\infty^\infty{f(\zeta)c(\zeta, x)} d\zeta
\]

其中，\(k_{d}^{-1}{(x)}\) 是权重之和，\(f(\zeta)\) 可以理解为单个像素，\(c(\zeta, x)\) 可以理解为位置权重。

翻译成程序员可以理解的语言，大概是这样：

for (int i = -r; i <= r; i++) {
  for (int j = -r; j <= +r; j++) {
    newpixel += pixel[row+i][col+j] * c[i][j];
    k += c[i][j];
  }
}
pixel[row][col] = newPixel / k;

高斯函数也属于这类 filter。

但这种 filter 有一个缺点：各向同性（不知道这个理解对不对）。用这种滤波器，每个点受邻居的影响是一样的，即使它跟邻居像素可能差得比较多，也会被邻居「同化」（举个例子：边缘被「和谐」掉了）。因此，有人提出了 Bilateral Filter。

Bilateral Filter 采用这样的公式：

\[h(x)=k_{d}^{-1}{(x)}\iint_\infty^\infty{f(\zeta)c(\zeta, x)s(f(\zeta), f(x))} d\zeta
\]

对比之前的式子，最大的变化无非是权值中增加了一个 \(s(f(\zeta), f(x))\)，这个东西也是权值，不过它不是采用位置信息，而是颜色信息 \(f(\zeta)\)。不管是哪种信息，形势上来看都是一样的，但由于增加了颜色权值，却使滤波的结果有了明显不同，后面会给出效果图。

再次翻译成程序语言：

for (int i = -r; i <= r; i++) {
  for (int j = -r; j <= +r; j++) {
    newpixel += pixel[row+i][col+j] * c[i][j] * s(pixel[row][col], pixel[row+i][col+j]);
    k += c[i][j]*s(pixel[row][col], pixel[row+i][col+j]);
  }
}
pixel[row][col] = newPixel / k;

s 函数可以借鉴位置权值的思路。例如，可以采用这种方式定义（当然这个是我自己构造的）：

function s(p1, p2) {
  return (255-abs(p1-p2)) / 255
}

这样，差的越多的颜色，所占权值越小。

如果要追求科学严谨一点，也不妨仿照高斯核函数的定义：

\[c(\zeta-x) = e^{-{1\over2}({ {\zeta-x} \over {\sigma} } )^2} \\\\\\
s(\zeta-x) = e^{-{1\over2}({ {f(\zeta)-f(x)} \over \sigma })^2}
\]

<br>

代码实现

理解原理后，实现其实也很简单，上面给出的伪代码基本是核心算法了。另外需要注意的是，如果是彩色图的话，需要对每个通道的颜色值进行滤波。

具体实现可以参考这篇博客：图像处理之双边滤波效果(Bilateral Filtering for Gray and Color Image)，或者参考我自己的 demo，当然，我也只是将上面博客的 java 版改成 c++ 而已⁰。

给出几幅结果图：

原图：

高斯模糊：

仅仅用颜色信息滤波：

双边滤波：

仔细对比一下，双边滤波对边缘的保留效果比高斯滤波好太多了，这一点从第三幅图就可以知晓缘由了。

另外！！如果使用高斯核函数来实现双边滤波，颜色卷积和的 \(\sigma\) 要取大一点的值，比如：50。否则，由于不同颜色的差值往往比位置差值大出许多（举个例子：50 和 60 两种像素值肉眼上看很接近，但却差出 10，平方一下就是 100），可能导致很相近的像素点权值很小，最后跟没滤波的效果一样。

<br>

启发

Bilateral Filter 的思想是：在位置信息的基础上加上颜色信息，相当于考虑两个权值。如果还要考虑其他重要因素，是不是可以再加进一个权值，构成一个三边滤波器呢？答案当然是可以的，由此，我们可以把很多简单的滤波器综合起来形成一个更强大的滤波器。

<br>

参考

• 图像处理之双边滤波效果(Bilateral Filtering for Gray and Color Image)
• 双边滤波器