ISP模块之RAW DATA去噪（二）--BM3D算法

在正式开始本篇文章之前，让我们一起回顾一下CFA图像去噪的一些基本思路与方法。接着我会详细地和大家分享自己学习理解的BM3D算法，操作过程，它的优缺点，最后会给出算法效果图供参考。

在ISP模块里，研究者们会讨论去噪模块(Noise Reduction)到底是在去马赛克模块(Demosaic)之前还是之后进行。如果在之前处理的话，随着去噪过程的进行，噪声点消除的同时，伴随着彩色信息的损失；如果在之后，复杂的插值过程将会改变噪声的统计模型，使其变得很复杂并且难以计算。所以，更多的情况是选择在Demosaic之前进行去噪操作。

CFA(Color Filter Array) Data不能采用传统的灰度图像去噪算法，因为CFA图像中相邻的像素点具有不同的颜色信息度量，CFA图像的块状结构与没有传统意义上的平滑性以及分段恒常性，以至于一般的去噪算法对CFA图像并不适用。CFA Data也不能够采用彩色图像去噪算法因为每个像素点只含有一个颜色通道的信息。

①一种方法是，将原来的CFA图像阵列分成四小块(R,G1,G2,B),分别对这四块采用灰度图像去噪的方法。这种方法往往表现差，因为重要的色彩相关性信息被忽视掉了。CFA去噪算法可以通过利用CFA Data的空间以及色彩相关性来改善其效果。

②另外一种方法是利用CFA图像里面各颜色块的信息构造一幅低分辨率的RGB图像，这种方式很好的利用了其颜色相关信息，但是不能够较好的保护空间域上的高频信息。

③BM3D(Block Matching 3-D filtering algorithm)算法的提出，通过限制图像块具有相同的颜色配置结构来达到处理CFA图像的目的。

下面是BM3D算法的详细介绍：

1.基础估计

1).逐块估计(Block-wise estimates)

分组(Grouping)，找到所有与目前处理图像块相似的块，把它们堆在一起形成一个3维的数组(分组)。

联合硬阈值(Collaborative Hard-Thresholding).对已经组织好的分组进行3D变换，通过硬阈值3D变换系数达到减弱噪声的目的，然后通过3D反变换回去得到分组内图像块的去噪后估计，并返回到它们之前所在的位置。

2).聚集(Aggregation) 对所估计图像块重复遮盖的像素点进行加权平均，得到最终的像素值，也就是最后的基础估计结果。

2.最终估计

1).逐块估计(Block-wise estimates)

分组(Grouping)，使用图像块匹配的方法，找到原噪声图像以及基础估计图像里面与目前处理图像块相似的所有块，形成两个3维数组(分组)。

联合维纳滤波(Collaborative wiener-filtering).对已经组织好的两个分组进行3D变换，将基础估计图像的能量频谱作为真实的能量频谱对噪声图像分组进行维纳滤波，然后通过3D反变换回去得到所有分组的图像块估计，并返回到它们之前所在的位置。

2).聚集(Aggregation)

对所有得到的估计图像块重复遮盖的像素点进行加权平均，得到最终的像素值，也就是最后的最终估计结果。

BM3D如何找到相似图像块组织3D分组：如下图所示，正方形所示为各个图像块，左上的分组所选取的图像块都具有角点(尖点)特征，其他分组类似。

BM3D如何在CFA中进行处理：如下图所示，左边的分组里面的图像块具有不同的彩色配置，即R,G,B的排列方式不是一致的，而右边具有相同的彩色配置，所以其对于处理CFA图像是非常合理的。

上面将BM3D的算法原理以及细节操作都跟大家介绍清楚了，下面就来看一下BM3D对于CFA图像的算法效果：

原噪声图像

中值滤波图像

BM3D去噪图像

算法效果（PSNR）明显优于中值滤波，去噪模块就此结束，下一篇开始给大家介绍两种色彩增强的算法。

BM3D网上有现成的Matlab代码，算法链接网址：http://www.cs.tut.fi/~foi/GCF-BM3D/

参考文献:

1).A case for denoising before demosaicking color fiter array data,Sung Hee Park etc.

2).A Framework for wavelet-based analysis and processing of color filter array images with applications to denoising and demosaicing,Hirakawa etc.Havard University.

3).Cross-color BM3D Filtering of Noise Raw Data,Aram Danielyan etc.