图像Demosaic算法及其matlab实现
由于成本和面积等因素的限定,CMOS/CCD在成像时,感光面阵列前通常会有CFA(color filter array),如下图所示,CFA过滤不同频段的光,因此,Sensor的输出的RAW数据信号包含了3个通道的信息。由于人眼对绿色(大约550nm波长)光更敏感,因此CFA阵列包含1/2的G分量,1/4和R和1/4的B分量。
Sensor输出RAW数据后,需要经过Demosaic模块(ISP中)将其转成RGB图像。作为测试,我们可以对一幅全彩色RGB图进行RGB2Bayer转换,将其转换成RAW数据,再进行Bayer2RGB转换,输出RGB,对比输入和输出,可判断算法是否有效。
Bayer2RGB的转换方法有许多,下面给出基于3x3窗口简单插值的代码,支持BGGR、RGGB、GBRG三种bayer格式。输入一幅RGB图像,先进行RGB2Bayer转换,再进行Bayer2RGB转换。
%% ------------------------------------
% Author : lemonHe
% Time : 20180814
% Function : Demosaic
%%------------------------------------
clc;
clear;
close all;
imSrc = imread('detailTest.bmp');
% imSrc = imread('./bayer_data/bayer_1920x1080_12bit.tif');
figure,imshow(imSrc);
[hei, wid, chan] = size(imSrc);
bayer = uint8(zeros(hei,wid));
%% BGGR
% B G B G B G
% G R G R G R
% B G B G B G
% for ver = 1:hei;
% for hor = 1:wid
% if((1 == mod(ver,2)) && (1 == mod(hor,2)))
% bayer(ver,hor) = imSrc(ver,hor,3);
% elseif((0 == mod(ver,2)) && (0 == mod(hor,2)))
% bayer(ver,hor) = imSrc(ver,hor,1);
% else
% bayer(ver,hor) = imSrc(ver,hor,2);
% end
% end
% end
%
% figure,imshow(bayer);
%
% bayerPadding = zeros(hei+2,wid+2);
% bayerPadding(2:hei+1,2:wid+1) = bayer;
% bayerPadding(1,:) = bayerPadding(3,:);
% bayerPadding(hei+2,:) = bayerPadding(hei,:);
% bayerPadding(:,1) = bayerPadding(:,3);
% bayerPadding(:,wid+2) = bayerPadding(:,wid);
% imDst = zeros(hei+2, wid+2, chan);
%
% for ver = 2:hei+1
% for hor = 2:wid+1
% if(1 == mod(ver-1,2))
% if(1 == mod(hor-1,2))
% imDst(ver,hor,3) = bayerPadding(ver,hor);
% imDst(ver,hor,1) = (bayerPadding(ver-1,hor-1) + bayerPadding(ver-1,hor+1) + bayerPadding(ver+1,hor-1) + bayerPadding(ver+1,hor+1)) / 4;
% imDst(ver,hor,2) = (bayerPadding(ver-1,hor) + bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1) + bayerPadding(ver+1,hor)) / 4;
% else
% imDst(ver,hor,2) = bayerPadding(ver,hor);
% imDst(ver,hor,1) = (bayerPadding(ver-1,hor) + bayerPadding(ver+1,hor)) / 2;
% imDst(ver,hor,3) = (bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1)) / 2;
% end
% else
% if(1 == mod(hor-1,2))
% imDst(ver,hor,2) = bayerPadding(ver,hor);
% imDst(ver,hor,1) = (bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1)) / 2;
% imDst(ver,hor,3) = (bayerPadding(ver-1,hor) + bayerPadding(ver+1,hor)) / 2;
% else
% imDst(ver,hor,1) = bayerPadding(ver,hor);
% imDst(ver,hor,2) = (bayerPadding(ver-1,hor) + bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1) + bayerPadding(ver+1,hor)) / 4;
% imDst(ver,hor,3) = (bayerPadding(ver-1,hor-1) + bayerPadding(ver-1,hor+1) + bayerPadding(ver+1,hor-1) + bayerPadding(ver+1,hor+1)) / 4;
% end
% end
% end
% end
%
% imDst = uint8(imDst(2:hei+1,2:wid+1,:));
% figure,imshow(imDst);
%% RGGB
% R G R G R G
% G B G B G B
% R G R G R G
% for ver = 1:hei;
% for hor = 1:wid
% if((1 == mod(ver,2)) && (1 == mod(hor,2)))
% bayer(ver,hor) = imSrc(ver,hor,1);
% elseif((0 == mod(ver,2)) && (0 == mod(hor,2)))
% bayer(ver,hor) = imSrc(ver,hor,3);
% else
% bayer(ver,hor) = imSrc(ver,hor,2);
% end
% end
% end
%
% figure,imshow(bayer);
%
% bayerPadding = zeros(hei+2,wid+2);
% bayerPadding(2:hei+1,2:wid+1) = bayer;
% bayerPadding(1,:) = bayerPadding(3,:);
% bayerPadding(hei+2,:) = bayerPadding(hei,:);
% bayerPadding(:,1) = bayerPadding(:,3);
% bayerPadding(:,wid+2) = bayerPadding(:,wid);
% imDst = zeros(hei+2, wid+2, chan);
%
% for ver = 2:hei+1
% for hor = 2:wid+1
% if(1 == mod(ver-1,2))
% if(1 == mod(hor-1,2))
% imDst(ver,hor,1) = bayerPadding(ver,hor);
% imDst(ver,hor,3) = (bayerPadding(ver-1,hor-1) + bayerPadding(ver-1,hor+1) + bayerPadding(ver+1,hor-1) + bayerPadding(ver+1,hor+1)) / 4;
% imDst(ver,hor,2) = (bayerPadding(ver-1,hor) + bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1) + bayerPadding(ver+1,hor)) / 4;
% else
% imDst(ver,hor,2) = bayerPadding(ver,hor);
% imDst(ver,hor,3) = (bayerPadding(ver-1,hor) + bayerPadding(ver+1,hor)) / 2;
% imDst(ver,hor,1) = (bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1)) / 2;
% end
% else
% if(1 == mod(hor-1,2))
% imDst(ver,hor,2) = bayerPadding(ver,hor);
% imDst(ver,hor,3) = (bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1)) / 2;
% imDst(ver,hor,1) = (bayerPadding(ver-1,hor) + bayerPadding(ver+1,hor)) / 2;
% else
% imDst(ver,hor,3) = bayerPadding(ver,hor);
% imDst(ver,hor,2) = (bayerPadding(ver-1,hor) + bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1) + bayerPadding(ver+1,hor)) / 4;
% imDst(ver,hor,1) = (bayerPadding(ver-1,hor-1) + bayerPadding(ver-1,hor+1) + bayerPadding(ver+1,hor-1) + bayerPadding(ver+1,hor+1)) / 4;
% end
% end
% end
% end
%
% imDst = uint8(imDst(2:hei+1,2:wid+1,:));
% figure,imshow(imDst);
%% GBRG
% G B G B G B
% R G R G R G
% G B G B G B
for ver = 1:hei;
for hor = 1:wid
if((1 == mod(ver,2)) && (0 == mod(hor,2)))
bayer(ver,hor) = imSrc(ver,hor,3);
elseif((0 == mod(ver,2)) && (1 == mod(hor,2)))
bayer(ver,hor) = imSrc(ver,hor,1);
else
bayer(ver,hor) = imSrc(ver,hor,2);
end
end
end
figure,imshow(bayer);
bayerPadding = zeros(hei+2,wid+2);
bayerPadding(2:hei+1,2:wid+1) = bayer;
bayerPadding(1,:) = bayerPadding(3,:);
bayerPadding(hei+2,:) = bayerPadding(hei,:);
bayerPadding(:,1) = bayerPadding(:,3);
bayerPadding(:,wid+2) = bayerPadding(:,wid);
imDst = zeros(hei+2, wid+2, chan);
for ver = 2:hei+1
for hor = 2:wid+1
if(1 == mod(ver-1,2))
if(1 == mod(hor-1,2))
imDst(ver,hor,2) = bayerPadding(ver,hor);
imDst(ver,hor,1) = (bayerPadding(ver-1,hor) + bayerPadding(ver+1,hor)) / 2;
imDst(ver,hor,3) = (bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1)) / 2;
else
imDst(ver,hor,3) = bayerPadding(ver,hor);
imDst(ver,hor,2) = (bayerPadding(ver-1,hor) + bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1) + bayerPadding(ver+1,hor)) / 4;
imDst(ver,hor,1) = (bayerPadding(ver-1,hor-1) + bayerPadding(ver-1,hor+1) + bayerPadding(ver+1,hor-1) + bayerPadding(ver+1,hor+1)) / 4;
end
else
if(1 == mod(hor-1,2))
imDst(ver,hor,1) = bayerPadding(ver,hor);
imDst(ver,hor,2) = (bayerPadding(ver-1,hor) + bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1) + bayerPadding(ver+1,hor)) / 4;
imDst(ver,hor,3) = (bayerPadding(ver-1,hor-1) + bayerPadding(ver-1,hor+1) + bayerPadding(ver+1,hor-1) + bayerPadding(ver+1,hor+1)) / 4;
else
imDst(ver,hor,2) = bayerPadding(ver,hor);
imDst(ver,hor,1) = (bayerPadding(ver,hor-1) + bayerPadding(ver,hor+1)) / 2;
imDst(ver,hor,3) = (bayerPadding(ver-1,hor) + bayerPadding(ver+1,hor)) / 2;
end
end
end
end
imDst = uint8(imDst(2:hei+1,2:wid+1,:));
figure,imshow(imDst);
结果如下所示:
下图为Sensor输出的RGGB格式RAW数据,使用插值的方法对其进行还原
下面来看看客观指标测试,对于图像复原来说,通过可以根据PSNR和SSIM来评价算法性能。美国Kodak Data公司提供真彩无损图像数据,由专业的全彩色设备采集而来,每个pixel的R、G、B都是通过感光器件得到的,图像大小为512*768,每个通道为8bit。可以对该图像进行降采样,模拟CFA器件,再使用Demosaic算法对采样后的数据进行还原,计算PSNR和SSIM即可评价算法性能。
图像Demosaic算法及其matlab实现的更多相关文章
- 【图像配准】基于互信息的图像配准算法:MI、EMI、ECC算法
简单介绍: 基于互信息的图像配准算法以其较高的配准精度和广泛的适用性而成为图像配准领域研究的热点之中的一个.而基于互信息的医学图像配准方法被觉得是最好的配准方法之中的一个.基于此.本文将介绍简单的基于 ...
- 【VS开发】【图像处理】基于灰度世界、完美反射、动态阈值等图像自动白平衡算法的原理、实现及效果
基于灰度世界.完美反射.动态阈值等图像自动白平衡算法的原理.实现及效果 白平衡是电视摄像领域一个非常重要的概念,通过它可以解决色彩还原和色调处理的一系列问题.白平衡是随着电子影像再现色彩真实 ...
- GMM算法的matlab程序
GMM算法的matlab程序 在“GMM算法的matlab程序(初步)”这篇文章中已经用matlab程序对iris数据库进行简单的实现,下面的程序最终的目的是求准确度. 作者:凯鲁嘎吉 - 博客园 h ...
- Python实现图像边缘检测算法
title: "Python实现图像边缘检测算法" date: 2018-06-12T17:06:53+08:00 tags: ["图形学"] categori ...
- GMM算法的matlab程序(初步)
GMM算法的matlab程序 在https://www.cnblogs.com/kailugaji/p/9648508.html文章中已经介绍了GMM算法,现在用matlab程序实现它. 作者:凯鲁嘎 ...
- KFCM算法的matlab程序(用FCM初始化聚类中心)
KFCM算法的matlab程序(用FCM初始化聚类中心) 在“聚类——KFCM”这篇文章中已经介绍了KFCM算法,现在用matlab程序对iris数据库进行实现,用FCM初始化聚类中心,并求其准确度与 ...
- KFCM算法的matlab程序
KFCM算法的matlab程序 在“聚类——KFCM”这篇文章中已经介绍了KFCM算法,现在用matlab程序对iris数据库进行简单的实现,并求其准确度. 作者:凯鲁嘎吉 - 博客园 http:// ...
- FCM算法的matlab程序2
FCM算法的matlab程序2 在“FCM算法的matlab程序”这篇文章中已经用matlab程序对iris数据库进行实现,并求解准确度.下面的程序是另一种方法,是最常用的方法:先初始化聚类中心,在进 ...
- FCM算法的matlab程序
FCM算法的matlab程序 在“FCM算法的matlab程序(初步)”这篇文章中已经用matlab程序对iris数据库进行简单的实现,下面的程序最终的目的是求准确度. 作者:凯鲁嘎吉 - 博客园 h ...
随机推荐
- 论文阅读: A Review of Robot Learning for Manipulation: Challenges, Representations, and Algorithms
机器人学习操纵综述:挑战,表示形式和算法 1.介绍 因此,研究人员专注于机器人应如何学习操纵周围世界的问题. 这项研究的范围很广,从学习个人操作技巧到人类演示,再到学习适用于高级计划的操作任务的抽象描 ...
- Presto安装完成之后需要做的
Presto因其优秀的查询速度被我们所熟知,它本身基于MPP架构,可以快速的对Hive数据进行查询,同时支持扩展Connector,目前对Mysql.MongoDB.Cassandra.Hive等等一 ...
- idea中Server returns invalid timezone. Go to 'Advanced' tab and set 'serverTimezone' property manually.
我本机安装的mysql版本是5.7的,那么IDEA要连接mysql也应该匹配下驱动版本.把Driver改成MySQL for 5.1就可以了 在点击Test Connection测试下,成功啦!
- 本地缓存高性能之王Caffeine
前言 随着互联网的高速发展,市面上也出现了越来越多的网站和app.我们判断一个软件是否好用,用户体验就是一个重要的衡量标准.比如说我们经常用的微信,打开一个页面要十几秒,发个语音要几分钟对方才能收到. ...
- Java IO流 FileOutputStream、FileInputStream的用法
FileOutputStream.FileInputStream的使用 FileOutputStream是OutputStream的继承类,它的主要功能就是向磁盘上写文件.FileOutputStre ...
- JavaDailyReports10_08
------------恢复内容开始------------ AWT组件 1.1Frame组件与Panel组件 1.1.1显示框架窗口 1 package awt; 2 3 import java.a ...
- 「Elasticsearch」ES重建索引怎么才能做到数据无缝迁移呢?
背景 众所周知,Elasticsearch是⼀个实时的分布式搜索引擎,为⽤户提供搜索服务.当我们决定存储某种数据,在创建索引的时候就需要将数据结构,即Mapping确定下来,于此同时索引的设定和很多固 ...
- springboot容器启动顺序之@Configuration ContextRefreshedEvent事件初始化 ApplicationRunner
笔者最近遇到一个问题 我们根据自己业务需要 需要首次启动springboot项目时 把数据库数据同步至本地缓存(比如ehcache)但有一个要求 在缓存未载入成功 不允许有流量打入 一开始我们使用 ...
- Playwright VS Selenium VS Puppeteer VS Cypress
参考:https://www.testim.io/blog/puppeteer-selenium-playwright-cypress-how-to-choose/ 这四款自动化测试框架在我们的公众号 ...
- jq 右键菜单在弹出菜单前如果需要显示与否的判断相关操作
菜单插件(ContextMenu)接收一个额外的参数对象来设置菜单项的样式和绑定鼠标事件. 菜单插件(ContextMenu)支持一下参数设置: bindings 包含id的对象:函数组. 当关联的菜 ...