【阅读笔记】RAISR

RAISR:

• RAISR: Rapid and Accurate Image Super Resolution --Yaniv Romano, 2017(211 Citations)

核心思想

LR patch

A

A

A与滤波器

h

h

h 卷积 = HR像素

b

b

b

算法流程

offline阶段：X2SR

1、LR图通过bicubic插值，得HR初始图

Y

Y

Y，

Y

Y

Y的像素分为4个像素类型（P1-P4），分切

n

∗

n

\sqrt{n}*\sqrt{n}

n

​∗n

​的patch

2、统计以P1像素类的像素

y

i

y_i

yi​的patch内的h、v方向梯度信息

g

h

g_h

gh​、

g

v

g_v

gv​

3、根据

g

h

g_h

gh​、

g

v

g_v

gv​使用公式计算

y

i

y_i

yi​的梯度angle、梯度strength、梯度coherence三种特征（类特征信息），P1像素类的像素根据三种特征归类；

其中，设置梯度Angle范围为[0,180]，分为24段；梯度Strength和梯度Coherence范围为[0, 1.0]，范围各分成3段。每个像素类的LR patch及其对应的HR patch可以分24x3x3=216梯度特征类中

4、假设Q包含一种梯度特征类的LR patch数据，V包含LR patch对应的HR patch数据，解最小二乘公式，得到每梯度特征类对应的h

m

i

n

h

∥

Q

h

−

V

∥

2

2

min_h \lVert Qh − V\rVert_2^2

minh​∥Qh−V∥22​
其中，h表示每个梯度特征类对应的滤波器（类映射关系）

online阶段：

1、input图用bilinear插值得到HR初始图

Y

Y

Y，分切patch

y

i

y_i

yi​

2、找到

y

i

y_i

yi​的中心像素对应的像素类型

3、统计patch

y

i

y_i

yi​的梯度信息，求出梯度(Angle,Strength,Coherence)

4、根据像素类型和梯度(Angle,Strength,Coherence)，在864个分类中，找到

y

i

y_i

yi​对应的特征类型，提取对应滤波器

5、

y

i

y_i

yi​和它对应的滤波器做卷积操作，得到patch

y

i

y_i

yi​中心像素对应的HR图像素

x

i

x_i

xi​

6、循环2-5步遍历全图

Y

Y

Y，输出HR图

X

X

X

(1-6步流程图见上图)

7、根据局部结构相似度修正HR图像异常像素点

(1-7步流程图见下图)

对训练图像集HR做锐化或对比度增强操作之后，再做训练。得到的滤波器可以使得重建图像清晰度、对比度更好，且不增加重建时间。

实验效果

filter滤波器大小 11x11，文本的滤波器用大小9x9