SRCNN

《Learning a Deep Convolutional Network for Image Super-Resolution》的学习 文章摘要算法模型TensorFlow代码结果SRCNN的不足

(Learning a Deep Convolutional Network for Image Super-Resolution，ECCV2014）

文章摘要

本文深度学习的方法实现单张图的超分辨，其中深度学习是采用卷积神经网络来实现。这种方法（SRCNN）是一种端到端的作法，输入低分辨率的图像，直接输出高分辨率的图像。本文设计是一种轻量级的神经网络结构，可是它能够实现先进的恢复质量，并且可以快速在线使用。

算法模型

此图展示了SRCNN的网络结构。

此图展示了在卷积神经网络下稀疏编码的结构。

SRCNN整个算法包括三个操作：

Patch extraction and representation

F 1 ( Y ) = max ⁡ ( 0 , W 1 ∗ Y + B 1 ) F_{1}(\mathbf{Y})=\max \left(0, W_{1} * \mathbf{Y}+B_{1}\right) F1​(Y)=max(0,W1​∗Y+B1​)

Non-linear mapping

F 2 ( Y ) = max ⁡ ( 0 , W 2 ∗ F 1 ( Y ) + B 2 ) F_{2}(\mathbf{Y})=\max \left(0, W_{2} * F_{1}(\mathbf{Y})+B_{2}\right) F2​(Y)=max(0,W2​∗F1​(Y)+B2​)

Reconstruction

F ( Y ) = W 3 ∗ F 2 ( Y ) + B 3 F(\mathbf{Y})=W_{3} * F_{2}(\mathbf{Y})+B_{3} F(Y)=W3​∗F2​(Y)+B3​

在该论文中，利用Relu作为收敛函数，利用最小均方差函数为Loss函数。
Loss函数：
L ( Θ ) = 1 n ∑ i = 1 n ∥ F ( Y i ; Θ ) − X i ∥ 2 L(\Theta)=\frac{1}{n} \sum_{i=1}^{n}\left\|F\left(\mathbf{Y}_{i} ; \Theta\right)-\mathbf{X}_{i}\right\|^{2} L(Θ)=n1​i=1∑n​∥F(Yi​;Θ)−Xi​∥2

TensorFlow代码

// 主函数 from model import SRCNN from utils import input_setup import numpy as np import tensorflow as tf import pprint import os flags = tf.app.flags flags.DEFINE_integer("epoch", 15000, "Number of epoch [15000]") flags.DEFINE_integer("batch_size", 128, "The size of batch images [128]") flags.DEFINE_integer("image_size", 33, "The size of image to use [33]") flags.DEFINE_integer("label_size", 21, "The size of label to produce [21]") flags.DEFINE_float("learning_rate", 1e-4, "The learning rate of gradient descent algorithm [1e-4]") flags.DEFINE_integer("c_dim", 1, "Dimension of image color. [1]") flags.DEFINE_integer("scale", 3, "The size of scale factor for preprocessing input image [3]") flags.DEFINE_integer("stride", 14, "The size of stride to apply input image [14]") flags.DEFINE_string("checkpoint_dir", "checkpoint", "Name of checkpoint directory [checkpoint]") flags.DEFINE_string("sample_dir", "sample", "Name of sample directory [sample]") flags.DEFINE_boolean("is_train", True, "True for training, False for testing [True]") FLAGS = flags.FLAGS pp = pprint.PrettyPrinter() def main(_): pp.pprint(flags.FLAGS.__flags) if not os.path.exists(FLAGS.checkpoint_dir): os.makedirs(FLAGS.checkpoint_dir) if not os.path.exists(FLAGS.sample_dir): os.makedirs(FLAGS.sample_dir) with tf.Session() as sess: srcnn = SRCNN(sess, image_size=FLAGS.image_size, label_size=FLAGS.label_size, batch_size=FLAGS.batch_size, c_dim=FLAGS.c_dim, checkpoint_dir=FLAGS.checkpoint_dir, sample_dir=FLAGS.sample_dir) srcnn.train(FLAGS) if __name__ == '__main__': tf.app.run()

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647

Tensorflow完整代码：Tensorflow
MATLAB代码: MATLAB.
Caffe代码：Caffe

结果

双三次差值的 ： PSNR=26.633759 dB
SRCNN的： PSNR=29.290147 dB
相比两种算法的PSNR，SRCNN有着明显的提升。

SRCNN的不足

利用Relu作为激活函数虽然速度快，但是训练的时候很”脆弱”，很容易就”die”；SRCNN需要先通过双三次插值的方法对低分辨率的图片插值放大尺寸。

参考文献
[1]: https://zhuanlan.zhihu.com/p/49846783
[2]: https://medium.com/coinmonks/review-srcnn-super-resolution-3cb3a4f67a7c
[3]: http://jiaqianlee.com/2018/06/09/SRCNN/

网址：SRCNN https://www.yuejiaxmz.com/news/view/716742

相关内容

k0
智能化家居设计：安全防护与舒适生活场景

随便看看