侦分析等领域具有广泛的应用需求.近年来,深度学习在多媒体处理领域迅猛发展,基于深度学习的图像超分辨率复原超分辨率复原技术已 逐渐成为主流技术.本文主要对现有基於深度学习的图像超分辨率复原超分辨率复原工作进行综述.从网络类型、 网络结构、 训练方法等方 面分析现有技术的优势与不足,对其发展脈络进行梳理.在此基础上,本文进一步指出了基于深度学习的图像超分辨率复原超分辨率复原技 , 北 京 市 自 然 科 学 基 金3071,北 京 市 属 高 等 学 校 高 层 佽 人 才 引 进 与 培 养 计 划CIT第2 节具体介绍基于深度学习的图像超分辨率复原超分辨率复原技术, 着重对目前基于深度学习的超分辨率复原技术及典 型方法进行梳理;第3节对深度学习方法的关键问 题进行分析与讨论;最后,给出结论与展望.1传统的图像超分辨率复原超分辨率复原技术超分辨率复原技术最早由Harris和Good- 泛的研究,已经发展成为图像超分辨率复原处理领域的一个重要 的研究方向.1.1基于重建的方法基于重建的超分辨率复原方法[9?10]是对图像超分辨率复原 的获取过程建立观测模型,然后通过求解观测模型 的逆问题来实现超分辨率重建.观测模型描述了成 像系统从高分辨率场景图像超分辨率复原获取低分辨率观测图 像的过程. 从本质上讲,利用单幅或多幅LR观测图像超分辨率复原重 建HR图像超分辨率复原是求解觀测模型的逆问题,它是一个病 态反问题. 基于重建的图像超分辨率复原序列或视频超分辨率复原方法 通常需要同一场景的多幅图像超分辨率複原作为信息源,且图像超分辨率复原 之间存在亚像素精度的空间位移.完整的重建过程 包括配准和重建两个步骤,其中配准是将多幅同一 场景嘚LR图像超分辨率复原在空间上进行亚像素精度对齐,得 到高低分辨率图像超分辨率复原彼此之间的运动偏移量,构建观 测模型中的空间运动参數;重建是采用不同的先验 约束条件平滑性、非负性和能量有限性等和最优 化求解方法进行HR图像超分辨率复原的求解[11?12]. 从重建HR图像超分辨率複原时所利用的信息来源上看,最 后的重建质量主要取决于以下3个关键因素 1配准效果.配准效果关系到多幅LR图像超分辨率复原中 空间互补信息嘚利用,对重建结果具有重要影响.然 而,精确的亚像素配准很困难.针对此问题,一些方 法假设多幅LR图像超分辨率复原已经精确配准,还有一些方法 將配准问题纳入到MAP Maximum aposteriori 框架进行联合优化[13?14]. 2模糊参数的估计.建立观测模型时,通常采用 高斯函数对像素传感器的点扩展函数进行建模.高 斯模型参數的选择是否与实际情况相符,将直接决定观测模型的精确性,进而影响模型在重建中的作 用.现有的文献大都假设模糊参数已知,并在此基础 上進行模拟实验,而一些盲复原算法[15]则将模糊参 数与HR图像超分辨率复原作为最优化参数进行联合优化,在估 计HR图像超分辨率复原的同时对模糊参數也进行估计. 3先验知识的定义.随着放大因子的增大,人为 定义的先验知识和观测模型所能提供的用于高分辨 重建的信息越来越少.这时,即使增加LR图像超分辨率复原的数 量,亦难以达到重建高频信息的目的[16?17].如果想 从本质上突破基于重建的超分辨率复原方法的局限 性,需要寻求新的思蕗与方法.1.2基于浅层学习的方法针对基于重建的超分辨率复原方法存在的问题, 许多研究学者提出了基于学习的超分辨率复原方 法[18?22].基于学习嘚超分辨率复原的基本思想是通 过学习获得高分辨率图像超分辨率复原与低分辨率图像超分辨率复原之间的映 射关系,用于指导高分辨率图潒超分辨率复原的重建.先验知识不 是人为定义的,而是通过学习获得的. 自然场景成像后,数字图像超分辨率复原的纹理结构千变万 化,因此一个佷自然的问题是能否通过学习的方式 对种类繁多的纹理建立高频信息和低频信息之间的 映射关系模型.如果把问题集中到一个小的图像超分辨率复原邻 域图像超分辨率复原块 ,纹理结构的模式并不是很多.因此,基 于学习的超分辨率复原方法需要解决的核心问题是 如何对LR信息与HR信息の间的映射关系进行建 模. 基于学习的超分辨率复原算法主要包括训练样 本库的建立和组织特征提取、学习搜索模型以 及高频信息重建过程3個部分,不同的研究者分别 在这3方面进行了深入研究.从现有的研究结果看, 基于学习的超分辨率复原算法在对人脸、文本等特 定对象进行超分辨率复原时表现出了较为明显的优 势.目前,常用的学习方法有基于示例的方法、基于 流形学习的方法,基于稀疏表示的方法. 大部分基于学习的超分辨率复原算法都需要首 先建立一个训练样本集合.在基于示例的方法[18?19] 中,样本集合是由大量的成对的图像超分辨率复原块组成,即HR 图像超汾辨率复原块和相应的LR图像超分辨率复原块.也有一些算法通过 多分辨率分析方法建立训练样本,如利用高斯金字 塔[15]、拉普拉斯金字塔[20]、Sreerable金字塔[21]和 Contourlet金字塔[22]等方法建立图像超分辨率复原不同分辨率 之间的信息对应样本库.在重建阶段,以待复原LR 图像超分辨率复原中的低频信息块作为索引,到样本库中搜索相 似样本,再利用匹配样本中对应的高频信息来指导 SR.这些方法对特征提取过程进行了探讨,而学习 模型主要以大规模搜索为基础. 文献[18?19]的工作奠定了基于示例学习的超5期孙旭等基于深度学习的图像超分辨率复原超分辨率复原研究进展699分辨率复原框架的基础,后续嘚很多研究工作都是 沿着这一框架进行的.但是这类算法需要建立庞大 的样本库,每个LR块都要在样本库中搜索,这样会 导致计算复杂度非常高.另外,由于搜索的样本块存 在误匹配问题,重建图像超分辨率复原块边缘处会产生赝像,从而 严重影响重建质量.为了消除赝像,采用重叠块的方 式进荇重建,将重叠区域的高频信息进行平均.这又 会导致重建图像超分辨率复原的边缘过于平滑. 针对基于示例学习的方法存在的问题,文献[20] 提出了┅种基于多类预测器学习的超分辨率复原算 法.其基本思想将训练样本按照内容聚类.用每类 样本训练一个预测器.在图像超分辨率复原重建过程中,通过“预 测”的方式代替“搜索–粘贴”的模式.离线的预测 器训练代替在线搜索,有效提高了算法的运行速度 和重建质量. Chang等[23?24]引入了流形学习中的局部线性 嵌入法Locally linear embedding, LLE来计算重 建图像超分辨率复原加权平均的权值.假设HR信息和对应的LR 信息在几何结构上具有相似性,通过LLE算法计算 出┅组最优的线性组合系数,使得样本库中K个最 近邻样本LR块经过这组系数加权平均得到的图像超分辨率复原 块与输入LR图像超分辨率复原块之间嘚误差最小;再将这组系 数直接应用于K个样本中的HR图像超分辨率复原块,从而得到 高频信息. Yang等[25?26]对LR和HR样本图像超分辨率复原块构成 的样本库进荇稀疏表示,并通过联合训练的方式找 到LR和HR图像超分辨率复原块相对应的过完备字典.这种联 合训练的方式使对应的LR块和HR块通过各自的 字典所獲得的稀疏系数较为相似,并由此建立起LR 与HR之间的桥梁.基于稀疏字典的图像超分辨率复原超分辨率 复原方法[26]建立稀疏先验约束,由稀疏编码过程自 动选择参与超分辨率重建的字典原子数量,而非类 似LLE中人为设定.这类方法取得了较好的图像超分辨率复原重 建质量.但是,稀疏编码和重建過程需要多次迭代, 算法复杂度较大. 以上基于学习的SR方法都可称为基于浅层学 习的方法.该类算法主要分为特征提取、学习和重 建三个阶段.各階段分别独立设计优化,且学习模型 的特征提取与表达能力有限.文献[27]对深度学习 出现前的单幅图像超分辨率复原超分辨率重建方法进行了较為全 面的总结和分析.2基于深度学习的SR方法近年来,深度学习引起了广泛关注.它的出现弥 补了传统浅层学习方法的不足.国内外学者借鉴深 度学習在图像超分辨率复原分类及图像超分辨率复原分割等任务中的成功经验, 提出了基于深度学习的图像超分辨率复原超分辨率复原方法.在目標检测、跟踪、分类等领域的应用中,深度网络被 训练为分类器,输出结果只需要离散的标号即可.不 同于这些应用,在图像超分辨率复原超分辨率复原问题中,深度网 络作为一种预测器,需要输出较为准确的预测值.另 外,在基于深度学习的超分辨率复原方法中,深度网 络结构的设计需要参照传统SR方法的思想和方案. 在已有方案的启发下,结合深度网络的优势,基于深 度学习的SR方法在网络结构与类型设计、先验信 息结合方式及训练筞略等方面做出贡献,并且提升 了图像超分辨率复原超分辨率复原的主客观质量. 按深度学习的网络类型可以分为以下几类前 馈深度网络、反饋深度网络和双向深度网络[28].前 馈网络是对输入信号进行编码的过程;反馈网络是 对输入信号解码的过程;而双向深度网络则由多个 编码器和解碼器组合而成.本节按照网络类型对现 有基于深度神经网络的图像超分辨率复原超分辨率复原典型算法 进行阐述.2.1基于前馈深度网络的方法前饋深度网络是典型的深度学习模型之一.网 络中各个神经元从输入层开始,接收前一级输入,并 输入到下一级,直至输出层.整个网络中无反馈,可 用┅个有向无环图表示. 在深度学习的SR问题中,前馈深度网络能够 较好地学习低分辨率图像超分辨率复原到高分辨率图像超分辨率复原之间的对 應关系.在输入层中,它采用卷积的方法提取输入图 像的局部特征模式,单向传递给隐含层,随着隐含层 网络层数的加深而学习得到更深层级的特征[29];最 CSCSR.2.1.1基于卷积神经网络的SR方法香港中文大学Dong等[30]率先将卷积神经网 络引入到图像超分辨率复原超分辨率复原的问题中,设计了基于 深度卷积神經网络的图像超分辨率复原超分辨率复原方法. 该方法的主要思想以深度学习与传统稀疏编 码之间的关系作为依据,将网络分为图像超分辨率複原块提取、 非 线性映射和图像超分辨率复原重建三个阶段,再将这三个阶段统700自动化学报43卷一到一个深度卷积神经网络框架中,实现由低分辨 率图像超分辨率复原到高分辨率图像超分辨率复原之间的端到端学习.该方法 的重建结果比SCSR Sparse coding based super resolution方法的结果有较大提高. 在网络结构方面,该方法嘚网络结构设计简单, 文献[30]分析了该方法与基于稀疏编码超分辨率重 建技术[25?26]的等价性,将稀疏编码过程看作卷积 运算,利用三个卷积层完成图潒超分辨率复原块提取、 非线性映射 和图像超分辨率复原重建等操作. 在优化方式上,以SCSR为代表的传统浅层学 习SR方法对三个阶段进行分别设计並独立优化处 理,偏重于字典学习优化,而忽略了整体框架的优 化.文献[30]则采用联合优化方式,图像超分辨率复原重建性能 得到了较大的提高. 在训練阶段,为避免重叠图像超分辨率复原块后处理所造成 的计算量增大的问题, Dong等将高分辨率样本随机 裁剪为若干个子图像超分辨率复原,再经过高斯核滤波、 下采样和 上采样子图像超分辨率复原,得到低分辨率样本.在训练策略上, 该方法采用均方误差作为损失函数,由随机梯度下 降法Stochastic gradient descent, SGD最尛化损 失函数,训练速度进一步提升. 该方法的特点是将传统的稀疏编码与深度学习 的SR方法联系在一起.虽然该方法展现出更好的 重建效果,但是, SRCNN茬加深网络层数的同时并 未获得更好的效果,其不足之处还包括不适用多尺 度放大,训练收敛速度慢,图像超分辨率复原块上下文依赖等. 该方法表明深度神经网络端到端的联合优化优 于浅层学习方法将特征提取、特征映射和图像超分辨率复原重建 独立优化.2.1.2基于极深网络的SR方法在SRCNN的基础上,极深网络的图像超分辨率复原超分辨 率复原方法[31]借鉴用于图像超分辨率复原分类的VGG[32]网络 结构,设计了含有20个权值层的深度网络.与图像超分辨率复原 分类的极深网络不同,极深网络的SR方法可以用 更深层网络对LR到HR之间映射关系建模. 该方法的主要思想将阶数较少的滤波器多次 级聯,充分利用LR和HR较大图像超分辨率复原区域的上下文 信息,获得了LR和HR之间的相关性.由于极深网 络的训练效果直接影响重建图像超分辨率复原的質量,该方法采 用残差训练的方法训练极深网络,对HR和LR图 像之间的残差进行训练,并采用较高学习率以加快 收敛速度.该方法克服了SRCNN上下文信息缺乏 关联、 单一尺度放大和收敛速度慢等问题,并通过权 值共享实现了网络参数更少、重建性能更佳的图像超分辨率复原 多尺度放大. 在网络结構方面, VDSR方法与SRCNN方法 的网络不同 SRCNN仅有三个卷积层,每层卷积滤波器的数量较多,且尺度较大,呈现出窄宽型结构; 而VDSR有二十个卷积层,每层卷积滤波器嘚数量 较多,尺寸较小,然后保持一致性,呈现出细长型结 构,能够增加图像超分辨率复原局部感受野. 在卷积神经网络中,利用局部感受野,可构成 相鄰层神经元的上下文信息关联. VDSR采用多个 33尺度滤波器,可实现更大感受野的效果.在卷 积层中,含多个33的滤波器比一个大尺寸的滤波 器具有更少的參数.此外,空间表达及上下文信息的 联系能力进一步加强. 在训练阶段, VDSR先采用较高学习率提高训 练速度,但随之带来梯度消失、梯度膨胀的问题;洅 采用可调梯度裁剪策略[33]调整梯度信息,有效避免 训练过程中梯度消失和梯度爆炸的问题. 在同一幅图像超分辨率复原中,不同尺度相似图像超汾辨率复原块能提供 不同分辨率图像超分辨率复原块间的对应关系[34],且受空间金 字塔池化Spatial pyramid-pooling, SPP[35]方法 的启发. VDSR采用多尺度权值共享的策略,通过 同一个網络处理不同尺度的图像超分辨率复原放大问题.其中, VDSR通过调整滤波器的尺寸来接受不同尺度的图 像特征,产生固定的特征输出.虽然VDSR可实现 特萣尺度的放大,却不能实现多尺度的自由放大,且 其参数存储及检索也存在较明显的不足. 在图像超分辨率复原重建阶段,多级放大对于物体形变具 有鲁棒性.与SRCNN相比, VDSR重建图像超分辨率复原的 PSNR值Peak signal-to-noise ratio提升了0.6? 0.9dB.该方法表明极深的网络结构有望进一步提升 图像超分辨率复原重建质量;采用残差学習和可调梯度裁剪的策 略可解决训练过程中梯度消失、 梯度膨胀等问题.2.1.3基于整合先验知识的卷积神经网络SR方法为了整合图像超分辨率复原嘚梯度先验信息,西安交通大学 的Liang[36]提出了整合先验信息的超分辨率复原方 法.在超分辨率复原任务中,图像超分辨率复原先验信息作为重要 的组荿部分,如何整合图像超分辨率复原先验信息成为关键. 该方法的主要思想首先,通过不同尺度的SR- CNN网络进行图像超分辨率复原的结构相似性学习;嘫后,在 SRCNN末端连接一个特征提取层,得到图像超分辨率复原的梯 度信息;最后,采用信息融合的策略得到重建图像超分辨率复原. 训练过程中,该方法茬代价函数中添加了重建图像超分辨率复原 的梯度信息与目标HR图像超分辨率复原的梯度信息一致的约束 条件,充分利用图像超分辨率复原的邊缘信息.该方法的重建结果 比SRCNN略有提高. 在网络结构方面,该方法的前三层与SRCNN 无异,并在此基础上加入特征提取层,利用Sobel滤 波器提取边缘信息. 训练過程,该算法先输入LR训练样本,同时通 过放大因子为2、3、4的网络,实现多尺度放大;再5期孙旭等基于深度学习的图像超分辨率复原超分辨率复原研究进展701与第二个卷积层实现权值共享.其中,该算法改变训 练过程中的代价函数,将先验信息添加到了训练过 程中;多任务学习可充分考虑多个放夶倍数任务之 间的联系与差异,并采用权值共享缓解了多尺度放 大的参数数量过多的问题. 相比于单任务,多任务学习可有效提高PSNR 值.但随着放大倍数的增加,多任务学习与单任务的 PSNR值相差不大,甚至会随着放大倍数的增加而 重建失效.在SRCNN-Pr方法的基础上,如何在更 高的放大倍数下提高PSNR值成为徝得探索的问 题. 相比于SRCNN的方法, SRCNN-Pr方法的 PSNR值提高优势较弱.该方法表明浅层的卷积神 经网络与图像超分辨率复原先验信息相结合的方法提升能力囿限, 但是,该方法为领域先验与数据驱动的深度学习训 练方法的结合提供了思路.2.1.4基于稀疏编码网络的SR方法Wang等[37]提出了基于稀疏编码网络的SR方 法. 該方法的主要思想借鉴基于稀疏表示超分 辨率重建的思想,将原方法中稀疏表示、映射、 稀疏重建三个独立优化的模块纳入到一个稀疏 网络Φ.网络的训练,相当于对三个模块协同优 化,可得到全局最优解.稀疏编码网络更充分地 利用了图像超分辨率复原的先验信息.这种方法首先通过特征 提取层得到图像超分辨率复原的稀疏先验信息;然后,通过基 于学习的迭代收缩和阈值算法Learned iterative shrinkage and thresholding algorithm, LISTA[38] 建立了一个前馈神经网络SCN,该网络可实现 图像超汾辨率复原的稀疏编码和解码;最后,采用级联网络完 成图像超分辨率复原放大,该方法能够在更高放大倍数下提高 PSNR,且算法运行速度进一步提升.SCN實际 上可看作通过神经网络实现了基于稀疏编码SR 方法. 在网络结构方面, SCN保留了SRCNN的图 像块提取、表示层和重建层部分,并在中间层加入 LISTA网络.级联SCN鈳实现任意尺度的图像超分辨率复原放 大.其中,级联网络的每个SCN单元可采用相同的 网络参数,极大地降低算法复杂度. 实验结果表明,在4倍放大时, SCN采用级联方 式比非级联方式PSNR值提高0.3?0.5dB;相较于 SRCNN方法, SCN的PSNR值提升0.2?0.5dB, 且重建图像超分辨率复原视觉质量较好.该方法表明传统稀疏编 码模型所蕴含的領域知识对深度学习的网络设计具 有重要的指导意义.2.1.5基于卷积稀疏编码的SR方法现阶段,大多数基于深度学习的SR方法主要 关注高低分辨率映射函数的学习.香港理工大学提 出了基于卷积稀疏编码[39]的SR方法.该方法的主 要思想首先进行LR滤波器、特征映射和HR滤 波器的独立学习;然后,在特征表礻部分,考虑到相 邻图像超分辨率复原块重叠区域的像素相同,将图像超分辨率复原分解为不重 叠的图像超分辨率复原块;最后,将特征映射和HR滤波器联合 学习.在重建过程中,考虑到LR结构简单而HR复 杂并含局部区域更大的空间信息,故使用少数的LR 滤波器和大量的HR滤波器完成HR图像超分辨率复原的重建过 程. 该算法保持了SRCNN的网络结构,图像超分辨率复原块提 取、非线性特征映射与重建层不变.训练阶段分为 两部分, LR滤波器学习,特征映射囷HR滤波器联 合学习.在LR滤波器学习阶段,将LR图分解为模 糊成分和残差成分,分别提取其低频信息及高频信 息,以获得稀疏特征映射.模糊成分采用双彡次插值 放大,残差成分分解到多个特征映射.在傅里叶域, 通过SA-ADMM Stuhastic altornating direction of multipliers算法[40]求解得到LR滤波 器.在最优化部分,使用交替方向乘子算法,将大的 全局问题分解為多个较容易解决的局部问题.通过 协调子问题的解而得到最大的全局问题的解,可有 效解决LR滤波器组学习的问题.特征映射和HR 滤波器联合学习階段与LR滤波器学习过程相似, 每个HR图像超分辨率复原块分解为模糊成分和残差成分.根据 上阶段所得LR特征映射和HR图像超分辨率复原,可学习得到 HR濾波器及相对应的映射函数. 在重建阶段,首先,输入低分辨率图像超分辨率复原,通过训 练得到LR滤波器组,再经过卷积分解得到LR特 征映射图;最后,由HR特征映射估计得到HR特征 映射图,通过HR滤波器组卷积得到重建后的HR 图像超分辨率复原. 在Set5数据集[25?26]下进行对比实验,相比于 SRCNN方法, 2倍放大时, CSCSR的平均PSNR 值提升0.23dB; 3倍放大时, CSCSR的平均PSNR 值提升1.24dB,图像超分辨率复原视觉质量较好. 该方法表明LR和HR滤波器学习对深度学习 网络的滤波器组的设计具有重要的指导意義,有助 于保持图像超分辨率复原的空间信息并提升重建效果. 表1总结比较了5种前馈深度网络的图像超分辨率复原超分 辨率算法的不同特点. SRCNN方法将传统的稀疏 编码与深度学习相结合,完成了用于图像超分辨率复原复原的深 度神经网络建设,但也存在一些不足.在SRCNN 的基础上,一些方法VDSR、SRCNN-pr、SCN囷 algorithms算法名称网络结构训练策略算法目标算法运行速度生成图像超分辨率复原质量SRCNN[30]三层卷积SGDCNN与SC结合一般好VDSR[31]VGG梯度裁剪、 残差学习CNN网络加深较快較好SRCNN-pr[36]三层卷积特征提取SGD、 多任务学习整合先验稍好好SCN[37]LISTASGD、 级联网络学习稀疏先验稍好较好CSCSR[39]三层卷积ADMM学习滤波器较慢稍好组学习等方法作出改進. VDSR的结果表明“更深 的网络,更好的性能”; SRCNN-pr表明多任务学习 可提高算法运算速度; SCN为网络学习稀疏先验提 供指导; CSCSR的结果证明ADMM算法[40]可应 用于滤波器组学习,并为深度网络的滤波器组学习 提供指导.2.2基于反馈深度网络的方法反馈深度网络又称递归网络.与前馈网络不同, 在反馈网络中,信息在湔向传递的同时还要进行反 向传递.其中,输入信号决定初始状态,所有神经元 均具有信息处理功能,且每个神经元既可以从外界 接收输入,同时又鈳以向外界输出,直到满足稳定条 件,网络才可以达到稳定状态. 在深度学习的SR问题中,反馈网络的SR方法 与前馈网络的SR方法不同.前馈网络的方法自底 向上开始学习,每层输入信号经过卷积、 非线性变换 2个阶段处理,进而得到多层信息.相比之下,反馈 网络的每层信息是自顶向下的,通过滤波器組学习 得到卷积特征,最后组合得到重建的图像超分辨率复原. 反馈深度网络由多个解码器叠加而成,可分为 反卷积神经网络Deconvolutional networks, DN 和层次稀疏编码网絡Hierarchical sparse coding, HSC等.其特点是通过解反卷积或学习数据集的 基,对输入信号进行反解.层次稀疏编码网络和反卷 积网络相似,仅是在反卷积网络中对图像超分辨率复原的分解而 在稀疏编码中采用矩阵乘积的方式.2.2.1基于快速反卷积网络的SR方法传统的SR方法存在网络迭代次数不可控,计算 量较大,及不能适用於整体框架等问题[41].基于快 速反卷积Fast deconvolution, FD的SR方法[42] 由初始上采样、梯度先验计算和快速反卷积三个阶 段组成.首先,采用双三次插值的方法初始化低分辨 率图像超分辨率复原到合适的分辨率;然后,由快速反卷积估计恢 复到高分辨率图像超分辨率复原.其中,为了反卷积更好地表达和 加快速度,需偠在反卷积前加入梯度先验计算.在梯 度先验计算过程中,直接计算水平和垂直方向的梯 度值计算量较大,故先进行快速傅里叶变换,在傅里叶变換域进行卷积更加有效;最后,经傅里叶逆变换 得到重建图像超分辨率复原,重建图像超分辨率复原主观质量较好,且算法速度 进一步提升. 该方法表明,快速反卷积的方法可以达到整合 先验信息目的,且反卷积对网络建设提供参考.2.2.2基于深度递归网络的SR方法VDSR的方法具有20层深层网络,其缺乏层間 信息反馈及上下文信息关联.为了解决此问题, Kim 等提出了深度递归卷积网络的SR方法Deeply- recursive convolutional network, DRCN[43].该方 法的主要思想首先,在极深网络的各层建立预测信 息的監督层;然后,将各层的预测信息通过跳跃连接 到重建层;最后,在重建层完成图像超分辨率复原重建. 在网络结构上,该方法包括嵌入网络,推理网络 囷重建网络三部分.推理网络有多个递归层,展开推 理网络后,相同的滤波器递归地应用于特征映射,展 开模型能在没有增加新的权值参数的前提丅利用更 多的上下文信息.在连接方式上,深度递归网络可实 现所有递归层共享一个重建层,可通过跳跃连接来 构建递归层与重建层的联系. 在训練策略上,为减轻梯度消失和梯度爆炸所 带来的影响,该方法采用递归监督和跳跃连接的方 式.由推理层得到各层递归,再由跳跃连接与重建 层直接连接,加深网络层间联系并加快收敛速度.与 SRCNN相比,该方法重建图像超分辨率复原的PSNR值可提升 0.6?0.9dB,重建图像超分辨率复原质量较好. 该方法表明递歸网络与跳跃连接结合的方法可 实现图像超分辨率复原层间信息反馈及上下文信息关联,对网络 层间连接的建设提供指导.2.2.3基于深度边缘指导反馈残差网络的SR方法SRCNN通过端到端学习得到LR与HR的映 射关系,但它未充分开发图像超分辨率复原先验信息,且存在细节 信息丢失的现象.为了解决此問题,北京大学和新加 坡国立大学等联合提出深度边缘指导反馈残差网络 Deep edge guided recurrentr esidual, DEGREE 的方法[44]. DEGREE方法的主要思想首先,将低分辨率5期孙旭等基于深度学习的图潒超分辨率复原超分辨率复原研究进展703图像超分辨率复原的边缘作为先验信息,并为特征映射学习提供 指导;然后,为避免忽略不同频带间的固囿性质高 频边缘和纹理细节信息,通过递归残差网络将图像超分辨率复原 信号分解为边缘、 纹理等多个成分,分别作为不同的 频率子带,各部分獨立重建;最后,不同频带信息组 合得到最终的重建图像超分辨率复原. 在网络结构方面, DEGREE方法主要包括以 下成分. LR边缘提取层;递归残差网络; HR边缘 预測层;残差子带融合层.训练策略上,该方法采 用分流连接克服了SRCNN等方法收敛速度慢的缺 点.在损失函数建立方面,与现有的其他方法不同, DEGREE的方法建竝了3个损失,即边缘损失,重 建损失和总损失.优化设计合理,均衡了边缘重建与 最终重建图像超分辨率复原间的损失,进一步利用了图像超分辨率複原的边缘 信息.与SRCNN相比,该方法的PSNR值提升了 0.4?0.8dB,视觉质量较好. 该方法表明嵌入先验信息到深度网络可以指导 边缘特征重建.此外,将图像超分辨率複原信号分解到不同的频带 分别重建再进行组合的方式可保留图像超分辨率复原重要的细节 信息. 表2总结比较了三种反馈深度网络的超分辨率 算法的优缺点. FD方法的特点是算法运算速度较 快,但生成图像超分辨率复原质量一般;针对极深网络层间信息缺 乏连接的问题, DRCN方法采用递归监督的策略实 现层间信息连接; DEGREE的方法的特点是建立多 个损失函数,完成网络结构优化.2.3基于双向深度网络的方法双向深度网络的方法将前馈网络囷反馈网络相 结合.既含前馈网络反向传播的特点,又与反馈网络 预训练方法类似. 双向深度网络包括深度玻尔兹曼机Deep 字典中预先学习稀疏先验,洅进行字典学习.其中,在RBM编码中,图像超分辨率复原块作为字典的成分.训练过程 中,采用对比散度算法来加快训练.随着RBM隐 含层的层数增加,可以得箌深度玻尔兹曼机DBM. 该方法采用对比散度算法,训练速度较快.相比于 SCSR, SCSR与RBM相结合的性能得到进一步提 升.2.3.2基于深度置信网络的SR方法基于深度置信网絡的方法[46]将SR问题看成是 一个丢失数据的完备化问题.该方法有两个阶段,训 练阶段,将HR图像超分辨率复原分成图像超分辨率复原块,变换到DCT Dis- crete cosine trans域,得到DCT系数,通过 SGD训练得到DBNs.重建阶段,将插值放大后的 LR图像超分辨率复原分解成图像超分辨率复原块,变换到DCT域,利用训练 得到的DBNs来恢复丢失的高频细节信息.最后,通 过DCT逆变换获得重建图像超分辨率复原.2.3.3基于堆协同局部自编码的SR方法中科院自动化所Cui等[47]提出了深度级联网 络SR方法Deep network cascade, DNC,该方法 通过将多個相同网络结构级联,实现图像超分辨率复原的逐级放 大.网络结构单元采用多尺度非局部相似检索和协 同自编码器构成,用于解决误差传递和楿邻块之间 的兼容性问题. 在网络结构方面,该方法由一个CLA单元 组合而成的模型更具有鲁棒性;最后,平均图像超分辨率复原块间 重叠部分的信息,嘚到最后的HR图像超分辨率复原.该方法表 明, NLSS与CLA的组合方式可实现图像超分辨率复原高频纹理 增强及抑制噪声等功能. 表3总结比较了三种双向深喥网络SR算法的 优缺点.其中, RBM的算法运算速度较快,但重建 图像超分辨率复原质量一般; DBNS能较好地恢复图像超分辨率复原细节信息, 但算法运行速度┅般; DNC有效抑制噪声,并得到 algorithms算法名称网络结构训练策略算法目标算法运行速度生成图像超分辨率复原质量FD[42]反卷积网络FISTA加快训练速度较快一般DRCN[43]遞归网络递归监督层间信息连接较慢好DEGREE[44]循环递归网络损失函数先验信息指导网络建设一般较好704自动化学报43卷2.4实验结果与分析表4总结比较了9種典型SR方法的PSNR 值.其中,这些方法在Set5、Set14和BSD100数 右的PSNR值,但是,在Set14和BSD100数据集 上, VDSR却表现出微弱的优势.可见, DRCN在 极深网络层间信息联系和信息融合策略选择等方面 还存在改进空间.此外, IA的方法也取得较好的平 均PSNR值,该方法表明将ANR和A的SR方 法与深度学习的邻域知识相结合会取得了更好的效 果. 图1得到9种典型SR方法33倍后的 重建效果图.其中, 3类测试图像超分辨率复原有“Butter-fly”、“Zebra”、“Comic”.实验选择了近几年典型的 SR方法进行比较.实验结果图均由作者所公开的源 码测试所得.通过观察, VDSR较好地保留了图像超分辨率复原