文献类型：期刊文章

作　　者：刘继鑫[1] 陈瑞[1] 安仕鹏[1]

Liu Jixin;Chen Rui;An Shipeng(School of Microelectronics,Tianjin Key Laboratory of Imaging and Sensing Microelectronic Technology,Tianjin University,Tianjin 300072,China)

机构地区：[1]天津大学微电子学院,天津市成像与感知微电子技术重点实验室,天津300072

出　　处：《中国图象图形学报》

基　　金：国家自然科学基金项目(61871284)。

年　　份：2022

卷　　号：27

期　　号：5

起止页码：1657-1668

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD2021_2022、IC、JST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：目的修复老照片具有重要的实用价值,但老照片包含多种未知复杂的退化,传统的修复方法组合不同的数字图像处理技术进行修复,通常产生不连贯或不自然的修复结果。基于深度学习的修复方法虽然被提出,但大多集中于对单一或有限的退化进行修复。针对上述问题,本文提出一种融合参考先验与生成先验的生成对抗网络来修复老照片。方法对提取的老照片和参考图像的浅层特征进行编码获得深层语义特征与潜在编码,对获得的潜在编码进一步融合获得深度语义编码,深度语义编码通过生成先验网络获得生成先验特征,并且深度语义编码引导条件空间多特征变换条件注意力块进行参考语义特征、生成先验特征与待修复特征的空间融合变换,最后通过解码网络重建修复图像。结果实验与6种图像修复方法进行了定量与定性评估。比较了4种评估指标,本文算法的所有指标评估结果均优于其他算法,PSNR(peak signal-to-noise ratio)为23.69 d B,SSIM(structural similarity index)为0.8283,FID(Fréchet inception distance)为71.53,LPIPS(learned perceptual image patch similarity)为0.309),相比指标排名第2的算法,分别提高了0.75 d B,0.0197,13.69%,19.86%。定性结果中,本文算法具有更好的复杂退化修复能力,修复的细节更加丰富。此外,本文算法相比对比算法更加轻量,推断速度更快,以43.44 M的参数量完成256×256像素分辨率图像推断仅需248 ms。结论本文提出了融合参考先验与生成先验的老照片修复方法,充分利用了参考先验的语义信息与生成模型封装的人像先验,在主观与客观上均取得了先进的修复性能。

关 键 词：深度学习  生成对抗网络(GAN)  老照片修复  参考先验  生成先验  空间特征变换  编解码网络  多尺度感知  

分 类 号：TP391.4]