腾讯 ARC 实验室公开 AI 模型:能令低分辨率图变高清,可在 GitHub 上下载永泽江里菜

文章正文
2021-09-04 09:54

下面来欣赏一些高糊图片“整个世界都清晰了”的魔法时刻:

无论是动漫还是真实图像,永泽江里菜是不是都清晰还原了?

以上就是由腾讯 ARC 实验室最新发表的图像超分辨率模型完成的。

与前人工作相比,它可以更有效地消除低分辩率图像中的振铃和 overshoot 伪影;

面对真实风景图片,能更逼真地恢复细节,比如树枝、岩石、砖块等。

除了上面这些官方的 demo,我们也试了一下,效果还比较满意:

如果你也想试试,可在 GitHub 上下载该模型的可执行文件,僵尸赛车修改器Windows/Linux/MacOS 都可以,且不需要 CUDA 或 PyTorch 的支持。

下好以后只需在终端执行以下命令即可使用:

./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png基于 ESRGAN 的改进研究

这个模型被命名为 Real-ESRGAN,总的来说,就是通过模拟高分辨率图像变低分辩率过程中的各种退化,然后看到一张糊图后倒推出来它的高清图

而它是对超分“前辈”ESRGAN 的进一步研究。

ESRGAN 曾赢得 ECCV2018 PIRM-SR 挑战赛中的第一名,但它在恢复具有未知和复杂退化(degradation)的低分辨率图像方面,也就是盲超分辨率(Blind Super-Resolution)上做的还不够好。

而相比 ESRGAN,泡泡战士散弹技巧Real-ESRGAN 使用合成数据进行训练,引入了高阶退化建模以更全面逼真地模拟复杂的图像退化,重点考虑了合成过程中常见的振铃和 overshoot 伪影。

还采用了一个具有谱归一化(Spectral Normalization)的 U-Net 鉴别器,来提高鉴别器的性能并稳定训练过程,最终实现了“青出于蓝胜于蓝”的效果。

下面就进入具体原理讲解:

通常情况下,真实图像 y 首先与模糊核(blur kernel)k 进行卷积,然后执行具有比例因子 r 的下采样操作,格斗小战象通过添加噪声 n 获得低分辨率图像 x。一般还得再加个 JPEG 压缩,即:

而获得高清图像的过程就是求解 y 的过程(其中 D 表示退化过程)。

然而只采用这一经典的退化模拟,训练后的模型只能处理部分图像,更复杂的退化(尤其是未知噪声和某些伪影)仍无法解决

所以研究人员就引出了高阶退化过程来模拟出更真实全面的退化,它包含多个重复的经典退化过程,每个又具有不同的退化超参:

下图为 Real-ESRGAN 进行退化模拟的示意图:

采用的是二阶退化,具体来说:

在模糊(blur)退化方面,特种兵对攻为了包含更多不同的核形状,Real-ESRGAN 采用了广义高斯模糊核和 plateau-shaped 分布。

降噪(noise)方面,除了颜色噪声和灰度噪声,还模拟了两种常见类型:

(1)加性高斯噪声:其噪声强度受高斯分布标准差控制;

(2)泊松噪声:其噪声强度与图像信息成正比。

resize 也就是经典退化模拟里的下采样,在这里为了产生更多模糊图像,就改成了上采样 + 下采样的组合操作。resize 方法中,由于最近邻插值会导致错位,最后就只考虑了面积、双线性和双三次插值。

JPEG 压缩,能带来块伪影。下图为 OpenCV 与 DiffJPEG 的压缩效果对比,Real-ESRGAN 采用的是 DiffJPEG。

而在 Real-ESRGAN 重点关注的伪影方面:

主要针对非常常见的振铃伪影(下图左 1 左 2,看起来像“鬼影”)和 overshoot 伪影(下图右 2 右 1,看起来像“锯齿”)。

采用了 sinc 滤波器来模拟这两者 :

以上,退化模拟搞定后,就可以开始训练了。

Real-ESRGAN 的生成器沿用了 ESRGAN 的 RRDBNet,还扩展了原始的 ×4 ESRGAN 架构,以执行 resize 比例因子为 ×2 和 ×1 的超分辨率放大。

判别器则由 VGG 型升级为 U-Net 型,以具备更强的判别能力,处理复杂的输出以及生成关于局部纹理的精确梯度反馈。

另外,U-Net 架构和复杂的退化给训练带来了不稳定性,为此,还采用了谱归一化来稳定模型训练,这也有助于缓解 GAN 带来的过度锐化以及伪影。

除伪影、恢复纹理细节的效果优于其他方法

最终可以看到,Real-ESRGAN 在去除伪影和恢复纹理细节方面都明显优于以前的方法:

消融实验也发现采用二阶退化模型的效果最好、通过 sinc 滤波器的可以跟好地去除伪影、SN+UNet 的组合取得了最佳的视觉效果、引入更多的模糊核,模型效果还可以进一步提升(分别对应下面四组图):

当然,他们也发现三个表现不够好的效果,比如线条扭曲、出现了其他伪影。

总而言之,作者表示:盲图像超分仍处于初步探索阶段,之前的 BSRGAN 以及本文的 Real-ESRGAN 可为该领域提供一个非常好的基线。

团队介绍

Wang Xintao,毕业于浙江大学本科,香港中文大学博士(师从汤晓鸥),现在是腾讯 ARC 实验室(深圳应用研究中心)的研究员。研究兴趣集中在图像/视频的超分辨率恢复。ESRGAN 的一作。

谢良彬 ,中国科学院深圳先进技术研究所硕士一年级学生,师从董超教授。

董超,中国科学院深圳先进技术研究院硕导,毕业于北理工本科,香港中文大学博士。曾任商汤科高级研究经理,谷歌学术引用 14416 次,h 指数 22。

单瀛,腾讯 PCG 应用研究中心(ARC)主任。

论文地址:点此直达

Colab 试玩地址:

GitHub 项目地址:点此直达

文章评论