在这个追求高清画质的时代，我们对渣画质的容忍度越来越低。在知乎上搜索“低分辨率”、“渣画质”，会看到一大片诸如“如何补救清晰度低的照片”、“如何拯救渣画质”之类的问题。那么，将渣到马赛克级别的画面秒变高清，是一种怎样的体验？杜克大学的研究人员用 AI 算法告诉你。
杜克大学的研究人员提出了一种 AI 算法，称之为 PULSE（Photo Upsampling via Latent Space Exploration，通过潜在空间探索的照片上采样）。该算法可以将模糊、无法识别的人脸图像转换成计算机生成的图像，其细节比之前任何时候都更加精细、逼真。根据输入的低分辨率图片，系统会生成一系列高清图像。
如果用以前的方法，想要把一张模糊的“大头照”变清晰，最多只能将这张照片缩放到原始分辨率的八倍。但是杜克大学的团队提出了一种新的方法，仅在几秒钟内，就可以把 16x16 像素的低分辨率（Low Resolution，以下简称 LR）小图，放大 64 倍，变成 1024 x 1024 像素的高分辨率（High Resolution，以下简称 HR）图像。
他们的 AI 工具会“想象”出一些原本不存在的特征，即使是原本 LR 照片中无法看到的细节，比如毛孔、细纹、睫毛、头发和胡茬等，经过其算法处理后，都能看得一清二楚。
领导该团队的杜克大学计算机科学家辛西娅·鲁丁（Cynthia Rudin）说：“以前从来没有像现在这样，能用这么少的像素，就创造出拥有大量细节的超分辨率图像。”在实际应用方向上，论文的共同作者 Sachit Menon 介绍称：“在这些研究中，我们只是用面部作为概念验证。但从理论上讲，该技术是通用的，从医学、显微镜学到天文学和卫星图像，都可以通过该技术改善画质。”
虽说此前已经有很多类似的低清变高清的方法，但能够达到像素放大 64 倍级别的，还是业界首次。传统方法处理此类问题时，一般拿到 LR 图像后，会“猜测”需要多少额外的像素，然后试着将此前处理过的 HR 图像中相应的像素，匹配给 LR 图像。而这种单纯匹配像素的结果是，像头发和皮肤的纹理这种区域，会出现像素匹配错位的现象。而且该方法还会忽略了 HR 图像中，感光性等感知细节。
所以最终在平滑度、感光度上出现问题，结果依然会显得模糊或者不真实。
杜克大学的团队则提出的新方法，可以说是开辟了新的思路。在拿到一张 LR 图像后，PULSE 系统不会慢慢添加新的细节，而是遍历 AI 生成的 HR 图像，将这些 HR 图像对应的 LR 图像与原图对比，找到最接近的那张。
打个比方，相当于拿 LR 图片做个“连连看”，找到最相似的 LR 版本，那么再反推回去，这张 LR 图像所对应的 HR 图像，就是最终要输出的结果。团队使用了生成对抗网络（简称 GAN），它包括对同一张照片数据集进行训练的两个神经网络，即生成器与鉴别器。其中，生成器模拟它所受过训练的人脸，提供 AI 创建的人脸，而鉴别器则获得了该输出，并确定它是否足以以假乱真。
随着经验的积累，生成器的经验会越来越好，直到鉴别器无法分辨出差异。
团队在著名的高分辨率人脸数据集 CelebA HQ 上评估了其算法，用 64×，32× 和 8× 的比例因子进行了这些实验。研究人员要求 40 个人对通过 PULSE 和其他五种缩放方法生成的 1440 张图像进行 1 到 5 的评分，而 PULSE 的效果最佳，得分几乎与真实的高质量照片一样高。
HR 为实际的高清人像数据集，得分仅比 PULSE 高 0.14。团队成员表示，PULSE 可以从嘈杂、低质量的输入中，创建逼真的图像，即使原图连眼睛、嘴巴都无法辨认。这是其他方法无法做到的。不过，该系统还不能用于识别身份，研究人员表示：“它无法将安全摄像头拍摄的失焦、不能识别的照片，变成真人的清晰图像。它仅会生成不存在但看上去很真实的新面孔。”
在具体应用场景上，除了上文提到的，该技术未来可能应用在医学、天文学之外，对于大众来说，拥有这项黑科技之后，就可以把 N 年前的老照片变高清。对于编辑同志们来说，更是一大福音，再也不用为找高清配图而头大了。
温馨提示：研究人员还会在正在举行的 CVPR 2020（计算机视觉和模式识别会议）上介绍他们的方法，大家可以关注一下：http://cvpr2020.thecvf.com/program/tutorials。