将「马赛克」像素级别的大头照转换成高清照片,是一种怎样的体验?杜克大学提出的AI算法,不仅可以「去掉马赛克」,还能精细到每一道皱纹、每一根头发。在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。在知乎上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?
杜克大学的研究人员用AI算法告诉你。杜克大学的研究人员提出了一种AI算法,称之为PULSE(Photo Upsampling via Latent Space Exploration,通过潜在空间探索的照片上采样)。该算法可以将模糊、无法识别的人脸图像转换成计算机生成的图像,其细节比之前任何时候都更加精细、逼真。
如果用以前的方法,想要把一张模糊的「大头照」变清晰,最多只能将这张照片缩放到原始分辨率的八倍。但是杜克大学的团队提出了一种新的方法,仅在几秒钟内,就可以把16x16像素的低分辨率(Low Resolution,以下简称LR)小图,放大64倍,变成1024x1024像素的高分辨率(High Resolution,以下简称HR)图像。
他们的AI工具会「想象」出一些原本不存在的特征,即使是原本LR照片中无法看到的细节,比如毛孔、细纹、睫毛、头发和胡茬等,经过其算法处理后,都能看得一清二楚。领导该团队的杜克大学计算机科学家辛西娅·鲁丁(Cynthia Rudin)说:「以前从来没有像现在这样,能用这么少的像素,就创造出拥有大量细节的超分辨率图像。
」在实际应用方向上,论文的共同作者Sachit Menon介绍称:「在这些研究中,我们只是用面部作为概念验证。但从理论上讲,该技术是通用的,从医学、显微镜学到天文学和卫星图像,都可以通过该技术改善画质。」杜克大学的团队提出的新方法,可以说是开辟了新的思路。在拿到一张LR图像后,PULSE系统不会慢慢添加新的细节,而是遍历AI生成的HR图像,将这些HR图像对应的LR图像与原图对比,找到最接近的那张。
团队使用了生成对抗网络(简称GAN),它包括对同一张照片数据集进行训练的两个神经网络,即生成器与鉴别器。随着经验的积累,生成器的经验会越来越好,直到鉴别器无法分辨出差异。团队在著名的高分辨率人脸数据集CelebA HQ上评估了其算法,用64×,32×和8×的比例因子进行了这些实验。
研究人员要求40个人对通过PULSE和其他五种缩放方法生成的1440张图像进行1到5的评分,而PULSE的效果最佳,得分几乎与真实的高质量照片一样高。不过,该系统还不能用于识别身份,研究人员表示:「它无法将安全摄像头拍摄的失焦、不能识别的照片,变成真人的清晰图像。它仅会生成不存在但看上去很真实的新面孔。
」在具体应用场景上,除了上文提到的,该技术未来可能应用在医学、天文学之外,对于大众来说,拥有这项黑科技之后,就可以把N年前的老照片变高清。对于编辑同志们来说,更是一大福音,再也不用为找高清配图而头大了。