监控中的嫌疑⼈⾯相模糊不清,怎么办?2010年12⽉,清华⼤学电⼦⼯程系苏教授接到⼀通不寻常的电话,内蒙古⾃治区准格尔刑警队的警员拿着⼀张模糊不清的犯罪嫌疑⼈⼈脸图像,向苏光⼤寻求帮助。苏光⼤利⽤超分辨率技术,将这张模糊的图像放⼊他们研发的软件中进⾏了重建,准格尔警⽅依据重建后的⾼清晰度图像,很快便锁定了嫌疑⼈,并破获了这起凶杀案。随着超分辨率技术的发展,这些问题迎来了转机并逐渐被解决。
本⽂将从概念⼊⼿,介绍超分辨率的主流算法及其优缺点,并展示了其在公共安防、医学诊断、卫星遥感、数字娱乐等不同场景下的应⽤。超分辨率,简单来说,就是将低分辨率的图像通过算法提升到⾼分辨率。相较于低分辨率图像,⾼分辨率图像拥有更⼤的像素密度和更丰富的纹理细节,具备更⾼的可信赖度。超分辨率⽅法主要分为三类:基于插值的⽅法、基于重构的⽅法和基于学习的⽅法。
基于插值的⽅法通过在图像原有的像素周围插⼊新像素来加⼤图像的尺⼨,并给这些像素赋值,从⽽恢复图像内容,达到提⾼图像分辨率的效果。基于重构的超分辨算法,通常是⽤多幅在同⼀场景下拍摄的低分辨率图像作为输⼊,然后对这些图像的频域或空域关系进⾏分析,通过引⼊先验信息对重建过程进⾏指导和约束,进⽽重建得到单张⾼分辨率图像。
基于学习的超分辨率⽅法,通常是利⽤⼤量的训练数据,通过学习低分辨率图像和⾼分辨率图像之间的映射关系,预测低分辨图像中丢失的⾼频细节信息,从⽽⽣成超分辨图像。2014年,研究⼈员⾸次将深度学习应⽤于图像超分辨率重建领域,提出了SRCNN网络模型。自此,超分辨率重建领域掀起了深度学习的浪潮。超分辨率技术在公共安防、医学诊断、卫星遥感和娱乐媒体等领域都得到了⼴泛的应⽤。
在公共安防领域,超分辨率技术可以帮助警察提取清晰的人脸、⻋牌号等关键信息,有助于案件侦破。在医学诊断领域,超分辨率技术可以提升医学影像的分辨率,帮助医生更准确地诊断疾病。在卫星遥感领域,超分辨率技术可以提高卫星遥感数据的质量和可用性。在数字娱乐领域,超分辨率技术可以将低分辨率的画面转换成更高分辨率画面,提升用户的视觉体验。