昨天(编者注:5月9日),一个“修复老北京街道”的视频刷屏全网。一段由加拿大摄影师在100年前的北京拍摄的视频,被AI修复后,活灵活现地展现在人们面前,一百年前人们打招呼的方式、使用的乐器、交通工具,在这段视频中,都清晰可见。配上颇合时宜的音乐,24小时内,已经有了将近50万的点赞量,10万多次的转发,接近3万的留言,看来周六大家也有在好好工作啊。
这个视频来自一位名叫“大谷Spitzer”的博主,据他所说,接触老片修复是一个偶然,整个项目也只花了7天时间就顺利完成了。先来一起看看这惊人的修复效果。修复后的视频把当时的北京城演绎的活灵活现,下边的片段中,左下角小哥呆呆的看着镜头,连细微的表情都清晰可见,青涩中带有一点可爱,想象一下这位憨厚的小哥来自一百年前,还是让文摘菌感慨万千。
自称将AI视为业余爱好的大谷如今身在纽约,接受文摘菌采访的时候,他感叹道,自己做AI科普视频做了七年,没想到一下子火了,现在完全处于“被信息淹没”的状态。大谷透露道,其实这次接触老片修复纯属偶然,在搜索其他资料时候,偶然间在YouTube看到了人民日报上传的一段老北京视频,对其中对视镜头的部分十分有感触,“有一种穿越时空的感觉”。
同时,一想到一百年前的人们有那个年代的思想,看问题的角度和现代有所差别,是很有趣的体验,自己恰好了解相关技术,为何不将老片上色补帧,做成活灵活现的60帧,和大家分享呢?
具体到操作上,根据大谷介绍,可以大致分为补帧、扩分辨率、上色三个环节,每个环节也都用了不同的工具,整体框架的流程则主要参考了Denis Shiryaev在社交媒体上分享的经验贴。大谷说道,整个项目只用了7天时间,大部分都是硬性的时间消耗,比如补帧需要一到两天,扩分辨率至少一天,上色也需要花费一天时间,再加上要做到4K60fps,渲染速度很慢。多方考量之下,他把人民日报14分钟的原片剪到了10分钟。
对于这次用到的技术,大谷表示,上色主要还是应用在黑白照片和电影上,补帧技术就可以遍地开花了,比如修复像素动画的跳帧问题,或者在动画领域加以应用,因为动画很多是12帧/秒,甚至6帧/秒,补帧之后效果很好,也终于可以看更流畅的EVA了。作为一名独立游戏开发者,大谷透露道,因为一个人做游戏开发,接触到AI是想要了解AI能否为他节省时间,后来发现AI能做的不止这些,在社会公益上也有不少应用,比如老片修复。