AI技术让视频中的人物瞬间消失

作者: 栗子

来源: 果壳

发布日期: 2020-09-10

弗吉尼亚理工学院和Facebook的科学家们开发了一种AI技术,能够从视频中抹去任意物体,并修复破损的画面。该技术依赖于光流法,通过改进边界识别、色彩修复等步骤,使得视频处理更加精准。

顷刻之间,就能从视频里抹杀一个人,仿佛ta从没存在过。这本是风和日丽的一天。有位自行车手正在越野赛道上飞驰,突然被一团绿色的“雾气”笼罩,随即消失在画面里。成功吸走一人之后,神秘的绿雾开始肆意飘荡,带走了公园旋转跳跃的少女,荡秋千的小朋友,马术选手和ta的马……连海上的帆船也逃不过被吞噬的命运。释放法力的是何方神圣?

那是弗吉尼亚理工学院和Facebook的科学家们刚刚养成的一只AI,能让视频里的任意物体瞬间化于无形。

不止是抹掉一个人,哪怕你把视频随意擦掉几块,它也有能力够修复破损的画面。凭借精准的技艺,AI登上了计算机视觉顶会ECCV 2020。不论是从视频里抹杀一个人物,还是修补一个残缺视频,AI依靠的是都是光流大法。

光流(Optical Flow),描述的是观察者眼里物体的运动情况,观察者可以是肉眼,也可以是摄像头。视频里每个像素点,在帧与帧之间发生的位移都会被记录。光流法便是依靠这些,来判断物体到底发生了怎样的运动(有时也可以用来抠掉物体)。

当物体从背景里消失之后,修补空白部分才是重头戏。

随性脑补自然不可取,还要借助光流的力量:参照背景中已有的光流,把空白处的光流平滑地推测出来,再在完整光流的指导下修复色彩,这才科学。其实,以上只是标配流程,而这只新的AI和从前那些光流修复术相比,还是有些不同。首先,从前的算法常常困惑物体的边界到底在哪,为此科学家们给AI增加了额外的步骤:从光流当中提取出轮廓线,如果提取出的边界不完整,就把被遮挡部分平滑地修复出来。

然后,根据修补完整的边界和破损的光流,来估计出完整的光流,再用完整的光流指导填色,AI便会少一丝困惑。

第二,新的算法不只是借助相邻几帧的信息,来修复某一帧画面的色彩;它还会从相距更远的画面里,找到相关的像素。这样一来,AI就有了更多依据,来检查自己修复的画面到底科不科学。第三,假如在修复过程当中,AI只是把其他帧当中的色彩,直接传递给空白部分,可能会让画面产生裂缝。

因为,就算在同一个视频里,像光线变化这样的因素也可能导致不同帧之间,物体的色彩出现不同。于是,科学家们没有直接让AI取用色彩值,转而用色彩梯度来取平均值。这样一来,画面当中的接缝便消失了。

总结一下,这项新研究的重点不在于使用了光流(生成光流用的是前人的算法),而在于后面这几点改进,让光流大法的力量能在视频PS当中更充分地释放。有了这个算法,你可以把街面上的车都融化掉,这样就不会堵车了(误)。

如果你嫌镜头拍下的画面不够宏大,还可以向外不断扩张,直到拥有整个世界(误)。抛开这些中二的念头,回归淳朴,去水印大概是这只AI最基本的一项工作。假如你还有更大胆的想法,只等团队哪天开源了代码,就可以去实践一下啦。身为一作的少年高谌表示,正在努力清理代码中。

UUID: be7475a7-6597-4f20-98d8-5936b0af6ab8

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/果壳公众号-pdf2txt/2020/2020-09-10_顷刻之间,就能从视频里抹杀一个人,仿佛ta从没存在过.txt

是否为广告: 否

处理费用: 0.0033 元