没时间看电影追剧，AI一键让影视变漫画。2021-02-26，以下文章来源于HyperAI超神经，作者神经小兮。
把影视剧变成漫画，是怎样的一种神操作？来自大连理工大学和香港城市大学的团队，最新提出的AI框架，可以自动将影视剧转换为漫画。从此，观影追剧又多了一种打开方式。
如今，电影、电视剧以及各类视频，已经成为我们生活中不可缺少的一部分。据报告，每天上传到YouTube的视频总时长，就需要一个人花费超过82年的时间才能看完。为了节省追剧时间，2倍速播放已经成为刷剧标配。除了倍速、跳跃式观看，以及看影评人讲解，还有一种快速追剧的方式，就是把影视剧改成漫画。
近日，大连理工大学和香港城市大学的研究人员，发布了一个有趣的研究，可以自动将电视剧、电影或其他视频的画面生成为漫画形式，并配上文字气泡。研究人员在论文中表示：“与最新的漫画生成系统相比，我们的系统可以合成更具表现力和吸引力的漫画。未来会将这一技术扩展到，利用文本信息生成漫画。”
此前，业内已有一些类似的研究成果，提出将影片转换为漫画的自动化系统，但其在自动化和视觉效果、可读性等方面还有待提高，因此，这一研究方向仍然充满挑战。
来自大连理工大学和香港城市大学的团队，则在最近发表的论文《Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation》中，提出了更优的方法。
论文中提出了一个全自动漫画生成系统，无需用户任何手动调整，就可以将任意类型的视频(电视连续剧、电影、卡通)，生成高质量的漫画页面，将角色对话转化为气泡文字。而且该系统生成的漫画具有丰富的视觉效果，且可读性强。
该论文中提出的关键思想是，在没有任何手动指定的参数或约束的情况下，以全自动的方式设计系统。同时，团队有选择地引入用户交互，使设计更加个性化和多样化。总体来看，该系统主要有三个模块，分别是：关键帧选择和漫画风格化、多页面布局生成、文字气泡生成和放置。
系统的输入是一段视频及其字幕，其中包含对话和相应的开始和结束时间戳信息。他们首先每0.5秒钟从原始视频中选择一帧，然后，利用字幕中的时间信息和两个连续帧之间的相似性，来选择信息关键帧。最后对关键帧进行风格化，也就是将普通图像转换为漫画风格的图像。
团队提出了一个多页布局框架，用来自动分配和组织页面的布局，同时能够呈现出更加丰富的视觉效果。在此项研究中，团队将这一问题作为全局的优化问题，来完成每个镜头在漫画页面中的分配。
文字气泡的生成通常在漫画中，对于不同情境与情感下的对话，作者也会选择不同的气泡形状，这对于漫画内容的表达非常重要。而现有的相关研究一般都是只使用基本的椭圆式气泡形状，这对于情感表达来说显得不够丰富。本文则提出的一项重要成果，即一种基于情感感知的气泡生成方法，可利用含有情感的视频音频和字幕信息，生成与之相适应的文字气泡形状。
为测试模型效果，团队输入了4部不同影片的共16个片段，包括：《泰坦尼克号》、《风声》、《老友记》和《在云端》。输入视频的持续时间从2分钟到6分钟不等，每一段剪辑都包含有台词的部分。对于每个剪辑，团队记录使用该系统生成一本漫画书所消耗的时间，并计算平均消耗的时间，来评估系统性能。
作者总结道，与之前方法相比，本研究的方法优于其它方法。主要体现在以下三个方面：首先，该系统可以为对话生成更丰富的气泡形状，而现有的方法只使用单纯的椭圆词气球；其次，利用文本总结的方法，将一些相关的字幕进行合并，这样可确保文字气泡中的句子不会太长，增强可读性；第三，通过自动获取四个重要参数，来实现全自动多页布局（此前方法多为半自动，需人工干预），且布局结果合理、丰富。
虽然已经取得用户好评，但该系统当然称不上完美，仍有一些问题待解决。比如，对于关键帧的选择，仍然可能有相似度过高的情况出现，这会带来画面的冗余。另外，如果输入的视频没有字幕，那么在生成漫画之前，系统还要首先通过语音识别来提取台词，但是语音识别的结果往往容易出现错误，因此这也是该系统面临的一个挑战。不过，团队表示，相信随着语音识别技术的不断进步，这一问题未来也将迎刃而解。
未来，当这一技术足够成熟，很多视频作品都会多一种打开方式，用漫画的形式来“观看”一部影片，对于读者来说，或许会带来更丰富的想象空间。此外，对于普通人来说，不需具备绘画功底，就能轻松将视频转换为漫画，这或许也会像此前能将照片转换为绘画风格图像的Prisma App一样，成为新的大众娱乐工具。而团队还计划，下一步将这一方法扩展到利用文本信息来生成漫画。
也就是说，只要给出漫画剧本，系统就能够自动生成漫画，为漫画师节省大量时间。