没时间看电影追剧，AI一键让影视变漫画。
神经小兮中科院物理所2021-02-24 11:15:05转自公众号：HyperAI超神经http://mp.weixin.qq.com/s?__biz=MzU3NTQ2NDIyOQ==&mid=2247498113&idx=1&sn=3a7466a3df4081ef6c1f160c0800741dBy超神经超神经内容提要：把影视剧变成漫画，是怎样的一种神操作？
来自大连理工大学和香港城市大学的团队，最新提出的AI框架，可自动将影视剧转换为漫画。从此，观影追剧又多了一种打开方式。关键词：漫画生成系统CNN情感分析如今，电影、电视剧以及各类视频，已经成为我们生活中不可缺少的一部分。据报告，每天上传到YouTube的视频总时长，就需要一个人花费超过82年的时间才能看完。为了节省追剧时间，2倍速播放已经成为刷剧标配。
除了倍速、跳跃式观看，以及看影评人讲解，还有一种快速追剧的方式，就是把影视剧改成漫画。近日，大连理工大学和香港城市大学的研究人员，发布了一个有趣的研究，可以自动将电视剧、电影或其他视频的画面生成为漫画形式，并配上文字气泡。研究人员在论文中表示：「与最新的漫画生成系统相比，我们的系统可以合成更具表现力和吸引力的漫画。未来会将这一技术扩展到，利用文本信息生成漫画。
」此前，业内已有一些类似的研究成果，提出将影片转换为漫画的自动化系统，但其在自动化和视觉效果、可读性等方面还有待提高，因此，这一研究方向仍然充满挑战。
来自大连理工大学和香港城市大学的团队，则在最近发表的论文《Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation》中，提出了更优的方法。
论文中提出了一个全自动漫画生成系统，无需用户任何手动调整，就可以将任意类型的视频(电视连续剧、电影、卡通)，生成高质量的漫画页面，将角色对话转化为气泡文字。而且该系统生成的漫画具有丰富的视觉效果，且可读性强。该论文中提出的关键思想是，在没有任何手动指定的参数或约束的情况下，以全自动的方式设计系统。同时，团队有选择地引入用户交互，使设计更加个性化和多样化。
总体来看，该系统主要有三个模块，分别是：关键帧选择和漫画风格化、多页面布局生成、文字气泡生成和放置。系统的输入是一段视频及其字幕，其中包含对话和相应的开始和结束时间戳信息。他们首先每0.5秒钟从原始视频中选择一帧，然后，利用字幕中的时间信息和两个连续帧之间的相似性，来选择信息关键帧。最后对关键帧进行风格化，也就是将普通图像转换为漫画风格的图像。团队采用了扩展的高斯差法，将源图像转换为黑白图像。
饭后执行128级颜色量化，得到量化后的图像，实现彩色风格化。就是这样，一组组真人电影镜头，变成了漫画风格。团队提出了一个多页布局框架，用来自动分配和组织页面的布局，同时能够呈现出更加丰富的视觉效果。在此项研究中，团队将这一问题作为全局的优化问题，来完成每个镜头在漫画页面中的分配。
本文则提出的一项重要成果，即一种基于情感感知的气泡生成方法，可利用含有情感的视频音频和字幕信息，生成与之相适应的文字气泡形状。系统根据输入视频对应音频和字幕，分析其中包含的情感然后生成对应气泡形状。在该系统中，作者采用了三种常见的气泡形状：椭圆形气泡、思想气泡和锯齿状气泡。这三种气泡适用的感情分别为：情绪平静、想法（不说出来）、感情强烈。
为测试模型效果，团队输入了4部不同影片的共16个片段，包括：《泰坦尼克号》、《风声》、《老友记》和《在云端》。输入视频的持续时间从2分钟到6分钟不等，每一段剪辑都包含有台词的部分。对于每个剪辑，团队记录使用该系统生成一本漫画书所消耗的时间，并计算平均消耗的时间，来评估系统性能。每段视频生成漫画时间不超过10分钟。作者总结道，与之前方法相比，本研究的方法优于其它方法。
主要体现在以下三个方面：首先，该系统可以为对话生成更丰富的气泡形状，而现有的方法只使用单纯的椭圆词气球；其次，利用文本总结的方法，将一些相关的字幕进行合并，这样可确保文字气泡中的句子不会太长，增强可读性；第三，通过自动获取四个重要参数，来实现全自动多页布局（此前方法多为半自动，需人工干预），且布局结果合理、丰富。虽然已经取得用户好评，但该系统当然称不上完美，仍有一些问题待解决。
比如，对于关键帧的选择，仍然可能有相似度过高的情况出现，这会带来画面的冗余。另外，如果输入的视频没有字幕，那么在生成漫画之前，系统还要首先通过语音识别来提取台词，但是语音识别的结果往往容易出现错误，因此这也是该系统面临的一个挑战。不过，团队表示，相信随着语音识别技术的不断进步，这一问题未来也将迎刃而解。
未来，当这一技术足够成熟，很多视频作品都会多一种打开方式，用漫画的形式来「观看」一部影片，对于读者来说，或许会带来更丰富的想象空间。不同于视频，漫画的画面都为静态，且文字较少但正因如此，读者得以加入更多个人情感与想象。此外，对于普通人来说，不需具备绘画功底，就能轻松将视频转换为漫画，这或许也会像此前能将照片转换为绘画风格图像的Prisma App一样，成为新的大众娱乐工具。
而团队还计划，下一步将这一方法扩展到利用文本信息来生成漫画。也就是说，只要给出漫画剧本，系统就能够自动生成漫画，为漫画师节省大量时间。漫画追剧，岂止是2倍速编辑：CHANchan近期热门文章Top10↓点击标题即可查看↓1.中国的足球队夺得世界冠军！2.今天的文章是冰冰的3.“制冷26℃”和“制热26℃”有什么区别？
| No.2434.走近科学：女子睡醒为何如此疲惫5.-20℃，北京的小伙伴们也可以拥有“泼水成冰”的快乐啦！6.平行宇宙真的存在么？7.300年后，他击败了牛顿8.量子世界里有两只猫，一只是薛定谔的猫，另一只是......9.当AI物理学家玩起捏脸游戏10.如何科学地与天桥上的贴膜小哥对线？点此查看以往全部热门文章阅读原文