AI科幻电影《创世纪》预告片震撼登场，从视频合成到配乐剪辑，全由AI操刀完成。最近两天，一则时长不到一分钟的科幻电影预告片《Trailer: Genesis》（《创世纪》）在社交媒体上火了起来。更「科幻」的是，从图像视频合成、音乐到剪辑，所有一切都是由AI完成的。
制作者Nicolas Neubert列出了对应的AI工具，其中Midjourney处理图像、Runway处理视频、Pixabay处理音乐、CapCut剪辑视频。Midjourney是大家熟悉的AI绘图神器，目前已经更新到了5.2版本。Runway是基于AI的视频制作生成工具，目前Gen-2已经开启免费试用。
CapCut剪辑工具对所有人免费，不过也可以选择在Adobe Premier或Final Cut Pro中剪辑。
据了解，Neubert花了7个小时，Midjourney生成了316条提示、放大了128张图像，Runway生成了310个视频，还有一个带有文本的视频，预告片中共使用了44个视频。
今天，Neubert更是撰写了一篇长文，详细介绍了《创世纪》的制作过程，包含了具体流程、如何使用上述AI工具。我们一一来看。关于电影想法，他表示自己反乌托邦主题的想法来自自己看过的几部电影，并以它们为基础编写了一个故事。正式制作的第一步是构建世界和故事。对于预告片《创世纪》的故事情节，Neubert想一步步地增强紧张感。因此定义了以下3个阶段：1.设置场景2.引入威胁3.CTA中的高潮。
具体地讲，Neubert先制作预告片的第一个文案草稿，包括「分享一切、承担后果然后呼吁人类采取行动」。这样定义了整体基调后，他开始围绕这些主题生成相应的场景。
Neubert滚动了大量有关环境、军事科技、战斗主题的人类和科幻剪辑，然后从中收集到一个故事。同时为了增加一些深度，他添加了三个带有发光护身符的孩子的镜头，暗示了更深层次的故事情节。第二步是在Midjourney中生成连续的图像。
这里要特别注意提示（prompt）。Neubert对自己在以往帖子中获得的稳定提示进行了优化，创建了一个模板，这样在预告片的每个镜头中都能重复使用它。模板如下：___________，星球大战、风格为精细的人群场景、朴实的自然主义、青色和黄色、寒霜朋克、室内场景、cinestill 50d—ar 21:9—原始风格。
对于每个场景，他都会用自己想要的场景来填补空白，确保其他tokens最大限度地保持主题、颜色和照明的连贯性。此外利用强变化（Strong Variations）功能，使得更容易创建不同的场景，同时保留之前的调色板。
第三步是在Runway中生成动画图像。Neubert发现这一步是最简单的。在设置上，他总是尝试激活放大（Upscaled）模式。
不过该模式常常遇到面部问题，所以针对人物镜头，他通常使用标准质量。值得注意的是，他没有使用文字提示与图像提示相结合的方式，而是拖放一张图像并重新生成它，直到得到自己满意的结果。最后一步是在CapCut后期剪辑。在Midjourney和Runway生成输出的同时，Neubert首先放置自己知道将发挥重要作用的关键场景。就预告片而言，他认为外景镜头将成为开场。接着开始计划文本。
当根据音乐来定位文本时，时间轴中没有任何剪辑，这是有可能的。他在不到一个小时的时间里就按照时间线编好了内容并定了位。这对生成图像很有帮助，你需要一个额外的固定点来考虑仍然缺少了哪些场景。
具体的步骤变得很简单，生成剪辑→将它们拉入CapCut→放置在时间轴上，然后慢慢拼凑故事。他还对2到3个编辑包进行了颜色匹配，让它们看起来更像宏大的电影场景。使用CapCut唯一需要的技巧是对剪辑进行节拍的同步。
当音乐中出现「BWAAA」时，他总是尝试连接剪辑内的动作或者排列后面的剪辑。这会令整个序列更有身临其境的感觉。此外Neubert还考虑了如何在剪辑中加入大量的动作。这里他使用了两个技巧来增加动作。第一个技巧：Runway会接收一张图像，然后根据模型计算哪些部分应该进行动画处理。他对这个思路进行了逆向工程，尝试在Midjourney中输出暗示运动的图像。
这意味着可以在镜头中加入运动模糊或者可以捕捉移动头部或人物的静止图像。第二个技巧：当你分析Runway视频时会发现，在4秒剪辑中，场景经常发生很大的变化。因此在预告片场景中，他只使用了完整的4秒剪辑两次。所有其他剪辑的长度均为0.5-2秒，并将剪辑的速度提高了1.5-3倍。这样做的原因是，作为观看者，你只能看到时间很短的剪辑，因而会在场景中感知到更多运动，本质上是快进了该部分。
一番操作下来，最终呈现出给大家的就是开头的那个震撼的《创世纪》预告片。该预告片也得到盛赞，有人表示，这是自己至今为止看过的最好的Runway生成视频。其实，在Runway Gen-2可以免费试用后，不少网友大开脑洞，将它与Midjourney结合起来，大胆创作。Midjourney+Runway：神奇的AI创作工具组合。这里与大家分享一些其他的生成用例。
Runway对与人物动作细节的把握也是较为准确的。在网友申城的视频中可以看到，人物眼睛的细节让动态视频更加传神，也可以说了平添了几分「演技」。来源：https://twitter.com/OrctonAI/status/1682420932818661378。图片动起来之后，人与马在夜色中的动作十分自然，对于人物，甚至后续动作的想象空间也有了更大留白。
来源：https://twitter.com/OrctonAI/status/1682420932818661378。Midjourney与Runway的组合看起来很是无敌，在人物关键动作上能刻画出适当的故事感。推特：@ai_insight1。还有一些变化更加丰富，也更具创意的生成结果。推特@kkuldar。推特：@Akashi30eth。
也有网友利用一系列AI工具生成视频短片，可是结果似乎不尽人意。推特用户@nickfloats使用ChatGPT撰写脚本、Midjourney生成图像、Runway生成视频、Triniti生成音乐、Eleven Labs AI配音，剪辑就将其简单的拼接在一起，不做其他调整。ChatGPT撰写的脚本。网友记录了自己制作的全过程，想看看全程使用AI制作广告短片需要多久。
在经过45分钟之后，成片出来了，它的效果如何？这名网友对这个短片成果的评价是「The ad sucks」。这广告中，人物的动作僵硬，画面的逻辑关系不强，整体也很难凸显出想要表达的主题。AI的通力合作似乎并没有出现惊喜，反而是「惊吓」更多一些。与《创世纪》相比，这个广告短片时长是它的一半，但是用时极少。其中最大的差异就是人类参与的细节。它没有仔细斟酌后的主题、追求连贯的不断调整以及对细节的高要求。
如果只让AI来参与，或是只根据AI的生成来产出作品，显然还不能够由高质量的成果。人类对它们的应用和调整似乎才能体现这些工具的真正价值。