让Sora帮忙剪片？Adobe为Premiere Pro引入生成式AI工具

Adobe公司的Premiere Pro自1991年末Mac版“Premiere”的惊艳首秀以来，长期是世界上最受欢迎的视频剪辑软件之一，如今已经被全球各地的影视剪辑师及独立影视制作人所采用。而随着生成式AI技术的迅速崛起，Premiere即将迎来其诞生33年以来从未有过的重大改造。

日前，Adobe公司宣布将更新Premiere Pro，向其中添加来自新兴第三方AI视频生成器模型的插件，具体包括OpenAI的Sora以及竞争对手Runway ML Gen-2和Pika 1.0。

此举不仅将把这些AI工具推向更多潜在用户，如果事实证明此番AI集成确实能够在Adobe 3300万Creative Cloud付费用户——哪怕只是一部分——所认可并接纳，也完全有可能给视频制作领域带来前所未有的计算机化浪潮与革命性转型。

凭借这些新增功能，Premiere Pro用户将能够剪辑并处理传统摄像机捕捉到的实景视频，并将其与AI素材加以混合。设想一下，我们可以拍摄某位演员逃离怪物的场景视频，再用AI技术生成怪物本体——完全无需任何道具或服装，两段素材可以在同一编辑器内处理并整合进单一视频文件之内。而制作流程更为成熟的动画绘制（纯计算机动画加手绘帧）也是如此，动画内容同样可以轻松与Premiere Pro提供的AI素材混合并生成单一文件。

正如Adobe公司在其官方网站的新闻稿中所指出：“早期探索表明，专业视频剪辑人员有望利用集成在Premiere Pro中的OpenAI与Runway视频生成模型输出丰富内容，并将其添加至自己的影视项目当中。我们还发现，Pika Labs能够与Generative Extend工具结合使用，在镜头结束后再添加几秒钟的延续画面。”

此番尝试背后是一个有趣的理念，Adobe公司解释称：“展望未来，我们相信将有成千上万种专业模型不断涌现，每种模型都将在相应的小众市场中表现出色。Adobe公司数十年的AI应用经验表明，只有将AI生成内容顺畅纳入日常工作流程，这项技术才能真正发挥出最大价值。对于大多数Adobe客户而言，生成式AI将成为探索创意的新起点与灵感来源。”

Adobe还发布了一段预览视频，展示了添加第三方AI视频生成器之后的视频剪辑工作流程。

目前尚无时间表或具体发布细节……

Adobe方面尚未确定何时将这些第三方AI视频生成器整合至Premiere Pro当中，而且具体细节似乎也没有最终敲定，毕竟多数第三方工具还涉及付费订阅问题。当前公布的早期预览视频也很少，Sora这边甚至没有任何素材公开。
此外，Adobe还提到自家内部生成式AI产品（Firefly及Generative Fill等），强调其模型是根据Adobe拥有或已获得许可/有权使用的数据进行训练的，包括Adobe Stock图像贡献者内容。

这与Adobe的AI赔偿承诺遥相呼应，该项政策着力将Adobe定位为值得信赖的AI工具与产品供应商，帮助企业客户消除由潜在法律纠纷、问题以及部分艺术家及创作者针对Adobe的普遍批评所引发的AI应用担忧。

据推测，Adobe Premiere Pro中使用的第三方工具恐怕得不到赔偿承诺的保护，但Adobe在此次新闻稿中确实声明称：“Adobe承诺提供内容凭证——包括为用于制作在线内容的自由开源技术添加标签，明确标记由AI应用生成的资产。这样用户可以观察到内容的制作过程，以及Adobe平台在使用哪些AI模型创建影视内容。”

此外，就在上星期，彭博社报道称Adobe曾利用竞争对手AI艺术生成器Midjourney的图像对自家Firefly进行训练。Midjourney本身基于开源AI模型Stable Diffusion，其在训练过程中使用的是来自众多来源的公开抓取及受版权保护的网络数据。

截至目前，Firefly仍仅适用于视频生成

与此同时，Adobe公司日前还公布了Firefly文本到图像版本的生成器模型，据称将在“今年晚些时候”登陆Premiere Pro，从而在该软件中建立起一套全新的“生成式AI工作流程”与功能组合。

其中包括“生成式扩展”，可以让视频剪辑与电影制作人“无缝添加新帧以扩展片段时长”，而无需补拍任何新镜头——这很可能会成为一项实用意义巨大的省钱妙招。Adobe还指出，这项技术还有助于实现更平滑的过渡效果，拉长收尾过于仓促的影视片段，包括在某个特定时刻 或动作上停留更长时间。

Firefly for Video还将帮助Premiere Pro用户实现更加智能的“对象检测与删除”功能，其本质就是突出显示视频中的特定对象（包括道具、角色、服装、风景等），由AI模型跨不同画面帧对其进行持续跟踪。以此为基础，用户还可以使用生成式AI将这些对象编辑为新对象，借此快速更改角色的服装或道具，甚至跨多个视频片段及摄像机角度完全删除该对象。

最后，Firefly for Video还将附带文本到视频图像生成器，其效果号称可以与Sora、Runway、Pika及Stable Video Diffusion相媲美。但在亲自上手体验之前，很难说该模型在还原用户文本提示词的质量和准确性上，到底能不能跟那些更加成熟的AI视频生成器比肩。

电影制作人及创意人士表示热烈欢迎

尽管目前只开放了预览版本，但Adobe针对Premiere Pro打造的新一代AI集成功能已经在电影制作人和社交媒体创意人士当中获得了热烈响应，特别是那些已经尝试过利用AI技术制作视频的群体。

创意工作室Secret Level电影制片人兼创始人Jason Zada在LinkedIn上的评论中写道：“如果这项技术切实有效，那么AI将帮助每一位从业者提升工作效率。”

电影导演Kevin K. Shah也在同一条帖子中回复称：“这对我的真人电影拍摄工作很有帮助。”

AI行业意见领袖、谷歌地图AR/VR团队前成员Bilawal Sidhu也在X上发帖指出，将第三方AI视频模型引入Premiere Pro的提议：“对于创意人士们来说无疑值得期待，因为AI生成模型已经在产出各种令人惊叹的内容，绝对有必要将这种新能力添加到视频编辑工具当中。”