前几个月OpenAI大名鼎鼎的Sora 一经发布，似乎象征着视频领域已经进入了生成式 AI 时代。
不过直到今天，我们仍然没有用上OpenAI 的官方视频生成工具，等不及的人们已经开始寻找其他的方法。其中不乏一些国内的厂商如快手的可灵等等。
而在近日，一款全新的开源视频编辑工具 Clapper 引发了人们的关注。与其他的文生视频或者文生视频工具不同，这款工具的设计目的并非取代传统视频编辑器，或使用 3D 场景作为输入的现代 AI 编辑器；其理念是让任何人都可以通过交互式、迭代和直观的过程使用 AI 制作视频，而无需外部工具、电影制作或 AI 工程技能。
Clapper 是一款由 HuggingFace 的 AI 前端工程师 Julian Bilcke 开发的免费开源可视化 AI 视频编辑工具。它集成了多种生成式 AI 技术，让用户能够通过交互式、迭代和直观的过程来创建视频，无需掌握专业的电影制作或 AI 工程技能。
在 Clapper 中，用户可以通过调整高级抽象概念（如角色、地点、天气等）来迭代优化故事情节。而Clapper 的导演模式允许用户向 AI 发出指令，从而进行创作电影。这一工具为视频创作领域提供了一种全新的工作流程和创作方式。Clapper 的作者Julian Bilcke 是 HuggingFace 的一名 AI 前端工程师。他表示，为了向这个方向继续努力，他还在开发导演模式：目标是让使用者可以全屏播放视频，舒适地坐在导演椅（或沙发）上，向 Agent 大喊命令，让 AI 制作电影。
最近几天，Julian Bilcke 已经上线了使用大模型将任意文本转换为时间线等新功能。而 Clapper 的热度也水涨船高，在 GitHub 上已经拥有超过 1100 的 Star 量。
既然是开源工具，我们主要看的当然是具体好不好用。还记得 AI 大咖 Karpathy 制作 AI 短视频的经历吗？为了把《傲慢与偏见》开头的三句话制作成动画，他花费了整整一个小时。
虽然只有三句话和三个场景，但整个流程比看起来复杂得多。他先用 Claude 根据原文生成一系列图像提示词，再将这些提示词输入文本生成图像模型，生成相应的图像，接着使用视频模型制作动画，配音则交给了 Elevenlabs，最后在 Veed Studio 中将所有片段整合起来。完成后，Karpathy 在推特上吐槽道：「创业者们，机会来了！市场上急需一个能够整合并简化这些流程的 AI 工具。」
好巧不巧，Clapper 正是这样一个集成了所有这些功能的一站式平台。
通常情况下，要制作一条短视频，需要经历多个步骤。
首先是构思故事和编写脚本，然后根据脚本绘制分镜图。接下来，根据分镜图进行拍摄或寻找素材，将这些素材在剪辑软件中拼接起来，添加动画效果和特效，最后选择性地添加口播、背景音乐或音效。
正因为这一流程的复杂性，影视制作行业中逐渐形成了编导、导演、摄像、剪辑、后期制作、配音等专业分工。而在 Clapper 中，视频制作遵循一种全新的逻辑。它的每条轨道不再像 Premier、剪映等传统剪辑软件那样对应视频或图片素材，而是对应一个具体的制作环节或工种。
在用 AI 做视频这件事上，我们就是 AI 的甲方，而Clapper 就像一个由业内最强的 AI 组成的剧组。Clapper 内置像 GPT-4o，Claude 3.5（Sonnet）等一系列「顶流」大模型。它就像乙方的执行导演一样，负责将你的需求对接给对应的「AI 编导」。
从上面的图中可以看出，第一条轨道代表着故事版，和 Clapper 内置的大模型对话，它将通过 API 调取文生图模型，让 AI 分镜老师来生成对应的图片，作为视频画面的基础。
以 Clapper 提供的样片为例，接下来的轨道依次对应场景、旁白、摄像机视角、背景音乐和音效。你可以使用 ElevenLabs 或 Fal.ai 为这个西部废土世界的故事生成一些废墟的风声或枪战的爆炸声。此外，Clapper 还具备一项可能让「会说话就能拍电影」这一梦想更接近现实的功能。你可以直接将剧本导入 Clapper，并在「故事」部分为你的主人公精心设计角色设定。
然而，尽管 Clapper 的功能充分考虑了视频制作的需求，其效果却并不尽如人意。画面中的人物动作有些“鬼畜”，不符合物理运动规律。整体视频效果更像是会动的 PPT，缺乏镜头之间的转场和连贯性，配乐有时候也充满了 AI 的痕迹，旋律感不强，甚至还夹杂着一些杂音。可能生成式 AI 想要改变视频制作的流程，还需要很长时间，但 Clapper 的出现或许能给还在给传统视频剪辑软件拓展 AI 功能的大厂们，提供了一条新的落地思路。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/131151.html
摘要：可预见的未来激情赛事已经过半，阿里云视频技术在本次世界杯中也成功落地，而这并不是结局，这是将视频应用于体育行业以及更多其他行业的开端。 本届世界杯互联网直播的顺利进行，离不开各大云计算厂商的支持。在这其中，阿里云是当之无愧的C位，除了优酷外，阿里云还支撑了CNTV、CCTV5客户端，为全网70%的世界杯直播流量保驾护航。 对于世界杯这种超大观看量级、超强影响力的重要体育赛事，阿里云一直...
摘要：就国内市场而言，百度云选择三位一体战略的时候不乏长远性思考。百度云将放在位的另一个用意正是在领域树立差异化优势，并通过等深耕垂直场景。至少就目前来看，百度云已经找到了最适合自己的竞争方式。2018年下半年，To B迎来了从未有过的热度，也把云计算重新捧上了风口浪尖。和几年前新兴业务的身份不同，处于风暴中心的云计算，早已成为互联网巨头和创业者们最激烈的战场，并相继宣布了酝酿许久的动作。阿里在财...
摘要：百度企业智能大会现场新一轮抢滩赛将放在位的百度云，自然有着自己的考量。站在百度云的角度而言，云计算进入到综合实力的较量，恰恰是以己所长攻彼之短的最佳时机。2018年下半年，To B迎来了从未有过的热度，也把云计算重新捧上了风口浪尖。和几年前新兴业务的身份不同，处于风暴中心的云计算，早已成为互联网巨头和创业者们最激烈的战场，并相继宣布了酝酿许久的动作。阿里在财报中努力扩大云计算的占比，并视之为...
摘要：不仅如此，倒霉的不只是文科生，根据剑桥大学的数据，目前热门的工程师居然有的几率被淘汰，程序员也有接近的几率被淘汰。 现如今人工智能已经在很多方面得到了应用落地，通过手机移动端的一些功能和应用程序，我们已经能够很直观地感受到它对我们生活的影响。比如苹果IphoneX的人脸识别功能，包括一些主流app有语音识别和语音对话的功能。 随着AI时代的移动技术革新大会开幕邻近，APICloud创始...
阅读 11·2024-09-23 10:37
阅读 64·2024-09-14 16:58
阅读 55·2024-09-14 16:58
阅读 156·2024-08-29 18:47
阅读 350·2024-08-16 14:40
阅读 134·2024-08-14 17:54
阅读 138·2024-08-13 16:33
阅读 222·2024-08-08 16:39
