今天在 GitHub Trending 上看到一个有意思的项目：OpenMontage，它自称“首个开源的 agentic 视频制作系统”。与市面上常见的“输入提示词、返回一段视频”的 AI 视频工具不同，OpenMontage 把 AI 编码助手当作整个视频制作的 orchestrator，让 agent 按照真实制作团队的流程完成选题、调研、脚本、素材、剪辑与合成。

一、项目概述

OpenMontage 是一个端到端的开源视频生产框架，核心定位是：让用户用自然语言描述需求，由 AI agent 驱动一条完整的生产流水线，从 web 调研、脚本撰写、画面生成、配音配乐、字幕合成到最终渲染输出。

项目仓库：https://github.com/calesthio/OpenMontage

它最鲜明的特点有两个：

  1. Agent-first 架构：没有重型中央编排器，用户的 AI 编码助手（Claude Code、Cursor、Copilot、Windsurf、Codex 等）本身就是导演。所有创意决策、工具调用、质量检查都由 agent 读取 YAML 流水线清单与 Markdown 技能文件后完成。
  2. 支持真正的“视频视频”：很多号称免费的 AI 视频方案只能把几张图片做成 Ken Burns 动画。OpenMontage additionally 可以基于免费素材库（Pexels、Pixabay、Unsplash、Archive.org、NASA、Wikimedia Commons）构建真实运动镜头语料库，通过语义检索剪辑成完整的纪录片式蒙太奇。

二、技术原理

2.1 三层知识架构

仓库用 tools/、pipeline_defs/、skills/ 三层结构把“有什么能力”、“怎么编排”、“怎么用明白”解耦：

Layer 1: tools/ + pipeline_defs/     可执行能力 + 编排契约
Layer 2: skills/                     OpenMontage 使用规范与质量基准
Layer 3: .agents/skills/             外部技术知识包（如具体模型/provider 的用法）

每个工具声明自己依赖的 Layer 3 技能，agent 按层读取后再调用，避免“拿到工具就瞎写 prompt”的问题。

2.2 流水线定义

每条流水线用 YAML manifest 描述，统一走 research -> proposal -> script -> scene_plan -> assets -> edit -> compose 七个阶段。每个阶段都有独立的 stage director skill（Markdown 文件），里面定义了该阶段要做什么、如何自检、 Checkpoint 需要包含哪些字段。

已内置的 12 条流水线包括：Animated Explainer、Animation、Avatar Spokesperson、Cinematic、Clip Factory、Documentary Montage、Hybrid、Localization & Dub、Podcast Repurpose、Screen Demo、Talking Head。

2.3 工具注册与供应商选择

tools/tool_registry.py 提供自动发现能力：新工具只要继承 BaseTool 并放在 tools/ 子目录下，注册表就会自己找到它。调用 registry.support_envelope() 可查看当前环境支持哪些能力，调用 registry.provider_menu() 可查看所有可用供应商。

在供应商选择上，OpenMontage 实现了一个 7 维评分器：task fit（30%）、output quality（20%）、control features（15%）、reliability（15%）、cost efficiency（10%）、latency（5%）、continuity（5%）。每次选择都会记录备选方案、得分与理由，形成可审计的决策轨迹。

2.4 两个渲染引擎

  • Remotion（React/Node.js）：默认用于数据驱动型讲解、图表、字幕、TalkingHead 等场景。
  • HyperFrames（HTML/CSS/GSAP）：用于重动效、产品宣传片、SVG 角色动画等场景。

渲染引擎在 proposal 阶段锁定为 render_runtime，不允许静默切换。不同引擎通过 render_demo.py 和 make hyperframes-doctor 等命令提供独立验证。

2.5 质量门与预算治理

生产流程里设置了多重检查点：

  • Pre-compose validation：在渲染前检查交付承诺是否被违反（比如要求“motion-led”的作品里静态图片占比是否过高），防止浪费 GPU 时间。
  • Post-render self-review：渲染后通过 ffprobe、帧采样、音频电平分析、字幕检查等方式确认输出有效。
  • Budget controls：执行前估算成本、设置消费上限（默认 $10）、单动作超过阈值（默认 $0.50）时暂停等待确认。

三、安装与快速开始

前置要求：Python 3.10+、FFmpeg、Node.js 18+、以及一个 AI 编码助手。

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

make setup 会完成：安装 Python 依赖、安装 Remotion composer、安装 Piper 离线 TTS、缓存 HyperFrames CLI、创建 .env 文件。如果没有安装 make，可以手动执行：

pip install -r requirements.txt
cd remotion-composer && npm install && cd ..
pip install piper-tts
cp .env.example .env

然后打开项目，告诉 AI 助手你想做什么：

"Make a 60-second animated explainer about how neural networks learn"

零 API key 即可跑通基础流程；按需填写 .env 可解锁 FAL、OpenAI、ElevenLabs、Suno、Runway、Kling 等云端供应商。

四、使用方法与实战

4.1 从参考视频开始

OpenMontage 支持把 YouTube、Reel、TikTok 或本地视频作为参考，让 agent 分析其转录、节奏、镜头、风格，然后给出 2-3 个差异化概念、成本估算与样片预览，再进入完整生产。

"Here's a YouTube Short I love. Make me something like this, but about quantum computing."

4.2 纯文本提示生成真实纪录片

如果要求“只用真实素材”，agent 会优先走 Documentary Montage 流水线，从 Archive.org、NASA、Wikimedia 等免费/开放档案中检索运动镜头，剪辑成主题蒙太奇。

"Make a 90-second documentary montage about what a city feels like at 4am. Use real footage only, no narration, elegiac tone."

4.3 低成本动画示例

README 中给出了多个真实成本案例：

  • 60 秒 Pixar 风格动画《The Last Banana》：使用 Kling v3 + fal.ai、Google Chirp3-HD 旁白、Remotion 合成，总成本 $1.33。
  • 产品广告《VOID — Neural Interface》：仅用 OpenAI 一个 API key，总成本 $0.69。
  • Ghibli 风格动画《Afternoon in Candyland》：仅用 FLUX 生成图片 + Remotion 动画，总成本 $0.15。

五、常见问题与解决方案

问题原因/解决方案
make setup 失败检查 Python 3.10+、Node.js 18+、FFmpeg 是否安装；Windows 上 npm install 报错可尝试 npx --yes npm install
没有云端视频生成 API使用零 key 路径：Piper TTS + 免费素材库 + Remotion 或 HyperFrames 动画
有 GPU 想本地跑视频生成执行 make install-gpu，然后在 .env 启用 VIDEO_GEN_LOCAL_ENABLED=true 并选择 wan2.1/hunyuan/ltx2/cogvideo 等模型
想确认当前环境支持哪些工具运行 python -c "from tools.tool_registry import registry; registry.discover(); print(registry.support_envelope())"
输出像“会动的 PPT”这是 slideshow risk 检查点拦截的场景；检查 scene plan 中 motion intent 是否明确、素材是否以真实运动镜头/AI 视频为主
渲染失败但无错误先跑 make hyperframes-doctor 或 make test-contracts，确认 runtime 环境与契约测试是否通过

六、总结

OpenMontage 不是又一个“输入 prompt、出一段视频”的工具，而是一套把视频制作工程化的 agent 框架。它通过流水线清单、技能文件、供应商评分、质量门与预算治理，把 AI 编码助手变成一个可审计、可复现、可协作的虚拟制作团队。对于希望用 agent 自动化长视频/短片生产、又不想被单一 SaaS 锁定的开发者和创作者，OpenMontage 提供了一个值得长期关注的开源基座。