DramaPilot · 把已有短剧改编给新的观众
面向短剧创作者的本地化 Agent 项目：协调角色视觉、语言表演和文化背景三层改编。首个目标市场是美国，目标语言是美式英语。
当前版本是 可运行的离线工程原型。可以运行改编计划、模拟生成任务、故障恢复、测试片合成和审阅报告；尚不能上传一部真实短剧就自动获得本地化成片。没有验证真实换角色、英文配音、口型或文化质量。默认演示不需要 API Key，不调用收费模型。
下载工程预览 · 快速运行 · 痛点 · 工作流程 · 竞品调研 · 更多文档
它解决什么问题
一位创作者已经制作了一部中文短剧，希望把这个故事带给美国观众。视频文件可以直接传过去，但故事的表达方式未必能直接迁移。
| 遇到的问题 | 只做字幕还缺什么 | DramaPilot 希望解决什么 |
|---|---|---|
| 角色与视觉设定：原角色、服装和环境可能不符合新的故事设定 | 字幕不会改变人物形象，也不会修复相邻镜头中角色长相不一致 | 按创作者选择的虚构选角方案重塑角色，保持人物、服装和场景连续 |
| 语言与表演：中文对白、情绪和节奏不能直接照搬 | 字面翻译可能生硬；英文变长后，声音、嘴型和字幕可能错位 | 改写自然对白，固定角色声音，协调配音、口型、字幕和背景音 |
| 文化与行为：称谓、梗、仪式和社会关系依赖中国背景 | 翻译了词语，观众仍可能不知道人物为什么生气、受辱或反抗 | 保留冲突和人物动机，必要时一起改对白、动作、道具和场景 |
这里的“视觉本地化”不是自动判断演员的人种，也不是把美国视作单一族群。创作者选择具体受众和虚构角色设定；保留原角色、保留中国背景也应是有效选项。是否需要重新选角，应由故事目标和受众反馈决定。
用一个小故事理解
以下是项目自编的说明性情节，不来自某部真实短剧，也不是观众偏好实验的结论。
原场景： 一名成年角色因为婚姻进入强势家族，却被挡在宗祠门外。对方说：“你只是个赘婿，没资格进这个门。”
要保留的故事是：被当作外人 → 遭到排斥 → 决定反抗。需要讨论的不只是单个词怎么翻译，还有这个冲突在目标版本里怎样成立。
| 改编层 | 一个美国版候选 | 为什么要一起改 |
|---|---|---|
| 文化 | 宗祠门口改为当代家族私人晚宴，被拒绝入席 | 把“没有资格进入家族核心”的戏剧作用落到新的场景 |
| 语言 | “You married into this family. That doesn't give you a seat at this table.” | 传递排斥和权力关系，而非逐字解释“赘婿” |
| 视觉 | 创作者选定两名虚构成年角色，更新服装、餐桌和阻拦动作 | 如果对白说餐桌，画面仍是宗祠，改编就不自洽 |
| 连续性 | 第一个人隔了一个镜头再次出现时，仍使用同一角色参考 | 单张脸好看不代表三镜头能接成同一场戏 |
当前程序中的剧情与英文台词是预先编写的测试输入，不是系统已经理解视频或自动写出的结果。演示视频只有带水印的色块和测试音。
一步步怎样做
视频理解 → 源资产提取与重建 → 目标市场文化改编 → 改编方案与预算确认 → 逐镜头视频制作 → 合成、审阅与局部修复 → 最终确认与发布。
这是 v0.3 产品方案；当前软件仍为 0.2.0 工程预览 / 0.2.1 契约。下面逐项区分目标与现有能力。
| 步骤 | 创作者会得到什么 | 为什么这样安排 | 当前版本 |
|---|---|---|---|
| 1. 视频理解 | 镜头、对白、人物、动作和文化线索及其源时间位置 | 先弄清原片表达了什么，标出不确定项 | 仅本地文件身份与 hash 检查；自动识片待开发 |
| 2. 源资产提取与重建 | 原剧本、人物关系、角色/场景参考、原分镜及必要的源白模 | 优先复用剧本/SRT等已有资产；观察、推断与近似重建分别记录 | 有源资产包与证据记录校验；实际文件导入及白模待开发 |
| 3. 目标市场文化改编 | 新剧本、角色图、场景图、目标分镜及必要的目标白模预演 | 保留故事核心，协调文化、视觉、语言；允许拆镜、合镜和新增镜头 | 有独立目标分镜的实验契约；制作任务接入与媒体生成待开发 |
| 4. 改编方案与预算确认 | 可审阅的制作包、确切版本、路线、费用和修复范围 | 确认看过的具体方案后再批量制作，改稿能追溯 | 有制作包元数据校验和可信 fixture 执行边界；创作者确认流程待开发 |
| 5. 逐镜头视频制作 | 每镜编辑、重生成或复用的结果及声音 | 不同文化改动需要不同制作路线；按目标对白确定表演时长 | 持久任务、预算预留与模拟供应商已实现；真实生成未运行 |
| 6. 合成、审阅与局部修复 | 成片、字幕、分层问题清单和局部修复版本 | 问题返回对应环节，只重做实际受影响的内容 | 有测试片合成、HTML报告和部分依赖检查；新资产依赖待开发 |
| 7. 最终确认与发布 | 创作者确认的导出包或指定平台发布记录 | 最终确认绑定实际成片，成片修改后需重新确认 | 有本地审阅导出；成片发布确认和平台发布未实现 |
白模视频是用简化人物和场景排练动作、站位、机位与节奏的预览视频。源白模用于近似重建原片，目标白模用于检查改编是否拍得通；它不是最终成片，也不是每个镜头都必须制作。第一版计划做本地 2D 占位预演，自动从视频逆向三维白模属于后续研究。当前色块测试片不具备白模能力。
如果前面的理解、角色图或预演需要收费，须在对应调用前确认其素材范围和额度；第4步的制作包确认不代替这些前置约定。当前演示全程使用本地固定输入与模拟任务。
为什么要用 Agent，以及 DSH 做什么
普通工具擅长执行一项操作，比如配音、编辑画面或对口型。这个项目关注的是决定如何组合这些操作、追踪它们的依赖，并在失败或修改后继续工作。
DeepSeek Harness（DSH） 是运行 Agent 的底座，负责工具和任务运行。DramaPilot 提供短剧改编的数据结构和工具；未来接入的视频、声音模型负责实际生成；FFmpeg 负责本地媒体处理。DSH 自身不是视频生成模型。
flowchart TD
A[视频理解] --> B[源剧本、人物、场景、分镜与必要白模]
B --> C[目标文化改编：新剧本、角色图、场景图、分镜与预演]
C --> D[制作包与预算确认]
D --> E[逐镜头编辑、重生成或复用]
E --> F[声音、口型、字幕、合成与审阅]
F --> G[创作者最终确认、导出与发布]
F -->|局部镜头问题| E
F -->|剧情或文化问题| C
DSH 贯穿这些阶段，调用结构化工具并记录状态；图中新增环节是开发目标，不表示当前插件已实现全部流程。
开发基线固定为 DSH 0.1.5-rc.2，提交 fb2c4b9e698e30edb738bca4cf0618587db7d203。这是本项目验证的版本，并不表示它永远是 DSH 最新版本。协议测试直接调用真实 DSH 工具接口；没有据此宣称已验证模型自主完成整条链路。
竞品调研带来了什么判断
我们按“是否能改变角色、执行目标对白、完成文化相关画面改动”调研，而不把通用剪辑软件都当作直接竞品。以下来自 2026-09-14 的官方产品/API 文档研究，没有对这些商业产品进行同素材付费对比。能力和账户条件可能更新。
| 类别与代表 | 可研究的能力 | 对本项目的启发与边界 |
|---|---|---|
| Flawless TrueSync | 保留原演员的视觉译配 | 译配和重新选角是两件事；影视精修仍是重要参考 |
| HeyGen、Rask | 视频译配、口型及部分改稿控制 | 必须确认最终音轨执行的是已批准台词，不能只看“支持多语言” |
| ElevenLabs、Deepdub | 声音与译配能力 | API、网页工作台和企业套餐权限需分别核查；声音能力不等于画面重塑 |
| Runway Aleph、Luma | 对已有镜头的角色、服装或环境编辑 | 是视觉候选组件；跨镜头一致性和原表演保留仍需实测 |
| Vidu | 参考角色驱动的镜头生成 | 可研究重新演绎，但不能当成无损修改原片 |
| Sync | 目标音频驱动的口型与说话人分段 | 适合解耦后的声音/口型流程，不负责文化判断 |
我们的判断： 现有能力可以成为组件，但本轮研究没有足够证据证明某个单一产品可以稳定、自动完成一整部多角色短剧的三层改编。这是项目的待验证机会，不是“市场没有竞品”或“效果一定更好”的结论。
开源方面研究了 Wan Animate、LatentSync、MuseTalk、VideoReTalking、HuMo、Phantom 和 CosyVoice。它们分别覆盖人物动画、口型、参考生成和声音，尚未集成到本项目。显存、代码许可、模型权重许可和附加依赖必须分开考虑。见研究与选型记录。
几个关键设计取舍
- 按镜头决定编辑还是重生成。 动作能保留的镜头优先研究原片编辑；文化动作和空间逻辑改变时，研究重新演绎。整部剧统一换脸并不能解决所有问题。
- 先核对源资产，再固定目标制作包。 源剧本和目标剧本分别保存；目标分镜可拆分或增加镜头。剧本、角色、场景和必要预演通过后锁定版本，改稿按具体依赖重做。
- 提交前记账，结果未知时暂停重发。 假如供应商已接受任务但回执丢失，系统保留预算和未知状态。换一个任务编号也不应绕过这条约束。
- 先用模拟故障验证工程行为。 模拟丢回执、轮询超时和进程重启，比一开始用收费生成查编排缺陷更可控。模拟通过不能证明真实供应商同样可靠。
- 白模按需使用，并先核对目标语言时长。 简单镜头可直接使用分镜；动作、空间或节奏复杂的镜头先预演。自动逆向三维与手工2D预演分别标注。
- 技术通过和内容通过分别记录。 视频可解码、引用版本正确，不代表英文自然、角色一致或文化表达合适。
当前审阅报告长什么样
下图来自本地实际运行，展示预编写样例的改编说明。它不是上传界面或真实成片效果图。
快速运行
适合愿意在本地运行命令的开发者。当前没有面向普通创作者的上传网页；不了解代码也可以先阅读上面的故事示例与流程。
1. 不安装视频工具，先看改编与任务报告
安装 Node.js 24.x（本项目验证版本为 24.15.0）与 Git，然后运行：
git clone https://github.com/tanweiping1012-source/DramaPilot.git
cd DramaPilot
npm ci
npm test
npm run demo
终端会打印审阅报告的绝对路径，在浏览器打开对应 HTML。报告包含固定的源情节、目标改编、英文台词、模拟任务和待审项目。demo.json 保存运行摘要。此模式不生成视频；模拟金额不是实际收费。
2. 可选：生成并合成 7 秒测试视频
另外安装带 drawtext、H.264 和 AAC 支持的 FFmpeg/ffprobe，并确保命令可用。字体要求和自定义工具路径见运行说明。
npm run fixture:media -- .runtime/color-fixture
DRAMAPILOT_FIXTURE_DIR=.runtime/color-fixture npm run demo -- .runtime/video-demo
测试视频由三个带 FIXTURE ONLY 水印的色块镜头和测试音组成，共 175 帧、25fps。它用于验证文件、拼接和时间线，不是本地化效果展示。使用新的 fixture 输出目录；不要覆盖已保留的运行证据。
3. 可选：查看新工作流契约样例
使用仓库最新源码；旧 v0.2.0-engineering.1 下载包不包含此实验模块。
npm run demo:workflow
输出自编的源/目标镜头映射、2D预演计划、制作包快照和旧数据迁移缺项，演示拆镜、合镜与新增反应镜头。仅验证元数据，没有白模或视频输出。 使用独立实验契约0.3.0-draft.1，旧DSH工具仍使用0.2.1。见运行说明与边界。
4. 可选：在真实 DSH 中验证插件
npm install --prefix .runtime/dsh-install --ignore-scripts --save-exact @deepseek-ai/dsh@0.1.5-rc.2 pnpm@11.7.0
npm run smoke:dsh
此命令使用项目独立的 DSH 配置目录，通过真实工具接口验证插件及模拟任务，不发起模型推理。源码安装与发布包使用方式见运行说明。
已完成与下一步
| 范围 | 状态 |
|---|---|
| 改编、角色、对白、镜头及媒体引用的数据契约 | 已实现；契约版本 0.2.1 |
| 本地模拟供应商、持久状态、费用预留和异常恢复 | 已实现；正式验收范围见验证记录 |
| FFmpeg 测试片、字幕、音轨合成与审阅报告 | 已实现；不等于真实质量通过 |
| DSH 插件与无模型推理的协议检查 | 已实现；固定预发布版验证 |
| 新工作流draft契约：源资产、独立目标分镜、预演计划与制作包元数据 | 已有独立实验模块；文件导入、渲染和可信制作确认待开发 |
| 源白模、目标白模预演、对白试读与时长检查 | 时长元数据已校验；白模渲染和真实对白试读待开发，现有色块片不能替代 |
| 自动理解真实视频、模型自主提出改编 | 尚未实现自动识片，模型自主改编未验证 |
| 真实角色重塑、英语表演、口型与文化场景改编 | 尚未运行 |
| 印尼版本、整集处理、创作者上传界面 | 后续范围 |
下一里程碑是新链路的无收费工程闭环：用自编输入走通“源资产包 → 目标改编/分镜 → 本地2D预演 → 制作包冻结 → mock制作 → 一次局部修改 → 确认导出”。具体责任、依赖和完成标准见路线图。
之后才以获准素材验证三镜头，再制作 20–40 秒真实场景，完成两角色视觉、英文表演、文化改动和一次局部修复。真实生成与三维逆向研究须另行确定供应商、素材范围和费用额度。
试片成本方案把生成用量、订阅和充值分开列出，数字是特定媒体试片的预算估计，尚未覆盖新链路的理解与白模成本，不是已测得的全流程成片成本。项目尚无用户增长、投放效果或质量提升数据。
继续阅读
- 新链路详解：每一步的输入、输出、判断与白模位置。
- 可运行的工作流draft：新契约样例、校验入口、旧数据迁移和未实现边界。
- 架构增量：源/目标分镜、预演、版本与变更依赖的设计。
- 开发路线图与任务：里程碑、责任、依赖、验收标准与 GitHub Issues。
- 研究与选型记录：商业竞品、开源项目、选择原因与未验证项。
- 运行与故障说明：前置环境、DSH、输出目录和常见问题。
- 工程验证记录：测试范围和真实生成边界。
- 真实试片成本方案：两个实验阶段与费用口径。
- 贡献指南：开发方向和提交要求。
许可与项目关系
本仓库自有代码与自编样例采用 MIT License。依赖、外部模型、字体与第三方素材不因此获得相同许可；本仓库不分发模型权重、第三方短剧或 FFmpeg 二进制。见第三方说明。
DramaPilot 是独立社区项目，与 DeepSeek、TikTok、红果及文中供应商不存在官方隶属或背书关系。
No comments yet. Be the first to write one.