Genjustsu:开源的 AI 视频换角流水线,深度图 + SAM 3 + Seedance,原声保留

想把一段视频里的人换成自己的角色、又不想手工抠像的,可以看看 Genjustsu。这是 TEIN 10 月 6 日开源的一套本地工作流,MIT 许可,我们看的时候 GitHub 已经 500 多 star。

它把换角拆成了一条固定的流水线,大致是:

  1. 抽出原视频音轨,用 Demucs 分离人声和音乐
  2. 视频统一到 24fps,用 depth-anything-video 出彩色深度图
  3. 用 SAM 3 把主体切出来,合成回原背景
  4. 全片 mask 必须人工审一遍才能往下走,审批和当前产物绑定,改了就要重审
  5. 交给 Seedance(通过 Enhancor)按角色参考生成草稿
  6. 草稿确认后再出 1080p 成片,最后把完整原始音轨贴回去

比较实用的两点:一是先出草稿、批准后才生成高清,能省不少钱;二是仓库里带了 AGENTS.md 和 skill 文件,可以直接让 Claude Code、Codex 这类 agent 读说明帮你装好跑起来,还有 doctor.py 自检。

门槛方面:托管模式不需要本地 GPU,要 Python 3.12+、Rubber Band 和 cloudflared(macOS 下 brew install rubberband cloudflared),另外需要自己的 Enhancor API Key 和 Replicate Token。生成都走 API 计费,项目里写的“最低价”“无限制”是宣传说法,以实际账单为准。

注意:换角属于深度合成,用真人素材一定要拿到肖像授权,发布时按平台要求标注 AI 生成。

有人拿它做过短剧镜头的换角吗?想知道批量处理时 mask 审核这一步要花多少时间。