做短剧的朋友算过账没有:画面靠视频模型已经很便宜了,声音还在按字数给 ElevenLabs 付费,或者在 GPT-SoVITS、CosyVoice、IndexTTS 之间来回装环境。
VoiceStudio 想把这些收进一个桌面应用里:克隆声音、凭一段描述“设计”新声音、给整段视频配音、做有声书、听写转写,全部在本机跑。它在 GitHub 上已经 63.7k star,10 月 14 日还以单日 +1748 star 挂在 Trending 前排;10 月 13 日发的 v0.5.7 让没有独立显卡的电脑也能装了。

(图:VoiceStudio 仓库 README 中的界面导览动图)
它其实是个“引擎调度台”
VoiceStudio 自己不训练模型,默认引擎是 k2-fsa 的 OmniVoice,在模型目录里(Ctrl/Cmd+E)可以切换十几种:
| 引擎 | 设备 | 适合 |
|---|---|---|
| OmniVoice(默认) | CUDA / MPS / CPU | 通用克隆,建议 6GB 以上显存 |
| OmniVoice GGUF | CUDA / MPS / CPU | 小显存、纯 CPU 机器 |
| IndexTTS 2.5 | CUDA / CPU | 情绪戏:支持情绪参考、情绪向量、文字指定情绪 |
| CosyVoice 3 / GPT-SoVITS | CUDA / 外部服务 | 中文社区老朋友,可以直接接进来 |
| VoxCPM2 | CUDA / MPS / CPU | 克隆 + 声音设计 |
| MLX-Audio | Apple Silicon | Mac 用户 |
识别这边默认 WhisperX(词级时间戳 + 说话人分离),中文可以换 FunASR(SenseVoice)。
视频配音怎么跑
一次配音分五步:提取音频并分离人声 → 转写(带说话人)→ 翻译(接大模型时并行 6 路)→ 逐段合成 → 混音导出。最慢的是逐段合成,每段的精确对齐由最后的“贴合”阶段负责。
克隆参考音频的几条经验,文档里写得很细:
- 推荐 5–15 秒干净人声,最长 75 秒
- OmniVoice 最多用 20 秒,更长时会自动挑出说话最密集的 15 秒
- 参考超过 20 秒又手动附了整段文字稿,会报
clone_ref_too_long,把音频和文字裁成同一段就好 - 生成突然变慢、CPU 跑满,先看声音档案的“文字稿”是不是空的,空的话每次都要多跑一遍识别
能接进 Agent 流水线
打开应用就有一个 MCP 服务(默认 http://localhost:3900/mcp/),提供 generate_speech、clone_voice、design_voice、transcribe 等工具,“集成”页能直接导出 Claude Code、Cursor、Codex 的配置。前两天聊的 OpenFilm 这类 Agent 出片项目,配音环节就可以换成本地的了。建议设 OMNIVOICE_MCP_OUTPUT_MODE=files,让音频落盘只回传路径,别让 base64 把上下文撑爆。
v0.5.7 要留意的两个变化
- 无独显电脑可用:装约 5GB 的 CPU 版 PyTorch,能用但慢不少,建议配 GGUF 或轻量引擎;Windows 上 AMD、Intel 显卡仍然走 CPU
- 默认模型要先接受许可:OmniVoice 等没有明确商用许可的模型,要在模型目录里点一次接受,否则 API 和 MCP 会返回许可错误。另外远程算力、GPU 共享这些功能挪到了付费 Pro 版,“配方”、监听文件夹和声音克隆仍然免费
安装:macOS / Linux 用 curl -fsSL https://voicestudio.sh/install | sh,Windows 用 PowerShell 运行 irm https://voicestudio.sh/install | iex,也可以去 Releases 下载安装包。安装包没签名,首次打开会弹信任警告。
授权别忽略
应用是 AGPL-3.0,但模型授权要逐个单独看,README 写明应用许可不包含模型权利,audio.cpp 的 Breeze-TTS-2 权重就是仅限非商用。克隆真人声音一定先拿到本人授权,README 原话就是“Clone voices only with permission”。
官方基准表现在还是空的,维护者在等社区交数据。有在用的朋友,可以说说你的显卡、用的哪个引擎、配一分钟视频要多久?中文情绪戏 IndexTTS 2.5 和 CosyVoice 3 哪个更顺?
更新日志:VoiceStudio/CHANGELOG.md at main · debpalash/VoiceStudio · GitHub
引擎指南:VoiceStudio/docs/engines/README.md at main · debpalash/VoiceStudio · GitHub
官网:https://voicestudio.sh