VoiceStudio:63k star 的本地版 ElevenLabs,克隆、配音、有声书一个桌面应用搞定

做短剧的朋友算过账没有:画面靠视频模型已经很便宜了,声音还在按字数给 ElevenLabs 付费,或者在 GPT-SoVITS、CosyVoice、IndexTTS 之间来回装环境。

VoiceStudio 想把这些收进一个桌面应用里:克隆声音、凭一段描述“设计”新声音、给整段视频配音、做有声书、听写转写,全部在本机跑。它在 GitHub 上已经 63.7k star,10 月 14 日还以单日 +1748 star 挂在 Trending 前排;10 月 13 日发的 v0.5.7 让没有独立显卡的电脑也能装了。

VoiceStudio 界面导览

(图:VoiceStudio 仓库 README 中的界面导览动图)

它其实是个“引擎调度台”

VoiceStudio 自己不训练模型,默认引擎是 k2-fsa 的 OmniVoice,在模型目录里(Ctrl/Cmd+E)可以切换十几种:

引擎 设备 适合
OmniVoice(默认) CUDA / MPS / CPU 通用克隆,建议 6GB 以上显存
OmniVoice GGUF CUDA / MPS / CPU 小显存、纯 CPU 机器
IndexTTS 2.5 CUDA / CPU 情绪戏:支持情绪参考、情绪向量、文字指定情绪
CosyVoice 3 / GPT-SoVITS CUDA / 外部服务 中文社区老朋友,可以直接接进来
VoxCPM2 CUDA / MPS / CPU 克隆 + 声音设计
MLX-Audio Apple Silicon Mac 用户

识别这边默认 WhisperX(词级时间戳 + 说话人分离),中文可以换 FunASR(SenseVoice)。

视频配音怎么跑

一次配音分五步:提取音频并分离人声 → 转写(带说话人)→ 翻译(接大模型时并行 6 路)→ 逐段合成 → 混音导出。最慢的是逐段合成,每段的精确对齐由最后的“贴合”阶段负责。

克隆参考音频的几条经验,文档里写得很细:

  • 推荐 5–15 秒干净人声,最长 75 秒
  • OmniVoice 最多用 20 秒,更长时会自动挑出说话最密集的 15 秒
  • 参考超过 20 秒又手动附了整段文字稿,会报 clone_ref_too_long,把音频和文字裁成同一段就好
  • 生成突然变慢、CPU 跑满,先看声音档案的“文字稿”是不是空的,空的话每次都要多跑一遍识别

能接进 Agent 流水线

打开应用就有一个 MCP 服务(默认 http://localhost:3900/mcp/),提供 generate_speech、clone_voice、design_voice、transcribe 等工具,“集成”页能直接导出 Claude Code、Cursor、Codex 的配置。前两天聊的 OpenFilm 这类 Agent 出片项目,配音环节就可以换成本地的了。建议设 OMNIVOICE_MCP_OUTPUT_MODE=files,让音频落盘只回传路径,别让 base64 把上下文撑爆。

v0.5.7 要留意的两个变化

  • 无独显电脑可用:装约 5GB 的 CPU 版 PyTorch,能用但慢不少,建议配 GGUF 或轻量引擎;Windows 上 AMD、Intel 显卡仍然走 CPU
  • 默认模型要先接受许可:OmniVoice 等没有明确商用许可的模型,要在模型目录里点一次接受,否则 API 和 MCP 会返回许可错误。另外远程算力、GPU 共享这些功能挪到了付费 Pro 版,“配方”、监听文件夹和声音克隆仍然免费

安装:macOS / Linux 用 curl -fsSL https://voicestudio.sh/install | sh,Windows 用 PowerShell 运行 irm https://voicestudio.sh/install | iex,也可以去 Releases 下载安装包。安装包没签名,首次打开会弹信任警告。

授权别忽略

应用是 AGPL-3.0,但模型授权要逐个单独看,README 写明应用许可不包含模型权利,audio.cpp 的 Breeze-TTS-2 权重就是仅限非商用。克隆真人声音一定先拿到本人授权,README 原话就是“Clone voices only with permission”。

官方基准表现在还是空的,维护者在等社区交数据。有在用的朋友,可以说说你的显卡、用的哪个引擎、配一分钟视频要多久?中文情绪戏 IndexTTS 2.5 和 CosyVoice 3 哪个更顺?

更新日志:VoiceStudio/CHANGELOG.md at main · debpalash/VoiceStudio · GitHub
引擎指南:VoiceStudio/docs/engines/README.md at main · debpalash/VoiceStudio · GitHub
官网:https://voicestudio.sh