Fish Audio Drama 3 开源:一段剧本最多 16 个角色,改台词只换一个词

短剧配音有两个老毛病:一集五六个角色要分开生成再拼,情绪和音色前后接不上;剧本改一个名字,整段又得重来。

Fish Audio(Fish Speech 背后的团队)这两天在 Hugging Face 放出了 Drama 3,官方定位就是“多角色场景和长内容”。HF 仓库和许可证都是 10 月 13 日更新的,模型上了 HF 趋势榜,同一天 ComfyUI v0.40.0 也加了它的合作节点。

官方说它能做什么

  • 一段文本多个角色:用 <|speaker:0|> 到 <|speaker:15|> 标签,最多 16 个角色,按剧本一次配完整场
  • 只改一个词:把之前的版本放进 previous_takes,新文本里只改要改的词,官方示例把 “Wednesday” 换成 “Thursday”,周围音色和衔接保持自然,还能连着改第二次
  • 导演式修改:直接对上一条说“再温柔一点、再难过一点”,模型带着上下文重来,而不是从头抽卡
  • 行内情绪标签:[whisper]、[angry]、[laughing]、[sighs] 写在台词里事件发生的位置
  • 长对话、长语音:自动分块,支持流式,官方称角色和音色全程稳定
  • 语言列表 80 多种,含中文;官方称跨语言克隆错误率创了新的最好成绩,完整评测在技术报告里

架构是 35B 总参数、每个 token 激活 3B 的 MoE,专家权重 FP8。上一代 S2-Pro 不支持局部编辑和多轮修改,这两项是这次新增的。

怎么跑

官方推荐 SGLang-Omni,发布当天就支持:

git clone https://github.com/sgl-project/sglang-omni.git && cd sglang-omni
uv pip install --prerelease=allow -v -e ".[fishaudio]"
hf download fishaudio/drama-3
sgl-omni serve --model-path fishaudio/drama-3 --port 8000

起来之后是 /v1/audio/speech 接口,加 references(参考音频 + 文字稿)就是克隆,加 "stream": true 就是流式。

几个容易踩的限制:

  • 单段参考音频默认最多 60 秒,超了直接 400;能调大,但要同时调大预处理显存预留
  • 注意力后端只支持 triton,指定 fa3 会拒绝启动
  • 官方性能数据都是 H200 上测的(单路首段音频不到 100 毫秒),没有给消费级显卡的显存要求。35B 的权重,自己的卡先算算显存,或者等社区量化;显存紧张的话,4B 的上一代 S2-Pro 官方说能在消费级显卡上跑

不想部署的,更新到 ComfyUI v0.40.0 后可以用 Fish Audio 合作节点(要登录 Comfy 账号、消耗额度)。

授权:这次条款对小团队挺友好,但有红线

Fish Audio Community License 1.0 要点(以原文为准):

  • 研究、个人非商业用途免费
  • 年收入低于 50 万美元可以免费商用,按公司加关联方过去 12 个月总收入算;超过后 30 天内要通知官方,有 90 天过渡期
  • 作为工作室、接单配音,只交付音频成品给客户没问题,客户不受收入门槛限制
  • 不能做配音托管服务:把模型开放给别人自己输文字或声音样本生成(API、以 TTS 或克隆为主要功能的网站和应用),不论收入多少都要另签授权
  • 不能未经本人同意模仿真人声音,不能去掉水印,不能拿输出去训练别的语音模型
  • 分发或基于它做产品,要标注 “Built with Fish Audio”

和中午发的 VoiceStudio 放一起看:VoiceStudio 是整合多引擎的桌面工具,Drama 3 是单个更强的模型,后面看哪些工具会先接进去。

有人已经在大卡上跑起来了吗?中文多角色对话的效果和 IndexTTS、CosyVoice 比怎么样?欢迎贴试听。

Fish Speech 仓库:GitHub - fishaudio/fish-speech: SOTA Open Source TTS · GitHub
SGLang-Omni 部署文档:Fish Audio Drama 3 — SGLang
许可证:LICENSE · fishaudio/drama-3 at main