VoiceStudio:完全本地运行的 ElevenLabs 替代,声音克隆、视频配音、转写都能做

VoiceStudio 是一个完全跑在本地的语音工作台,对标的是 ElevenLabs:克隆声音、凭文字描述"设计"一个声音、给视频做配音、语音转文字、听写、做有声书,全都在自己机器上完成,不用把录音传到别人的服务器。它今天冲到了 GitHub 总榜第一,单日涨了三千多星,项目今年 4 月才建,现在已经四万多星。

名字可能有点陌生,它之前叫 OmniVoice Studio,Docker Hub 上的镜像和环境变量(OMNIVOICE_*)都还留着旧名。默认的合成引擎就是 k2-fsa 的 OmniVoice。

论坛前阵子介绍过 VoiceBox(topic 1431),也是 ElevenLabs 的本地替代。VoiceStudio 的路子更"大而全":引擎更多,还多了视频配音这条完整流水线,以及给 AI Agent 用的 MCP 接口。

它能干什么

  • 声音克隆:给一段干净的参考录音,填上文本就能用这个声音生成语音。参考音频的文字稿第一次会自动转写并保存下来,之后复用同一个声音就不用重复算
  • 声音设计:不需要参考音,用预设或调整音色特征,也能用自然语言描述想要的声音,满意了存成声音档案,下次接着用
  • 视频配音:完整流程是 抽音频 → 人声分离 → 转写 → 翻译(可以接 LLM)→ 按时间轴逐段合成 → 混音导出。做外语视频中文配音、或者反过来,这条线是它最有特色的地方
  • 听写和转写:有个悬浮的听写小窗;转写默认用 WhisperX,也能换 Faster-Whisper、Parakeet、FunASR 等,支持说话人分离
  • 长文本和批处理:有声书、故事这类长稿会自动切块合成,也有批量任务队列
  • 可插拔引擎:除了默认的 OmniVoice,还能装 CosyVoice 3、IndexTTS 2.5、GPT-SoVITS、VoxCPM2、MOSS-TTS、KittenTTS、sherpa-onnx 等一长串,在模型管理里按需下载

给 Agent 用:自带 MCP

这点对论坛里玩 Claude Code 的人比较有用。VoiceStudio 开着的时候,后端在 /mcp/ 上直接挂了一个 MCP 服务,不用另外启动。提供的工具有 generate_speech、clone_voice、transcribe、list_voices 等,Agent 可以直接让它念一段话、克隆一个声音或者转写一段录音。

Claude Code 里接上它,指向本地地址就行:

http://localhost:3900/mcp/

桌面端的 Integrations 页面能直接导出 Claude Code(.mcp.json)、Cursor、Codex CLI 的配置。还可以通过 X-OmniVoice-Client-Id 请求头给不同的 Agent 绑定不同的声音。

有个细节做得挺用心:音频默认以 base64 塞回对话,很费上下文,设置 OMNIVOICE_MCP_OUTPUT_MODE=files 后改成返回文件路径和 URL,Agent 拿路径去播放或交给别的工具就行。

怎么装

桌面版(Electron)在 Releases 里有 Windows .exe、macOS(Apple Silicon 和 Intel).dmg、Linux .AppImage / .deb。macOS / Linux 也可以一行命令装:

curl -fsSL https://voicestudio.sh/install | sh

打开后进入 Voice cloning,选个声音或者上传参考录音,输入文字生成,缺模型时会提示下载。

想放在带显卡的服务器上跑,用 Docker(镜像只有 x86-64):

export OMNIVOICE_API_KEY="$(python3 -c 'import secrets; print(secrets.token_urlsafe(32))')"

docker run -d --name omnivoice --gpus all \
  -p 127.0.0.1:3900:3900 \
  -e OMNIVOICE_API_KEY="$OMNIVOICE_API_KEY" \
  -v omnivoice-data:/app/omnivoice_data \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  ghcr.io/debpalash/voicestudio:latest

没有 N 卡就去掉 --gpus all 走 CPU。浏览器打开 3900 端口,用上面生成的 key 登录。生产环境建议用 :stable 标签,:latest 跟的是 main 分支的预览版。AMD 显卡另有 :rocm 镜像。

需要注意的地方

  • 硬件:Windows 上只有 NVIDIA 显卡能加速,AMD 和 Intel 显卡在 Windows 下只能跑 CPU,能用但慢很多;AMD 用户想要加速得上 Linux + ROCm。Mac 走 Apple Silicon 的 MPS / MLX。磁盘至少留 10GB 左右给运行环境和模型
  • 首次生成最慢:模型是懒加载的,重启后第一次生成要额外等几秒加载和预热,判断速度看第二次
  • 16GB 内存的机器:做配音时 TTS 和转写模型要来回腾显存 / 内存,浏览器开一堆标签页容易把后端挤掉
  • 许可:项目本身是 AGPL-3.0,各个模型有自己的许可证,商用前要逐个确认
  • 克隆声音要征得本人同意,这点项目方也写得很明确。它还带了 AI 水印功能
  • 项目迭代很快,桌面端刚从 Tauri 换到 Electron,老的 Tauri 版停在 0.5.3,用过旧版的需要单独装新版

整体感觉是:如果你只想偶尔克隆个声音念段稿子,它可能有点重;如果要做视频配音、有声书,或者想给自己的 Agent 配一个本地的"嘴",它是目前开源里功能最全的那一档。

项目信息