VoiceStudio：本地运行的语音克隆、视频配音与多引擎 TTS 工具箱

今天在 GitHub Trending 上看到一个有意思的项目：VoiceStudio，一个本地优先的语音工具平台，支持 16 种 TTS 引擎和 11 种 ASR 引擎，覆盖 646 种语言，让语音克隆、视频配音、听写和长篇音频制作完全在本地完成，无需 API Key、无需订阅。

一、项目概述

VoiceStudio（原 OmniVoice-Studio）是一款开源的桌面级语音工作站，核心定位是将 AI 语音能力带到用户自己的硬件上。与依赖云端 API 的商业服务不同，它默认所有数据都保留在本地，语音和文本不会上传到第三方服务器。

核心功能一览

功能	说明
语音克隆	3 秒参考音频即可完成零样本克隆，支持多种 TTS 引擎
视频配音	自动转录 → 翻译 → 保留说话人 → 合成 → 导出视频
故事/有声书	多角色脚本、EPUB/PDF 导入、章节渲染、`.m4b` 导出
听写	系统级快捷键触发、实时转录、可选本地 LLM 文本清理
语音分离	Demucs 分离人声与背景音
说话人分离	Pyannote 和 WhisperX 说话人指认
批处理队列	大批量音视频任务排队，支持单任务进度显示
模型目录	可视化安装、卸载、选择和路由 TTS/ASR/LLM 模型
MCP Server	为 MCP 客户端提供语音合成和转录工具
本地优先	核心创作默认本地，网络功能需显式开启

技术规格

平台：macOS 13.3+ (Apple Silicon) · Windows 10/11 x64 · Linux x86_64 (glibc 2.39+)
计算：CUDA · Apple Silicon MPS/MLX · ROCm (Linux) · CPU
接口：桌面应用 · 本地 REST/SSE/WebSocket API · OpenAI 兼容音频 API · MCP Server
许可证：AGPL-3.0（应用层）；下载的模型保留各自上游协议

二、技术原理

整体架构

Tauri v2 桌面外壳 (Rust)
        │ IPC
React + Vite 前端
        │ HTTP · SSE · WebSocket (localhost:3900)
FastAPI 后端
        ├── TTS / ASR 引擎注册表
        ├── 配音 / 音频 / 长文本处理管道
        ├── OpenAI 兼容 API 和 MCP Server
        └── SQLite + Alembic → omnivoice_data/

VoiceStudio 采用 Tauri v2 构建跨平台桌面外壳，前端使用 React + Vite，后端基于 FastAPI。Tauri 的轻量化优势使得打包后的安装包远小于 Electron 应用，而 Rust 原生模块也保证了桌面端的高性能。

TTS 引擎生态

VoiceStudio 的核心竞争力在于开放的引擎注册机制——不绑定单一 TTS 后端，用户可以根据语言、质量、硬件条件自由选择：

引擎	语言数	克隆	指令跟随	典型场景
VoiceStudio (OmniVoice)	600+	✅	✅	默认引擎，多语言高质量克隆
CosyVoice 3	9+18方言	✅	✅	中文方言
GPT-SoVITS	5	✅	❌	特定风格克隆
VoxCPM2	30	✅	✅	多语言指令合成
OmniVoice GGUF ⚡	600+	✅	✅	量化版，本地低显存友好
PocketTTS ⚡	6	✅	❌	轻量英文合成
Supertonic 3 ⚡	31	❌	❌	快速英文旁白
Confucius4-TTS ⚡	14	✅	❌	中文克隆

⚡ 表示按需安装。

ASR 引擎支持

引擎	语言数	最佳场景
WhisperX（默认）	~100	配音、字幕、词级时间戳
Faster-Whisper	~100	通用跨平台转录
MLX Whisper	~100	Apple Silicon 优化
PyTorch Whisper	~100	CUDA、MPS 和 CPU 回退
Parakeet TDT	26	欧洲语言快速 CPU/CUDA
Moonshine	English	低功耗低延迟 ONNX
sherpa-onnx	模型相关	流式 CPU 听写

OpenAI 兼容 API

VoiceStudio 后端暴露了一个 OpenAI 兼容的音频端点，只需改一行 URL 即可接入现有工具链：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:3900/v1", api_key="local")

with client.audio.speech.with_streaming_response.create(
    model="tts-1",
    voice="<profile-id>",
    input="Made on my own hardware.",
    response_format="wav",
) as response:
    response.stream_to_file("speech.wav")

这意味着任何使用 OpenAI 音频 API 的应用——比如 AI 编程助手、自动化脚本——都可以无缝切换到本地 VoiceStudio，无需修改代码。

MCP Server 集成

VoiceStudio 还内置了 MCP Server，可被 Claude Code、Cursor 等支持 MCP 的 AI 编程助手直接调用：

npx skills add debpalash/VoiceStudio

安装后，AI 助手可以通过 omnivoice skill 直接触发本地语音合成和转录，实现"说一段代码给我听"这类场景。

三、安装与快速开始

环境要求

	最低	推荐
操作系统	Windows 10 x64 / macOS 13.3 Apple Silicon / Linux glibc 2.39+	当前稳定版
内存	8 GB	16 GB+
磁盘	10 GB 空闲	20 GB+ SSD
GPU	可选（支持 CPU 模式）	NVIDIA CUDA 或 Apple Silicon
显存	4 GB（GPU 模式）	8 GB+

快速安装

从最新 Release 下载对应平台的安装包：

平台	安装包	指南
macOS 13.3+	Apple Silicon DMG	macOS 安装指南
Windows 10/11	x64 MSI（可选用户级安装，无需管理员权限）	Windows 安装指南
Linux	AppImage (x86_64, glibc 2.39+)	Linux 安装指南
Docker	CUDA / ROCm / CPU / 纯 Worker 等多种 Profile	Docker 指南

首次启动会自动创建托管 Python 环境并下载默认模型，后续启动会复用。

从源码运行

git clone https://github.com/debpalash/VoiceStudio.git
cd VoiceStudio
bun install
bun run desktop

开发模式使用 bun run dev 访问浏览器 UI。

第一次语音克隆

启动 VoiceStudio，打开 Voice Cloning
上传一段干净的参考音频（3 秒即可，5-15 秒质量通常更好）
输入文本，选择语言，点击 Generate

四、使用方法与实战

语音克隆：零样本合成

VoiceStudio 默认使用 OmniVoice 引擎，只需 3-15 秒单说话人参考音频即可克隆声音：

# 通过 OpenAI 兼容 API 调用本地克隆语音
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3900/v1", api_key="local")

with client.audio.speech.with_streaming_response.create(
    model="omnivoice",
    voice="my-cloned-voice-id",
    input="这是一段克隆语音的测试内容。",
    response_format="mp3",
) as response:
    response.stream_to_file("cloned_speech.mp3")

视频配音：多语言本地化

配音流程：转录 → 翻译 → 保留说话人 → 合成 → 导出视频。

输入视频 (MP4/MKV/AVI)
    │
    ▼
WhisperX 自动转录 + 说话人分离
    │
    ▼
翻译 (支持 Argos 本地离线翻译 或 LLM 辅助)
    │
    ▼
TTS 合成 (保留原始说话人音色)
    │
    ▼
输出配音视频

听写：系统级语音输入

VoiceStudio 提供系统级听写 widget，通过快捷键在任意应用中触发实时语音转文字，并可选择调用本地 LLM（如 Ollama）进行自动标点和清理。

批处理：大规模音频生产

批处理队列支持一次性提交大量音视频任务，每个任务独立进度显示，适合需要大量生成旁白、播客或有声书内容的场景。

五、常见问题与解决方案

Q：macOS 上安装后提示"无法打开"怎么办？

首次下载后需要右键 → “打开”，然后在弹出框中点击"打开"。这是 macOS 对未签名应用的正常安全提示。

Q：Intel Mac 能用吗？

Intel Mac 无法运行本地 Python 后端（当前无 PyTorch wheel 支持）。建议连接到远程后端，或使用纯 CPU 引擎模式。Apple Silicon Mac 完全支持 MPS 和 MLX 加速。

Q：显存不够怎么办？

VoiceStudio 会自动将工作卸载到 CPU（当显存不足时）。对于大型可选引擎，建议使用 12-16 GB 显存。可以参考 benchmark 数据选择适合硬件的引擎。

Q：参考音频越长克隆效果越好吗？

克隆是零样本的——参考音频是提示而非训练数据。推荐 5-15 秒单说话人音频，录音要干净（无音乐、噪音或混响），并匹配你想要的输出音色和节奏。

Q：生成的音频可以商用吗？

VoiceStudio 应用许可证本身不限制生成音频，但下载的模型有各自的独立协议。例如默认 OmniVoice 预训练权重为 CC-BY-NC 协议，商业使用前需查阅所选模型的具体条款。

Q：如何排查安装失败？

运行 Settings → About → Run self-check 或执行 uv run python backend/main.py --diagnose --deep，保存诊断包用于 GitHub Issue 报告。

六、总结

VoiceStudio 是一个功能完整、架构开放的本地语音工作站。它不只是一个 TTS 工具，更是一个语音能力平台：16 种 TTS 引擎 + 11 种 ASR 引擎 + OpenAI 兼容 API + MCP Server，让语音合成和转录能力真正成为本地开发环境和个人工作流的一部分。

如果你厌倦了云端语音 API 的费用、延迟和数据隐私顾虑，VoiceStudio 值得一试。

项目地址：https://github.com/debpalash/VoiceStudio

一、项目概述#

核心功能一览#

技术规格#

二、技术原理#

整体架构#

TTS 引擎生态#

ASR 引擎支持#

OpenAI 兼容 API#

MCP Server 集成#

三、安装与快速开始#

环境要求#

快速安装#

从源码运行#

第一次语音克隆#

四、使用方法与实战#

语音克隆：零样本合成#

视频配音：多语言本地化#

听写：系统级语音输入#

批处理：大规模音频生产#

五、常见问题与解决方案#

六、总结#