最后更新:11/18/2026最后核验:2026-11-15
OmniVoice 是什么
OmniVoice 是 k2-fsa 语音团队开源的零样本语音合成模型,用扩散语言模型式架构,底座是 Qwen3-0.6B。给一段参考音频就能克隆音色,用文字描述就能设计音色。项目语言清单写明覆盖 646 种语言与方言、训练数据 581k 小时;权重公开免审核,合计约 3.27 GB;用 Python 跑在 CUDA、Apple Silicon MPS 与 Intel XPU 上。它没有官方产品站:项目就在 github.com/k2-fsa/OmniVoice,另有 Hugging Face Space 与 Colab notebook 可以直接试。本文依据仓库 README、docs/languages.md、LICENSE、声学 tokenizer 的许可文件、pyproject.toml、Hugging Face 模型页与 GitHub API(2026-11-15)核验,未安装依赖,也未跑过合成。
核心功能
- 零样本音色克隆:给一段短参考音频即可,不需要训练说话人模型。
- 音色设计:用描述指定性别、年龄、音高、口音、耳语等;README 说明该模式只用中文和英文数据训练。
- docs/languages.md 写明 646 种语言与方言、581k 小时训练数据;README 概括为「over 600」。
- 权重公开免审核:model.safetensors 2,450.3 MB 加 805.7 MB 音频 tokenizer,合计约 3.27 GB,底座 Qwen3-0.6B。
- 支持 CUDA、Apple Silicon MPS 与 Intel Arc XPU,项目称测过 4 GB 的 Arc A310 与 16 GB 的 Arc Pro B50。
- 项目自报性能:单张 H100 fp16 的实时因子 0.0899,FlashInfer batch 8 时 0.0115。
- 入口齐全:PyPI 包、三个 CLI 工具、Gradio 演示、Hugging Face Space 与 Colab notebook;论文是 arXiv:2604.00688。
最适合
定价
OmniVoice 免费:仓库是 Apache-2.0,权重下载不设门槛也不要账号,自托管没有按字符的平台费。但显卡或云算力要自己出,Hugging Face 演示与任何第三方托管各有各的条款。商用要看一个许可细节:推理时必须加载 Higgs Audio V2 声学 tokenizer,它用的是 Boson Higgs Audio 2 社区许可而不是 Apache-2.0,产品年活跃用户超过 10 万后需要向 Boson AI 申请扩展许可。
优缺点
优点
- 同一个模型既做零样本克隆,也做描述式音色设计。
- 权重公开免审核,消费级与工作站显卡都能跑。
- 语言覆盖有清单可查,646 这个数字对得上。
- 入口多:PyPI、CLI、Gradio 演示、Hugging Face Space 与 Colab。
- 公开了推理速度,部署前能估算吞吐。
- 自托管不按字符收费。
缺点
- 许可证不是一个而是两个:仓库是 Apache-2.0,但必需的声学 tokenizer 用 Boson Higgs Audio 2 社区许可,年活跃用户超 10 万要额外授权,而 Hugging Face 模型卡干脆没写 license。
- 音色设计只用中文和英文数据训练,跨语种克隆会带参考音频的口音;克隆才是更稳的模式。
- README 没有 VRAM 表,部署前显存只能靠试。
- macOS 上 pynini 没有 wheel,得用 conda 装。
- 它是模型加 Python 项目,不是托管产品:没有控制台、SLA 或支持合同。
替代工具
托管型商业平台,延迟与支持由厂商负责,不用自己跑权重。
托管的工作台与按量计费 API,做语音合成与克隆,不用本地 GPU。
托管的低延迟流式 TTS API,带情绪标签,按生成小时计费。
字节跳动的托管模型,一个场景里同时生成对白、音效与环境声,而不是只做语音。
常见问题
详情
平台
功能特性
- Zero-shot voice cloning from a short reference clip plus voice design from a text description, on a diffusion language model-style architecture, with no per-character fee when you self-host
- Multilingual coverage: the README says “over 600 languages” and links to a language list whose first line reads “OmniVoice supports 646 languages with a total of 581k hours of training data”
- Public, ungated weights on Hugging Face (model.safetensors 2450.3 MB plus an 805.7 MB audio tokenizer, built on a Qwen3-0.6B backbone), a Gradio Space, a Colab notebook and a PyPI package, with a paper at arXiv:2604.00688
- Runs on CUDA, Apple Silicon MPS and Intel XPU; the project’s own benchmarks quote real-time factors of 0.0899 on a single H100 in fp16 and 0.0115 with FlashInfer at batch 8
支持语言
已知限制
- There is no official website: omnivoice.ai is an unrelated business VoIP service, omnivoice.com is for sale, omnivoice.dev is a different WhatsApp voice project and omnivoice.io is parked, so the repository is the only official home and no hosted paid API exists
- The licence is not plain Apache-2.0 in practice: inference requires the bundled Higgs Audio V2 acoustic tokenizer, whose BOSON HIGGS AUDIO 2 COMMUNITY LICENSE adds commercial terms — more than 100,000 annual active users needs an expanded licence from Boson AI — and the Hugging Face model card declares no licence at all
- Voice design is trained on Chinese and English data only (the README says it “can generalize to other languages, but may produce unstable results for some low-resource languages”), cross-lingual cloning carries the reference clip’s accent, and the model is most stable on the cloning task it was primarily trained on
- The README publishes no VRAM table — the only hardware datapoint is an Intel Arc A310 with 4 GB — and on macOS the pynini dependency has no wheel and must come from conda. The 646-language count and the speed figures are the project’s own; the repository held 85 open issues with its last tagged release 0.2.1 on 2026-07-16, and this listing did not install or run the model








