最后更新:11/18/2026最后核验:2026-11-15

OmniVoice

OmniVoice 功能介绍:音色克隆、音色设计与 646 种语言

5
0

OmniVoice 是 k2-fsa 语音团队开源的零样本语音合成模型,扩散语言模型式架构,给一段参考音频就能克隆音色,也能按描述设计音色;项目语言清单写明覆盖 646 种语言与方言,权重公开,Hugging Face 上有在线 demo。用 Python 跑在 CUDA、Apple Silicon 与 Intel Arc 上,自托管不计字收费。

免费

OmniVoice 是什么

OmniVoice 是 k2-fsa 语音团队开源的零样本语音合成模型,用扩散语言模型式架构,底座是 Qwen3-0.6B。给一段参考音频就能克隆音色,用文字描述就能设计音色。项目语言清单写明覆盖 646 种语言与方言、训练数据 581k 小时;权重公开免审核,合计约 3.27 GB;用 Python 跑在 CUDA、Apple Silicon MPS 与 Intel XPU 上。它没有官方产品站:项目就在 github.com/k2-fsa/OmniVoice,另有 Hugging Face Space 与 Colab notebook 可以直接试。本文依据仓库 README、docs/languages.md、LICENSE、声学 tokenizer 的许可文件、pyproject.toml、Hugging Face 模型页与 GitHub API(2026-11-15)核验,未安装依赖,也未跑过合成。

核心功能

  • 零样本音色克隆:给一段短参考音频即可,不需要训练说话人模型。
  • 音色设计:用描述指定性别、年龄、音高、口音、耳语等;README 说明该模式只用中文和英文数据训练。
  • docs/languages.md 写明 646 种语言与方言、581k 小时训练数据;README 概括为「over 600」。
  • 权重公开免审核:model.safetensors 2,450.3 MB 加 805.7 MB 音频 tokenizer,合计约 3.27 GB,底座 Qwen3-0.6B。
  • 支持 CUDA、Apple Silicon MPS 与 Intel Arc XPU,项目称测过 4 GB 的 Arc A310 与 16 GB 的 Arc Pro B50。
  • 项目自报性能:单张 H100 fp16 的实时因子 0.0899,FlashInfer batch 8 时 0.0115。
  • 入口齐全:PyPI 包、三个 CLI 工具、Gradio 演示、Hugging Face Space 与 Colab notebook;论文是 arXiv:2604.00688。

最适合

把多语言语音合成做进自托管产品的开发者。研究零样本克隆与描述式音色设计的研究人员。希望语音生成不按字符计费的团队。更需要语言覆盖而不是棚录级打磨的原型项目。有 NVIDIA、Apple Silicon 或 Intel Arc 显卡、愿意本地跑权重的人。

定价

OmniVoice 免费:仓库是 Apache-2.0,权重下载不设门槛也不要账号,自托管没有按字符的平台费。但显卡或云算力要自己出,Hugging Face 演示与任何第三方托管各有各的条款。商用要看一个许可细节:推理时必须加载 Higgs Audio V2 声学 tokenizer,它用的是 Boson Higgs Audio 2 社区许可而不是 Apache-2.0,产品年活跃用户超过 10 万后需要向 Boson AI 申请扩展许可。

优缺点

优点

  • 同一个模型既做零样本克隆,也做描述式音色设计。
  • 权重公开免审核,消费级与工作站显卡都能跑。
  • 语言覆盖有清单可查,646 这个数字对得上。
  • 入口多:PyPI、CLI、Gradio 演示、Hugging Face Space 与 Colab。
  • 公开了推理速度,部署前能估算吞吐。
  • 自托管不按字符收费。

缺点

  • 许可证不是一个而是两个:仓库是 Apache-2.0,但必需的声学 tokenizer 用 Boson Higgs Audio 2 社区许可,年活跃用户超 10 万要额外授权,而 Hugging Face 模型卡干脆没写 license。
  • 音色设计只用中文和英文数据训练,跨语种克隆会带参考音频的口音;克隆才是更稳的模式。
  • README 没有 VRAM 表,部署前显存只能靠试。
  • macOS 上 pynini 没有 wheel,得用 conda 装。
  • 它是模型加 Python 项目,不是托管产品:没有控制台、SLA 或支持合同。

替代工具

ElevenLabs

托管型商业平台,延迟与支持由厂商负责,不用自己跑权重。

Fish Audio

托管的工作台与按量计费 API,做语音合成与克隆,不用本地 GPU。

Soniox TTS v2

托管的低延迟流式 TTS API,带情绪标签,按生成小时计费。

Seed Audio 1.0

字节跳动的托管模型,一个场景里同时生成对白、音效与环境声,而不是只做语音。

常见问题

详情

平台

macOSWindowsLinuxAPI

功能特性

  • Zero-shot voice cloning from a short reference clip plus voice design from a text description, on a diffusion language model-style architecture, with no per-character fee when you self-host
  • Multilingual coverage: the README says “over 600 languages” and links to a language list whose first line reads “OmniVoice supports 646 languages with a total of 581k hours of training data”
  • Public, ungated weights on Hugging Face (model.safetensors 2450.3 MB plus an 805.7 MB audio tokenizer, built on a Qwen3-0.6B backbone), a Gradio Space, a Colab notebook and a PyPI package, with a paper at arXiv:2604.00688
  • Runs on CUDA, Apple Silicon MPS and Intel XPU; the project’s own benchmarks quote real-time factors of 0.0899 on a single H100 in fp16 and 0.0115 with FlashInfer at batch 8

支持语言

enzhjakofrdeesruarhi

已知限制

  • There is no official website: omnivoice.ai is an unrelated business VoIP service, omnivoice.com is for sale, omnivoice.dev is a different WhatsApp voice project and omnivoice.io is parked, so the repository is the only official home and no hosted paid API exists
  • The licence is not plain Apache-2.0 in practice: inference requires the bundled Higgs Audio V2 acoustic tokenizer, whose BOSON HIGGS AUDIO 2 COMMUNITY LICENSE adds commercial terms — more than 100,000 annual active users needs an expanded licence from Boson AI — and the Hugging Face model card declares no licence at all
  • Voice design is trained on Chinese and English data only (the README says it “can generalize to other languages, but may produce unstable results for some low-resource languages”), cross-lingual cloning carries the reference clip’s accent, and the model is most stable on the cloning task it was primarily trained on
  • The README publishes no VRAM table — the only hardware datapoint is an Intel Arc A310 with 4 GB — and on macOS the pynini dependency has no wheel and must come from conda. The 646-language count and the speed figures are the project’s own; the repository held 85 open issues with its last tagged release 0.2.1 on 2026-07-16, and this listing did not install or run the model

为此工具评分

相关工具