VoxCPM2

干掉 tokenizer 的端到端 TTS：2B 参数、200 万小时数据、30 种语言、48kHz 录音棚级输出

项目速览

项目 内容
仓库 OpenBMB/VoxCPM
定位 Tokenizer-Free 端到端语音合成系统
主要语言 Python
Stars / Forks 40,015 / 4,555（截至 2026-10-23）
许可证 Apache-2.0（权重与代码，可商用）
底座 MiniCPM-4；技术报告 arXiv:2606.06928

它想解决什么问题

语音合成正在经历一场”Tokenizer 反革命”。主流 TTS pipeline 是”文本→离散 token→声码器”，中间那道离散化既丢信息又添噪声；而 OpenBMB 团队的 VoxCPM2 直接干掉 tokenizer，用端到端扩散自回归架构生成连续语音表征——2B 参数、200 万小时多语言数据、30 种语言、48kHz 录音棚级输出。这是本周 daily trending 上最硬核的国产 AI 项目之一。

三个杀手级特性

1. Voice Design：用文字”造”一个声音。 不用参考音频，只用自然语言描述（性别、年龄、音色、情绪、语速……），就能创造一个全新的声音。配音演员的门槛，被一句话抹平了。

2. 可控声音克隆。 一段短参考音频即可克隆音色，还可以加风格引导，在保留原始音色的同时调节情绪、节奏和表现力。更进一步的 “Ultimate Cloning” 模式：提供参考音频及其转写文本，模型从参考处无缝续写，把每一个声音细节——音色、节奏、情绪、风格——全部保留。

3. 30 种语言 + 9 种中国方言。 输入任意 30 种支持语言的文本直接合成，无需语言标签；中文方言覆盖四川话、粤语、吴语、东北话、河南话、陕西话、山东话、天津话、闽南话——对中文内容创作来说，这个方言列表含金量极高。

点评

亮点：架构上的”反革命”（去 tokenizer、端到端连续表征）带来了信息保真上的代际优势；Voice Design + Ultimate Cloning 的产品化设计直击创作场景刚需；2B 参数量对消费级 GPU 友好，Apache-2.0 可商用，落地零障碍；方言覆盖是国产模型独有的护城河。

局限：2B 模型在极端长文本与多说话人长对话场景的稳定性需实测；扩散自回归的推理速度比纯自回归架构慢一些；克隆声音的合规使用（授权、肖像权）需要使用者自律。

适合人群：做有声内容、播客、视频配音的创作者与团队；需要多语言/多方言 TTS 能力的产品开发者；研究端到端语音生成的工程师。