AI 前沿精读

外观

Qwen3-TTS Family: Voice Design, Clone, and Generation ​

原标题: Qwen3-TTS Family is Now Open Sourced: Voice Design, Clone, and Generation 中文标题: Qwen3-TTS 系列开源：声音设计、声音克隆与高质量语音生成

一句话摘要 ​

Qwen 团队于 2026 年 1 月开源 Qwen3-TTS 系列语音合成模型（0.6B/1.7B），基于自研 Qwen3-TTS-Tokenizer-12Hz 离散多码本架构，支持 3 秒快速声音克隆、自然语言声音设计和 10 种语言的流式语音生成，端到端合成延迟低至 97 毫秒。

核心内容 ​

产品矩阵 ​

Qwen3-TTS 不是单一模型，而是一个完整的语音合成模型家族：

模型参数量核心能力
CustomVoice (1.7B/0.6B)17亿/6亿9 种预设优质音色 + 指令级音色控制
VoiceDesign (1.7B)17亿基于自然语言描述的声音设计
Base (1.7B/0.6B)17亿/6亿3 秒快速声音克隆

三大核心能力 ​

1. 声音克隆（Voice Cloning） 只需 3 秒的参考音频和对应文本，Base 模型即可提取说话人的声音特征并用于生成新的语音内容。这一能力意味着个性化语音助手、有声读物和虚拟形象的制作门槛被大幅降低。

2. 声音设计（Voice Design） VoiceDesign 模型接受自然语言描述来创建全新的声音。例如，用户可以描述"一位温柔的年轻女性，语速稍慢，带有轻微的南方口音"，模型就会生成符合描述的声音。这种能力在传统 TTS 系统中几乎不存在。

3. 可控语音生成（Controllable Generation） CustomVoice 模型提供 9 种覆盖不同性别、年龄、语言和方言组合的优质音色，同时支持通过指令控制情绪、语调和韵律。开发者可以精细地调整输出语音的表达风格。

技术架构 ​

离散多码本语言模型架构 Qwen3-TTS 采用"离散多码本 LM 架构"（Discrete Multi-Codebook LM Architecture），实现了"全信息端到端语音建模"。与传统的语言模型 + 扩散 Transformer 的两阶段方案不同，这一架构在单一模型中完成了从文本到语音的全流程，避免了中间表示的信息瓶颈。

Qwen3-TTS-Tokenizer-12Hz 这是整个系统的基石——一个自研的语音 Tokenizer，以 12Hz 的频率对语音信号进行高效声学压缩和高维语义建模。"12Hz"意味着每秒只需要 12 个 Token 来表示语音，这一极端压缩率在保留副语言信息（情感、韵律、语气）的同时，大幅降低了生成成本。

双轨混合流式生成架构 系统采用"双轨混合流式生成架构"（Dual-Track Hybrid Streaming Architecture），同时支持流式和非流式输出。流式模式下端到端合成延迟低至 97 毫秒，满足实时交互场景的需求。

语言支持 ​

覆盖 10 种主要语言：中文、英文、日文、韩文、德文、法文、俄文、葡萄牙文、西班牙文和意大利文，以及多种方言音色。

使用方式 ​

安装：

bash
pip install -U qwen-tts

推荐搭配 FlashAttention 2 使用以降低 GPU 显存占用：

bash
pip install -U flash-attn --no-build-isolation

一个典型的工作流是：先用 VoiceDesign 创建理想的参考音频，然后利用声音克隆功能复用该声音进行批量生成，避免每次重新计算声音特征。

技术要点 ​

  1. 12Hz 语音 Tokenizer：每秒仅 12 个 Token 表示语音，在极端压缩率下保留副语言信息，是整个系统的技术核心
  2. 离散多码本 LM 架构：单一模型完成文本到语音的端到端生成，避免两阶段方案的信息瓶颈问题
  3. 97ms 端到端延迟：双轨混合流式架构实现亚百毫秒级延迟，满足实时对话场景需求
  4. 3 秒声音克隆：极少样本即可提取说话人特征，降低个性化语音应用的制作门槛
  5. 自然语言声音设计：首次实现通过文本描述创建全新声音，开辟了 TTS 交互的新范式

深度解读 ​

Qwen3-TTS 的发布标志着开源 TTS 领域从"能说话"到"说得像、说得好、说得快"的质变。

12Hz 的技术赌注：传统语音编解码器通常以 50-75Hz 的频率操作，Qwen3-TTS 将其压缩到 12Hz——每秒少了 4-6 倍的 Token 数量。这意味着语言模型在生成语音时的序列长度大幅缩短，直接降低了推理延迟和计算成本。但这也要求 Tokenizer 在极低信息量下保留足够的语音细节，是一个高风险高回报的技术选择。

声音设计是杀手级功能：在此之前，创建新的 TTS 音色需要专业的录音棚和长时间的数据采集。VoiceDesign 模型将这一过程简化为一句自然语言描述，这对游戏配音、广告制作、虚拟角色创建等行业可能产生颠覆性影响。

开源生态的战略价值：在 ElevenLabs、Play.ht 等闭源 TTS 服务主导市场的背景下，Qwen3-TTS 的开源意味着开发者可以在本地部署高质量 TTS，避免 API 调用成本和数据隐私风险。对于需要大规模语音生成的应用（如有声书、教育平台），这是巨大的成本优势。

从 Omni 到 TTS 的产品线延伸：Qwen3-TTS 与此前发布的 Qwen2.5-Omni（全模态理解和语音生成）形成互补。Omni 侧重"理解后表达"，TTS 侧重"精细化的语音合成控制"。两者结合，构成了完整的语音 AI 技术栈。

延伸思考 ​

  1. 声音克隆的伦理边界：3 秒即可克隆一个人的声音，这在便利性和安全性之间制造了巨大张力。如何防止声音克隆被用于诈骗、深度伪造等恶意用途？是否需要在模型层面内置声纹水印？
  2. 12Hz 的下限在哪里？ 是否可以进一步压缩到 6Hz 甚至更低？这取决于副语言信息的信息论下界——语音中的情感和韵律究竟需要多少 bit 来表示？
  3. TTS 与 ASR 的闭环：Qwen3-TTS + Qwen3-ASR 形成了语音合成与识别的完整闭环。未来是否会出现"语音原生"的 AI Agent，完全通过语音与环境交互？

原文链接:

全球顶尖 AI 实验室博客的中文翻译与深度解读 · 210+ 篇文章 · 15+ 实验室

© 2025-2026 AI 前沿精读