Qwen 3.5 Small Model Series | Qwen 3.5 Small：高效多模态小模型系列
原标题： Qwen 3.5 Small Model Series 作者： Qwen Team, Alibaba Cloud 发布日期： 2026年3月2日 原文链接： https://qwen.ai/blog?id=qwen3.5
一句话摘要
阿里巴巴通义千问团队发布 Qwen 3.5 Small 系列——包含 0.8B、2B、4B、9B 四个规格的轻量级语言模型，采用门控 Delta 网络与稀疏混合专家（MoE）的混合架构，首创早期融合多模态训练，支持 200+ 语言，9B 版本以 $0.10/M tokens 的价格在 GPQA Diamond 上匹配 13 倍体量的模型。
核心内容
发布背景
在 Qwen3 系列（最大 235B 参数）发布后，通义千问团队以惊人的速度在 16 天内连续发布 9 款模型，Qwen 3.5 Small 系列是这一密集发布周期的收官之作。这些小模型旨在将 Qwen3 的能力下放到资源受限的部署场景。
模型矩阵
| 模型 | 参数量 | 定位 | 典型场景 |
|---|---|---|---|
| Qwen 3.5 Small 0.8B | 0.8B | 超轻量 | IoT 设备、嵌入式系统 |
| Qwen 3.5 Small 2B | 2B | 移动端 | 手机端推理、边缘部署 |
| Qwen 3.5 Small 4B | 4B | 个人设备 | 笔记本、个人工作站 |
| Qwen 3.5 Small 9B | 9B | 旗舰小模型 | 服务器部署、API 服务 |
所有模型均基于相同的 Qwen 3.5 基础架构构建，确保不同规格间的行为一致性。
核心技术创新
1. 门控 Delta 网络 + 稀疏 MoE 混合架构
Qwen 3.5 Small 采用了一种新颖的混合架构，将门控 Delta 网络（Gated Delta Networks）与稀疏混合专家（Sparse MoE）结合：
- 门控 Delta 网络：一种改进的循环机制，相比标准 Transformer 在长序列处理中更加高效，同时保持对关键信息的精确追踪
- 稀疏 MoE：每个输入仅激活部分专家网络，在不增加推理成本的前提下提升模型容量
这种组合使小模型获得了远超其参数量"应有"的能力。
2. 早期融合多模态训练（Early-Fusion Multimodal Training）
这是 Qwen 3.5 的关键技术转变。传统方法是先训练文本模型，再外接视觉编码器；Qwen 3.5 则在训练初期就联合处理文本、图像和视频的多模态 token。
早期融合的优势：
- 文本与视觉推理之间的对齐更加紧密
- 跨模态迁移学习更加自然
- 避免了"后接编码器"方法中常见的模态鸿沟
3. 200+ 语言支持
Qwen 3.5 将语言覆盖从此前版本大幅扩展至 200 多种语言和方言，目标是构建全球可部署的系统，而非以英文或中文为中心的助手。
性能亮点
Qwen 3.5 Small 9B：
- 定价：$0.10/M tokens
- GPQA Diamond：匹配 13 倍体量的模型表现
- 在推理、编码和多模态理解方面均表现出色
这意味着在相同预算下，开发者可以运行比竞品多一个数量级的请求，同时保持高质量输出。
技术要点
门控 Delta 网络的效率优势：与标准 Transformer 的全注意力机制相比，Delta 网络通过增量更新机制处理序列信息，计算复杂度更低。门控机制则解决了传统循环网络的信息遗忘问题。这一架构选择在小模型中尤为关键——每一 FLOP 的计算效率都直接影响部署可行性。
MoE 在小模型中的应用：MoE 通常用于大模型以降低推理成本，但 Qwen 3.5 将其下放到小模型，用于在固定推理预算内提升模型容量。这是一个有趣的架构设计选择——小模型的 MoE 路由是否能像大模型一样实现有效的专家分工，值得关注。
早期融合的训练成本权衡：早期融合多模态训练需要从训练起就处理多模态数据，计算成本高于后期融合。但 Qwen 团队判断质量收益大于成本增加，这反映了行业对多模态深度整合的重视。
200+ 语言的数据工程挑战：支持 200+ 语言需要解决极端的数据不平衡问题——高资源语言（英语、中文）的数据量可能是低资源语言的万倍。训练策略（如采样权重、课程学习）的设计直接影响模型在不同语言上的表现均衡性。
$0.10/M tokens 的定价策略：这一价格点使 Qwen 3.5 Small 9B 成为市场上最具成本竞争力的高质量小模型之一，直接挑战 Gemini Flash-Lite、GPT-5.4 nano 和 Claude Haiku 的定价。
深度解读
小模型的"军备竞赛"
2026年3月，几乎所有主要 AI 实验室都在同一时间段发布小模型：Google 的 Gemini 3.1 Flash-Lite、Mistral 的 Ministral 3 系列、OpenAI 的 GPT-5.4 nano、以及 Qwen 3.5 Small。这反映了行业共识——AI 的商业价值不仅在前沿能力的天花板，更在边缘部署的地板。
中国 AI 的全球化野心
200+ 语言支持清楚地表明，Qwen 不满足于做中文最强模型，而是在争夺全球开源模型的市场份额。这与 Meta 的 Llama 的全球化策略直接竞争。
架构创新 vs. 规模扩展
Qwen 3.5 Small 选择了一条不同于"单纯缩小大模型"的技术路线——通过架构创新（Delta 网络 + MoE）让小模型获得不对称的能力。这暗示在小模型领域，架构设计可能比数据规模更重要。
原文链接
- 发布公告：https://qwen.ai/blog?id=qwen3.5
- GitHub：https://github.com/QwenLM/Qwen3.5
- 发布日期：2026 年 3 月 2 日
- 研究机构：阿里巴巴通义千问团队