Qwen2.5: A Party of Foundation Models!
原标题 / 中文标题
原标题: Qwen2.5: A Party of Foundation Models! 中文标题: Qwen2.5：基础模型的盛宴！
一句话摘要
Qwen团队发布"可能是史上最大规模的开源模型发布"——Qwen2.5系列，涵盖通用、编程、数学三大家族共十余个尺寸的模型，预训练数据达18万亿token，各项能力全面超越前代。
完整核心内容翻译
发布概览
Qwen2.5被团队自信地称为"可能是史上最大规模的开源发布"，一次性推出三个模型家族、覆盖从5亿到720亿参数的多个尺寸，为开源社区提供了全方位的基础模型选择。
模型家族
Qwen2.5（通用语言模型）
- 尺寸：0.5B、1.5B、3B、7B、14B、32B、72B
- 预训练数据：最多18万亿token
- 上下文长度：128K token，生成能力8K token
- 多语言支持：29+种语言（中英法西葡德意俄日韩越泰阿拉伯语等）
Qwen2.5-Coder（编程专用模型）
- 尺寸：1.5B、7B、32B
- 代码相关训练数据：5.5万亿token
- 专精于调试、代码建议和技术问答
Qwen2.5-Math（数学专用模型）
- 尺寸：1.5B、7B、72B
- 双语支持（中文和英文）
- 支持思维链(Chain-of-Thought)、程序思维(Program-of-Thought)和工具集成推理(Tool-Integrated Reasoning)三种解题方式
性能亮点
知识与能力基准：
- MMLU（知识）：85+
- HumanEval（编程）：85+
- MATH（数学）：80+
旗舰模型Qwen2.5-72B表现：
- 在指令遵循基准上全面超越Llama-3.1-70B和Mistral-Large-V2
- 基础模型性能达到顶级水平，"甚至能与更大的Llama-3-405B抗衡"
中型模型（14B和32B）：
- Qwen2.5-14B和Qwen2.5-32B超越同级别或更大规模的Phi-3.5-MoE-Instruct和Gemma2-27B-IT
小型模型（3B）：
- Qwen2.5-3B"仅用约30亿参数就实现了令人印象深刻的表现"，体现了小型语言模型的效率趋势
专用模型成绩：
- Qwen2.5-Math-72B同时超越前代Qwen2-Math-72B和GPT-4o
- 即便是1.5B的小型数学模型，也能"达到与大型语言模型高度竞争性的表现"
关键技术改进
后训练增强：
- 长文本生成能力提升至8K token
- 结构化数据理解能力增强（表格等）
- 可靠的JSON输出生成
- 在多样化系统提示下角色扮演的鲁棒性增强
工具调用支持：
- 通过vLLM、Ollama和Transformers支持工具调用
- 灵感来源于Nous的Hermes模板
- 向后兼容Qwen-Agent的原生工具调用模板
生态系统
部署框架： vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI、Xinference 微调工具： PEFT、ChatLearn、Llama-Factory、Axolotl、Swift、XTuner、Unsloth 量化工具： AutoGPTQ、AutoAWQ、Neural Compressor
开源许可
大部分模型采用Apache 2.0许可证（3B和72B变体除外），可在Hugging Face、ModelScope和GitHub获取。
技术要点
- 18万亿token预训练规模：相比Qwen2大幅提升数据规模，是支撑全面能力提升的数据基础
- 三大家族差异化定位：通用、编程、数学三个专用家族的设计，体现了"专精优于万能"的模型策略
- 小模型能力上移：3B模型展现惊人实力，1.5B数学模型可对标大模型，参数效率持续提升
- 工具集成推理（TIR）：Qwen2.5-Math支持的三种推理方式中，TIR允许模型在解题过程中调用计算工具，是能力边界的重要扩展
- 128K长上下文 + 8K生成：上下文理解和长文本生成的双重提升，满足实际应用需求
深度解读
Qwen2.5的发布是开源大模型竞争白热化阶段的一个标志性事件。
"专用模型"战略的成熟。 与其试图让一个模型在所有领域都表现优异，不如针对编程和数学等高价值垂直领域训练专用模型。Qwen2.5-Coder和Qwen2.5-Math的成功验证了这一策略——Qwen2.5-Math-72B超越GPT-4o的数学表现尤其令人印象深刻，因为GPT-4o是一个通用模型，而专用模型在特定领域天然具有优势。
尺寸覆盖的完整性具有战略意义。 从0.5B到72B的完整覆盖，不仅是技术展示，更是生态战略——它确保了无论用户的部署环境是手机端还是数据中心，都能找到合适的Qwen模型。这种"全尺寸覆盖"策略直接与Meta的Llama系列竞争。
18万亿token的数据工程。 预训练数据的质量和规模是大模型竞争中最难以复制的壁垒之一。阿里在数据获取、清洗和组合方面的持续投入，体现在29+语言的覆盖和全面提升的基准分数上。
开源生态的网络效应。 Qwen2.5列举了大量兼容的微调、量化和部署框架，说明开源模型的竞争力不仅来自模型本身，更来自围绕它建立的工具链和社区生态。
延伸思考
- 专用模型（Coder、Math）和通用模型的边界在哪里？随着通用模型能力持续提升，专用模型是否终将被替代？
- 18万亿token的训练数据中，中文数据的比例和质量如何？这直接影响模型在中文场景下的实际表现。
- Qwen2.5发布时提到的"未来方向"包括统一多模态和强化学习推理——这两点都已在Qwen2.5-Omni和QwQ中实现，执行力令人印象深刻。
- 模型尺寸从0.5B到72B的密集分布，是否意味着模型选型正在从"选最大的"转向"选最合适的"？