GSPO: Towards Scalable Reinforcement Learning for Language Models
原标题 / 中文标题
原标题: GSPO: Towards Scalable Reinforcement Learning for Language Models 中文标题: GSPO：迈向可扩展的语言模型强化学习
一句话摘要
Qwen研究团队提出组序列策略优化(GSPO)算法，通过序列级别的裁剪、奖励和优化，解决了GRPO在MoE模型训练中的不稳定性问题，在Qwen3-30B上展现了显著优于GRPO的训练效率和可扩展性。
完整核心内容翻译
研究背景
随着强化学习(RL)在大语言模型后训练中的地位日益重要——从QwQ-32B到Qwen3，RL都扮演了核心角色——训练的稳定性和可扩展性成为了制约RL规模化应用的关键瓶颈。
GRPO(Group Relative Policy Optimization)是目前广泛使用的RL算法之一，但在实际大规模训练中面临稳定性挑战，尤其是在MoE(混合专家)模型上。GSPO正是为解决这些问题而提出的。
核心算法
GSPO的全称是组序列策略优化(Group Sequence Policy Optimization)。其核心创新在于将优化粒度从token级别提升到序列级别。
重要性比率计算：
GSPO使用基于序列似然度的重要性比率：
$$s_i(\theta) = \left( \frac{\pi_{\theta}(y_i|x)}{\pi_{\theta_{old}}(y_i|x)} \right)^{1/|y_i|}$$
这个公式的关键在于指数项 $1/|y_i|$ ——这是对序列长度的归一化。传统方法在token级别计算比率，导致长序列和短序列的数值范围差异巨大。GSPO通过长度归一化，将所有序列的重要性比率统一到相同的数值范围，从而"减少方差，统一数值范围"。
相比GRPO的核心优势
1. 训练效率显著提升 GSPO展现出"显著更高的训练效率"，并且能够通过增加计算量、更新查询集和延长生成长度来持续获得性能提升。换言之，GSPO具有更好的scaling特性——投入更多计算就能获得更好结果。
2. MoE模型训练的内在稳定性 这是GSPO最突出的优势。GRPO在训练MoE模型时存在严重的不稳定性，需要依赖**路由重放(Routing Replay)**等额外技巧来维持训练稳定。GSPO"维持稳定的训练过程，并从根本上解决了"MoE模型训练中的稳定性挑战，无需任何额外的变通方案。
3. 基础设施友好 序列级别的优化"从根本上对精度差异更具容忍性"，简化了训练基础设施的要求。这意味着在混合精度训练、跨节点通信等场景中，GSPO的数值稳定性更好，对硬件和软件栈的要求更低。
实验结果
在Qwen3-30B模型上的测试显示：
- GSPO在AIME'24、LiveCodeBench、CodeForces等多个基准上持续优于GRPO
- GSPO的裁剪率(clipping rate)比GRPO"高两个数量级"——这看似反直觉，但实际上说明GSPO的裁剪机制更积极地约束了策略更新，反而带来了更好的训练稳定性和最终性能
- 在同等训练计算预算下，GSPO实现了更高的效率
技术要点
- 序列级vs.Token级优化：从token级别上升到序列级别是GSPO的核心思想转变，通过长度归一化解决了长短序列的数值范围不一致问题
- MoE训练稳定性：内在解决了GRPO需要Routing Replay等补丁才能缓解的MoE训练不稳定问题
- 更好的Scaling特性：GSPO允许通过增加计算、数据和生成长度来持续获得提升，这对RL的规模化应用至关重要
- 高裁剪率的正面效果：打破了"低裁剪率=好训练"的传统认知，证明了积极裁剪在序列级优化中的正面作用
- 基础设施简化：对精度差异的容忍性降低了大规模训练的工程复杂度
深度解读
GSPO论文虽然看似是一篇算法改进的技术论文，但它折射出Qwen团队在RL训练方面的深度积累和实战经验。
从实践中来的算法创新。 GSPO不是一个纯理论推导的产物，而是在训练Qwen3这一超大规模模型过程中，实际遇到GRPO的稳定性瓶颈后的解决方案。这种"从工程问题反推算法创新"的研究路径，在工业界AI研究中越来越常见。
MoE模型的RL训练是一个被低估的难题。 大多数RL研究论文使用稠密模型进行实验，但工业界实际部署的前沿模型越来越多地采用MoE架构（Qwen3、DeepSeek-V3等）。MoE的路由机制引入了额外的训练不稳定性，GSPO对这一问题的"内在解决"（而非打补丁）具有重要的实用价值。
序列级别思考的哲学意义。 从token到序列的视角转换，反映了一个更深层的观点——强化学习的奖励本质上是对"整个回答"的评价，而非对"每个词"的评价。序列级别的优化更符合RL的本质逻辑。
GSPO是Qwen3训练的"内功"。 如果说Qwen3的发布是展示肌肉，GSPO论文就是揭示肌肉背后的训练方法。理解GSPO有助于理解为什么Qwen3在RL后训练阶段能够稳定高效地训练。
延伸思考
- GSPO的序列级优化是否可以进一步推广到"轮次级(turn-level)"优化，用于多轮对话和Agent交互场景？
- "高裁剪率反而更好"这一发现是否挑战了PPO/GRPO系列算法中关于裁剪率的传统理解？
- 随着更多团队转向MoE架构，GSPO是否会取代GRPO成为新的标准RL算法？
- 对精度差异的容忍性在异构计算环境（如GPU混合部署）中是否会成为越来越重要的优势？
原文链接
GSPO: Towards Scalable Reinforcement Learning for Language Models