Kimi k1.5: Scaling Reinforcement Learning with LLMs
原标题: Kimi k1.5: Scaling Reinforcement Learning with LLMs 中文标题: Kimi k1.5：用大语言模型扩展强化学习
一句话摘要
月之暗面提出了一个简洁高效的强化学习框架，通过长上下文扩展和改进的策略优化方法，使 Kimi k1.5 在数学、代码和视觉推理任务上达到与 OpenAI o1 相当的性能，同时创新性地实现了"长思维链到短思维链"的知识蒸馏。
完整核心内容翻译
研究背景与动机
传统的大语言模型训练主要依赖监督式预训练，但高质量训练数据的匮乏已成为制约模型能力提升的瓶颈。Kimi k1.5 项目另辟蹊径，探索通过强化学习（RL）让模型自主生成训练数据，从而打开了 AI 持续进步的全新维度。
这篇论文的核心观点是：扩展强化学习为 AI 的持续改进解锁了一条新路径。 不同于依赖外部标注数据的传统范式，RL 使模型能够通过基于奖励的探索自行产生训练样本，从根本上突破了数据瓶颈。
技术方法
Kimi k1.5 的 RL 框架刻意追求简洁，摒弃了蒙特卡洛树搜索（MCTS）、价值函数和过程奖励模型等复杂技术，仅凭两个关键要素驱动性能：
长上下文扩展（Long Context Scaling）：将上下文窗口扩展至 128K token，使模型在更长的推理链中持续获得性能提升。这意味着模型可以在一次推理过程中"思考"更多步骤，探索更深层次的解题路径。
改进的策略优化方法：采用在线镜像下降（Online Mirror Descent）的变体进行稳健的策略优化。同时引入部分回滚（Partial Rollouts） 技术——通过复用先前推理轨迹的大段内容来采样新的推理路径，大幅提升训练效率。
长链到短链的知识迁移（Long2Short）
论文提出了一项极具实用价值的创新：将长思维链（Long-CoT）模型的能力压缩迁移到短思维链（Short-CoT）模型中。 这解决了实际部署中的关键矛盾——长链推理虽然更准确，但推理成本高昂；短链推理更经济，但往往以牺牲准确性为代价。Long2Short 方法在两者之间找到了平衡点。
基准测试结果
长思维链（Long-CoT）性能——匹敌 OpenAI o1：
| 基准测试 | Kimi k1.5 得分 |
|---|---|
| AIME（数学竞赛） | 77.5 |
| MATH 500 | 96.2 |
| Codeforces（编程竞赛） | 第94百分位 |
| MathVista（视觉数学） | 74.9 |
短思维链（Short-CoT）性能——大幅超越竞品：
| 基准测试 | Kimi k1.5 得分 | 提升幅度 |
|---|---|---|
| AIME | 60.8 | — |
| MATH 500 | 94.6 | — |
| LiveCodeBench | 47.3 | 比 GPT-4o 提升高达 550% |
短链推理结果尤为惊艳：在保持极简推理过程的同时，大幅超越 GPT-4o 和 Claude Sonnet 3.5 等既有短链模型。
技术要点
"少即是多"的 RL 框架设计：证明了无需 MCTS、价值函数等复杂组件，仅凭精心设计的策略优化即可达到前沿性能，挑战了"越复杂越好"的惯性思维。
长上下文作为 RL 的新扩展轴：128K token 的上下文窗口不仅服务于信息检索，更成为模型强化学习过程中"深度思考"的空间载体。
部分回滚提升训练效率：通过复用已有推理轨迹的片段来生成新样本，避免每次都从零开始采样，在计算效率和探索多样性间取得平衡。
Long2Short 蒸馏方法：首次系统性地将长链推理的优势压缩至短链模型，实现了"鱼与熊掌兼得"——短链的速度与长链的准确性。
多模态统一训练：框架同时支持文本和视觉推理任务，展示了 RL 方法在不同模态间的通用性。
深度解读
Kimi k1.5 的核心贡献不在于某一项孤立的技术突破，而在于它重新定义了大模型推理能力提升的方法论。
在 OpenAI o1 引爆"推理模型"赛道后，业界普遍认为需要复杂的搜索算法（如 MCTS）和精细的过程奖励模型才能实现强推理能力。月之暗面的工作打破了这一迷思：一个设计精良的端到端 RL 框架，配合充分的上下文扩展，就足以匹敌最先进的系统。
这一发现的深层意义在于降低了推理模型的技术门槛。MCTS 需要大量工程投入和计算资源来维护搜索树；过程奖励模型需要逐步标注的训练数据；而 Kimi k1.5 的方法本质上只需要一个好的奖励函数和足够的计算资源。
Long2Short 方法则直接回应了产业界最关心的成本问题。尽管长链推理在研究中表现卓越，但在实际产品中，每次推理都走几千步显然不现实。Long2Short 提供了一条实用的中间路线：先训练出强大的长链教师模型，再将其能力浓缩到经济实用的短链学生模型中。
延伸思考
RL 扩展的天花板在哪里？ 如果简单扩展 RL 就能持续提升性能，那么制约因素将从数据转向算力和奖励函数的设计质量。未来的竞争焦点可能转向"谁能设计出更好的奖励信号"。
Long2Short 方法的通用性： 这种从"慢思考"到"快思考"的知识压缩是否适用于所有类型的推理任务？在需要创造性思维而非步骤化推理的场景中，长链的优势是否同样可以被压缩？
对 OpenAI 技术路线的挑战： 如果不需要 MCTS 和过程奖励模型就能达到 o1 水平的性能，那么 OpenAI 在这些方向上的投入是否过度？还是说在更高的能力水平上，复杂方法的优势会更加显著？
开源生态影响： Kimi k1.5 的方法因其简洁性而更易复现，这可能加速开源社区在推理模型领域的追赶步伐。
原文链接
- arXiv 论文: Kimi k1.5: Scaling Reinforcement Learning with LLMs
- GitHub 仓库: MoonshotAI/Kimi-k1.5
- HuggingFace 论文页: Paper page - Kimi k1.5
发布时间：2025年1月22日 | 作者：Kimi Team（95位合作者）| 页数：25页