mHC: Manifold-Constrained Hyper-Connections / mHC：流形约束超连接——重新定义深度网络中的残差连接
一句话摘要
DeepSeek 于 2026 年初发表的 mHC 论文提出了一种新型网络连接机制，通过将超连接（Hyper-Connections）的残差连接空间投影到特定流形上，恢复了恒等映射特性，解决了原始超连接在大规模训练中的不稳定性问题，仅增加 6.7% 的训练开销即可获得显著的性能提升和更优的可扩展性。
完整核心内容翻译
1. 研究背景：从残差连接到超连接
残差连接（Residual Connection）
2015 年，微软亚洲研究院提出的 ResNet 引入了残差连接，它是现代深度学习的基石之一。残差连接的核心思想是：每一层的输出 = 输入 + 该层的变换，即 y = x + F(x)。这种设计的关键特性是恒等映射（identity mapping）——当 F(x) = 0 时，信号可以无损地通过网络，极大地缓解了梯度消失问题。
超连接（Hyper-Connections, HC）
2024 年 9 月，字节跳动（ByteDance）提出了超连接架构，通过以下方式扩展了残差连接范式：
- 拓宽残差流：将残差连接的流宽度从 1 扩展到多个
- 多样化连接模式：允许不同层之间建立更丰富的信息流路径
超连接在小规模实验中展现了性能提升，但存在一个根本性问题。
2. 核心问题：恒等映射的丧失
超连接在拓宽残差流和多样化连接模式的过程中，从根本上破坏了残差连接的恒等映射特性。论文明确指出：
"这种多样化从根本上损害了残差连接固有的恒等映射特性，导致严重的训练不稳定性和有限的可扩展性。"
换言之，HC 的灵活性是以稳定性为代价的。在小规模模型上，这种代价可以承受；但当模型扩展到数十亿乃至数百亿参数时，训练不稳定性会变得不可接受。此外，HC 还存在显著的内存成本问题，限制了其在实际大规模训练中的应用。
3. mHC 解决方案：流形约束
mHC 的核心思想优雅而深刻：将超连接的残差连接空间投影到一个特定的流形上，以恢复恒等映射特性。
技术实现
- 流形投影：使用 Sinkhorn-Knopp 算法（一种源自 1967 年的矩阵缩放算法）对 HC 的残差连接矩阵进行熵正则化投影
- 恢复恒等映射：通过流形约束，确保在网络初始化和训练过程中，信号可以近似无损地通过深层网络
- 基础设施优化：结合严格的工程级优化确保效率，使得复杂的数学机制不会引入过大的计算开销
为什么选择 Sinkhorn-Knopp？
Sinkhorn-Knopp 算法可以将任意非负矩阵迭代地缩放为双随机矩阵（行和与列和均为 1 的矩阵）。在 mHC 的语境中，这种投影确保了残差连接矩阵满足恒等映射所需的数学约束，同时保留了超连接带来的多样化连接模式的优势。
4. 实验结果
研究团队在三个模型规模上验证了 mHC 的效果：
| 模型规模 | 验证结果 |
|---|---|
| 30 亿参数 | mHC 有效提升性能 |
| 90 亿参数 | mHC 保持性能优势，扩展性良好 |
| 270 亿参数 | mHC 展现出优越的可扩展性 |
关键指标：
- 训练开销：仅增加 6.7% 的额外训练开销
- 性能提升：在推理任务上展现出显著的改进
- 训练稳定性：相比传统 HC，"有效实现了稳定的大规模训练，具有优于传统 HC 的可扩展性"
- 内存效率：通过工程优化解决了 HC 的内存成本问题
5. 论文元信息
- 提交日期：2025 年 12 月 31 日
- 更新日期：2026 年 1 月 5 日
- 作者：20 位作者，包括谢正达（Zhenda Xie），联合创始人梁文锋（Liang Wenfeng）参与署名
- 论文编号：arXiv:2512.24880
技术要点
- 恒等映射的恢复：mHC 的核心贡献是在保留 HC 连接多样性优势的同时，通过流形约束恢复了残差连接的恒等映射特性
- Sinkhorn-Knopp 流形投影：借用 1967 年的经典矩阵缩放算法，将 HC 的连接矩阵投影到双随机矩阵流形上
- 极低额外开销：6.7% 的训练开销换取训练稳定性和性能的显著提升，性价比极高
- 跨规模验证：在 3B 到 27B 参数范围内系统验证了有效性和可扩展性
- 面向下一代模型：mHC 被广泛认为将应用于 DeepSeek 的下一代旗舰模型（V4）
深度解读
mHC 论文以 DeepSeek 2026 年首篇重要研究的姿态登场，其意义远超技术本身。
为什么残差连接仍然重要？ 在 Transformer 架构已经统治 AI 领域近十年的今天，残差连接几乎是"理所当然"的组件，很少有人质疑其设计。mHC 论文重新审视了这一基础组件，表明即便是最基本的架构元素，也仍然有巨大的优化空间。这种"回归基础"的研究态度值得整个行业反思。
创始人署名的信号：梁文锋作为 DeepSeek 创始人亲自参与署名，释放了一个明确信号——mHC 不是一篇普通的研究论文，而是 DeepSeek 下一代模型的架构基础。业界普遍推测 mHC 将被整合到 DeepSeek-V4 中，用于实现更大规模模型的高效训练。
"古老"算法的新生：Sinkhorn-Knopp 算法诞生于 1967 年，最初用于完全不同的数学领域（最优传输理论）。将一个近 60 年历史的算法应用于 2026 年的深度学习架构，体现了 DeepSeek 研究团队深厚的数学功底和跨领域视野。
低成本创新的持续哲学：6.7% 的额外训练开销——这与 DeepSeek 一贯的低成本哲学一脉相承。从 V3 的 557 万美元训练成本到 mHC 的极低额外开销，DeepSeek 持续证明：在 AI 领域，聪明的架构设计比暴力堆砌算力更有效。
延伸思考
对 Transformer 架构的深层影响：如果残差连接——Transformer 最基本的组件之一——都还有显著的优化空间，那么 Transformer 的其他组件（注意力机制、前馈网络、归一化层）是否也有类似的被忽视的优化机会？
mHC 与 MoE 的结合：DeepSeek 的 MoE 架构已经在稀疏激活方面做到了极致。mHC 与 MoE 的结合将如何影响专家间的信息流？是否可以通过 mHC 改善专家协作？
训练稳定性的工程价值：DeepSeek-V3 的训练全程零损失尖峰已经是行业奇迹。mHC 进一步增强训练稳定性，这意味着什么？对于更大规模（万亿参数级）模型的训练，稳定性可能是比性能更关键的瓶颈。
开放 vs 闭合：DeepSeek 选择在最新研究成果尚未应用于产品之前就公开论文，这种开放策略的战略考量是什么？是为了吸引人才、建立学术影响力，还是有更深层的竞争逻辑？
原文链接
- 技术论文（arXiv）：https://arxiv.org/abs/2512.24880
- 论文 PDF：https://arxiv.org/pdf/2512.24880
- Hugging Face 论文页：https://huggingface.co/papers/2512.24880
- 南华早报报道：https://www.scmp.com/tech/big-tech/article/3338427/deepseek-kicks-2026-paper-signalling-push-train-bigger-models-less
- 可视化解读：https://subhadipmitra.com/blog/2026/deepseek-mhc-manifold-constrained-hyper-connections/
- AI Papers Academy 解读：https://aipapersacademy.com/deepseek-mhc/