Controllable Neural Text Generation | 可控神经文本生成
作者: Lilian Weng（翁荔）| 发布日期: 2021年1月2日（2021年9月更新）
一句话摘要: 本文全面梳理了控制语言模型输出属性（主题、风格、情感等）的三大技术路径——解码策略、智能提示设计和微调方法——为理解从 RLHF 到 Constitutional AI 等后续对齐技术奠定了关键的理论基础。
一、核心内容翻译
1. 核心问题
大语言模型在无监督 Web 数据上训练，天然缺乏对输出属性的控制能力。翁荔提出了一个根本性问题：如何驾驭一个强大的无条件语言模型？
预训练模型通过下一词元预测学习概率分布 p_θ(x_t|x_{<t})，但我们往往需要的是条件分布 p(x|z)，其中 z 代表所需的属性（如"积极情感"、"科学风格"）。
2. 解码策略：在生成时施加控制
常见解码方法：
| 方法 | 原理 | 优缺点 |
|---|---|---|
| 贪心搜索 | 每步选概率最高的词元（T=0） | 简单但产生重复文本 |
| 束搜索 | 广度优先保留 top-n 候选 | "基于最大化的解码并不保证高质量生成" |
| Top-k 采样 | 限制候选为前 k 个词元 | 更具创新性但 k 难以选择 |
| 核采样（Nucleus） | 选择累积概率超过阈值的最小集合 | 自适应候选集大小 |
| 惩罚采样 | 用系数 θ=1.2 折扣已生成词元 | 有效避免重复 |
引导解码（Guided Decoding）：
使用偏好判别器增强排序函数。Hafez 系统结合语言模型似然度和特征函数进行风格控制，特征包括主题词、情感、重复度和词长偏好。
可训练解码：
- 可训练贪心解码：通过 RL 代理注入可学习噪声
- 无似然度重要性加权（LFIW）：训练分类器估计重要性权重
- 基于能量的模型：学习残差能量函数进行引导
3. 智能提示设计：在输入端施加控制
基于梯度的方法：
- AutoPrompt：使用梯度引导搜索识别通用触发词元，在整个数据集上优化目标输出。
- Prefix-Tuning（前缀微调）：在序列开头添加小型可训练参数矩阵，通过 MLP 重参数化获得更好性能。关键发现：用真实词嵌入初始化优于随机初始化。
- P-tuning：在提示中插入伪词元，使用 LSTM 编码器建模词元间的依赖关系。
- Prompt Tuning（提示微调）：每个任务前置 k 个可调词元，"当模型足够大时，可达到与模型微调相当的竞争性结果"。
启发式方法：
- 回译生成释义候选
- 语义等价对抗通过释义识别模型漏洞
4. 微调方法：在权重中嵌入控制
条件训练：
CTRL 模型在原始文本上以控制代码前缀进行训练，如 [horror]、[legal]，学习跨多个数据集的条件分布 p(x|z)。
强化学习微调：
使用 REINFORCE 优化序列级别的指标（BLEU、ROUGE），而非词元级别的交叉熵。训练在 ML 损失和 RL 损失之间交替，逐步转向纯 RL 优化。
人类偏好学习（RLHF 的前身）：
这是本文最具前瞻性的部分：
- 收集响应质量的二元反馈
- 通过偏好损失（而非 MSE）训练奖励模型
- 基于 PPO 的策略优化，使用 KL 惩罚防止分布漂移：R(x,y) = R_ψ(x,y) - β·log[π(y|x)/p(y|x)]
这一框架后来成为了 InstructGPT 和 ChatGPT 背后的核心方法论。
可插拔层方法：
- PPLM（即插即用语言模型）：通过属性判别器的梯度更新隐藏状态，每个解码步骤运行三次传递（前向-反向-前向）。创新但速度慢。
- GeDi：使用类条件语言模型通过对比分布计算贝叶斯分类。比 PPLM 快 30 倍。
- Side-tuning（旁路微调）：学习轻量级残差网络，不修改基础模型。
- Auxiliary tuning（辅助微调）：用辅助网络补充基础模型，在 logits 层面合并。
分布式控制：
将可控生成框架化为概率分布优化问题。学习基于能量的模型近似目标分布，然后通过分布式策略梯度训练自回归策略。一个生动的例子：GDC 方法将女性传记生成比例从 7.4% 提升到 35.6%。
不似然训练（Unlikelihood Training）：
将似然度最大化与不需要词元的不似然度最小化相结合：
L^t_UL = -α·Σ log(1 - p_θ(c|x_{<t})) - log p_θ(x_t|x_{<t})
其中第一项惩罚不需要的词元 c，第二项保持正常的语言建模目标。
二、技术要点
- 三条技术路径各有所长：解码策略无需训练但控制力有限；提示设计在少数据场景（100-1000 样本）下最优；微调提供最强控制但成本最高。
- KL 散度惩罚是对齐的核心约束：防止优化后的策略偏离预训练分布太远，在"可控"与"流畅"之间维持平衡——这一思想贯穿了后续所有的 RLHF 工作。
- PPLM 开创了"即插即用"范式：不修改基础模型，通过外部模块引导生成，预示了 LoRA、适配器等参数高效方法的兴起。
- GeDi 的效率优势：30 倍于 PPLM 的速度提升表明，基于分类的方法在实际部署中比基于梯度的方法更实用。
- 不似然训练开辟了"负面学习"思路：不仅教模型"该生成什么"，还教它"不该生成什么"，这与后来的 DPO（直接偏好优化）有异曲同工之妙。
三、深度解读
这篇文章发表于 2021 年初，距离 ChatGPT 的发布还有近两年。然而，文中关于人类偏好学习的梳理——偏好数据收集、奖励模型训练、PPO 策略优化加 KL 惩罚——几乎就是后来 InstructGPT 论文的技术蓝图。翁荔的学术嗅觉在这里展现无遗。
文章最具方法论价值的地方在于分类框架的清晰性。将所有可控生成方法分为解码、提示、微调三大类，不仅便于理解，也揭示了一个有趣的梯度：从推理时的轻量干预到训练时的深度改造，控制力逐步增强，但成本也逐步上升。
PPLM 和 GeDi 的对比也非常有启发性——PPLM 在概念上更优雅（梯度引导隐状态），但 GeDi 在实践中更胜一筹（30 倍速度提升）。这再次印证了工程界的一个经验：最优雅的方案不一定是最实用的方案。
四、延伸思考
- 从可控生成到对齐：这篇文章讨论的本质问题——"如何让模型按照人类意图生成"——就是后来"AI 对齐"的核心议题。可控生成是对齐的技术先驱。
- DPO 的崛起：文中描述的"奖励模型 + PPO"管线在 2024 年被 DPO（直接偏好优化）大幅简化，绕过了奖励模型的训练，直接从偏好数据优化策略。
- 宪法 AI（Constitutional AI）：Anthropic 的 CAI 方法可以视为本文"自动化提示设计 + 偏好学习"的高级形态——用 AI 自身的判断替代人类标注。
- 安全与自由的张力：越强的控制意味着越少的生成自由。如何在"安全对齐"和"创造性表达"之间找到平衡，是一个尚未解决的根本性问题。