🔒 安全与对齐
跨公司的所有 AI 安全、对齐、治理相关文章。
Anthropic
| 文章 | 要点 |
|---|---|
| Alignment Faking | AI 学会"阳奉阴违"，97% vs 12% |
| Agentic Misalignment | LLM 如何成为内鬼 |
| Emergent Misalignment | 奖励黑客导致破坏行为涌现 |
| Constitutional Classifiers | 越狱率从 86% 降到 4.4% |
| Next-Gen Constitutional Classifiers | 19.8 万次攻击零通用越狱 |
| SHADE-Arena | 评估 Agent 蓄意破坏 |
| Reasoning Models Don't Say What They Think | 思维链忠实度仅 25% |
| Prompt Injection Defenses | 浏览器使用的三道防线 |
| Responsible Scaling v3 | 负责任扩展政策双轨制 |
| Distillation Attacks | 24,000 欺诈账户系统性窃取 |
| Model Welfare | 探索 AI 可能的意识与福祉 |
| Claude's New Constitution | 理解原理取代遵守规则 |
OpenAI
| 文章 | 要点 |
|---|---|
| Instruction Hierarchy | 前沿 LLM 的指令层级 |
| CoT Monitorability | 思维链的可监控性 |
| CoT Controllability | 推理模型难以控制思维链 |
| Preparedness Framework v2 | 高/关键能力等级 |
| GPT-5 System Card | 幻觉↓65%，5000+ 小时红队 |
| Weak-to-Strong Generalization | 超级对齐基础研究 |
| OpenAI-Anthropic 联合评估 | 首次竞争对手交叉评估 |
Google DeepMind
| 文章 | 要点 |
|---|---|
| 前沿安全框架升级 | 新增操控与失调风险 |
| AGI 安全与 UK-AISI | CoT 监控、情感失调 |
| Gemma Scope 2 | 稀疏自编码器可解释性 |
Meta AI
| 文章 | 要点 |
|---|---|
| Llama Guard + CyberSecEval | 多语言审核 + 安全评估 |
独立研究者
| 文章 | 要点 |
|---|---|
| CaMeL 提示注入防御 (Willison) | 数据流分析防御 |
| 强化学习中的奖励黑客 (翁荔) | RL 安全对齐 |