独立研究者与基础论文深度解读
来自 AI 领域最有影响力的独立研究者的经典博客文章，以及塑造当今 AI 格局的里程碑论文解读。
基础论文精读
这些是每个 AI 从业者都应该读的里程碑级工作。
| 文章 | 主题 |
|---|---|
| Attention Is All You Need | Transformer 架构：现代 AI 的基石 |
| Scaling Laws | 缩放定律：模型性能与规模的幂律关系 |
| Chain-of-Thought Prompting | 思维链提示：GSM8K 从 18% 跳到 58% |
| RLHF / InstructGPT | 人类反馈强化学习：1.3B 胜 175B |
| Mixture of Experts | 混合专家架构：从 1991 到 Mixtral |
| RAG 检索增强生成 | RAG 全流程：向量检索到 Agentic RAG |
Lilian Weng（翁荔）
前 OpenAI VP，她的博客 lilianweng.github.io 是 AI 圈公认的必读系列。
| 文章 | 主题 |
|---|---|
| LLM 驱动的自主智能体 | Agent 架构经典：规划+记忆+工具使用 |
| 提示工程指南 | Prompt Engineering 百科全书 |
| Transformer 家族 2.0 | Transformer 架构演进全景 |
| 可控神经文本生成 | 从解码策略到可控生成 |
| 大语言模型的外在幻觉 | 幻觉问题的系统性分析 |
| 强化学习中的奖励黑客 | RL 奖励黑客与安全对齐 |
Andrej Karpathy
前 Tesla AI 总监、OpenAI 创始团队，深度学习领域最具影响力的教育者之一。
| 文章 | 主题 |
|---|---|
| Software 2.0 | 神经网络作为新编程范式 |
| RNN 的不合理有效性 | 字符级语言模型的魔力 |
| 训练神经网络的秘诀 | 六阶段系统方法论 |
| 你应该理解反向传播 | 梯度消失/死亡 ReLU/爆炸梯度 |
| 深度神经网络 33 年 | 复现 1989 论文 + 展望 2055 |
| microgpt | 200 行纯 Python 实现完整 GPT |
| 2025 年 LLM 年度回顾 | RLVR/锯齿智能/氛围编程等六大范式 |
Simon Willison
AI 安全与工具领域最活跃的博主之一，专注 prompt injection 和 LLM 安全。
| 文章 | 主题 |
|---|---|
| AI 代理的致命三要素 | 私有数据+不可信内容+外部通信 |
| CaMeL 提示注入防御 | Google DeepMind 的系统级防御方案 |
Jay Alammar
以可视化解释著称的 AI 教育者，"图解"系列是入门经典。
| 文章 | 主题 |
|---|---|
| 图解 Transformer | 自注意力、多头注意力的可视化讲解 |
Sebastian Raschka
ML 研究者和畅销书作者，专注 LLM 训练方法论。
| 文章 | 主题 |
|---|---|
| LLM 预训练与后训练新范式 | Qwen2/AFM/Gemma2/Llama3.1 对比 |
Chip Huyen
MLOps 和 LLM 部署专家，著有《Designing Machine Learning Systems》。
| 文章 | 主题 |
|---|---|
| 构建生成式 AI 平台 | RAG/护栏/路由/缓存/编排完整架构 |
| AI 代理全面指南 | 代理定义/组件/规划/失败模式/评估 |