H. 按前置知识选择论文
读论文不必从“最热门的一篇”开始。更容易走通的起点，往往是一个已经能说清的问题：为什么模型会过度自信？为什么长序列占那么多内存？为什么少量参数也能完成微调？
下面按这些问题组织阅读路线。每条路线都接回正文，并给一个可以留下来的小成果。这里列的是帮助建立理解的代表文献，不是最新论文排行榜；新研究的比较与更新放在前沿专题中。
1. 第一篇可以选一个能手算、也能跑通的题目
如果你已经理解概率、交叉熵和训练/验证/测试划分，可以从 Guo、Pleiss、Sun、Weinberger，On Calibration of Modern Neural Networks（ICML 2017） 开始。正式论文与补充材料
先读“模型的概率是否可信”这个问题，再追温度缩放的公式，最后检查结果表的指标与对照。第 44 章已经给出逐步阅读示例，第 45～47 章把它接成真实方法复现与扩展。
读完可以留下三件东西：一个温度改变概率但不改变类别排序的手算例子；一行准确抄明条件的论文结果；一句这行结果还不能支持的宽泛结论。它们比“这篇论文提出了一个有效方法”的摘要更便于检验。
如果交叉熵仍然陌生，先回到第五章和第七章。如果不清楚为什么要分开选模和校准数据，先补第八章。
2. 想读懂语言模型结构，先让张量形状说得通
Vaswani 等，Attention Is All You Need（2017） 是理解 Transformer 的一个起点。论文入口
读之前，先完成注意力和Transformer 结构。重点读编码器与解码器的组织、缩放点积、多头和位置处理。给图中的每根连接补上输入输出形状，再拿一小段序列验证因果掩码。
也要留下差别：原论文的编码器—解码器翻译模型，与本书后面的小型仅解码器语言模型，并不是同一套实验。不能因为用了注意力公式，就把小模型的续写称作原论文翻译成绩的复现。
接着可以读 Hoffmann 等，Training Compute-Optimal Large Language Models（2022）。论文入口
这篇更适合在规模与计算预算之后阅读。追问作者怎样固定计算预算、怎样改变参数量与训练词元量、怎样从多组实验中估计较好的分配。可以画出一个预算示意图，并列出自己小实验与原研究在数据、规模、优化过程上的差别。不要把某个经验比例当成所有架构与部署成本下的固定法则。
3. 想改变模型行为，先区分“改哪里”和“按什么目标改”
Hu 等，LoRA: Low-Rank Adaptation of Large Language Models 于 2021 年发布预印本，并发表于 ICLR 2022。论文入口
先看低秩增量怎样接到原有权重，再算一个具体层的新增参数量。之后读实验中哪些矩阵被调整、秩如何选择、用了什么基线。可运行第 27 章的冻结与合并检查，确认“只训练少量参数”在代码里真的成立。参数更少，也不自动意味着训练中所有内存开销都按相同比例下降。
Rafailov 等，Direct Preference Optimization: Your Language Model is Secretly a Reward Model（2023） 则主要回答目标怎样写。论文入口
读前需要理解对数概率、偏好对、参考策略与 KL 约束。先沿奖励最优策略和偏好概率模型之间的关系读推导，再核对训练数据与比较条件。读后可以用一对“更好/更差”回答，手算目标的方向，并解释为什么参考策略不能随意省掉。第 29 章的教学偏好是人工构造的，不等于真实人类总体偏好的实验。
如果进一步关心可验证任务，可接着读 DeepSeek-AI，DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（2025 年预印本）。2025 年初始版本
先补强化学习基础与可验证奖励，再区分 R1-Zero 与 R1 的训练路线、奖励来源和评价设置。阅读成果可以是一张流程差异表，以及一个可能被奖励钻空子的例子。本书的有限任务奖励实验帮助理解机制，没有复现大规模 R1 的能力。
4. 想把模型放进系统，先辨认瓶颈在哪里
Lewis 等，Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（2020），适合在检索增强生成之后阅读。论文入口
重点看检索文档如何进入生成概率，以及检索器和生成器的训练关系。再比较本书“先检索、再把资料放进提示”的应用实现：它借用了检索增强的思路，但不是原论文训练目标的完整复现。读后给一条问答画出资料来源，并分别列出检索失败、证据使用失败和答案生成失败。
Dao、Fu、Ermon、Rudra、Ré，FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness（2022），适合在硬件与分布式训练、推理加速之后读。论文入口
先理解较慢的外部内存与片上存储之间搬运什么，再读分块计算和重算如何改变读写量。把 FLOPs、存储量与数据搬运分开记账，才能理解为什么同一个数学目标也可能更快。阅读时不要把本书 CPU 小模型的缓存计时，替代论文中的 GPU 算子测量。
这两篇关心的“效率”不同：RAG 会引入资料获取与使用过程，FlashAttention 改变注意力计算的执行方式。它们能否帮助当前系统，要回到具体瓶颈判断。
5. 想读多模态，先认清配对关系和生成目标
Radford 等，Learning Transferable Visual Models From Natural Language Supervision（ICML 2021），也就是 CLIP 论文。正式论文与补充材料
先完成跨模态表示与对齐。读配对训练目标时，给一个小批量的相似度矩阵标出正确配对，再解释行方向与列方向的两个损失。随后检查文字候选如何用于分类，以及评价数据与训练数据的关系。本书颜色—形状图库很小，可以检查配对机制，不能代替原论文的大规模零样本评价。
Ho、Jain、Abbeel，Denoising Diffusion Probabilistic Models（2020），可以从图像生成接过去。论文入口
前置知识是高斯噪声、条件概率、期望和神经网络训练。先读前向加噪与反向采样各自已知什么，再看网络预测的量和训练损失。可先验证一维加噪公式和边界步骤，再运行第 42 章的小数字模型。若要声称复现图像质量，还需要匹配数据、分辨率、模型、采样与评价条件，不能只展示一张好看的输出。
6. 无论选哪条分支，都带上证据阅读
Pineau 等，Improving Reproducibility in Machine Learning Research: A Report from the NeurIPS 2019 Reproducibility Program（JMLR 2021），可以与任何一条技术路线一起读。正式论文
把它与第 45～47 章放在一起，检查自己的项目留下了哪些可复核信息。读完不必写一份空泛的“重视复现”心得，直接找出当前记录里的一处缺失：例如无法确定数据划分，或只有最好种子而没有全部运行。
图 H-1：一种可走通的阅读路线。证据检查贯穿各个分支，不必等读完全部模型以后才开始。
7. 一次阅读，留下一页能继续工作的笔记
可以围绕五个问题写：
- 这篇论文想解决什么具体问题，之前的办法哪里不足？
- 一个关键公式或算法步骤需要哪些输入，产生什么输出？
- 哪个实验最直接支持主要结论，对照与指标是什么？
- 原文明确写了哪些条件，我又补入了哪些自己的猜测？
- 如果只做一个小实验，我能检验什么，还不能检验什么？
读到陌生符号时，不必把整本书停下来从头重学。先标记它在公式中的角色，再用符号附录和对应章节补上所需的一小段基础。若缺的是整类知识，例如从未接触强化学习，就回到前置章节走完一个具体例子。
也别忘了记录版本。预印本可能修订，正式会议版与后续期刊版也可能不同。这里的标题和入口核查于 2026-10-20；引用具体公式、表格或数字时，应再注明自己实际阅读的版本。本页没有新增这些大型论文的复现实验，也没有把作者报告的成绩当成本书结果。
给自己安排一个小起点
选上面一篇论文，写下要先补的两项知识，再确定一个一小时内能完成的阅读成果，例如画清一个张量形状、重算一个概率或查清一组实验条件。完成后再决定是否继续，而不是先给自己排满几十篇标题。
如果发现问题已超出这条基础路线，可以带着笔记进入前沿专题。此时再看新方法，你就更容易分清它改变了什么、增加了什么证据，以及还有哪些条件尚未回答。