C. 中英文术语与缩写

同一个词在不同领域里，可能指不同的事。比如“推理”既可能是运行模型得到输出，也可能是模型解决多步问题的能力。查到英文名字只是第一步，还要看它在当前句子里负责解释什么。

这份索引按阅读路线分组。每组都有对应章节；英文缩写可以直接用页面搜索查找。表中的一句话用于唤起记忆，具体条件和例子仍要回到正文。

数据、模型与学习

术语	含义
样本 / sample	一条用于训练或评价的记录；也可能指从分布中抽取的一个结果。
特征 / feature	输入中供模型使用的表示，例如页数或像素；不一定由人手工设计。
标签 / label、target	监督任务希望预测的目标；数据里的标签也可能有错误。
参数 / parameter	模型中通过训练调整的量，如线性层权重。
超参数 / hyperparameter	控制模型或训练方案的设置，如层数、学习率；通常由开发过程选择。
基线 / baseline	用来判断改动是否有价值的参照方案，不一定是最弱模型。
拟合 / fit	根据数据确定参数；不能直接等同于理解或泛化。
泛化 / generalization	在目标范围内的新样本上仍有较好表现。
过拟合 / overfitting	对训练数据的适应没有转化为相应的新数据表现。
正则化 / regularization	通过惩罚、约束或训练策略限制拟合方式；不保证任何设置下都更好。
训练集 / training set	用于学习模型参数的数据。
验证集 / validation set	用于选择方案、轮次或超参数的数据；多次使用也会受到选择影响。
测试集 / test set	用于评价已冻结方案的保留数据；看过它再改方案，就应如实说明。
数据泄漏 / data leakage	学习或选择过程使用了本不应得到的信息，例如测试标签或未来数据。
分布偏移 / distribution shift	使用时的数据规律与开发时不同，例如新设备或新用户。
聚类 / clustering	按指定表示和相似性将样本分组，不等于发现唯一的天然类别。
PCA / principal component analysis	主成分分析，在中心化数据中寻找保留较多方差的线性方向。

损失、概率与评价

对应学习目标、统计与不确定性、研究证据。

术语	含义
损失 / loss	训练中被最小化的数值目标；与真正关心的任务效果可能有差别。
指标 / metric	描述表现的量，如准确率、延迟；未必能够直接求导来训练。
MSE / mean squared error	均方误差，残差平方的平均。
RMSE / root mean squared error	均方根误差，MSE 的平方根，单位回到目标量的单位。
CE / cross-entropy	交叉熵，用目标分布评价预测概率；单个类别标签时是正确类别概率的负对数。
NLL / negative log-likelihood	负对数似然。与 CE 的对应要看目标、分布和求和或平均约定。
PPL / perplexity	困惑度，常为平均词元 NLL 的指数；词元化不同，数值不宜直接横比。
准确率 / accuracy	预测类别正确的比例；不是某一个类别的召回率。
精确率 / precision	在预测为某类的样本中，真正属于该类的比例。
召回率 / recall	在真正属于某类的样本中，被找出来的比例。
F1	精确率与召回率的调和平均；还要说明多分类时的汇总方式。
置信度 / confidence	模型赋给预测的分数或概率；数值大不意味着已被外部事实证实。
校准 / calibration	预测概率与对应事件实际发生频率之间的匹配关系。
ECE / expected calibration error	常见分箱校准误差估计；结果依赖分箱、样本和校准对象。
Bootstrap	从已有样本重采样以研究统计量波动的方法；重采样单位和假设决定解释范围。
消融 / ablation	改变或移除某部分以考察它的作用；删除后重训与推理时破坏回答不同问题。

“置信区间”中的置信，不是模型的 confidence 分数。频率学派区间强调重复抽样程序的性质；单次模型报出的 0.9 则是另一个对象。两者不能只因为中文里都有“置信”就互换。

神经网络与语言模型

对应神经网络、训练诊断、词元化和Transformer。

术语	含义
张量 / tensor	代码中按多条轴组织的数组；轴的含义需要另行约定。
激活 / activation	网络某层计算出的中间值；“激活函数”则是变换这些值的函数。
梯度 / gradient	对各参数的偏导数构成的向量，描述当前点的局部变化率。
自动微分 / automatic differentiation	沿实际运算组合计算导数，不是用很小的步长逐项试算。
反向传播 / backpropagation	从输出向输入方向传播导数的计算方法。
SGD / stochastic gradient descent	随机梯度下降，常用小批量梯度更新参数。
Batch、epoch、step	一批样本、遍历一轮数据、一次更新或处理步骤；step 的具体口径须说明。
MLP / multilayer perceptron	多层感知机，由线性变换与非线性层组合的网络。
CNN / convolutional neural network	卷积神经网络，利用局部连接与参数共享处理结构化输入。
RNN / recurrent neural network	循环神经网络，通过递推状态处理序列。
LSTM / long short-term memory	长短期记忆网络，用门控制状态的保留与更新。
Token / 词元	分词器处理文本的基本单位，可能是词、字、子词或字节片段。
BPE / byte-pair encoding	通过逐步合并高频相邻单位构造词表的一类方法。
Embedding / 嵌入	将离散对象或输入映射为向量的表示。
Logits	归一化为概率之前的类别或词元分数；本身通常不是概率。
Attention / 注意力	按查询与键的关系，对值进行加权组合的机制。
Q/K/V	Query、Key、Value，查询、键、值；形状由具体实现决定。
FFN / feed-forward network	前馈网络；Transformer 中通常指逐位置应用的前馈子层。
RoPE / rotary position embedding	旋转位置编码，通过旋转查询与键的分量引入位置信息。
自回归 / autoregressive	以已有部分为条件，逐步预测接下来的内容。
上下文窗口 / context window	一次模型计算能使用的词元范围；不等于永久记忆或可靠利用范围。

训练、对齐与应用

对应预训练、偏好优化、RAG和Agent。

术语	含义
预训练 / pretraining	先在较广的数据与目标上学习模型，再用于后续任务。
后训练 / post-training	预训练之后进一步调整行为或能力的过程，包含多种方法。
SFT / supervised fine-tuning	监督微调，常用指令与回答等成对数据继续训练。
PEFT / parameter-efficient fine-tuning	参数高效微调，只调整少量参数或附加模块的一类方法。
LoRA / low-rank adaptation	低秩适配，用低秩矩阵的乘积表达权重增量。
RL / reinforcement learning	强化学习，通过行动与回报关系学习策略。
RLHF / reinforcement learning from human feedback	从人类反馈学习奖励或偏好，再据此改进策略的一类流程。
PPO / proximal policy optimization	近端策略优化，通过裁剪目标等方式抑制过大的策略更新。
DPO / direct preference optimization	直接偏好优化，在特定建模假设下直接用成对偏好训练策略。
GRPO / group relative policy optimization	组相对策略优化，利用同题多次输出的相对奖励构造学习信号。
KL / Kullback–Leibler divergence	KL 散度，比较两个分布的有向差异；不是一般意义的对称距离。
RAG / retrieval-augmented generation	检索增强生成，先取相关资料，再把它们用于生成。
Agent / 智能体	在任务与环境反馈间进行多步行动的系统，自主程度因实现而异。
工作流 / workflow	预先定义关键步骤与转移规则的流程，可在其中调用模型。
工具调用 / tool calling	模型提出结构化行动，由外部程序检查并执行。
提示注入 / prompt injection	不可信输入试图改变系统应遵守的任务或权限边界。
幻觉 / hallucination	通常指生成缺乏事实或给定证据支持的内容，具体评价仍需定义。

“推理”有两个常见英文来源：inference 指运行模型产生输出，reasoning 指处理推导、规划等问题的能力或过程。因此“推理速度更快”与“推理题做得更好”可能完全不是同一个研究问题。

系统、多模态与研究记录

对应系统篇、多模态篇与复现章节。

术语	含义
FLOPs	浮点运算次数；统计应说明包含哪些算子。
FLOP/s	每秒浮点运算次数，是速率，不能与 FLOPs 直接混用。
显存 / device memory	加速器可用的存储空间；参数之外还要存激活、缓存等。
DDP / distributed data parallel	分布式数据并行，各进程处理不同数据并同步梯度。
AMP / automatic mixed precision	自动混合精度，在适合的运算中采用不同数值精度。
KV cache	保存已处理位置的键和值，减少自回归生成中的重复计算。
TTFT / time to first token	首词元时延；是否包含排队、网络和预处理需要说明。
吞吐 / throughput	单位时间完成的请求或词元数量，要说明统计对象与负载。
量化 / quantization	用有限的数值级别表示权重或激活，需要尺度、范围等约定。
蒸馏 / distillation	用教师输出或中间表示帮助训练学生模型。
ViT / vision transformer	视觉 Transformer，常把图像块作为序列输入。
VLM / vision-language model	联合处理视觉与语言的模型，具体任务可能不同。
VAE / variational autoencoder	变分自编码器，学习带概率结构的潜变量生成模型。
DDPM / denoising diffusion probabilistic model	去噪扩散概率模型，通过逐步去噪学习生成。
CFG / classifier-free guidance	无分类器引导，组合有条件与无条件预测来调节生成。
ASR / automatic speech recognition	自动语音识别，把语音转成文字。
TTS / text-to-speech	文本转语音。
WER / word error rate	词错误率，替换、删除、插入总数除以参考词数；可以超过 1。
随机种子 / random seed	随机数生成器的初始化信息；不等于全部环境已固定。
检查点 / checkpoint	保存的训练或模型状态；包含什么，决定能否真正续训。
Revision	代码或模型仓库中的具体修订；固定修订有助于避免下载到变化后的内容。
SHA-256	文件或内容的指纹算法，可帮助比较是否相同，不替代来源或正确性证据。

最后留一个小练习：某报告写“模型用了更多 token，推理更强，显存也更高”。试着分别问清输出词元数、任务评价方法和峰值内存统计范围。把这三个问题分开，往往比继续争论“模型是否更强”更容易得到可检查的答案。