E. 怎样读数据集说明、模型卡与许可证
在下载按钮旁边，往往还放着一份说明。它看起来没有训练代码那么热闹，却可能提前回答几个决定实验成败的问题：这些数字原来是什么？模型期望怎样的输入？这个文件是否就是论文使用的版本？
这一页不要求你背下一张检查表。我们拿书里真正用过的数据和模型，试着沿着来源往回走。
1. 数据的名字相同，不等于拿到的是同一批样本
本书多次使用手写数字 digits。运行 load_digits()，会得到 1797 条记录；每条有 64 个像素特征，可以排回 8×8 图像，像素数值范围为 0～16。类别是十个数字。这些信息可在 scikit-learn 的数据说明中核对。
再往前追，是 E. Alpaydin 与 C. Kaynak 的 Optical Recognition of Handwritten Digits 数据集。库里的 1797 条记录来自原始数据的测试部分；本书又把这部分重新分成训练、选模、校准和测试。因此，这里的“测试集”不能与原始 UCI 基准的测试成绩直接等同。
一条来源链可以写成：
UCI 原始数据 → scikit-learn 随包子集 → 本书重新划分 → 当前实验中的样本 ID。
这条链告诉我们，报告里只写“使用 digits”还不够。版本、子集、划分方式和预处理，都会改变别人实际运行的实验。
读一个字段，要同时问它从哪里来
| 说明中的信息 | 在本书例子里怎样使用 |
|---|---|
| 一条样本是什么 | 一张 8×8 数字图；不是一位独立书写者 |
| 特征如何产生 | 压缩后的像素计数；不能当作任意真实照片的 RGB 值 |
| 数值范围 | 除以定义上限 16；无需用全部数据估计最大值 |
| 标签是什么 | 数字类别；它不包含作者身份或图像质量分级 |
| 原始划分与当前划分 | 分别记录，避免把重新划分误写成原基准 |
| 样本间的关系 | 同一人的多张字可能相关，不能自动当成独立人群 |
最后一项尤其容易被遗漏。1797 张图，并不表示 1797 位独立受试者。若目标是评价“新书写者”，就要保留能够识别分组的信息，并让划分与不确定性估计跟着这个目标走。只有一张数据表，却没有合适的分组字段时，应如实写出限制，而不是编造不存在的独立性。
数据说明还应帮助我们理解收集目的、采样范围、清理过程、缺失值、标注方法和已知偏差。没有写到，不等于问题不存在。可以把尚未确定的事项记成具体问题，例如“这一列空白表示未测量，还是测量为零？”
Datasheets for Datasets提出了系统记录数据背景的思路；Hugging Face 数据集卡文档提供了实际组织形式。两者可以帮助提问，但填了表格本身不会让数据自动变得适用。
2. 模型卡：把“模型能做什么”拆成几个层次
应用篇用的是 Qwen/Qwen2.5-0.5B-Instruct，固定修订为：
7ae557604adf67be50417f59c2c2f167def9a775
打开这份固定版本模型卡，先确认它是哪个具体模型，而不只看系列介绍。
例如，系列描述会提到较长的上下文支持；这份 0.5B 模型的具体条目写的是 32768 词元上下文、8192 词元生成范围。不能把系列中更大模型的数字，直接搬到当前文件上。即使模型卡给出了长度范围，也不能据此证明模型在窗口内的每个位置都能可靠找到信息。
阅读时可以分成四层：
- 身份：基础模型还是指令模型，具体规模、修订、词元化器和配置是什么？
- 调用约定：输入是否需要聊天模板，输出从哪个位置开始，推荐哪些库版本？
- 评价范围：作者在哪些任务、提示和指标下报告结果？有没有子组或失败分析？
- 使用限制：语言、领域、已知错误和许可条件是否适合当前任务？
本书第 31～35 章保留了这个模型的真实失败，包括错误参数和重复行动。这并不与模型卡中“具备指令能力”的概括自动矛盾：一句能力描述，不能替代当前任务、当前小模型和当前调用方式下的实测。
同样，下载到权重并不等于所有配套信息都已固定。词元化器、聊天模板、图像处理器、生成配置和库版本都可能影响结果。只保存模型名称，过几个月再下载时，就可能得到不同文件。
模型卡的背景可读 Mitchell 等的 Model Cards for Model Reporting，格式与元数据可查 Hugging Face 模型卡文档。
3. 许可证：先分清是哪一份材料的条件
一个项目可能同时包含作者代码、模型权重、训练数据和生成结果。它们不一定受同一份许可证约束。代码仓库写着一种许可，不能自动回答某个权重文件或原始数据的使用问题。
书中有三个可以实际对照的例子：
| 材料 | 原始说明 |
|---|---|
| UCI 手写数字数据 | 数据页标示 CC BY 4.0 |
| 上述 Qwen 固定修订 | 仓库提供 Apache License 2.0 文件 |
| 英文 MMS-TTS 固定修订 | 模型说明标示 CC BY-NC 4.0 |
CC BY 4.0 要求按条款保留适当署名、许可链接并说明改动等；CC BY-NC 4.0 还包含非商业条件。Apache 2.0 也有其许可保留、修改说明等条款。这里不是把几种许可简化成一个“可用/不可用”的标签，而是示范应当打开哪一份原文。
例如，把 digits 图像除以 16、重新划分、绘成带预测结果的插图时，可以记录原作者、数据地址、许可与处理方式。对 MMS-TTS，也不能因为推理库采用另一种许可，就忽略模型说明中的非商业条件。
接着对照你真正准备做的事情：本地学习、修改、分发权重、提供服务，还是分享输出？许可证适用的对象、条款和其他相关权利，需要分别检查。模型卡标签只是入口；条件不清楚时，先找到对应版本的完整文件或向发布者澄清，不能把“能够下载”当作授权结论。
4. 给自己留一张能重新找到来源的小卡片
一份有用的记录不必很长。下面是本书手写数字实验的精简示例：
名称：Optical Recognition of Handwritten Digits
作者：E. Alpaydin、C. Kaynak
原始来源：https://doi.org/10.24432/C50P49
实际入口：scikit-learn 1.9.1 的 load_digits
实际范围：1797 条随包记录，每条 64 个特征
处理：像素除以 16；重新进行教学划分
许可入口：UCI 数据页的 CC BY 4.0 链接
尚未解决：当前实验未按书写者分组
不能声称：复制了原始 UCI 基准划分或新书写者泛化结果
对于模型，再补上仓库修订、权重文件指纹、配置与处理器版本。指纹可以帮助判断两份文件是否相同，却不能单独证明文件由谁发布，或里面的结论是否正确。
资料卡写清楚之后，报告中的一句话就更容易保持准确：“我们在这个版本、这个子集、这种处理方式下观察到……”这句话看起来收敛了一些，却给了别人继续验证的入口。
试着读一份资料
- 为什么“同样用了 digits”还不足以证明两篇报告能直接比较？
- 一个模型系列支持很长上下文，能否直接写成当前最小模型的有效记忆长度？
- 模型卡没有列出某个语言的测试结果，可以写“这个语言没有风险”吗？
- 作者代码、数据和权重的许可不同，应记录哪一个？
- 为本书另一个模型写一张来源卡，分别写下一个已确认事实和一个尚未回答的问题。
参考答案
- 还要核对原始来源、子集、划分、预处理、标签和评价条件；名称只是查找入口。
- 不能。先核对具体模型和修订的配置，再区分可接收长度与实际任务中可靠使用信息的能力。
- 不能。缺少评价意味着证据不足，需要进一步测试或说明范围。
- 都要按实际使用对象记录，不能用其中最宽松的一份替代其他材料的条件。
- 例如固定 BGE 修订与向量归一化方式属于可查事实；它在自己的专业领域中是否仍能找对资料，需要新的评价。
本页资料核查日期：2026-10-20。这里展示的是版本明确的阅读实例，发布者后续修改的说明应作为新版本记录，不能悄悄覆盖旧实验的来源。