从机器学习到大模型：原理、实践与前沿

一段程序怎样从数据中学会预测？一个接着一个地预测文字，为什么能让模型写文章、回答问题，甚至帮助我们编程？面对接连出现的新论文，我们又该怎样判断：哪些进展值得认真学习，哪些结论还需要再看一看？

这本书想和你一起弄清这些问题。

我们会从一个小小的预测任务出发，先认识数据、模型和训练，再走进神经网络、Transformer 与大语言模型。沿途既要动笔算一算，也要把代码跑起来。遇到一个新方法时，我们关心它解决了什么问题，也关心它会在什么地方出错。

如果你写过一些程序，记得高中数学中的函数和概率，就可以开始。微积分、线性代数和更深入的统计知识会在需要时逐步补上。刚开始不必记住所有术语；让一个小例子在自己的电脑上跑通，往往比背下一页定义更有收获。

从基础走向前沿

全书前半部分围绕机器学习和深度学习展开，后半部分进入大模型的训练、应用、部署与多模态。最后，我们会一起读论文、设计实验，尝试验证一个研究结论。新研究也会陆续加入前沿专题库，与前面的基础知识连起来。

学习路线从导读一路延伸到第四十七章。前四篇带你整理数学工具、训练机器学习模型，再亲手计算神经网络的梯度和注意力，做出一个能续写短句的小型 Transformer。第五、第六篇接着研究数据、计算预算、指令与奖励：模型怎样学得更好，又会在哪些地方学偏？

到了应用部分，我们为一家虚构工坊做资料与工具助手，让它查找证据、查询预约、计算报价，再检查事情究竟有没有办成。部署部分则把等待时间、内存和服务并发摆到台前。多模态部分让模型看图、画图、听声音、读视频；那些认错、画偏和听漏的结果，也值得认真分析。

最后一篇从一篇校准论文出发，练习读公式、核对实验、重做方法，并把证据整理成一份可以交给别人复查的小型研究报告。遇到工具或符号上的障碍，可以随时翻到附录，不必让一个陌生名字挡住整条思路。

前沿专题把这些基础接到仍在发展的研究问题。你可以观察模型如何保存过去、使用额外计算、吸收新知识，也可以让小车按预测行动，或在可解释性与可靠性中拆开一个自信却答错的模型。每个专题都注明资料日期，区分已有证据与仍待检验的想法。

你可以先看看怎样读这本书，也可以直接翻到导读，从一个日常问题开始：打印一份 24 页的文档，大约需要多久？