从零构建大模型

Github上很火的开源项目LLMs-from-scratch，中文版纸书4月份才上市，没想到电子版这么快就上架了微信读书，这是一本实操性很强的书，不仅开发了一个小型的类GPT-2大语言模型，还实现了数据集处理、模型预训练、针对特定任务的微调，涵盖了构建大模型的整个流程。作者把模型的核心组件拆分成多个知识点，引导读者按章节编排的顺序渐进的进行实践，降低了学习难度，同时书中代码示例也经过精心设计，算力有限的条件下也能使用，在笔记本上就可以搭建运行。 在编码部分作者使用PyTorch作为主要开发库，这个功能强大的开源库可以很方便的搭建神经网络框架，操作张量、损失函数等复杂计算变得简单易用，提升开发效率，整个模型开发完成后，代码量也才几百行，还提供了大量的代码注释和输出可视化结果进行说明，直观易读。在内容部分作者采用实用主义导向，正文不过多讲解原理性的知识，以代码示例为主，带着读者去解决实际问题。比如在Transformer模型开发阶段，并没有过多介绍自然语言处理的起源，或RNN模型背景及实现原理，仅提出RNN模型无法很好的获取长距离上下文依赖的局限性，作者从这个问题入手，实现了带位置编码的嵌入层，保存词元顺序和相互关系，再实现注意力机制用于并行捕获上下文信息，这样模型就可以在保持语序的前提下突破上下文长度的限制，解决了RNN模型的缺陷。作者正是通过这样一步步拆解问题，把Transformer模型的核心功能知识点串联起来，降低了理解门槛。 模型编码完成之后，需要使用数据集训练才能生成连贯的文本，同时还要计算输出损失值用于评估和优化训练结果。作者同样给出代码示例，使用一个2万字的短篇小说作为小数据集，和加载一个参数量1.24亿的GPT-2公开大数据集做对比，可以看到小数据集对计算资源需求较小，但生成的句子不通顺，且有明显的语法错误。而用大数据集时虽然计算耗费资源，但输出的文本明显效果提升，表达也更流畅自然。可以更直观的感受到，只有基于海量的数据训练，才能使模型拥有强大的学习和处理复杂语言的能力。最后作者还介绍了用于分类的微调和用于执行指令的微调，展示如何通过微调，优化和改进模型适应性，使模型可以解决特定任务。 本书对初学者同样友好，就算是编程苦手也不必担心，可以把随书代码下载下来，暂时忽略代码细节，跟着书中指引调试起来，也能在实践中对大模型的架构和工作原理有整体的认识。另外作者博客的一篇新文章介绍了推理模型的构建方法，还分享了DeepSeek发布后对大语言模型领域发展的看法，编辑把这篇文章作为中文版的彩蛋收录在附录中，紧跟最新技术趋势，也是非常用心了。

这是一本专业书籍，好奇心驱使我进来看个热闹，并请AI代为总结😊😊 《从零构建大模型》是一部系统、实 践导向的大型语言模型入门与进阶指 南。全书内容可概括为八个紧密衔接 的板块，既提供理论框架，也给出可 运行的代码示例。 1.大模型全景与动机 ·开篇首先明确“大模型”概念，阐 述其在自然语言处理、图像生成、 语音合成等场景中的价值，并勾勒 本书学习路径。 2.Transformer与 GPT基础 ·介绍Transformer 结构、自注 意力机制、分词、嵌入层等核心组 件；随后剖析GPT的生成式训练 流程和 BERT 的掩码语言模型预 训练思想，为后续实战奠定理论基 础。 3.数据准备与预训练 ·讲解如何收集、清洗并组织大规 模语料；随后展示从零启动预训 练、超参数设置及训练过程监控的 方法。 4.模型对齐与安全 ·重点说明如何利用人工反馈 （RLHF）让模型遵循指令，避免 偏见与安全风险，并介绍预训练权 重的加载与推理优化技巧。 5.垂类微调与评估 ·系统比较全量微调、参数高效微 调（PEFT）、RAG等方法；给出 模型评估指标、基准测试及调优实 践，帮助读者把通用大模型适配到 具体业务场景。 6.架构演进与推理增强 ·概览常见的模型并行、张量级并 行等分布式策略，以及检索增强生 成、Agent框架等外延技术，指 导读者构建更高阶的推理系统。 7.行业案例与落地 ·通过金融、医疗、教育等行业的 实际项目，演示从需求分析、数据 获取到模型部署的完整闭环，帮助 读者掌握商业化落地方法论。 8.未来趋势与研究方向 ·讨论大模型与推理模型的协同、 高效微调的新范式、多模态扩展等 前沿议题，为读者指明后续研究与 工程实践方向。 通过上述七大板块，作者将“理论一实 现一优化一应用”贯穿全书，使读者能 够真正从零开始构建、训练并部署自 己的大模型。 （AI整理）

对我来说，最大的收获，是把碎片化的知识组织起来了，有了系统性的梳理。 本书一大优点是比较新，现在的相关资料，要么虽然新，但是是追热度型，作者自己都没想明白，就开始写书了；要么是与大模型完全没关系的“经典”书籍，经典约等于过时，用处不大；要么是论文，论文的问题是，基本都是在某个点去单项突破，知识碎片化，理解门槛高且质量参差不齐。 书里写得最好的部分，是Attention机制，在第三章里的3.3-3.6，这部分把注意力机制分级讲解得非常清晰，缺点是QKV的概念引入得太晚了，在3.4.1的结尾才提及，我读到那里的时候，看到好多笔记说不能理解，我感到很震惊，因为第三章一直就是围绕QKV的，如果看到这里时才被QKV卡住的话，那前面怎么可能理解呢……我觉得应该放在3.1-3.2就提的。 另一个缺点是很多图我觉得画得不是很好，有误导作用，比如附录F的DeepSeek流程图，还不如文字描述易懂。 但总之是本好书，能够让人建立起系统性的知识框架。

《从零构建大模型》书评：真正把GPT拆开看了一遍一、这本书讲了什么全书七章，实际上完成了三个阶段。 第一个阶段，是搭建一个GPT模型。 前四章从大语言模型的基本概念开始，依次讲解文本处理、词元嵌入、位置嵌入、自注意力、多头注意力、前馈神经网络、层归一化、残差连接，最后把这些组件组合成一个完整的GPT模型。 第二个阶段，是让这个GPT真正学会语言。 第五章进入预训练。模型根据前文预测下一个词元，再通过交叉熵损失判断预测结果与正确答案之间的差距，接着通过反向传播计算梯度，由AdamW优化器更新参数。 前四章完成的是模型结构，第五章完成的是模型学习。 第三个阶段，是让模型适应具体任务。 第六章介绍分类微调，把原本预测整个词表的输出层，替换成只有两个输出节点的分类层，用来判断短信是垃圾短信还是正常短信。 第七章介绍指令微调。模型不再只是继续一段文字，而是开始学习识别人类指令，并生成符合要求的回答。这可以被看作从基础GPT走向聊天助手的关键一步。 因此，这七章可以概括为： 从认识GPT，到搭建GPT，再到训练GPT，最后把GPT改造成分类模型和初步的指令模型。 二、这本书最好的地方，是它真的在“从零构建”现在很多大模型教程，本质上是在教人如何使用现有框架、调用模型接口，或者在一个成熟模型上进行简单微调。 这本书不一样。 它没有一开始就使用封装好的Transformer模型，而是从最底层开始： 文本为什么要分词； 词元为什么要转换成ID； ID为什么还要转换成向量； 一个词元怎样获得位置信息； Query、Key、Value分别是什么； 注意力权重是怎样计算出来的； 为什么要加入因果遮罩； 为什么需要多头注意力； 为什么前馈网络要先扩展维度再压缩； 为什么深层网络需要残差连接和层归一化； 模型怎样从768维向量映射到整个词表； 损失函数怎样衡量模型预测得好不好； 梯度又怎样推动参数发生变化。 这些东西单独看都不算特别复杂，真正困难的是把它们连接起来。 而这本书完成得比较好的一点，就是始终围绕同一条主线推进： 文本如何一步步进入模型，又如何一步步变成下一个词元的预测结果。 当这条链路真正建立起来之后，很多原本抽象的名词就不再是孤立的概念。 例如，嵌入不是简单地“把词变成向量”，而是整个模型能够进行连续数学运算的起点；注意力不是一句模糊的“关注重点”，而是Query和Key计算匹配分数，再用这个分数加权Value；残差连接也不是简单地“跳过几层”，而是为信息和梯度保留一条直接通道。 三、我对GPT最重要的几个认识1. GPT的底层任务其实非常简单 无论模型最终表现得多么复杂，它最基础的训练目标始终是： 根据前面的词元，预测下一个词元。 例如： “人工智能正在改变——” 模型并不是直接理解整句话的终极含义，而是计算下一个位置上各种词元出现的可能性。 “世界”可能是30%，“行业”可能是20%，“生活”可能是15%。 模型选择一个词元以后，再把这个词元加入上下文，继续预测下一个。 复杂能力最终建立在这个看起来非常简单的目标之上。 这也是我读完之后觉得最值得反复思考的地方：一个足够简单的训练目标，在海量数据、大量参数和持续优化下，竟然能够发展出如此复杂的语言能力。 2. 模型中的“理解”，本质上是向量和参数的变化 人类使用“理解”“记忆”“关注”这些词，很容易把人的心理活动投射到模型身上。 但从代码层面看，模型内部真正发生的是： 词元被转换成向量； 向量经过矩阵变换； 不同位置计算注意力分数； 信息按照权重重新组合； 多层网络不断加工这些表示； 最终得到词表中每个词元的预测分数。 因此，模型并不是像人一样在脑中形成一个清晰的句子含义，再决定怎样回答。 它是通过大量参数，把文本中的统计关系、语法模式、知识联系和任务结构编码进网络。 这并不意味着模型“完全不理解”，而是提醒我们：模型的理解方式与人类的理解方式并不相同。 3. 参数、梯度和注意力权重是三种不同的东西 在学习过程中，这几个概念很容易混淆。 参数是模型长期保存、通过训练逐渐形成的数值，比如嵌入矩阵、Q/K/V矩阵和前馈网络权重。 梯度表示当前损失对参数变化的敏感方向和大小，它告诉优化器参数应该往哪个方向调整。 注意力权重则是模型针对当前输入动态计算出来的信息分配比例。换一句话，注意力权重就会重新计算，它不是长期储存在模型中的知识。 把这三个概念分开以后，模型训练过程会清晰很多。 4. 第四章结束时，模型已经“能生成”，但还不会语言 这是一个很有意思的分界点。 前四章把GPT的结构搭建完成后，我们已经可以输入一段文字，让模型不断输出后续词元。 但此时参数还是随机的，所以生成结果通常没有意义。 这说明： 能够输出文本，不等于拥有语言能力。 模型结构只是提供了学习能力的容器，真正的能力来自训练。 第五章通过交叉熵、反向传播和AdamW优化器，让随机参数逐渐变成有用参数。模型才开始从“能够运行的程序”，转变为“能够学习语言规律的模型”。 5. 从GPT到ChatGPT，关键不只是模型变大 第七章让我更清楚地理解了基础GPT和聊天模型之间的差别。 基础GPT主要学习自然文本中什么内容通常接在什么内容后面，因此它擅长续写。 指令微调则把训练数据整理成： 指令； 可选输入； 标准回复。 模型通过大量这样的示范，开始学习： 用户提出这个要求时，我应该生成什么样的回答。 从用户体验来看，这是从“文本续写模型”向“任务助手”的跨越。 不过这本书实现的主要是监督式指令微调，它还不等于完整的ChatGPT。真正成熟的聊天产品通常还涉及偏好优化、安全对齐、多轮对话、系统指令、工具调用和产品层设计。 因此，更准确的说法是： 第七章展示了从GPT走向ChatGPT的关键一步，而不是完整复刻ChatGPT。 四、这本书的叙事结构从结构上看，这本书采用的是非常典型的工程递进方式。 它不是先讲一大堆理论，再突然给出完整模型，而是每一章只解决一个核心问题。 第一章先建立整体认知，让读者知道大语言模型是什么。 第二章解决文本怎样变成模型可以处理的数字。 第三章解决词元之间怎样交换上下文信息。 第四章把这些模块组合成完整GPT。 第五章让模型开始训练和生成。 第六章把模型改造成分类器。 第七章再把模型改造成可以遵循指令的生成模型。 这种结构的优点是，每一章都建立在前一章的结果上。读者不是在记忆零散概念，而是在亲眼看到一个模型逐渐成形。 从叙事角度看，它有一点像组装一台机器： 先认识机器，接着准备输入材料，再制造核心部件，然后完成整机组装，之后启动训练，最后为机器增加不同用途。 这是我认为这本书最成功的地方之一。

已经看了2遍，操作和测试了一遍，非常好的一本书，整本书结构严谨，解释清晰，操作性强，虽然只有300多页，但是如果把练习部分和扩展部分都完成的话，其实内容不少。作者把训练大模型分为3个大阶段，每个，每个大阶段又分为N个小阶段，一步步详细讲解和代码实现。个人认为最精彩部分是 Transformer 模块的注意力机制的讲解和分步实现。是近几年我看到的除了《Python深度学习 (第2版)》以外最好的一本AI技术相关的书。

双剑合璧：学习大语言模型的最佳拍档 倘若想要系统地学习大语言模型的理论知识，可又受困于复杂的数学算法与公式，因而不得其门而入，该怎么办？以我的经验，倘若能结合阅读《图解大模型》和《从零构建大模型》这两本书，足以满足AI框架开发和AI应用开发需要的大语言模型知识了。 我将这两本书视为学习大语言模型的最佳拍档，只有这两本书双剑合璧，才能发挥最大的威力。两本书的叙述风格非常相似，虽然是讲解大语言模型理论，却完全摒弃了晦涩的数学公式和艰深的理论知识，以大量的代码案例驱动读者的学习过程，非常符合程序员的“审美习惯”。然而，两本书的侧重点又各有不同，恰好可以形成内容的互补，组合起来，就能给读者带来更多的收获。 本书是关于如何从零开始构建大模型的指南，由畅销书作家塞巴斯蒂安·拉施卡撰写，通过清晰的文字、图表和实例，逐步指导读者创建自己的大模型。 在本书中，读者将学习如何规划和编写大模型的各个组成部分、为大模型训练准备适当的数据集、进行通用语料库的预训练，以及定制特定任务的微调。 此外，本书还将探讨如何利用人工反馈确保大模型遵循指令，以及如何将预训练权重加载到大模型中。 本书让 LLM 不再高高在上，而是真正进入了普通开发者的工具箱里。 如果你曾幻想过用自己的代码构建一个大模型，如果你想真正理解 GPT、DeepSeek 等模型背后的运行逻辑，如果你厌倦了只会“调用接口”而不知其所以然——那这本书，可能正是你一直在等的那一本。 这是一本注重实战、内容透彻的 LLM 入门书。作者手把手带你亲手构建、训练、微调一个属于自己的大模型。从数据准备到预训练，从指令微调到模型部署，每一步都讲得清清楚楚，还配有代码、示意图，手把手带你实现。 只需跟着作者一步步操作，相信你一定能掌握构建 LLM 的核心技能，成功构建属于自己的大模型！如果你正在探索如何打造大模型，这本书绝对是你的最佳指南！ 封面上有一个公爵夫人，很好辨认，而且这本的内容独一无二！

从2025年4月份面世，到2026年6月份读这本书，感慨AI行业迭代速度惊人。本书去年出版时，行业重心还在预训练、微调等模型构建环节，如今技术风向已然转向Agent、OpenClaw、Hermes等智能体应用框架，大模型发展从自研造模型，逐步迈向落地实用。 全书系统梳理大模型从零搭建的底层原理，详解Transformer、预训练与微调逻辑。虽说微调早已不再是落地主流，但书中夯实的基础理论，仍是理解各类智能体框架的关键。当下产业不再比拼基座训练，而是依托成熟大模型搭建智能应用，把AI用于生产与创意创作。 技术框架日新月异，但底层技术逻辑恒久不变。这本书褪去时效性工具书的局限，既是旧时代模型研发的总结，也是拥抱AI应用时代的基石，帮我们跳出跟风新技术的误区，立足本源、善用AI。

在飞机上读完了。这是我系统性地对大模型知识学习的第二本书。 收获: 1. 巩固了大模型的结构，预训练过程，以及指令微调的知识点。尤其对前向传播和反向传播的理解更加深刻，加深了对权重矩阵，超参的感性认识； 2. 从数学层面理解了大模型训练的机制。本质是通过对词元的向量化，在高维空间去拟合，即意图理解。而多层神经网络是提供了一个逐步递进的架构，通过减少损失来拟合；维度代表了特征，而这些特征可以在大模型的训练过程中自我学习得到（这也是神奇之处）。LoRA技术则在大模型权重矩阵上，实现了在特定领域中通过动态加载Lora矩阵，提升模型的准确率。 3. 理解了推理模型，尤其是三种主流机制的原理。也进一步认识到我们国家的Deepseek为什么会在西方引起巨大的反响。主要是两点: 单纯的强化学习就能引起大模型自我推理能力的涌现，以及蒸馏技术证明了小模型在特定场景比大模型一样有效。 一本好书能让自己享受到学习乐趣！

在豆瓣，这本书评分高达 9.5，不少读者推荐：“建议团队人手一本”。 在 OReilly、GitHub、Amazon 等海外平台，它同样被誉为“构建 LLM 最值得读的实战书之一”。 上市几个月，来自不同国家、不同背景的开发者和学习者，却不约而同地说出了同一句话： “这是我第一次真正理解了大语言模型！” 由 GitHub 超 4 万星项目 LLMs-from-scratch 作者、大模型公司 Lightning AI 工程师塞巴斯蒂安·拉施卡编写的《从零构建大模型》！ 它不是只讲理论，而是从零出发，手把手带你搭建一个完整的大语言模型。从训练数据的准备、Transformer 的实现，到推理、部署与优化，你不仅读得懂，还能亲手跑通整个流程。 来自全球各地的真实评价，会告诉你为什么这本书值得反复阅读，也许还会重新点燃你“动手搭一个 LLM”的冲动。 中文版读者评价 🔹写得深入浅出，没有 Pytorch 基础也能看懂 写得真好，深入浅出，居然能在默认读者都没 Pytorch 基础的情况下，用 200 页的篇幅讲明白了全流程。 一直以来我都把 llm 当黑盒用，看完此书才发现，模型内部真就是预测了词汇表里几万个词作为下一个词的概率，之后按贪心或者其他规则决定下一个词是什么。 无限猴子定理和诗云的排列组合，某种意义上不就是一个词汇表均等概率的情况吗？现如今 scaling law 已经成为了共识，但在 GPT 2 之后，OpenAI 居然能那么笃定地把 GPT 3 推进至 175b 规模。 怀义，你当年到底悟得了什么？ —— @细逐空香瑶月麓 🔹Transformer 讲解极其清晰，堪称五星！ 对 Transform 的理解，还得是这本书，一下子就清楚了。什么是深入浅出，这就是。还有作者录了视频讲解，只能说太棒了，值得五星。 —— @非此即彼 🔹偏重动手实践，读起来轻松流畅！ 一本很精彩的大模型构建书籍，偏向入门和动手，看下来非常舒服。 —— @学习菜鸟 🔹内容沉稳扎实，配套资源也很到位。 非常扎实的一本书，沉甸甸的。作者还做了视频，出版社同步到了国内。双方都很给力。 —— @花花Binki 🔹CV 转 NLP 快速上手，结构清晰友好。 多年 CV 经验背景，NLP 经验约等于 0，五天时间快速过了一遍，只有第 3 章讲解注意力的内容稍难理解，其它章节和 CNN 大面积重叠，读起来比较快。总体来说是一本入门大语言模型不可多得的好书，后续准备精读第 3 章，然后动手实现一遍。 —— @天外来客 🔹Attention 讲得最清楚的一本书! 读完第 3 章先来评分，这本书是我看过的讲 Attention 讲得最清楚的。 —— @阿飞 全球读者热评汇总 🔹这是我理解 AI 和机器学习概念的转折点 虽然我才读到第 2 章，但目前为止内容真的太棒了。语言非常精准，很多我之前一直搞不懂的概念，现在都被清晰地讲解出来了。我很期待做完所有练习并读完整本书。我真的想对作者表达感谢——这本书改变了我对通用机器学习和人工智能概念的理解。 ——@Steve 🔹不再照搬模型，而是真的学会构建 LLM！ 我买过无数本机器学习、数据工程、编程、云架构方面的书……但是这本书真的太棒了！ 它逐步构建了 Transformer 架构的每一个组成部分，写得极其清晰，我现在真的觉得自己能亲手构建一个 LLM 了。 哪怕最低限度，这本书也能帮你理解 Attention 机制、前馈网络、层归一化等核心结构，而不是像过去一样只会从 Hugging Face 导入模型却不懂其背后的逻辑。 如果你和我一样，不满足于只堆 RAG 和调用 API，而是想真正理解模型本体，那这本书就是写给你的！只要作者还能维持这种内容质量，我会一直买下去。 —— @Higgs meets Boson 🔹不是只讲原理，而是带你亲手做！ 学习大模型最好的方式就是自己动手去构建，而这正是这本书在 LLM 领域所做到的。 你可以在网上找到很多关于 LLM 工作原理的解释，但这本书的独特之处在于：它把原理讲清楚的同时，还带你一起实现。 如果你能完成这本书的阅读并完成练习代码，你将拥有一套扎实、最新的关于 LLM 底层工作机制的理解。 —— @S.Wang 🔹非常适合入门 LLM，从第一步开始就很有价值！ 从我目前跟着这本书学习的进度来看，它对任何想入门大语言模型的人都非常有价值。我会继续深入阅读，获取更多知识。 —— @B.Clarke 🔹比我读过的论文更清楚，早该从这本书开始！ 这本书对我来说简直太合适了。我是一名计算机性能专家，还没真正开始系统学习机器学习和语言模型之前，我偶尔会读一些概览类文章，所以对“向量”“矩阵乘法”这些术语有些了解，但始终没能拼出完整的图景。 我之前买的机器学习方面的书，往往试图“面面俱到”，结果我一本都没读完过。而这本书不仅提供了完整的实战示例和源码，还从头到尾清晰展示了如何训练你自己的简化语言模型（用 Python / PyTorch 实现）。 它最让我惊喜的地方是：对于训练架构的讲解，几页内容就比我之前读过的那些深奥论文讲得更清楚。 我现在觉得，我其实应该一开始就从这本书读起，而不是绕远路看那些论文。 ——@tanelP 当然除了诸多好评外，也有一些小建议。 章节内容很好，就是配图如果能彩色或者高分辨率就更好了。 —— @Wael Mohsen 不过中文版在印刷质量上有了显著提升，图文更清晰，整体阅读体验也更加舒适。 本书内容很接地气，作者手把手带你亲手构建、训练、微调一个属于自己的大模型。从数据准备到预训练，从指令微调到模型部署，每一步都讲得清清楚楚。 读完这本书，你会学到什么： 🔹从零开始：自己动手构建模型架构！ 🔹 模型训练：教你如何准备数据、搭建训练管道，并优化模型效果！ 🔹 让 LLM 更聪明：微调、加载预训练权重，让你的 LLM 适应不同任务！ 🔹 人类反馈微调（RLHF）：让 LLM 学会理解指令，避免胡言乱语！ 🔹 轻量级开发：一台普通笔记本就能跑，告别「算力焦虑」！ 作者让你用最小的算力跑通最大的逻辑，你只要拥有一台笔记本，具备一定的 Python 基础，那你都可以来试试！附上中文版思维导图： 作者塞巴斯蒂安·拉施卡（Sebastian Raschka），极具影响力的人工智能专家，GitHub 项目 LLMs-from-scratch 的 star 数达 44k。 现在大模型独角兽公司 Lightning AI 任资深研究工程师。博士毕业于密歇根州立大学，2018~2023 年威斯康星大学麦迪逊分校助理教授（终身教职），从事深度学习科研和教学。 除本书外，他还写作了畅销书《大模型技术30讲》（图灵已出版：不管哪个大模型火，你都绕不开这30个核心技术）和《Python机器学习》。 译者冯骁骋，哈尔滨工业大学计算学部社会计算与交互机器人研究中心教授，博士生导师，人工智能学院副院长。研究兴趣包括自然语言处理、大模型等。在 ACL、AAAI、IJCAI、TKDE、TOIS 等 CCF A/B 类国际会议及期刊发表论文 50 余篇。 业内专家评价 我们已迈入了 AI 时代，深刻理解大模型的工作机制极有必要，而这本书可谓深入理解主流生成式AI的实践指南。本书以“亲手构建才是真理解”为核心理念，带领读者从零搭建类 GPT 模型，作者以工程师视角剖析LLM黑箱，通过清晰的代码示例与模块化拆解，完整覆盖模型架构设计、预训练、指令微调等核心环节，是掌握 Transformer 时代模型精髓的必读之作。 ——张俊林，新浪微博首席科学家 & AI 研发部负责人  这真是一本鼓舞人心的书！它激励你将新技能付诸实践。 ——Benjamin Muskalla，GitHub 高级工程师 这是目前对语言模型最通俗易懂且全面的解析！其独特而实用的教学方式，能够达到其他方式都无法企及的理解深度。 ——Cameron Wolfe，Netflix 资深科学家

对于这本书，我想我是有资格评价两句的，因为这次我不仅读完了全部内容，还把代码部分全部实操了一遍。 在我看来，如果说《Python深度学习》是一本理论神作，那么这本《从零构建大模型》就是一本实践神作。这本书是真正意义上的“从零开始”，为了让读者能在个人电脑上直接运行调试，作者做出了不少妥协，这一点实在难得。尤其是我近期转型做大模型训练以后，日常都是在多张卡或多台机器上进行实验，调试全靠增加日志，再加上每次启动整个实验环境也比较耗时，对这一点的感受就更深了一层。 阅读完本书,让我对这个领域的很多名词有了一个简单的认识，比如dataset/datasetloader，其中的细节是datasetloader单次返回的都是一个input/target键值对，大模型就是通过对比这两个值来进行训练，此外还有batch_size/context_len/seq_len/max_new_tokens等，这也是我近期跑RL实验常见的一些配置，不过工作中遇到的东西还是要比这本书中讲的要深一些，比如batch_size涉及到显存的占用，以及分布式训练中最基本的dp/tp/pp分配策略。 另外真实的业务场景中，一个实验的参数都是组织在配置文件里，有数百个之多，哪些影响显存，哪些影响效果，哪些影响速度不是短期内就能轻易搞清楚的，好在这本书中的内容已经把架子搭起来了，基本的参数搞清楚以后再看到这些实验配置就有了脉络，剩下的就要在后续各种调试中自己去学习了。 实操下来的最大感受就是整个训练过程是比较顺畅的，要解决什么问题以及如何解决这些问题都写的明明白白，但是如果想要理解背后的原理，比如为什么这样做可以达到这个效果，那可真是难了。例如大模型需要知道输入的句子中各个词元之间的关系来进行预测，这个是非常好理解的，但是为什么点积计算可以用来表示向量之间的相似程度就不懂了。再加上什么归一化，激活函数，优化器以及各种矩阵的操作等等就容易让人感觉云里雾里，当然就是作者自己在书中写的那样，很多东西不是简单就能说清楚的，也超出了本书的定位，目前看来现阶段还是先从大处着手，先上手再补充理论知识，不必过于拘泥细节。 最后两章的分类微调跟指令微调属于连接大模型跟实际业务场景的关键环节，少了这一步，大模型是没办法直接为人们提供服务的。之前了解过使用llama-factory跟unsloth来做大模型微调，书中介绍的是直接基于pytorch来微调，应该是比较原始的方式，而这些专业的微调框架应该做了不少封装跟优化。 对于分类微调来说，从数据集上面看每个输入对应一个类别的输出，最后训练出来的模型可以对输入进行分类，这个比较好理解，但指令微调中，数据集没有做什么特殊处理，只不过是dataset只返回数据本身，再由聚合函数来拆分为键值对，input跟target就采用了最原始的右移一位的方式，最终就让大模型具备了识别指令这么高级的能力，确实神奇。 书中对应的源码都放在github上面，仓库名是LLM-from-scratch项目，仓库里面有很多的扩展代码是书中没有提及的，也很值得学习。 以前就多次在github热榜上看到这个项目，只不过一直没有深究，没想到就是这本书。 目前转型到强化学习方向已经有一个半月，能深切感受到大模型这个方向的门槛确实比较高，编程语言只是一个壳，背后全是数学原理，一般的开发工作只要学会编程语言的语法就能上手，而大模型这个方向属于每一行代码都能看懂，连在一起却不知道在干嘛。我自己做的强化学习领域又是把模型的训练跟推理揉在一起再加上强化学习算法本身，复杂度确实不低，这一个半月来算是一刻也没消停，所幸进展还比较顺利，学习了不少新东西，目前已经能把强化学习整个流程大致搞清楚，但是其中各个环节里面的细节还得继续一点点深究了，总结一下目前状态就是仅仅能上手，离入门还有一定距离。 2025.11.1 于杭州回北京的高铁上