图解大模型：生成式AI原理与实战

花了两天时间认真看完，总的来说应该是目前看过最为实用的关于 llm 的书。 区别于一般大模型技术类书籍更关注在 decoder 架构的生成式模型（包括 transformer 原理、分布式训练、提示词、微调量化、推理优化、部署等），这本书有将近一半以上的内容在基于 encoder 架构的 embedding model 的原理以及应用上，这些基于 transformer 架构训练的 embedding model 其实在大厂的实际业务中更加有用，特别在搜索、推荐等涉及一些传统 nlp 相关任务的技术应用中已经相当成熟。 特别值得一提的是对比学习 contrast learning 思想在这本书中的体现，从 word2vec 到 sentence transformer 再到 clip 的训练和微调。 重点可以看一下关于 sentence transformer 在文本分类、聚类、主题建模方面的应用（bertopic 等），以及关于 embedding model 的训练和微调（adapter、少样本场景下的 setfit 方法等），对实际工作的帮助应该会相当大。

本书提供了大量的图，对我来说，对理解大模型的技术有一定帮助，有一定的形象理解，但不完全理解，或许要有更深入的代码实践才能更理解吧。 本书并不是纯粹讲ChatGPT或DeepSeek这样的生成模型，而是从更基础的词元、嵌入讲起，然后是文本分类、文本聚类等应用，最后才是我们熟知的GPT类大语言模型的应用。 通过本书我了解到了很多以前蛮想知道的，比如如何写出更好的Prompt，大模型如何模拟记忆，如何实现Agent，如何结合网络搜索使得答案更精准，以及如何做多模态（即图片和文本都一起处理，可以文生图或图生文之类的），等等。 第三部分是训练和微调语言模型，我想受限于个人的硬件条件，这里的例子都相对来说比较简单或数据量少，但也能给我们一些直观体验。真正要训练或微调出一个好的模型，都是要大量的硬件资源。 本书提供了大量的例子代码供运行，我也只能是大概看看代码，粗略理解，然后跑一下看看结果。大量细节是看不太懂的，这个要真懂需要花很多时间研究里面用到的各种库，以及库背后的各种知识，这些python和计算相关的，跟我目前的知识不太相关。 计算机类书的一个大问题就是里面的例子有可能会过时，尤其是本地或者远程环境里的运行库可能是更高版本而导致的各种问题。我是用Google Colab跑里面的例子，就碰到了好多问题，主要是因为Colab本就预装了一些库，且它们的版本高很多。我会在评论里把解决方法列一下，供参考。

《图解大模型：生成式AI原理与实战》是一部面向零基础读者的大模型入门书，全程采用全彩图解的方式，把枯燥的理论拆解成直观可感的视觉化内容。 ​​1. 内容结构​​ • ​​第一部分 理解语言模型（第1~3章）​​：从词元、嵌入向量讲到 Transformer 架构，帮助读者建立对语言模型核心概念的第一层认识。 • ​​第二部分 使用预训练语言模型（第4~9章）​​：展示如何把现成的大模型用于文本分类、聚类、语义搜索、文本生成以及多模态扩展，侧重“怎么用”而不是“怎么从头训练”。 • ​​第三部分 训练和微调语言模型（第10~12章）​​：介绍构建嵌入模型、优化分类任务以及对生成式模型进行微调，让读者学会根据自己的数据和任务调整模型。 ​​2. 特色与实践性​​ • 每章都配有可一键在线运行的示例代码，读者无需搭建复杂环境即可动手实验。 • 面向开发者、研究人员和行业从业者，只要会 Python 就能跟上节奏。 ​​3. 读者收获​​ 读完本书，你将： • 拆解大模型的核心原理并理解其设计初衷； • 掌握把大模型应用到文本生成、搜索、聚类等常见 NLP 任务的方法； • 具备对预训练模型进行微调、构建专属嵌入模型的能力； • 为后续深入研究或业务落地打下坚实基础。 ​​一句话总结​​：这本书用图解+实战的方式，把“大模型是什么、能做什么、怎么用”讲得通俗易懂，是快速进入生成式 AI 领域的友好指南。

如果只读一本介绍大模型系统知识体系的书，那我推荐这本书。 她就像读书时得教材，知识点讲解得很清晰，包括来龙去脉和在系统整体里面得位置和作用，能把常用知识点形成一个系统得知识体系。 就是因为有这种体验，在阅读得过程中，我就决定一定要推荐此书和我自己一定要再次认真得读第二遍。她能帮助我理解大模型规划工作中如何抓住重点。 书最后还有相关知识点得问题，以供判断自己对知识点是否掌握完整。

这本“袋鼠书”拿到手已经有一段时间了。原本想趁着春节假期好好啃一下，没想到出来个智能体龙虾（OpenClaw）打乱了节奏，结果一直沉迷养龙虾不能自拔，最近才重新把它捡起来。 大模型的原理书看了不少，不过这次我不打算按以前的习惯从头到尾通读，而是先问 AI 一个更具体的问题：如果我现在最关心的是 Agent 开发，那么这本书里哪些内容最值得先读呢？ AI 建议我先从第六章提示工程开始读起。以前容易把提示词优化当成是一种技巧，清晰描述需求、或者加一些约束，可以让模型表现得更稳定些。这次读下来，觉得提示词不只是要把话说严谨，从工程角度看，更像是建立一套规范，定义输入、边界约束，尤其是结构化输出和校验，输出能遵循特定格式，程序才能更好的处理，对 Agent 来说，后续的链、工具调用等，都依赖稳定的输出。 一个设计好的提示词，只能解决单次调用的稳定性，而我们大部分的任务，并不是一次问答就能完成的。当任务需要拆分成多步骤，并且前后结果需要稳定衔接时，就需要用到链了。链可以让流程变得可控，每一步的输入输出，都可以提前定义好，单个步骤更容易调试和优化，这样出了问题时，也方便排查。 模型本身不保留跨对话信息，如果任务缺少历史上下文，模型无法关联前文信息，输出偏差会影响后续任务正确执行。要想多步任务稳定运行，还需要引入记忆机制。书中介绍了三种记忆保存方式，对话缓冲区、窗口式对话缓冲区和对话摘要。 记忆机制需要根据具体任务做选择，本质是对上下文长度、完整性、维护成本之间进行取舍。 在链和记忆之后，通过工具调用与 RAG，模型分别获得了操作外部服务和获取外部知识的能力，从而能够与外部环境进行交互。 有了以上的基础功能，模型就具备了执行复杂任务的能力，但这还不能等同于 Agent ，还需要一套决策机制，把这些能力组织成一个可协同运作的系统。书中介绍的 ReAct 思考框架，是一种“思考、行动、观察”的循环，每一步先思考再执行，根据结果调整下一步操作，这种循环机制把前面的能力都串联起来，让系统完成动态决策和工具调用，从而具备 Agent 的核心能力。 这本书的图解部分对理解很有帮助。大模型相关概念本身比较抽象，加上书中代码量还不少，如果只读文字或直接看代码，很容易陷入细节，反而忘了整体结构。图示的好处是能让复杂流程变得更直观，比如 LangChain 模块如何组织连接、ReAct 的决策过程、RAG 如何从检索走到生成等等。以后复习时再看到这些图，很多概念之间的关系也能很快重新串起来。 看完这些原理知识点之后，怎么判断自己是不是真的吸收了？本书译者附带了一份常见面试题，我觉得不要当成面试八股文来看，它更适合作为一份自测清单。合上书之后再回头看这些问题，如果能想起相关知识点，说明自己至少建立了基本印象，如果还能进一步说清楚它们的含义、适用场景和彼此之间的关系，才算是真正把内容消化了。

如果你关注大模型技术动态，你可能知道这两个名字：Jay & Maarten，如果你不知道，那你大概率知道这篇文章——“The Illustrated Transformer”，或是读过以各种形式翻译过的这篇文章。说这篇文章是“爆款”“在圈内疯传”，一点儿也不夸张。 25年， DeepSeek-R1 最火的时候，解读底层原理的“The Illustrated DeepSeek-R1” 又刷屏了我们的朋友圈。以上两篇文章的作者都是 Jay（Jay Alammar）。Maarten（Grootendorst）对热点的追踪没那么快，但跟 Jay 相比，Maarten 的表达功力有过之而无不及。 The Illustrated 系列已经成为大模型技术圈的王牌解读博客文章，每次出现新技术，读者翘首以盼。 《图解大模型》正是两位业内资深专家专门为初、中级读者创作的大模型学习指南，原始资料就是百万读者亲自验证过的一些热门博客文章，看到封面上的袋鼠部分朋友已经很熟悉了，原书非常有名：Hands-On Large Language Models: Language Understanding and Generation。 以“图解”为核心理念，通过高质量插图（超过 300 幅），彻底颠覆你对技术书“晦涩难懂”的刻板印象。从底层原理到应用开发，再到模型训练与微调，让大家不仅能“读懂”，还能“看懂”，更要“用起来”。 这书的中文书名并没有照搬英文书名，原书名将“动手做”列为第一特征，中文书名将“图解”作为首要特色，“实战”作为第二特色，这最能体现图书特色的书名了——左手代码，右手图，边看边操作，学得肯定快！ 本书的主要内容： 第一部分：理解语言模型探索大、小语言模型的内部运作机制。 首先概述该领域和常用技术(见第 1 章)，然后讨论这些模型的两个核心组件(见第 2 章)：词元(token)和嵌入 (embedding)。 本部分最后是对 Jay 的大名鼎鼎的文章“The Illustrated Transformer”的更新和扩展，深入探讨了这些模型的架构(见第 3 章)。本部分还将介绍许多贯穿全书的术语及其定义。 第二部分：使用预训练语言模型 通过常见用例探索如何使用 LLM。我们将使用预训练模型并展示它们的功能，无须进行微调。你将学习如何使用语言模型进行监督分类(见第 4 章)、文本聚类和主题建模(见第 5 章)，利用嵌入模型进行文本生成(见第 6 章和第 7 章)、语义搜索(见第 8 章)，以及将文本生成能力扩展到视觉领域(见第 9 章)。 学习这些独立的语言模型功能将使你具备用 LLM 解决问题的技能，并能够构建越来越高级的系统和流程。 第三部分：训练和微调语言模型通过训练和微调各种语言模型来探索高级概念。 我们将探讨如何构建和微调嵌入模型(见第 10 章)，回顾如何针对分类任务微调 BERT(见第 11 章)，并以几种生成模型的微调方法结束本书(见第 12 章)。 本书 GitHub 附赠大量延伸资料，且代码可通过 Google Colab 一键运行。GitHub： https://github.com/HandsOnLLM/Hands-On-Large-Language-Models

不确定是原书的问题还是翻译的锅，但这本并不太适合零基础的读者。有一定基础（虽然不多）如我，读某些段落的时候都得停下来在脑海里检索一番，才能明白它在讲什么（翻译腔重的地方尤其如此，感觉有些部分语句没理顺）。不过书里的知识确实很新，作为查漏补缺的工具书来用，还是挺不错的。

抱着学习大模型原理来看这本书，读下来感觉很糟糕。 第一部分，词元和嵌入读的津津有味 第二部分和第三部分。突然就变成了实操，后面都没讲清楚。就直接开始实战了。 这就像我作为一个新手想学做菜，例如土豆炒鸡蛋。 这本书第一部分告诉我，土豆是什么，鸡蛋是什么。 突然后面部分变成了，大厨拿出来一个预制菜加热一下，跟我说做好了。 我是一脸问号，土豆怎么切的，怎么下锅。这些原理都变成了预制菜，你就直接这样用。 总的看下来就第一部分有收获，后面至少不适合我这个新手来读

一本扎实的技术导览 1. 语言模型的核心组件：词元与嵌入向量 语言模型的输入首先需要经过分词器的处理。分词器一般在训练集上通过子词级、词级、字符级或字节级的分词方法训练得到，用于将文本分解为词元（token）。 每个词元会被映射为一个嵌入向量，表示其在上下文中的语义。进一步地，模型也可以为整段文本（如句子或文档）生成文本嵌入，力求最大限度地捕捉语义信息。 2. 技术演进：从词袋到 Transformer 的注意力机制 语言模型的发展大致经历了三个阶段： * 词袋模型（Bag of Words）：将整个文档表示为一个嵌入向量，忽略了词序和上下文语义。 * 词向量（如 Word2Vec）：为每个词元生成嵌入向量，能够在一定程度上捕捉上下文中的语义关系。 * 上下文建模与注意力机制：从最初的 RNN（循环神经网络）开始尝试建模上下文，但由于其顺序处理特性，不仅难以捕捉长距离依赖，也难以并行训练。 3. Transformer 的提出解决了这些问题。它通过堆叠编码器和解码器实现深层建模，其中解码器相比编码器多了一个“交叉注意力层”。注意力机制基于 Q（查询）、K（键）、V（值）三个投影矩阵计算注意力分数，用于衡量当前位置词元与上下文中其他词元的相关性。 在此基础上，通过语言建模头将多个 Transformer 块连接起来，可以构建出多种类型的系统。最终，模型输出的是下一个词元的概率分布。 语言模型在架构上可分为两类：表示模型（只使用编码器）和 生成模型（只使用解码器）。前者擅长分类、聚类和语义搜索等任务，后者则用于生成词元，支持文本生成、补全等能力。 4. Transformer 的改进方向 在标准 Transformer 架构之上，研究者提出了多种优化策略，包括： * 稀疏注意力、多查询注意力、分组注意力等机制，提升注意力计算效率； * Flash Attention，显著减少显存使用并提升推理速度； * 在 Transformer 块中采用预归一化的 RMSNorm 和 SwiGLU 激活函数，提高训练稳定性； * 位置编码也从最初的绝对位置向量发展为如 RoPE（旋转位置编码）等更加有效的方式。

除了面试200问，其他没必要看，浪费我79.9书币