GPT图解 大模型是怎样构建的

《GPT图解：大模型是怎样构建的》以清晰的技术逻辑和直观的图表形式，深入剖析了大语言模型（如GPT）的构建过程。作者并未停留在泛泛而谈的层面，而是直击技术本质，从数据准备、模型架构、训练方法到实际应用中的优化技巧，层层递进地为读者揭开了大模型的神秘面纱。 书中最令人称道的是其对技术细节的精准把控。无论是对“词嵌入”机制的解析，还是对“注意力机制”的深入探讨，作者都展现出了极高的专业素养。通过大量图表的直观呈现，复杂的数学公式和算法流程被转化为易于理解的视觉语言，即便是对AI技术知之甚少的读者也能轻松掌握核心概念。 然而，本书并非毫无瑕疵。在某些章节中，作者对技术背景的铺垫稍显简略，可能会让部分读者感到“吃力”。此外，尽管书中提供了丰富的案例分析，但对实际应用场景的讨论略显蜻蜓点水，未能充分展开。这或许会让期待更多实战经验的读者感到些许遗憾。 总体而言，《GPT图解：大模型是怎样构建的》是一部兼具科学性和可读性的佳作。它既适合零基础的技术爱好者入门学习，也适合有一定经验的技术人员深入理解大模型的核心原理。对于那些渴望在AI领域有所建树的读者而言，这本书无疑是一份不可多得的宝贵参考。 最后，用DeepSeek为大模型赋诗一首： 《大模型赋》 数据如潮涌， 神经织网密。 词嵌入玄机， AI展宏图。 千亿参数动， 万亿算力需。 量变到质变， 智慧跃然起。

2026年读完的第三十七本书，今天工作比较繁忙而且在生活上需要处理的杂事也比较多，只有过了晚上10点半，才有自己的时间能静静地坐下来读书和复习、复盘技术问题。在写下这本技术书点评的此时此刻，由于重新充值了KiMi的Coding Plan高级套餐扩容了Token限额后，我的Agent Group又被“唤醒”起来工作了。 在读这本书之前，其实我也读了不少LLM（大语言模型）相关技术的书籍，但是这本通过LLM技术发展的历史脉络为主线，结合代码和实施方案的技术要点对GPT(Generative Pre-trained Transformer)进行讲解和剖析，这是我目前为止读的第一本。正如很多书友在评论区提到，GPT的诞生不是一蹴而就的，除了在现代计算资源性能的不断提高的前提下，它的出现离不开各种深度学习神经网络数学相关原理、IT技术发展相互结合为基石，历经一代代锲而不舍奋斗的AI研究员和IT工程师无数的试错、失败、改进和总结相关。 这本书从技术的角度，先是从N-Gram、BoW、Word2Vec的基础语言模型为开端，到ML(机器学习)一直以来性能表现不佳的分支：神经网络技术NPLM(神经语言概率模型)、RNN(循环神经网络)、Seq2Seq（Encoder-Decoder架构），再到能使得神经网络框架的表现性能对其他机器学习-深度学习框架如：类马尔科夫模型、朴素贝叶斯分类器等实现”弯道超车“的注意力机制（Attention Mechanism），一直到出现了Transformer(Decoder-Only架构)、BERT(Encoder-Decoder架构)，还有开始引入有监督微调（SFT）和人类反馈增强式学习（RLHF）等模型训练技术冠绝全球的GPT为止，作者从构建LLM涉及的各种基础技术，一直到通过PyTorch库结合Python代码层层深入讲解和分析了各种LLM的高级技术，就像向读者展开了一副丰富多彩的画卷。 即使我之前读过不少LLM相关的技术书籍，但是我读到的那些书本提到的知识点都是比较分散，而这本书通过LLM技术发展的脉络把涉及到训练、测试神经网络用到的技术一层层地串联起来。有训练LLM.模型基座相关的输入词在线性层的嵌入向量化:将离散的符号（如单词）映射到连续的向量空间，让原本没有意义的词汇编码变成蕴含某些语言信息的表示，Encoder的注意力机制和Decoder的自注意力机制，FFNN（前馈神经网络），残差连接层，掩码处理机制，向前传播（计算损失得分），向后传播（通过损失得分和学习率进行梯度处理更新权重），归一化层（softmax函数处理），计算损失函数，非线性的隐藏层（Hidden Layer）等，激活函数，通过Sin和Cos函数化的位置输入等；也有模型蒸馏相关的神经网络节点剪枝，教师学生模式，LoRa和QLoRa；最后还重点介绍了SFT（监督微调）和RLHF（人类反馈增强学习）相关的PPO（近似策略优化）和GRPO（群组相关策略优化），优化器，奖励模型的训练等一系列技术。 在读这本书的过程中我查阅了非常多的资料，并花了非常多的时间去思考这本书的各种知识点，每遇到一些难以理解的知识我都会有抓耳挠腮的感觉，深度思考问题的时候我都会喜欢问各种是什么、为什么、如果怎么样的问题。作者在书中提及到，生成式模型和判别式模型是两种主要的机器学习模型，但是神经网络在形式上是判别式模型（通过数据集间映射的训练学习更新权重），而它在行为上是生成式模型（自回归生成文本），这样的结论加深了我对“事物的矛盾统一性原理”的理解。 读完这本书，我感概良多，既对神经网络模型波澜壮阔的曲折发展过程感到欣喜，又对孜孜不倦追求模型性能提升AI表现性能的研究员和AI工程师充满敬意，最后也为自己终于能找到喜爱的AI事业感到庆幸。花了几乎一个小时才完成这篇读书评论的总结，我的在编写这篇评论的中段时间里，我的Agent Group很快就把KiMi的Coding Plan Quota耗光，从落笔开始到结束总结不知不觉间写到凌晨深夜，这本书推荐一读。

书名：GPT图解 大模型是怎样构建的 作者：黄佳 出版社：人民邮电出版社有限公司 出版时间：2023-12-01 ISBN：9787115623683 品牌方：人民邮电出版社有限公司 字数：22.8万字 评价：81.5% 用“大模型”作为关键词搜索了一下，目前微信读书上线的书籍有170本，总字数高达3104万字，不过质量就一言难尽了。评价最低的只有29.7%，最高的也不过88.5%，平均值为71.5%，其中60%的书籍没有定量的评价。总体来说，可读的不多。姑且从评价高的一路读下去再说。 这本书有点儿老了，看在评价还行的份上，翻翻看。 先扫个盲——生成式语言模型的发展脉络： • N-Gram和Bag-of-Words：都是早期用于处理文本的方法，关注词频和局部词序列。 • Word2Vec：实现了词嵌入方法的突破，能从词频和局部词序列中捕捉词汇的语义信息。 • NPLM：基于神经网络的语言模型，从此人类开始利用神经网络处理词序列。 • RNN：具有更强大的长距离依赖关系捕捉能力的神经网络模型。 • Seq2Seq：基于RNN的编码器-解码器架构，将输入序列映射到输出序列，是Transformer架构的基础。 • Attention Mechanism：使Seq2Seq模型在生成输出时更关注输入序列的特定部分。 • Transformer：摒弃了RNN，提出全面基于自注意力的架构，实现高效并行计算。 • BERT：基于Transformer的双向预训练语言模型，具有强大的迁移学习能力。 • 初代GPT：基于Transformer的单向预训练语言模型，采用生成式方法进行预训练。 • ChatGPT：从GPT-3开始，通过任务设计和微调策略的优化，尤其是基于人类反馈的强化学习，实现强大的文本生成和对话能力。 • GPT-4：仍基于Transformer架构，使用前所未有的大规模计算参数和数据进行训练，展现出比以前的AI模型更普遍的智能，不仅精通语言处理，还可以解决涉及数学、编码、视觉、医学、法律、心理学等各领域的难题，被誉为“通用人工智能的星星之火”(Sparks of Artificial General Intelligence)。 1970年以后，以弗雷德里克·贾里尼克(Frederick Jelinek)为首的IBM科学家们采用了基于统计的方法来解决语音识别的问题，终于把一个基于规则的问题转换成了一个数学问题，最终使NLP任务的准确率有了质的提升。 语言模型是一种用于计算和预测自然语言序列概率分布的数学模型，它通过分析大量的语言数据，基于自然语言上下文相关的特性建立数学模型，来推断和预测语言现象。 2018年之后，基于Transformer的预训练语言模型一统江湖，在自然语言处理领域的许多任务中成为主导方法。 自然语言处理中的预训练，通常指在大量无标注文本数据上训练语言模型。预训练所得的大规模语言模型也被叫作“基础模型”（Foundation Model或Base Model）。 NLP应用人员可以根据自己的需要，对模型的头部或者部分参数进行适应性的调整，这通常涉及在相对较小的有标注数据集上进行有监督学习，让模型适应特定任务的需求。这就是对预训练模型的微调（Fine-tuning，有时也译为精调）。 除了“预训练＋微调大模型”模式外，还有以下两种提示工程模式： • Prompt模式：输入通常是一个词或短语，模型需要根据这个提示生成自然且连贯的文本。这种方式适用于生成式任务，如文本生成、文章摘要等。例如，当输入“从前”这个提示时，语言模型返回“有个山，山里有个庙……” • Instruct模式：输入是一条明确的指令，要求模型完成特定任务。这种方式适用于那些需要明确指示的任务，如回答问题、解释概念等。例如：当输入“请给我讲个故事”时，语言模型返回“从前有个山，山里有个庙，庙里有个咖哥给小冰、小雪上课……” 科普完了各种基本概念之后就是九课代码课程，讲解得还算详细。

基本把围绕GPT这一脉的NLP沿袭讲清楚了，但正如个别书评所言，纯小白难看懂，行内人又觉没讲清楚。新概念跳跃式出现，却又花了大量篇幅粘贴code以及铺陈解释其中具体的arguments / parameters。 以QKV与缩放点积注意力为例，觉得读原论文“attention is all your need”都没这么拧巴，有非常多的技术博客与公众号文章都比书中更有逻辑且清晰。 最好阅读本书的方式就是跟着把code一起实现下，等具体项目上更有体感和动力吧。 因为主线GPT，并不是纯粹围绕NLP，还是有所区别的，所以像LLM前的统计分析类模型与主题概率模型基本没涉及。

ai 的热潮使得我们发现人类智能的局限性，当下的 ai 大发展可能非常类似于二十世纪初的相对论与量子理论对于我们社会的影响，而因为具有很好的传播性和工具性，所以 ai 再各行各业的扩散速度比以为的科学发展更加迅速，特别是 2024 年的诺贝尔物理学和化学奖都授予了 ai 相关的工作，就说明了 ai 对于世界的影响已经变成了现实，这种快速的变化可能是人类数据的积累达到了一定程度，所以就给了 ai 提供了大量数据，对于 gpt 也是非常类似的，而达到了瓶颈似乎也是数据问题，据说在 2024 年之前的数据都用于了 ChatGPT的训练了，新模型的演化就可能受到数据的限制，同时现实之中的数据还是具有各种产生速度的限制，比 ai 自动产生还是非常困难，数据的质量决定了 gpt 未来发展空间，只是不知道我们数据是否被用来训练了。在大模型的参数达到一定规模之后，算法可能不是问题了，而是算力和数据的限制，从这里也看出来 openAI 使用的算是还是谷歌发展的，只是使用的更加完美，ai 的突破，也是通用型 ai 的发展使得特定结构的 ai 也变得可能。对于 ai 来说输入和输出是固定的，但是中间过程被包裹了起来，能够被我们理解的内容变少了，与大多数科学非常类似的，也就是我们被割裂在各种专业的领域之中，但是 si 似乎不会，不断在我们认为是智能的领域中来形成高地，当然 ai 似乎也会产生混乱，我们所谓做梦了，当然这个是一种非常形象的比喻。对于 gpt 的使用过程，使得自己对于记忆知识等形成了全新的认识，gpt 相当于人类算力的延伸，因为人类算力是非常有限的。

匆匆读完，颇有收获。比较全局的了解了GPT的由来，NLP大模型的基础架构和技术，以及基于大模型的大概的开发模式。知道了transformer是GPT（以及当前大多数大模型）的基础架构，transformer最重要的思想就是注意力机制。自己有人工神经网络理论基础，把神经网络知识深入的嵌入这些知识中，就会更加深刻的全面的理解NLP大模型。基于大模型的开发模式为：预训练+微调；为什么在预训练的大模型上进行微调就能够适应不同场景的应用呢？主要的原理是迁移学习，就更一个人的学习经历是一样的：先学习通识，在学习专业知识，而在学习专业知识时，通识在的很多概念通过类比，归纳，演化等方式（这就是迁移）帮助我们更好更快的理解专业知识。还有“强化学习”的概念，也就是大模型在实践中学习提高自己。

简而言之，从另一个层面回顾下线性代数，只是这里的矩阵变成了层

《大模型浪潮》那本书很新，25年6月出版的，那本主要介绍了大模型的发展历史和在各个领域应用的程度机遇与可能性，比较偏实际应用的介绍。阅读性更广，普适性更高。 《GPT图解》这本书主要讲了大模型发展背后的的技术逻辑，以教学对话的方式，按照发展史来写的，言之有物，也有趣。建议搭配豆包一起食用，可以让豆包按照发展历程出一个大纲，再按照技术和学术专业名词思路出一个大纲。但是更建议像我一样的新手哪怕有了ai的总结也细嚼慢咽自己啃一下，读完会更了解aigc的逻辑。

太口水了，太啰嗦了。然后内容高不成低不就的，对于真正小白绝对看不懂，很多关键概念啥都没解释突然就冒出来了；对于懂得基本概念的人又太啰嗦了，信息密度低。

更推荐3blue1Brown的动画教程，和Youtube上的视频教程。 讲的更清晰~ 对新手更友好