大模型是怎样跑起来的（轻科技）

不用公式和代码，就能看懂大模型从输入到输出的全过程。这本书把复杂的AI原理拆解得直白易懂，下次按下回车，你看到的就不只是答案，更是背后精密运转的逻辑。

作为程序员，我读完这本书后悟了，写代码时，你的一行指令在 GPU 里被拆成上亿次微操，数据在 HBM 和 Tensor Core 间狂奔，才换来模型秒级响应；别再以为只是调用 API，你其实在指挥一场高速文字接龙，每帧都决定输出的命运。代码一跑，世界就在你指间飞速成形。

可能AI的运算、运行方式的确很复杂，本文比较具象化地讲清楚了，但更多还是用比喻的方式，实实际际是啥样的，还是想象不出来。还是因为自己不专业吧。 不像原来对计算机的理解，就是用无止境的0、1来运算。而GPU在怎么运行还是没有清晰的画面。参数是什么？KVCACHE具体放在哪？等等都不知道真实是啥样的。

《大模型是怎样跑起来的（轻科技）》是一部面向非专业读者的 AI 大模型科普读物。作者张其来用浅显易懂的方式，带领读者一步步了解大模型从“接收问题”到“生成答案”的全过程： 1. ​​输入阶段​​：文字如何被拆分成模型可理解的数字序列（Token），以及为什么生成第一个字最慢。 2. ​​模型内部​​：介绍大模型的核心组件，如注意力机制、KV 缓存等，解释它们如何让模型在对话中保持上下文并快速生成回答。 3. ​​算力与硬件​​：比较 CPU 与 GPU 在 AI 计算上的差异，说明 GPU 为何更适合训练和推理大模型。 4. ​​整体流程​​：从软件栈到硬件层，完整梳理大模型运行的“内部车间”，让读者看到按下回车后背后的一整套精密运转。 通过这些内容，读者无需具备深厚的数学或编程基础，也能理解大模型为什么能如此迅速地生成连贯、准确的回答。

目前 AI 表现出来的智能化程度，让很多人感到恐惧、焦虑和迷茫，但了解背后原理后，就会理解其本质和局限性，大量的知识库和知识之间的关联关系才是人类赋予它的杀手锏，我们在制造自我焦虑的同时也在为现在的 AI 大模型贡献价值。 最终，还得看我们如何在 AI 时代，找到契合自己生存和发展的关键点，从历史的工业革命发展来看，这只是人类在一段时期内积蓄技术和力量后的一次爆发和跨越，我们只能去适应，并为下一次的科技革命积蓄能量，或许人类只有通过这样的方式不断的借助科技力量一次次延续下去，甚而至于了解和走向宇宙更深处的秘密。

- 《大模型是怎样跑起来的》 - 如今主流对话模型(GPT/DeepSeek)都是Transformer的decoder-only变体, 专为"根据前文生成下一个token"而生 - 大模型生成回答的本质, 是根据前文不断预测下一个Token, 不是查库是概率预测, `它生成得像真的不等于一定是真的` - 文本, 分词(Tokenization), Token Id, 查嵌入表(Embedding)得到向量, 给向量加上位置编码, RoPE(旋转位置编码) - 语义空间(成千上万纬), 语义相近的token在向量空间中距离更接近 - 注意力机制, 每个Token在参与计算时都会回头看前面出现过的Token, 判断谁对自己更重要 - 采样策略, top-k(只在概率最高的k个里选), top-p(在累计概率达到p的候选里选), 温度(低保守选高分/高更随机) - 参数里藏着语言规律/世界知识统计痕迹/`训练集偏见` - 训练两阶段, 预训练练"语言规律+知识痕迹", 后训练才让它"会聊天/听话/有礼貌" - 纯LLM不查库/不计算/不知道今天几号, Agent让模型调用工具来弥补这些短板, `Agent=LLM+工具+记忆+规划` - 幻觉, 流畅但错误/编造, 知识截止(Knowledge Cutoff), 训练数据的时间点, 之后的不知道 - 定制AI, 让AI更懂我的领域, Prompt/RAG/微调 - Prompt不改模型写好输入, 把要求/背景/例子写进输入, 零成本/最快 - `RAG检索增强生成, 不改模型而是临时喂资料`, 让AI先检索你的资料库, 开卷考试, 专治幻觉和知识截止 - 税务场景很适合, 归纳整理政策法规资料库, 及时保持更新, 需要时让AI根据最新资料回答 - 微调(Fine-tune), 改模型参数, 专业领域定向微训练 - 模型一次能看到的token总数叫上下文窗口(如128k), 推理时已算过的K/V会缓存 - 长!=好, 塞满上下文不仅慢和贵, 还会稀释注意力增加跑偏, `精准给相关内容, 比一股脑全塞更有效` - Lost in the middle, 上下文很长时, 模型对中间部分的信息利用最差, 首尾记得牢, 重要信息放开头或结尾 - 相关概念 - 参数量, B=十亿, 越大通常越强, 但越慢越贵 - MoE(混合专家), 如DeepSeek, 模型有很多专家, 每次只激活一部分, 总参数超大但单次计算不贵, 这是近年降本关键 - 量化(Quantization), 压缩参数精度, 体积和显存大降, 精度略损 - 蒸馏(Distillation), 用大模型当老师, 教出一个小而快的学生模型 - 思维链(Chain of Thought), 让模型先写推理步骤再给答案, 复杂题准确率大幅提升 - 推理模型, 专门训练成回答前先长时间思考, 推理时多花算力换准确率 - 多模态(Multimodal), 除文本外还能处理图/音/视频 - 大模型的大量计算本质是矩阵乘加, 每一步很简单, 但数量极其庞大 - CPU像少数全能工人, GPU像一大片并行工人, Tensor Core对矩阵乘加专门优化, 一次处理一小块矩阵 - 一次回答分Prefill(读题)和Decode(作答)两阶段 - KV Cache用空间换时间让Decode不必重算历史, 历史越长缓存越大, 速度可能越慢, `记住需要空间, 回看需要带宽` - 大模型的回答是否可靠 - 问题常见+语言规律稳定, 回答显得可靠, `提示写得清楚+背景给得充分, 往往表现更好` - 问题需要最新信息/严格事实/精确计算/复杂现实判断, 可能出错 - 问题模糊+上下文不足, 容易用看似合理的话填补空白(幻觉高发区)

【大模型是怎样跑起来的】[咖啡] ​🥭🥭🥭软件篇： ​🍎1. 把文字变成向量： 🍏1）一段文字由token组成 🍏2）每一个token都是一个向量，这个向量有几千个维度（语义相近的token，在空间里面距离更近） 🍏3）给每个token加上位置编码（在文本中的前后顺序） 于是，输入的文字终于变成了模型能处理的数字序列 🍎2. 上下文 🍏1）注意力机制，每个Token在参与计算时，都会回头看前面出现过的Token，判断谁对自己更重要 🍏2）不是所有上下文都同样重要，模型会给不同Token分配不同的参考权重 🍏3）一句话里的关系不止一种。有些词之间是语法关系，有些是语义关系，有些是指代关系。在现在的大模型中，会同时运行多组注意力，每一组都像是从一个角度看句子。最后，模型把这些观察结果合起来，形成更完整的上下文理解。这就是多头注意力​ 🍎​3. token预测 🍏1）这些带着上下文的信息进入模型内部的参数矩阵。参数经过训练，保存着大量语言规律。它们会共同决定下一个Token的分数。 🍏2）自回归：同时，前面已经生成的token，会成为后面继续生成的依据。这就是自回归 🍏3）参数：模型需经过海量训练，训练过程中会人为调整参数（就好比投篮练习）。参数塑造了模型的倾向 🍏4）温度：为了让回答有一定变化，系统会使用一些采样策略，其中一个常见说法叫“温度”。温度低，模型更保守，更倾向于选择最高分的Token。回答事实题、定义题时，这样通常更稳。温度高，模型会给一些分数没那么高的token机会。这样更容易产生变化。 🥭🥭🥭硬件篇： 🍎1. 数据算得快 🍏1）GPU：相较CPU，GPU更像一大片同时工作的工人。每个工人不一定很全能，但数量多，适合同时做大量相似的小任务。 🍏2）这非常适合矩阵计算。矩阵里有很多位置，每个位置都需要做类似计算。GPU把这些位置分给大量线程，让它们同时开工。​ 🍎2. 数据送得快 🍏1）大模型推理时，要不断读取参数、读取上下文缓存、写入新的中间结果等。数据在芯片里来回搬运，速度非常关键 🍏2）GPU上有一种很重要的内存，叫HBM，也就是高带宽内存。像是一个仓库，不仅容量大，更重要的是通道宽，一次能把大量数据送到计算单元附近 🍏3）KV Cache缓存：在Prefill阶段（读题），模型处理输入时，会算出很多中间结果。后面Decode（作答）时，每生成一个新Token，都需要回看上下文，代价太高。于是，模型会把中间结果保存下来，就是KV Cache。用空间换时间​。

书名：大模型是怎样跑起来的（轻科技） 作者：张其来 类型：轻科技 上架时间：2026-06-07 联合策划：人民邮电出版社 字数：8867字 评价：81.6% 用“大模型”作为关键词搜索了一下，目前微信读书上线的书籍有170本，总字数高达3104万字，不过质量就一言难尽了。评价最低的只有29.7%，最高的也不过88.5%，平均值为71.5%，其中60%的书籍没有定量的评价。总体来说，可读的不多。姑且从评价高的一路读下去再说。 这本书算是一篇科普长文，不过写得并不严谨。在软件篇里，以“中国首都是”为例来说明AI是如何生成回答的时候，把单独的汉字和Token混淆着用，还给自己做辩解，说是“为了方便理解，下面很多地方会用字来讲，但你只需要知道，模型实际处理的是Token”。但其实对于这个具体案例而言，模型是先预测“北”后预测“京”还是把“北京”作为一个Token来预测其机理是完全不一样的。

《大模型是怎样跑起来的（轻科技）》 张其来 13个笔记 软件篇 ◆ 2026/07/01发表想法 监督学习 原文：模型一开始并不知道这些规律，它会乱猜，猜错了，内部参数就被调整；猜对了，相关参数就被强化。这就好比一个人练习投篮，新手第一次摸球完全凭感觉扔，如果球砸到了篮板，教练就会告诉你下次力度小一点，弧度高一点，模型的参数调整也是这样。 ◆ 大模型的回答需要判断和核实。它擅长生成语言，但生成得像真的，并不等于一定是真的。 ◆ 把编号变成向量。向量可以理解成一长串数字。每个Token都会被展开成一组数字，放进一个很大的语义空间里。语义相近的Token，在这个空间里的位置往往更接近；语义差得远的Token，位置也更远。 ◆ 真实的语义空间不是二维图，也不是我们能直接画出来的坐标纸，它可能有几千个维度。 ◆ 注意力机制可以粗略理解成，每个Token在参与计算时，都会回头看前面出现过的Token，判断谁对自己更重要。 ◆ 这个过程叫自回归，也就是说前面已经生成的内容，会成为后面继续生成的依据。 硬件篇 ◆ 无论是向量、注意力，还是参数矩阵，最后都要落到数学运算上。大模型的核心计算，大量都是乘法和加法，尤其是矩阵乘法。 ◆ 大模型最重的计算，正是矩阵乘法。注意力要算矩阵，参数层要算矩阵，最后生成词表分数也要算矩阵。 ◆ 一次推理大致可以分成两个阶段。第一个阶段叫Prefill，可以理解成“读题”。第二个阶段叫Decode，可以理解成“作答”。 ◆ 在Prefill阶段，模型会处理你输入的全部Token，让它们互相建立上下文关系。注意力机制会在这里发挥作用。每个Token都要知道自己和其他Token的关系，模型才能形成对整段输入的语境理解。 ◆ Decode的特点是，每次只生成一个新Token。先生成第一个，再生成第二个，再生成第三个。它不能把整段回答一次性全部生成出来，因为后面的内容依赖前面已经生成的内容。 ◆ 模型会把已经算过的一部分中间结果保存下来。下一步生成时，直接拿来用。这些保存下来的中间结果，就是KV Cache，主要是为了用空间换时间，让模型避免大量重复计算。 总结 ◆ 文字被拆开，变成Token；Token变成数字，带着位置信息进入模型。注意力机制让它们彼此参照，参数矩阵把这些上下文信息转成下一步的分数。与此同时，GPU在并行计算，显存在搬运数据，缓存里保存着前面已经算过的上下文。当这个过程足够快，接出来的内容足够连贯，我们就看见了一次像对话一样的回答。 -- 来自微信读书

最近在学习人工智能，了解自注意力和transformer,大模型，所以我现在还是有点疑惑，我们使用的大模型或其他模型是不是起源于语言模型呢，是不是最先开始就是语言模型，我看其他讲解模型的视频和书也都是拿语言模型举例。 另外我对这些模型的计算产生好奇，是不是每一个不同的模型都有不同的矩阵运算处理方式呢，比如我现在只学习了自注意力的运算方式，那cnn,lstm,rnn类似的其他模型的计算是怎样的？所以我们所谓的人工智能（想人一样思考的大模型）就是对token的计算和输出吗？那如何把文字输入替换成其他的比如波形，图片不同形式的输入，让大模型更加灵活但同时也能像我们现在使用的语言模型输出那样漂亮，token是怎么具体划分的呢？我也很好奇。