图解DeepSeek技术

在深度学习系统中，模型性能的提升往往取决于两类因素：​​能够带来收益的“关键点”​​（ architectural 或 algorithmic 的亮点设计）与​​限制进一步提升的“瓶颈”​​（资源、通信、数据等客观限制）。二者共同决定了模型能否高效训练、推理以及落地。 ​​一、关键点：让性能“跳得更高”​​ 1. ​​架构层面​​ • ​​混合专家（MoE）​​—在 DeepSeek-R1 中采用，通过“少量专家”+“门控机制”实现参数高效，使算力与效果取得平衡 。 • ​​稀疏注意力、MTP（多 token 预测）​​—在 DeepSeek-V3 中使用，减少冗余计算，提升推理速度同时保持高精度 。 2. ​​训练策略​​ • ​​FP8 混合精度​​—将权重、激活量化至 8-bit，显著降低显存与计算量，加速训练 。 • ​​GRPO/强化学习​​—在 DeepSeek-R1 中用少量数据就能获得推理能力，减少对大规模标注数据的依赖 。 3. ​​推理引擎​​ • ​​KV 缓存分片、Token 流水线并发​​—让 DeepSeek-V3 在单 GPU 上实现 2–5 倍的吞吐提升，降低延迟 。 ​​这些设计共同特点是：在正确的位置“做对的事”，用更少的资源完成同样的或更好的任务，从而直接提高模型性能。​​ ​​二、瓶颈：让性能“卡在那里”​​ 1. ​​计算资源不足​​：参数量和数据量同步增长时，显存/算力成为首要限制，出现“训练不收敛或非常慢”的现象 。 2. ​​通信延迟​​：分布式训练中，节点间梯度同步或 MoE 专家间负载平衡若设计不当，会拖慢整体速度 。 3. ​​内存溢出与梯度不稳定​​：序列长度增加、批量变大时，显存不足或梯度消失/爆炸导致训练难以稳定 。 4. ​​推理端瓶颈​​：长上下文、高并发请求时，KV 缓存管理、硬件访存效率成为延迟主要来源 。 ​​一旦遇到瓶颈，模型性能就难以随数据/参数规模线性上升，甚至可能出现“越大数据越慢”的怪圈。​​ ​​三、关键点与瓶颈的互动关系​​ • 识别并打穿瓶颈（如用 FP8、MoE、KV 缓存分片）本身就是新的关键点，说明二者在实践中往往相互转化。 • 关键点的设计目标就是“突破瓶颈”，因此在系统优化时需要先定位瓶颈，再选择合适的关键点进行突破。 ​​四、如何利用关键点突破瓶颈、提升模型性能​​ 1. ​​先做性能剖析​​：找出占用时间/资源最多的环节（工具如 PyTorch Profiler、DeepSeek 内存跟踪等）。 2. ​​选择匹配的关键点技术​​： • 计算/显存瓶颈 → FP8、MoE、稀疏化。 • 通信瓶颈 → 优化分布式策略、使用更高带宽网络。 • 内存瓶颈 → KV 缓存分片、序列并行、动态形状优化。 3. ​​评估收益​​：通过 A/B 测试或基准测试确认瓶颈是否真正解除，性能是否随之提升。 ​​结论​​ 关键点是“杠杆”，用少而精的技术让模型性能向上跃迁；瓶颈是“天花板”，若不拆除就会限制模型规模与速度。理解二者并动态循环“定位瓶颈—应用关键点—再测量”，是提升深度学习模型性能的核心路径。

本书通过DS_R1详细讲述推理模型。 为什么R1能在AI发展史上类比GPT O1模型。R1团队实践了如GRPO，强化学习，混合精度计算等方法论。一方面通过增强推理来提升生成结果的质量；另一方面通过各自方法来减缓由于推理导致的生成变慢的问题。 第一次清晰了解了DS_V3，DS_R1 ZERO和DS R1的区别。V3是基础通用大模型，R1 ZERO是通过MOE，PPO，RPO等增强推理能力，而R1是让R1_ZERO模型的输出，更加格式化和偏人类风格。 进一步理解了基础LLM和推理模型的关系。推理模型建立在基础大模型基础上。推理模型很难做到强泛化性，泛化性取决于基础模型的通用性。推理模型的核心能力来自基础大模型。 推理模型的能力取决于SFT，MOE，强化学习RL的信息输入。 本身的另一个特点是在关键概念上，译者会用注解方式对概念做详述，能帮助读者更好地理解DEEPSSEK的技术实现。

本书以通俗易懂、大量图解的方式剖析了DeepSeek的底层技术。 全书分为3章和附录，第1章详细分析了推理大模型的范式转变，即从“训练时计算”到“测试时计算”；第2章解读了DeepSeek-R1的架构——混合专家（MoE）；第3章展示了DeepSeek-R1详细的训练过程及核心技术，涵盖基于GRPO的强化学习等；附录分享了DeepSeek开源周活动。 本书适合大模型从业人员和对大模型底层技术感兴趣的读者。书中通过丰富的图解将复杂的技术解释得简单、清晰、通透，是学习大模型技术难得一见的参考书。

图解很直观，很轻薄的一本小册子，作为入门级读物非常友好～ 但是想要搞懂MLA、MoE以及训练细节，还是要看源码读R1的technical report🌞

虽然有些地方描述的不够细致很简略，有些地方也很难读懂，但是整体架构图画的还是不错的，整体还是不错的。

一、关于训练时计算和推理时计算 1、训练时计算：将资源全部用于训练模型时。2、推理时计算：平衡资源时候，部分资源用于训练时计算，部分资源用于推理时计算。减少训练时计算遇到瓶颈后有边际递减效应。而推理时计算不仅仅是延长推理思考时长，总体有两种模式：（1） 基于验证器(verifier)的搜索（通过采样生成多个候选答案并选择最优解），属于输出导向。验证器又有两种模式：（1.1）结果验证（偏向结果奖励），通过少数服从多数，或者加权等等选择结果。（1.2）过程验证（偏向过程奖励），关注过程，从过程开始打分，选择更优的过程路径。（2）调整提议分布 15(proposal distribution)（经过训练的“思考”过程），属于输入导向。主要也有两种：（2.1）提示词工程：提示词让模型按照提示步骤，优先选择能够触发推理过程的词元，而不是答案。但这种方法没法把能力固化到模型中，而过于依赖每次的提示词。（2.2）star方法：将推理过程生成问题、推理、答案三元组来微调模型，正确答案的三元组就反馈训练模型，错误答案三元组就把具体答案生成过程告知模型，让其知道为什么错误，进行微调。总之，就是把数学解题步骤列出来，对步骤进行点评，而不仅仅对答案点评，非常类似人类学习。 二、结合使用三种方法，DeepSeek 实现了专家功能的有效分工：由路由器选择的专家通过细粒度专家分割专注于学习更加专业化的知识，而共享专家则通过共享专家隔离机制被激励去学习通用性知识。 1.TOP-K路由：解决路由选择，由稠密转为稀释2.细粒度专家分割：让专家更专业化。3.共享专家隔离：通用规则由共享专家解决，减少冗余。架构设计就像人类各种组织的设计。 三、DeepSeek-R1模型基于Transformer解码器模块堆叠架构，共61层，前3层为稠密层，后58层为MoE层。稠密层：前3层Transformer 块结构与主流大模型类似。每个块先对输入进行RMS归一化操作，再经多头潜在注意力机制运算，该机制通过低秩联合压缩键和值来降低 KV缓存需求，提高推理效率，最后送入前馈神经网络处理。MoE层：后58层采用MoE 机制替代常规的前馈神经网络。MoE 由专家和路由器组成，专家实际上也是前馈神经网络，而路由器负责将词元分配给特定专家。 四、训练过程 1.基于基座模型进行监督微调需要用到数量庞大的长链思维推理示例，这种数据的获取成本非常高。2.先建一个偏推理的临时模型，由这个模型负责生成长链思维推理数据。这个临时模型其他方面能力其实不强，只是用于生成推理训练示例。3.推理导向的强化学习训练方法可以生成DeepSeek-R1-Zero。（1）推理导向(reasoning-oriented)的强化学习是指要求模型先输出推理过程，后输出答案的强化学习过程；目的是让模型解决数学、编程、逻辑推理等需要思考才能解决的问题。（2）RLHF（基于人类反馈的强化学习）的目的是让模型的输出与人类的偏好和价值观对齐，从而让模型的输出格式和表达方式对人类更友好，并拒绝输出有害的内容；4.过程如下：（1）基座模型：DeepSeek-V3 Base（2）DeepSeek-R1-Zero临时推理模型，负责生成推理示例。（3）推理导向强化学习训练可以得到DeepSeek-R1 -Zero。（4）基座模型+推理示例最终训练出DeepSeek-R1。 五、大模型设计重点在于结构设计和损失函数设计。1.结构设计是关联关系设计，一切都是关系，而不是实体。2.损失函数设计是指导原则，指导模型训练的方向，指导权重调整的方向，也是模型最终的目标。 3.大模型学习和专家规则不同。大模型是设计好结构和误差函数（或者奖励机制），引导机器从数据中训练和学习，最终收敛而形成模型。专家规则需要人类深入指导，将人类的知识和规则硬编码到模型（程序）中。所以以前的编程时代是专家规则法，写出各种if-else程序。而现在大模型训练是设计时代，设计合理的关联关系和模型结构，设计合理的误差函数、奖励机制。

我个人还是很推荐的。大模型本身的构建就是一个社会体系的构建。本质上是输入-过程-输出。而这个过程是怎么样的，就是建设的一个社会体系，通过奖励、惩罚等措施保证输出的有效性和正确性。这个奖励和惩罚是什么，如何设计，就有很多方法。比如寻找不同的权威专家、采用一个标准参考系等。

可算知道这东西怎么回事了 之前看的几本都云里雾里的 还得是这种图文并茂的 人工智能的这种训练跟训练动物挺像的 不管是机器还是动物它总归会学会点什么 只要投入的足够多 我现在相信这东西能统治人类了 人类以后可能真的需要罗辑了

个人推荐：DeepSeek技术（非使用）入门，图文并茂，深入浅出，短小精悍，点到为止，理解大意即有收获。因为深度略显不足（对初学者足够），逻辑略有瑕疵，四星推荐！

《图解大模型》的作者写的关于DS技术解构书，从大模型应用者的角度来说可以作为一个参考，但如果要自己实现还是有难度的。