万字赏析 ：DeepSeek R1 是怎样炼成的？（轻科技）

当了解deepseek从诞生到优化的全过程后，可以说包含了Searching的R1版本拥有的诸多创新才是她破圈的特质。大家都在为PRM、MCTS各种卷、各种失败、各种苦恼时，R1另劈蹊径，原生态的FP8配合MLP和精简的Router算法，使得基于671B的MoE模型跳出来说不用这么痛苦。 那些硬说是抄袭了o1技术的说法，不过是强加给她的吃不到葡萄说🍇葡萄酸，懂得都懂(~0~)

《硅火燎原》 近日细读《万字赏析：DeepSeek R1 是怎样炼成的？》，字间幽微精妙，恰似一场思想盛宴。书中万亿级语料奔涌如江，在算法熔炉中千锤百炼，恍若星河倾落于方寸之间；终凝为DeepSeek R1这一束智慧之光，竟让冰冷的数字悄然有了血肉般的温度。 掩卷时忽觉，AI精魂的淬炼竟与人文脉络暗合：参数微调如朝露凝珠，需步步捻量；模型优化似千锤锻刃，必久久为功。如此，方能从混沌无序中淬炼出澄澈的智慧晶体。这般过程，何异于人类文明将粗粝矿石锻造成璀璨思想？智慧从无凭空乍现，皆是在无涯的数据熔炉中，千万次试炼方得真金。 科技之火，本是普罗米修斯盗自天界的火种。其温暖可照彻幽微，其炽烈亦能焚毁家园。DeepSeek R1这簇新火，已在人间燎原。当众人欢呼于其光明与便利之时，我们更需警醒：当以人类理性为掌火之人，让这硅基之火永为智慧之仆而非主人——唯如此，方不负盗火者的初心与天地造化的玄机。 技术革命如燎原之火，其势不可挡，其威不可测。驾驭此火，既需朝露凝珠的细谨，更需千锤锻刃的坚韧。唯有以人文为缰，以理性为辔，方能让这簇新火照亮幽微而不致焚毁家园。

2026年读完的第五十四本书，花了几乎两小时才读完的一本轻科技书籍，读的过程酣畅淋漓，读完之后也有让人有醍醐灌顶的感觉，对于我来讲这本书是目前读过有关Deepseek介绍最好的一本。 当然，可能也有人说为什么不直接读Deepseek公布的论文和官网介绍？我认为第一就我目前而言没有这个实力足以读懂、解构纯粹的技术论文，第二就是如果从不同的视觉观点对Deepseek进行分析更有意思，更能看到不一样的东西，第三就是观察技术大能剖析复杂的系统，学习曲线没有这么陡峭，更易于普通人看懂其中的门道。 我知道逆向工程是非常难的，但是Deepseek团队的工程师，仅仅凭借AI行业顶尖公司公布的论文只言片语，或者是PPT的中某些不起眼的结论，对其进行逆向思考，并结合各种信息以及专业知识，最终推导出正确的结论，真的让人拍案叫绝。 这本书中讲到Deepseek进行pure-RL（纯强化训练）也特别有意思，我之前读过的很多LLM书籍只有介绍HFRL或者SFT的内容，pure-RL这种不依赖奖励模型、不需要标准数据和监督的训练既省功夫又省成本的方法，并不是什么团队都能把握得住的。Deepseek团队使用替代PPO(近端策略优化)的GRPO(组相对策略优化)算法非常粗暴，它类似于将同样的问题扔给这个policy model，让它答8次，得出结果后再根据正确答案算出一个平均值，使训练环节里损失函数的计算成本远低于PPO，体现出“小成本办大事”的哲学思想，其工程思维能力实在令人折服。 读到某个章节提及到，Deepseek团队没有执着于利用MCTS(蒙特卡洛树搜索)和PRM(过程奖励模型)这种类似于“程序正确”的强化训练，而直接走类似于“结果正确”的CoT(思维链)推理训练使我十分有感触。我认为LLM这类的深度学习模型既诞生于机器学习，又脱胎于机器学习，在机器学习中效果良好的方法模型不一定能直接作用于神经网络性能的提升上，我觉得它们可能更适用于类似于方法论或者指导方针等间接影响的地方，当然这也是我一家之言推论不一定正确。 读完这本书后，我不禁感叹到果然是“小作坊”才敢下“猛料”。我之前一直都觉得像Deepseek这种依靠蒸馏其他公司大模型的手段难登大雅之堂，但是通过作者的深入分析才知道，Deepseek这个团队在缺乏高性能显卡的如此恶劣条件下，通过神级的工程学手段完成类似于“左脚踩右脚”，你训练我、我训练你的“轮动训练”提升LLM模型性能的骚操作，对此令我肃然起敬。

书中对 AI 技术突破的底层逻辑提出了多角度见解，核心观点可归纳为以下五个方面： 1. ​​高质量数据与预训练规模并非唯一决定因素，正确的训练范式同样关键。​​ DeepSeek R1 的奠基模型 V3 已具备足够规模，真正让它性能飙升的是后续的“纯强化学习”+“固定模板 prompt”策略——先让模型在多样化问题上自我博弈，再用简单奖励信号（正确得 1 分、错误得 0 分）迭代参数，这种做法比传统大规模标注数据更高效。 2. ​​“推理过程”本身就是模型能力的一部分，应与生成答案一体优化。​​ 书中提出将 CoT（思维链）视为 Next Token Prediction 的自然延伸，而不是额外旁路；模型在一次推理中会动态激活与任务相关的神经元模块（通过 MoE 机制），既提高计算效率，也让推理结果更可解释。 3. ​​架构层面的“算力路由器”——混合专家（MoE）——让大模型能够在边缘设备上高效运行。​​ MoE 只在需要时唤醒特定专家，使宁夏枸杞种植户的手机端 AI 能在当地完成水肥配比决策，摆脱对云端算力的依赖，这揭示了“模型大并不等于能耗高”的底层逻辑。 4. ​​“推理即进化”：强化学习让模型在使用过程中持续优化。​​ 传统大模型推理时参数固定，而 DeepSeek 通过可微分的强化学习头，使模型在推理阶段就能根据实时反馈调整权重，实现“边用边学”，为大模型迈向真正的类人持续学习提供了路径。 5. ​​产品策略与技术突破相辅相成——抓住窗口、以免费模式聚拢高质量长尾数据。​​ 书中指出 R1 把握了 o1 付费且不支持搜索的空档，通过免费开放+搜索整合，迅速积累真实用户查询，形成高质量数据池，反哺模型迭代，形成正向循环。 上述观点共同勾勒出作者对 AI 技术突破底层逻辑的理解：​​数据与算法双轮驱动，强化学习让模型在真实场景中自我进化，轻量高效的 MoE 架构把这种进化能力落地到边缘，而正确的市场时机与产品策略则为技术迭代提供了源源不断的高质量燃料​​。

看完了，我还是有点懵，许多的概念、缩写，对于我来说，感觉就是天书。 2024年初，ChatGPT横空出世后，作为通信企业，单位领导也是技术男，就想制作关于人工智能和ChatGPT的材料，对企业内部员工进行宣讲，也想通过这个机会，在市政府委办局宣讲，扩大科技企业的定位。我有幸成为准备材料二人团队的一员。当然，我主要是边做边学，思想和内容的策划都来自于领导。 应该讲，总体效果不错，领导宣讲后，许多同事的手机里都多了AI APP，在外部单位的宣讲也取得了成功，好多单位排队希望科普AI。 这是难忘的经历。

DeepSeek R1 是如何炼成的 2025.10.11 用强化学习让大模型自己学会推理。 1. 先让模型“裸奔”做强化学习，自己长出推理能力。 2. 再用少量高质量数据做“冷启动”+多阶段微调，把格式、安全、人类偏好一并拉齐。 3. 全程靠“群体相对策略优化（GRPO）”和“拒绝采样”控制训练信号，不依赖人工写思维链。 4.关键步骤 基底：直接在 DeepSeek-V3-Base 上开训，不灌任何人工思维链样本。 奖励：只给“最终答案对错”一个稀疏奖励，没有过程监督。 算法：用团队自己提出的 群体相对策略优化 (GRPO)，每次让模型生成一组答案，用这组答案的相对优劣来估计优势函数，避免再训一个价值网络，省显存。 结果：模型为了拿奖励，自己“进化”出延长思考、自我质疑、回头检查等行为。 5.训练成本与规模 全流水线仅 600 万美元。 数据侧未使用任何 OpenAI 蒸馏痕迹，预训练语料里即使出现 GPT-4 生成文本也是互联网公开爬取，团队声明无主动蒸馏。 6. 今年9月，其团队研究成果登顶Nature封面，成为全球首个经Nature同行评审的主流大语言模型。 7.总结 DeepSeek R1 不是“喂出来的”，而是“奖出来的” 用纯强化学习把推理能力“奖”出来，再用少量高质量样本和二次 RL 把能力磨成人样，最终低成本炼成可与 o1 并肩的开源推理大模型。

本书深入探讨了DeepSeek R1这一创新AI模型的开发历程和技术奥秘。 通过对推理模型的定义与应用、AI模型自主思考的研究以及DeepSeek R1的技术创新等方面的分析，揭示了其在数学、代码等任务上的卓越表现。 书中分享了DeepSeek从诞生到优化改进的历程，以及在开发过程中面临的技术挑战和失败经验。 同时，展望了DeepSeek R1在未来产品中的应用前景，分析了其在全球市场的潜在影响力和战略发展方向。 通过这些内容，读者可以全面了解DeepSeek R1如何在激烈的人工智能竞争中脱颖而出，并对AI技术的未来发展有更深入的认识。

文字总体比较通俗。但很多缩写的术语不仅不解释，连全拼都不提供，很不友好！好的科普不应让读者还需查阅其他资料才能读懂！ 摘要： 推理模型的本质是让模型自己构建CoT（Chain of Thought，思维链），并将思考过程展现出来。 不要“教”模型，而是“激励”它自己探索。不要激励过程，而是激励结果。 即使不显式激励思考长度，模型自己也会发现，思考链越长，答对率越高。 针对格式激励，鼓励模型输出思考过程；针对可读性激励，从而解决多语言混杂等问题。 MoE（Mixture of Experts）架构相当于分诊台，可以将病人分流到不同诊室。之前分诊台可能坐的是“保安”，而DeepSeek则用一个医学“本科生”来分流，效果更好。 在V3的基础上，仅通过纯粹的强化学习（Reinforcement Learning），而不借助任何SFT（Supervised Fine Tuning，监督微调）数据，就训练出了强大的推理模型R1 Zero，这是令人震惊的。而使用V3和R1 Zero所产出的SFT数据，再结合RL改进可读性，就得到了最终的R1模型。

DeepSeek R1 系列模型采用了一条“先微调、再纯强化学习、最后再微调”的简洁流水线。 训练中的关键步骤与奖励设计如下。 ​​1. 冷启动： 收集数千到数万条高质量“问题-答案”样本，对预训练模型 DeepSeek-V3 进行一次监督微调，得到 ​​R1 Zero​​ 或 ​​DeepSeek-R1-SFT1​​。这些数据既包含数学、代码，也包含常识性对话，保证初始模型具备通用知识与基本推理痕迹。 ​​2. 纯强化学习阶段（R1 Zero 的核心）​​ 训练框架​​：DeepSeek 选择用​​生成式反馈​​（GRPO）而非传统 PPO。其做法是把同一问题多次喂给策略模型，取平均奖励来估计梯度，从而节省计算。 • ​​奖励信号​​由三部分构成： ① ​​准确度奖励​​：答案正确得 1 分，错误得 0 分，通过规则或程序自动判分。 ② ​​格式奖励​​：要求推理过程放在 <think> 标签内、答案放在 `` 标签内；若违反格式则得 0 分，否则获得固定分数。 ③ ​​语言一致性奖励​​：检测推理文本中是否出现中英文混杂；全程单一语言才能拿到满分，否则按比例扣分。 • ​​训练时只给出“问题-答案-格式规则”，没有大规模标注数据​​，模型靠自我探索学会“思考更长”以提高得分。 ​​3. 多阶段迭代​​ • ​​第一轮 RL​​ 之后，用得到的模型再生成更大规模的高质量推理轨迹，合并原有冷启动数据，进行下一轮 GRPO 训练；迭代数次直至模型表现收敛。 • ​​在某些版本​​（如 DeepSeek-R1-RL1）还会追加拒绝采样与人工筛选，去除冗余、低质量条目，进一步提升推理效果。 ​​4. 最终模型（DeepSeek R1）​​ • 经过多轮强化学习后，再用少量人类偏好数据做最后的监督微调，使模型在格式、语言和答案准确性上同时保持高分，形成面向终端用户的 DeepSeek R1。 ​​ 模型自己学会“更长的思考”​​：在仅激励“对错”与“格式”的情况下，模型发现延长推理长度能提高成功率，从而出现长链推理能力。

书名：万字赏析 ：DeepSeek R1 是怎样炼成的？（轻科技） 作者：腾讯科技 类型：轻科技 上架时间：2025-06-19 联合策划：腾讯新闻 腾讯科技 字数：2.4万字 评价：80.9% 2024年11月20日，DeepSeek在官方Twitter上发布了R1 Lite Preview。如今一年年多过去了，横空出世的DeepSeek似乎已经回归平常。但是DeepThink这个模式则作为一笔富贵的财富被大多数AI模型继承。 不过，本书不适合圈外人扫盲，文章夹杂了太多英文缩写和专业术语，作者还总把“大家都知道”挂在嘴边。对我而言，阅读过程是需要时不时停下来问一下下AI才能完全理解。不过话又说回来，腾讯在微信读书里部署AI深度解读功能真的是超级好看用啊！ 以下面这句话为例： DeepSeek不仅完成了自己的研究，还向全世界证明了一个事实：用通过一个超大size高质量的推理模型产生的数据进行SFT的成本非常低，与传统的预训练方法相比。它让现有模型的表现拔地而起，不用做RL。 深度解读 引用：他们用这个高质量数据去蒸馏了其他模型 根据搜索结果及技术背景，DeepSeek利用高质量推理数据进行模型蒸馏的核心要点如下： 1. 蒸馏的本质与目的 • 知识迁移：蒸馏技术通过将大型模型（如DeepSeek R1）的推理能力迁移到 smaller 模型（如Qwen、Llama），实现性能压缩与效率提升。 • 成本优化：蒸馏后的小模型显著降低计算资源需求，可部署于终端设备（如手机、PC），同时保持接近原模型的性能。 2. DeepSeek蒸馏技术的实践 • 数据来源：使用自身模型（如R1）生成的高质量推理数据作为“教师模型”知识，训练更小的“学生模型”。 • 案例验证： • 将Qwen系列（1.5B至32B参数）蒸馏后，性能显著提升。 • 对Llama 70B进行蒸馏后，其表现与Qwen 32B相当，甚至在部分任务上超越原版，被戏称为对Llama的“技术反超”。 3. 技术争议澄清 • 非抄袭指控：蒸馏 ≠ 直接复制他人模型输出。DeepSeek的蒸馏基于自身模型生成的数据，而非使用ChatGPT等外部模型的响应训练大模型（此行为属于数据采集，非蒸馏范畴）。 • 行业普遍性：顶级模型（如GPT-5、Claude Opus）也可能通过蒸馏将能力迁移至轻量化版本，以平衡性能与成本。 4. 潜在风险与挑战 • 模型同质化：过度依赖蒸馏可能导致模型间能力趋同（如多数模型蒸馏程度高，仅Claude、Gemini等例外）。 • 泛化能力：蒸馏可能增强短期性能，但也需警惕对基础模型泛化能力的潜在影响。 总结 DeepSeek的蒸馏技术通过自身高质量推理数据，成功将大模型能力迁移至轻量化模型（如Qwen、Llama），实现性能与效率的平衡。这一过程符合知识蒸馏的学术定义，且被行业广泛采用，但需关注模型同质化等潜在问题。 深度解读 引用：用通过一个超大size高质量的推理模型产生的数据进行SFT的成本非常低，与传统的预训练方法相比。它让现有模型的表现拔地而起，不用做RL。 用户希望对原文内容进行深度解读，尤其是关于DeepSeek R1的技术细节和意义。为了更好地理解原文内容，我需要从全书中搜索相关信息。 通过历史对话和工具返回的信息，我已经获取了关于DeepSeek R1的技术细节和意义的相关内容，可以直接回答用户问题。 用户希望对所给句子进行深度解读。搜索结果中，书籍简介提供了DeepSeek R1在成本与性能上的整体背景；本书相关内容直接呈现该句所在的技术讨论；《DeepSeek实战：操作攻略与商业应用》进一步说明了低成本训练和可复现性等要点。这些信息共同帮助阐明“用超大size高质量推理模型产生的数据进行SFT”的含义、成本优势，以及为何在某些情况下可以省去RL。 这句话可以拆成三个关键词来理解：超大size高质量推理模型、SFT成本低、无需RL。 1. 超大size高质量推理模型 • “超大size”指的是参数量级非常大，足以承载复杂推理所需的表达能力。 • “高质量推理”意味着该模型在数学、代码等需要逐步思考的任务上本身就能给出正确、可读的思考过程。DeepSeek R1 在 AIME、MATH、GPQA 等推理任务上已接近甚至超越 GPT-4，且推理过程可直接分享给社区。 2. 用它的数据做 SFT 成本低 • 传统预训练需要从头大规模采集文本、进行分词、再用高算力集群迭代，费用高昂。 • 如果已有这样一个大推理模型，只需让它“自言自语”——用自身生成的大量高质量思考-答案对作为训练样本，再做一次轻量级的 SFT，就能进一步提升效果。因为数据已经由模型自己生成且质量高，标注、清洗等环节大幅简化，故成本显著下降。 3. “不用做 RL”意味着什么 • 强化学习(RL)通常需要人工设计奖励模型、收集反馈、反复交互，工程复杂且算力需求大。 • 在 DeepSeek 的方案里，大推理模型本身已具备足够推理能力，加上少量 SFT 即可达到高绩效，因此对 RL 的依赖被大幅削弱。团队把精力放在改进推理过程的可读性、格式和蒸馏版本上，而不是再去大规模做 RL 训练。 4. 为什么这一做法有效 • 大模型的“涌现能力”：当模型足够大并接受一定监督信号后，会突然展现出处理复杂任务的能力，而这种能力在小模型上并不存在。 • 高质量自生成数据：模型在推理时会自动选择最合理的路径、修正错误，产出的数据天然带标签且噪声低，适合快速收敛的 SFT。 • 资源效率：省去大规模 RL/预训练后，单机或多机 GPU 就能完成微调，社区开发者也可本地复现，形成“人人皆可调优”的生态。 5. 可能的局限与思考 • 自生成数据仍可能继承模型固有偏见或幻觉；若任务对事实性要求极高，仍需人工审核或额外检索增强。 • 方案假设“大模型 + 少量标注数据”即可，但对数据分布与蒸馏策略设计提出了更高要求，实践中需防止过拟合。 • 如果硬件条件极端受限，即使 SFT 成本降低，一次性购买大算力仍是门槛；未来进一步的量化、低秩适配等技术会是落地关键。 总结 这句话揭示了一条新的大模型优化路线：先训练一个能“自己思考”的超大规模推理模型，再用它生成的数据做一次轻量 SFT，即可在低成本下获得接近顶尖水平的性能，而不再依赖繁琐且昂贵的强化学习流程。它背后反映的是“大模型 + 自监督蒸馏”正在成为更具性价比的提升路径，也为中小企业和个人开发者打开了快速迭代的大门。 文中提到的英文缩写分别指什么 根据您提供的上下文，文中提到的英文缩写及其含义如下： 1. SFT 全称：Supervised Fine-Tuning（监督微调） 含义：指使用标注数据对预训练模型进行微调，以提升其在特定任务上的表现。文中强调，利用高质量推理模型生成的数据进行SFT的成本远低于传统预训练。 2. RL 全称：Reinforcement Learning（强化学习） 含义：一种通过奖励信号优化模型策略的训练方法。文中指出，新方法通过SFT即可显著提升模型性能，无需依赖复杂的强化学习流程。 补充说明： • 技术背景：DeepSeek的研究表明，超大规模推理模型（如千问系列）生成的高质量数据，可低成本实现SFT，且效果接近甚至媲美需强化学习的模型（如Llama 70B）。 • 实际意义：这一方法降低了模型优化门槛，使研究者可在本地设备（如普通PC）复现结果，推动技术普及。