DeepSeek原理与项目实战

5.14读书笔记 《deepseek原理与项目实战》 后面都是Python代码，不看了，简单整理一下 回忆一下：对话生成，与代码补全。首先是固定的基础配置和定义密钥，加上对应的功能设计和结构设计，最后再加上post请求和输出，构成一个api请求的基本结构。 注意力机制，注意力机制指计算输入数据的元素间的依赖关系， 归一化，归一化是优化输出数据输出，转化为和为1的权重， 稀疏性与加速优化，稀疏性与加速优化是减少低概率权重的计算。 动态注意力，动态注意力是引入权重分配机制，动态调整注意力范围。 长距离注意力，长距离注意力是指长距离关联信息，整合全局依赖关系。 稀疏注意力，稀疏注意力就是减少低权重冗余的计算。 位置编码。位置编码是确定输入数据的位置关系的技术。 上下文窗口，上下文窗口是指一次数据处理所能关联到的范围。 MoE架构，MoE架构就是把大模型拆分成特定领域的专业模型来提升表达能力和准确性。 分布式训练，分布式训练就是在多个计算节点分配任务同时进行计算。 Token，Token是大模型处理文本的基本单位。 数据流向，数据流向依次是输入层生成词向量，建模层多头注意力生成关联，路由层MoE架构选择对应专业模型，特征层提取数据特征，归一层稳定输出分布，输出层输出下一个token 编码器-解码器模型，编码器将输入序列转换为高维表示，解码器通过高维表示输出目标序列。将词语序列的逻辑关系变成空间中的向量关系，再根据向量关系对照出目标序列 自注意力机制，给每个词在空间中的向量关系进行分类建立关联档案，根据相邻词汇判断出所属档案，获得权重再作用于输出上，以此来更快的计算词之间的依赖关系。 多头注意力机制，从不同角度分析定义向量关系，包括语法关系，语义，上下文等等。 残差连接，在每一层的输出中直接添加上一层的输出，既在已掌握的基础上增加新的学习内容，避免了信息的过度衰减， 层归一化。设计一个类似均值或者方差的输出标准来降低偏移，加速训练收敛，避免剧烈波动。 写点感受：AI相关的书籍看到现在，大部分词语都能看懂了，也算有了一些收获，最大的启发就是AI慢慢获得了自我迭代和自我优化的能力，对于一个人来说这样的能力也一样重要，比如小朋友喜欢玩泥巴，和艺术家喜欢泥雕，虽然本质上是一样的，但前者往往被看做无意义的游戏，这样的游戏还会随时间变化，不同年龄会迷恋上不同的游戏，并意识到先前的游戏只是笑话，而后者有在对能力进行迭代，使之可以成为一种艺术或者一种职业。这就有了两个要素，内化的能力和迭代的意识，玩泥巴的小朋友如果意识到这是一种能力，以及每次游戏之后都进行反思总结，不断迭代这个能力，这样即使是小朋友也可以像艺术家一样创造出精美的艺术品。这种情况远不止游戏还可以扩展到各种人生经历，让经历不单单只是经历，而是能力的来源，让每一个经历都至关重要。

本书围绕DeepSeek-V3展开，结合理论解析与实际应用，带领读者全面探索这一开源大模型的核心技术与实践价值。 本书旨在为读者提供一份系统性的学习指南，从生成式AI的理论基础到DeepSeek-V3的技术架构，再到具体的开发实践，通过理论讲解与实用案例相结合的方式，帮助读者掌握从原理到应用的完整流程。无论是AI技术研究者还是行业开发者，都能通过本书快速了解并运用DeepSeek大模型技术，深入探索其在工业与商业场景中的应用潜力。

第五章没看完，实在看不下去了，太垃圾了，还没百度搜出来的内容有精华，浮于表面、流水账、华而不实、废话连篇，像ai写的 不如csdn找篇文章认真看，更不如让deepseek先生成大纲，再逐步深入去学习，真是浪费时间，车轱辘话说来说去，连自注意力机制的公式都不舍得放一下

较全面的介绍了DeepSeek-V3的技术亮点: 1.自注意力机制 : 多头注意力、残差连接、层归一化(Layer Normalization)、注意力矩阵、稀疏化矩阵、长距离注意力、动态注意力等 2.上下文窗口 3.MOE：共享专家网络与路由专家网络结合 4.多token预测 建议深度阅读

全书分为三部分，涵盖DeepSeek-V3的理论基础（如Transformer架构、Moe路由机制）、专业应用（对话生成、代码补全）及实战案例（Chat客户端、AI助理开发等），从原理到实践形成完整知识链。

2025.05.04大致浏览： 看了大纲后去看了1.3部分就不想看了，原因如下（个人观点）： 1. 罗列概念，毫无自己的构思 2. 泛泛而谈，感觉不如自己写的博客 3. 一股AI味道（初心不对） 目前暂时不打算继续看了。

这本书还是蛮专业了。可是我没学过编程，最开始只是想提高自己写提示词的水平。主要看了4569这四个章，能看懂。 说个感受。 最开始也看了网上的一些资料，也买了两本讲AI提问方面的书看，但是看了吧，感觉都是炒概念的。这本书里讲提示词就一看就是特别懂技术的人写的，没有乱七八糟自造的各种概念，而是基于官方的提示库展开讲解。其实DeepSeek官方文档给了好多有价值的内容，但是我们没有耐心去看，反而要去听各种大神大佬忽悠。确实是，集体浮躁。这本书第9章讲了DeepSeek的提示库，就是基于人家官方文档。这里有个例子特别好，讲代码注释的提示词。乍一看可能觉得我不懂编程是看不懂吧，实际上恰恰解决了我之前想学AI编程而没有克服的关键问题——很多编程语言到底是啥意思，那些符号什么意思。用这个提示词，直接就能把满窗口的字符用我看得懂的文字对应讲清楚。现在技术迭代这么快，大家都有点焦虑，难免。但是人家官方文档那么明白的，免费的给出来了，可是我们都愿意花冤枉钱去买那些“信息差”。把时间也都浪费在直播间短视频上了。这本书很踏实，推荐给真心想学习的人。

很糟糕，卖大包，废话连篇，浪费时间

从使用者的角度介绍了DP的部分原理，并且出不同行业的具体应用案例。既能了解大概的原理，有对于实操应用有了新启发。

上来讲transformer，貌似很专业的书，但对初学者极不友好，没有一个由浅入深的介绍过程，还是靠自己问AI，才能理解一个一个概念。第五章到第十二章的内容，快速过一遍，不是一点点的失望。