深度学习：基础与概念

《深度学习：基础与概念》｜克里斯托弗·M. 毕晓普、休·毕晓普 一句话概括 这是一本以概率论为底座、以深度神经网络为主线的系统教材，从回归、分类、优化和反向传播一路讲到CNN、Transformer、GNN、潜变量模型、GAN、标准化流、VAE与扩散模型。 核心逻辑 全书沿着“概率基础—监督学习—深度网络—专用架构—生成建模”展开： 1. 用概率、标准分布和信息论建立统一数学语言。2. 从线性回归和分类理解预测、损失与决策。3. 通过多层网络、梯度下降和反向传播学习复杂表示。4. 用正则化解决模型容量与泛化之间的矛盾。5. 以CNN、Transformer和GNN处理图像、序列与图结构。6. 用采样和潜变量方法建立概率生成模型。7. 最后比较GAN、标准化流、VAE和扩散模型等生成路线。 核心观点是：深度学习不是若干网络架构的集合，而是概率建模、表示学习、优化、泛化和近似推断构成的统一体系。 核心内容 1. 概率是理解机器学习的基础语言 现实数据存在噪声、不确定性和不可观测因素。概率论让模型能够表达： - 某个结果发生的可能性。- 观测数据与未知参数的关系。- 新证据如何更新原有判断。- 模型对预测有多大把握。- 不同假设之间如何比较。 贝叶斯定理把先验知识、数据似然和后验判断联系起来。最大似然则寻找最能解释已观测数据的参数。 概率视角提醒我们：模型输出通常不是确定真相，而是在特定假设和数据条件下作出的估计。 2. 信息论衡量不确定性与分布差异 熵衡量随机变量的不确定程度；条件熵描述知道部分信息后仍剩多少不确定性；互信息衡量两个变量共享了多少信息。 KL散度用于比较两个概率分布之间的差异，在变分推断、生成模型和模型训练中十分重要。 信息论把“学习”理解为：模型利用数据减少不确定性，并让自身分布逐渐接近真实数据分布。 3. 标准分布提供概率建模组件 书中系统介绍： - 伯努利分布。- 二项分布与多项分布。- 多元高斯分布。- 高斯混合模型。- 指数族分布。- 周期变量分布。- 核密度估计和最近邻等非参数方法。 这些分布并非只供理论推导使用。它们是分类、回归、聚类、潜变量模型、贝叶斯推断和生成模型的基本组件。 4. 回归与分类建立监督学习框架 回归预测连续数值，分类预测离散类别。 线性回归以输入特征的加权和预测目标，并可通过最小二乘或概率方法估计参数。逻辑回归和Softmax分类则将模型输出转化为类别概率。 决策不能只看哪个类别概率最高，还要考虑： - 不同错误造成的损失。- 是否允许拒绝作答。- 类别是否不平衡。- 评价指标是否符合实际目标。- 预测概率是否得到良好校准。 机器学习模型的目标不是抽象地“预测正确”，而是在具体代价和任务条件下作出合理决策。 5. 偏差—方差权衡决定泛化能力 模型太简单，无法捕捉数据规律，会产生高偏差；模型太复杂，容易记住训练数据中的噪声，会产生高方差。 提高训练集表现并不等于提高真实预测能力。需要通过： - 验证集。- 正则化。- 模型选择。- 学习曲线。- 数据扩充。- 参数共享。- 模型平均。 在拟合能力与泛化能力之间取得平衡。 6. 深度网络自动学习层次化表示 传统方法依赖人工设计固定特征，深度网络则可以从数据中学习适合任务的表示。 低层通常提取基础模式，高层将其组合成更抽象的概念。深度网络的优势来自： - 非线性函数组合。- 层次化表示。- 分布式表示。- 数据依赖的特征学习。- 跨任务迁移。- 对比学习。 深度并不只是增加层数，更重要的是让模型以多个抽象层次组织信息。 7. 梯度下降与反向传播完成模型训练 梯度指出参数变化对损失函数的影响方向。梯度下降根据这些信息不断更新参数。 常见方式包括： - 批量梯度下降。- 随机梯度下降。- 小批量训练。- 动量方法。- AdaGrad、RMSProp和Adam。- 学习率调度。 反向传播利用链式法则，从输出层向前高效计算所有参数的梯度。自动微分则由框架记录计算过程，并自动执行相应求导。 训练是否成功还受到参数初始化、数据归一化、批量归一化和层归一化等因素影响。 8. 正则化为模型加入合理偏好 有限数据无法唯一确定复杂模型，因此模型需要归纳偏置，即对“什么样的解更合理”作出假设。 正则化方法包括： - 权重衰减。- 参数共享。- 数据增强。- 残差连接。- 模型平均。- 提前停止。- 限制网络容量。 正则化不是单纯让模型变小，而是让它减少对训练样本偶然细节的依赖，学习更稳定、可迁移的规律。 9. CNN利用图像的局部与空间结构 卷积网络通过局部连接和权重共享提取图像特征。卷积核可以在不同位置识别相同模式，从而降低参数量并提高空间泛化能力。 CNN可用于： - 图像分类。- 目标检测。- 图像分割。- 特征可视化。- 风格迁移。 可视化训练后的卷积特征，有助于理解模型关注了哪些纹理、形状和对象区域，但仍不能自动获得完整因果解释。 10. 概率图模型描述结构化依赖 概率图模型用图结构表示随机变量之间的依赖和条件独立关系。 它能够： - 将复杂联合分布分解成较小因素。- 表示序列和时间依赖。- 将领域结构纳入模型。- 简化推断与计算。- 区分直接关系和条件关系。 结构化概率模型为序列模型、图神经网络和潜变量方法提供了重要理论背景。 11. Transformer用注意力连接长距离信息 注意力机制让模型根据当前任务动态选择输入中的相关部分。自注意力则让序列中的每个位置直接与其他位置交换信息。 Transformer的主要组成包括： - 词或特征嵌入。- 位置编码。- 多头注意力。- 前馈网络。- 残差连接。- 层归一化。 Transformer支持高效并行训练，并能建模长距离依赖，因此成为语言模型的重要基础，也逐渐扩展到图像、语音和多模态任务。 12. 图神经网络学习关系数据 现实数据经常表现为节点和边组成的图，如社交网络、分子、交通系统和知识图谱。 GNN通过神经信息传递实现： 1. 收集邻居节点和边的信息。2. 对邻居信息进行聚合。3. 更新当前节点表示。4. 重复传播，获得更广范围的结构信息。5. 用于节点、边或整张图的预测。 通用图网络进一步把节点、边和全局特征放入统一更新框架。 13. 采样用于处理难以直接计算的分布 复杂概率模型中的期望、积分和后验分布常常无法解析求解，因此需要采样近似。 书中介绍： - 基础随机采样。- 重要性采样等加权方法。- 马尔可夫链蒙特卡洛。- 郎之万采样。 采样质量取决于样本是否充分探索目标分布、相邻样本相关性有多强，以及算法是否已经收敛。 14. 潜变量模型发现不可直接观测的结构 潜变量表示数据背后未直接观测的类别、因素或连续空间。 离散潜变量方法包括： - K均值聚类。- 高斯混合模型。- EM算法。 连续潜变量方法包括： - 主成分分析。- 概率PCA。- 非线性潜变量模型。 EM算法在估计潜变量与更新模型参数之间交替进行。证据下界则为难以直接计算的概率提供可优化近似，并成为变分方法的重要工具。 15. GAN通过对抗学习生成数据 GAN包含生成器和鉴别器： - 生成器尝试产生接近真实分布的样本。- 鉴别器尝试区分真实样本与生成样本。- 双方在竞争中不断改进。 GAN能够生成清晰图像，也能完成图像转换。CycleGAN进一步利用循环一致性，在没有成对样本的情况下学习两个图像域之间的转换。 其主要挑战是训练不稳定、模式崩溃、评价困难和数据偏差。 16. 标准化流提供可逆生成模型 标准化流通过一系列可逆变换，将简单概率分布映射为复杂数据分布。 因为变换可逆且雅可比行列式可计算，模型能够： - 精确计算样本似然。- 生成新样本。- 将数据映射到潜在空间。- 在概率密度与生成质量之间建立明确联系。 主要形式包括耦合流、自回归流和连续流。其限制是可逆结构会约束网络设计，计算成本也可能较高。 17. 自编码器学习压缩表示 确定性自编码器由编码器和解码器组成： - 编码器把输入压缩为潜在表示。- 解码器根据潜在表示重建输入。 它可以用于降维、特征学习、去噪和异常检测。 变分自编码器进一步把潜在表示建模为概率分布，并通过重参数化实现梯度训练。VAE的潜在空间通常连续而有结构，便于生成和插值，但生成结果有时较平滑。 18. 扩散模型通过逐步去噪生成数据 扩散模型的前向过程逐步向数据加入噪声，直到其接近简单随机分布；反向过程则学习逐步去噪，最终从噪声生成样本。 核心内容包括： - 前向加噪过程。- 反向生成过程。- 得分匹配。- 时间条件网络。- 有条件和无条件生成。- 分类器或无分类器引导。 扩散模型通常训练稳定、生成质量高，但采样需要多步迭代，计算成本较大。 本书最值得关注的核心观点 本书最值得关注的不是某一种最新架构，而是它用概率视角把判别模型和生成模型连接成一套统一体系。 无论是分类、Transformer、GAN还是扩散模型，本质上都在回答几个共同问题： 数据来自什么分布？模型应怎样表示这种分布？如何利用有限样本学习参数？如何评价不确定性与泛化能力？ 理解这些基础问题，比只会调用某个框架或复现一个网络，更有利于迁移到未来的新模型。 一段话总结 《深度学习：基础与概念》以概率论、贝叶斯方法、标准分布和信息论建立数学基础，从线性回归、生成与判别分类器、决策理论和偏差—方差权衡进入深度神经网络，再系统讲解梯度下降、反向传播、自动微分、归一化和正则化。架构部分涵盖卷积网络、目标检测、图像分割、Transformer、多模态模型和图神经网络；概率建模部分则讨论采样、概率图模型、离散与连续潜变量、EM算法和证据下界，并进一步比较GAN、标准化流、自编码器、VAE和扩散模型。全书最核心的启发是：深度学习不是不断叠加新架构，而是用表示学习、概率建模、优化和近似推断解决复杂数据分布问题；掌握概率、泛化和训练原理，才能真正理解不同模型为何有效、如何失败，以及应该在什么场景中使用。

太难了，只能大概看看，宏观理解一下，没数学与计算机高级基础能看懂就很吃力，想挑战自己的智力推荐这本书

Bishop 的 PRML 是本好书，想必这本书也不错

毕晓普的书，先推荐一下mark一下😊