深度学习入门5：生成模型

本书三个阶段，10个步骤构建了一个从经典统计到现代AIGC的完整生成模型技术栈。 1阶段：统计基础（步骤1-3）—— 建立生成模型的数学母语 步骤1：正态分布，掌握概率密度、期望、方差的精确定义，理解中心极限定理为何让正态分布成为"万物的近似"。 步骤2：最大似然估计学习用对数似然作为目标函数，理解"让观测数据出现概率最大化"的统计学习本质。 步骤3：多维正态分布，将一维推广到向量/矩阵形式，引入协方差矩阵表示特征相关性。 2阶段：潜变量模型（步骤4-7）—— 引入隐式结构，解锁复杂数据 步骤4：高斯混合模型（GMM），用多个正态分布的加权和拟合多峰数据（如男女混合身高）。 步骤5：EM算法，引入ELBO（证据下界）和KL散度，用E步（求期望）-M步（最大化）迭代破解GMM参数估计。 步骤6：神经网络，从PyTorch张量计算到自动微分，用梯度法解决线性回归，最终搭建U-Net骨架。 步骤7：变分自编码器（VAE），神经网络替代GMM的固定高斯，用编码器-解码器结构，通过重参数化技巧实现端到端训练。 3阶段：扩散模型（步骤8-10）—— 抵达AIGC核心技术 步骤8：扩散模型的理论知识，分层VAE的极限形式，将潜变量变为与观测变量同维度的噪声序列x₁...x_T，用马尔可夫链逐步加噪/去噪。 步骤9：扩散模型的实现，U-Net + 正弦位置编码处理时序，用Diffuser类封装加噪/去噪，在MNIST上训练出可生成图像的模型。 步骤10：扩散模型的应用，条件扩散模型（用标签/文本控制生成），分类器引导和无分类器引导提升生成质量，最终指向Stable Diffusion架构。 可以私信无偿分享

刚读到VAE这部分，还没看完，总体上较本系列前几本难读很多，主要是数学推导多了不少，让我一个数学专业的都回去过了多次概率公式。比较容易让人陷到具体的公式推导里，只见树木，不见森林。