神经网络与深度学习

虽然我已经拿到了计算机专业的硕士文凭，但是直到读完这本书才理清了很多概念，以前我都是直接用深度学习框架写好的代码，很多时候其实并不真的明白某行代码背后真正的含义。 因为有一些基础，所以这本书看得也挺快，对于没基础的读友，有一些小建议： 1. 无需过度关注公式。公式其实就是对所阐述的原理的一种更精准的表达形式，如果觉得公式有难度，完全可以跳过。 2. 厘清前因后果。我们在看论文的时候经常会重点关注这篇论文解决了前人无法解决的什么问题，其实整本书也是一样的，机器学习发展了百年，出现了各种各样的算法，模型，其实都是为了解决某些问题，明白了这些就更容易把这些内容串起来。 3. 借助AI工具。在经过了这本书提到的各种探索之后，终于大语言模型在近几年出现了，所以读这本书中间我遇到不懂的概念也会用deepseek帮我解答，更好帮助理解。

由于每个符号的自信息通常都不是整数，因此在实际编码中很难达到理论上的最优值．霍夫曼编码(Huffman Coding)和算术编码(Arithmetic Coding)是两种最常见的熵编码技术． ［霍夫曼编码参见算法15.1．］ E.1.3 联合熵和条件熵 对于两个离散随机变量X和Y，假设X取值集合为[插图]；Y取值集合为[插图]，其联合概率分布满足为p(x，y)，则 X和Y的联合熵(Joint Entropy)为 [插图] X和Y的条件熵(Conditional Entropy)为 [插图] 根据其定义，条件熵也可以写为 H(X|Y)=H(X，Y)−H(Y). (E.8) E.2 互信息 互信息(Mutual Information)是衡量已知一个变量时，另一个变量不确定性的减少程度．两个离散随机变量X和Y的互信息定义为 [插图] 互信息的一个性质为 I(X；Y)=H(X)−H(X|Y) (E.10) =H(Y)−H(Y|X). (E.11) 如果变量X和Y互相独立，它们的互信息为零． E.3 交叉熵和散度 E.3.1 交叉熵 对于分布为p(x)的随机变量，熵H(p)表示其最优编码长度．交叉熵(Cross Entropy)是按照概率分布q的最优编码对真实分布为p的信息进行编码的长度，定义为 [插图] 在给定p的情况下，如果q和p越接近，交叉熵越小；如果q和p越远，交叉熵就越大． E.3.2 KL散度 KL散度(Kullback-Leibler Divergence)，也叫KL距离或相对熵(Relative Entropy)，是用概率分布q来近似p时所造成的信息损失量．KL散度是按照概率分布q的最优编码对真实分布为p的信息进行编码，其平均编码长度（即交叉熵）H(p，q)和p的最优平均编码长度（即熵）H(p)之间的差异．对于离散概率分布p和q，从q到p的KL散度定义为 [插图] 其中为了保证连续性，定义[插图]． KL散度总是非负的，KL(p，q)≥0，可以衡量两个概率分布之间的距离．KL散度只有当p=q时，KL(p，q)=0．如果两个分布越接近，KL散度越小；如果两个分布越远，KL散度就越大．但KL散度并不是一个真正的度量或距离，一是KL散度不满足距离的对称性，二是KL散度不满足距离的三角不等式性质． E.3.3 JS散度 JS散度(Jensen-Shannon Divergence)是一种对称的衡量两个分布相似度的度量方式，定义为 [插图] 其中[插图]． JS散度是KL散度一种改进．但两种散度都存在一个问题，即如果两个分布p，q没有重叠或者重叠非常少时，KL散度和JS散度都很难衡量两个分布的距离． E.3.4 Wasserstein距离 Wasserstein距离(Wasserstein Distance)也用于衡量两个分布之间的距离．对于两个分布q1，q2，pth-Wasserstein距离定义为 [插图] 其中Γ(q1，q2)是边际分布为q1和q2的所有可能的联合分布集合，d(x，y)为x和y的距离，比如ℓp距离等． 如果将两个分布看作两个土堆，联合分布γ(x，y)看作从土堆q1的位置x到土堆q2的位置y的搬运土的数量，并有 [插图]

邱锡鹏老师写的教材，上课的时候也是按照这本书的框架讲的。实验配套用书的框架是飞桨，讲老实话不是很建议看那本实验用书（现在主流框架都是pytorch）。 作为理论学习还是不错的，实操建议补一本别的书（比如李沐老师的）。

借着大模型的解释，略去所有公式，粗读一遍，大有收获。 1、更深度理解了端到端的学习的意义。从这个意义上说，深度学习可以看作一种强化学习 —— 每个内部组件并不能直接得到监督信息，需要通过整个模型的最终监督信息（奖励）得到，并且有一定的延时性． 2、理解四个定理：PAC学习理论、天下没有没费的午餐、奥卡姆剃刀、丑小鸭。 3、理解CNN。卷积层，受感受野启发，局部连接、权重共享；汇聚，降维提纯、抗扰提效；全连接层和分类器。 4、理解LSTM，及其三个门，遗忘门、输入门、输出门。 5、自注意多头注意力的原理，大概搞懂了。

书籍质量还算可以，没有发现有严重的错误。但是这种书过多的数学内容，实践性不强，而且有些地方让人越读越迷惑，不适合新手阅读。如果你明白怎么回事，书里头有些东西还是可以玩味。但是第一次学习深度学习，严重不推荐，只会增加困扰。而且读这本书所带来的智识上的乐趣对实际应用有多少价值，我觉得还是值得怀疑的。这种书就像花书和西瓜书一样，可以作为写论文索引文献时候使用的工具书。但是要阅读这样的书，不仅仅费劲，而且读后往往还是一头雾水。

豆瓣评分9.5!复旦大学邱锡鹏教授力作，周志华、李航联袂推荐，深受好评的深度学习讲义“蒲公英书”正式版！系统整理深度学习的知识体系，由浅入深地阐述深度学习的原理、模型以及方法。更适合中文读者自学与入门的深度学习图书！使你掌握神经网络与深度学习技术的基本原理，知其然也知其所以然。

西方论文集锦罢了。吹得太过了，20年它是细糠，但如今24年了，可以选择的书很多，不适合入门，更适合那些居高临下的学术派子们拿去填自己的论文用

全书共15章，分为三个部分。第一部分为机器学习基础：第1章是绪论，概要介绍人工智能、机器学习、深度学习；第2～3章介绍机器学习的基础知识。第二部分是基础模型：第4～6章分别讲述三种主要的神经网络模型：前馈神经网络、卷积神经网络和循环神经网络；第7章介绍神经网络的优化与正则化方法；第8章介绍神经网络中的注意力机制和外部记忆；第9章简要介绍一些无监督学习方法；第10章介绍一些模型独立的机器学习方法，包括集成学习、自训练、协同训练、多任务学习、迁移学习、终身学习、元学习等。第三部分是进阶模型：第11章介绍概率图模型的基本概念；第12章介绍两种早期的深度学习模型—玻尔兹曼机和深度信念网络；第13章介绍深度生成模型，包括变分自编码器和生成对抗网络；第14章介绍深度强化学习；第15章介绍应用十分广泛的序列生成模型。 本书可作为高等院校人工智能、计算机、自动化、电子和通信等相关专业的研究生或本科生教材，也可供相关领域的研究人员和工程技术人员参考。

这都不推荐推荐谁啊(ó﹏ò｡)

既深入讲解了神经网络的数学原理（如反向传播、优化算法），又通过代码示例和实践练习帮助读者将理论转化为实际应用，有助于提升解决实际问题的能力。