人工智能数学方法（基础篇）

非常好的一本书。用 最大熵分布 在机器学习的生成式方法中，我们往往需要在仅已知关于随机变量的一些简单特征的情况下对概率分布做出合理假设，例如贝叶斯估计中的先验分布。我们知道，熵或者微分熵刻画了随机变量的不确定性，因此从这一角度出发，我们有理由选择在给定某些约束（例如已知的关于随机变量的简单特征）的情况下能够使得熵或者微分熵最大的概率分布作为假设。这是因为选择能够最大化不确定性的分布，意味着我们在满足已知约束的前提下，做出了最少的主观假设，保留了最大的不确定性。这是一种最一般化的选择，避免了引入不必要的偏见。这被称为最大熵原理。下面我们就来研究在一些常见的约束条件下，最大熵分布的形式。 首先我们不妨考虑离散型随机变量的情形，如果我们已知离散型随机变量[插图]的概率分布为[插图]且[插图]，即它的支撑集是有界的，那么我们不妨猜测等概分布是最大熵分布。这其中的直觉就在于，等概分布是对于[插图]的不确定性最大的分布，因为它对所有可能取值都赋予了相同的概率。为了验证这一猜想，我们可以利用KL散度的非负性，即令[插图]，那么有 [插图] 即[插图]，等号成立当且仅当[插图]。因此，有下面的定理。 定理11.4 若离散型随机变量[插图]的支撑集是有界的，则最大熵分布是等概分布，即 [插图] 此时可得最大熵，且最大熵为[插图]。 ♡ 实际上这一定理也可以推广到连续型随机变量的情形。同样地，我们可以利用KL散度的非负性来验证。 定理11.5 若连续型随机变量[插图]满足[插图]是[插图]上的一个体积有界且不为0的集合，则最大熵分布是均匀分布，即 [插图] 此时可得最大熵，且最大熵为[插图]。其中[插图]是[插图]的体积，即[插图]。 ♡ 不过对于支撑集无限的离散随机变量或支撑集无界的连续随机变量，在不加入其他约束条件的情况下，最大熵分布并不存在。例如，我们可以考虑支撑集的体积[插图]趋于无穷的均匀分布，显然此时它的微分熵也是无界的。因此，为了使得最大熵分布存在，我们需要引入一些额外的约束条件。其中，最常见的一类约束条件就是所谓的矩约束，即给定函数[插图]以及常数[插图]，我们试图在所有满足 [插图] 的分布中寻找能够最大化熵的分布。事实上，我们可以证明，在矩约束下，最大熵分布属于指数分布族。 定理11.6　矩约束下的最小鉴别信息（最大熵）定理 若随机变量[插图]服从概率分布[插图]，且满足矩约束 [插图] 那么对于任意定义在[插图]上的使得[插图]存在的函数[插图]，最小化[插图]的分布属于指数分布族（见定义5.9），即 [插图] 可使得[插图]最小。其中，[插图]，[插图]，且[插图]满足[插图]。此时，最小KL散度为[插图]。 ♡ 定理11.6　矩约束下的最小鉴别信息（最大熵）定理 若随机变量[插图]服从概率分布[插图]，且满足矩约束 [插图] 那么对于任意定义在[插图]上的使得[插图]存在的函数[插图]，最小化[插图]的分布属于指数分布族（见定义5.9），即 [插图] 可使得[插图]最小。其中，[插图]，[插图]，且[插图]满足[插图]。此时，最小KL散度为[插图]。 ♡ 证明（定理11.6）　首先证明上述分布满足矩约束条件。根据概率密度函数的归一化性质，我们有 [插图] 两边关于[插图]求导，得到 [插图] 实际上，指数族分布满足定义5.4中的正规性条件，因此我们可以将求导符号和积分符号交换位置，即 [插图] 因此我们有 [插图] 即该分布满足矩约束条件。下面证明该分布最小化[插图]。设[插图]为任意满足矩约束的分布函数，令[插图]为指数分布族的分布函数，我们有 [插图] 即 [插图] 等号成立当且仅当[插图]。 作为上述结论的一个重要特例，我们可以考虑连续随机变量的均值向量和协方差矩阵均已知时的最大熵分布。注意到这等价于选择[插图]。根据指数族分布的定义，此时的最大熵分布就是多元高斯分布。 - [1] 特别地，当[插图]为常数时，最小化[插图]等价于最大化[插图]，即求解最大熵分布。对于其他[插图]，该优化问题被称为最小鉴别信息原理，即寻找一个在满足矩约束的前提下，与参考[插图]在KL散度意义下差异最小的分布。可见，最大熵原理是最小鉴别信息原理在参考为常数时的特例。此外，严格来说，KL散度定义在两个归一化概率分布之间，而[插图]作为参考可能不满足归一化条件。因此这里[插图]实际上是一种符号滥用，用以指代[插图]，其值可能为负，不直接满足KL散度的非负性。但这并不影响该定理的结论，如后文证明所示，我们利用的是[插图]与归一化后的指数分布族分布[插图]之间的KL散度来导出极值性质，因此证明逻辑依然是严谨的。

在等人间隙读完了这本科普读物，里面的数学原理和公式的推导提神醒脑，让我想起了李航老师的那本小蓝皮书籍

适合搞学术或搞底层的人看，没有相关背景的普通人想了解原理，还是推荐《Python神经网络编程》《深度学习入门：基于Python的理论与实现》。不是面面具到。但一定印象深刻。

从附录看一些基本数学知识吧。其它讲的过时，看起来是屠龙刀，实际那些龙早不在了。斩不了千问，也斩不了deepseek