人工智能數學方法（基礎篇）

非常好的一本書。用 最大熵分佈 在機器學習的生成式方法中，我們往往需要在僅已知關於隨機變量的一些簡單特徵的情況下對概率分佈做出合理假設，例如貝葉斯估計中的先驗分佈。我們知道，熵或者微分熵刻畫了隨機變量的不確定性，因此從這一角度出發，我們有理由選擇在給定某些約束（例如已知的關於隨機變量的簡單特徵）的情況下能夠使得熵或者微分熵最大的概率分佈作爲假設。這是因爲選擇能夠最大化不確定性的分佈，意味着我們在滿足已知約束的前提下，做出了最少的主觀假設，保留了最大的不確定性。這是一種最一般化的選擇，避免了引入不必要的偏見。這被稱爲最大熵原理。下面我們就來研究在一些常見的約束條件下，最大熵分佈的形式。 首先我們不妨考慮離散型隨機變量的情形，如果我們已知離散型隨機變量[插圖]的概率分佈爲[插圖]且[插圖]，即它的支撐集是有界的，那麼我們不妨猜測等概分佈是最大熵分佈。這其中的直覺就在於，等概分佈是對於[插圖]的不確定性最大的分佈，因爲它對所有可能取值都賦予了相同的概率。爲了驗證這一猜想，我們可以利用KL散度的非負性，即令[插圖]，那麼有 [插圖] 即[插圖]，等號成立當且僅當[插圖]。因此，有下面的定理。 定理11.4 若離散型隨機變量[插圖]的支撐集是有界的，則最大熵分佈是等概分佈，即 [插圖] 此時可得最大熵，且最大熵爲[插圖]。 ♡ 實際上這一定理也可以推廣到連續型隨機變量的情形。同樣地，我們可以利用KL散度的非負性來驗證。 定理11.5 若連續型隨機變量[插圖]滿足[插圖]是[插圖]上的一個體積有界且不爲0的集合，則最大熵分佈是均勻分佈，即 [插圖] 此時可得最大熵，且最大熵爲[插圖]。其中[插圖]是[插圖]的體積，即[插圖]。 ♡ 不過對於支撐集無限的離散隨機變量或支撐集無界的連續隨機變量，在不加入其他約束條件的情況下，最大熵分佈並不存在。例如，我們可以考慮支撐集的體積[插圖]趨於無窮的均勻分佈，顯然此時它的微分熵也是無界的。因此，爲了使得最大熵分佈存在，我們需要引入一些額外的約束條件。其中，最常見的一類約束條件就是所謂的矩約束，即給定函數[插圖]以及常數[插圖]，我們試圖在所有滿足 [插圖] 的分佈中尋找能夠最大化熵的分佈。事實上，我們可以證明，在矩約束下，最大熵分佈屬於指數分佈族。 定理11.6　矩約束下的最小鑑別信息（最大熵）定理 若隨機變量[插圖]服從概率分佈[插圖]，且滿足矩約束 [插圖] 那麼對於任意定義在[插圖]上的使得[插圖]存在的函數[插圖]，最小化[插圖]的分佈屬於指數分佈族（見定義5.9），即 [插圖] 可使得[插圖]最小。其中，[插圖]，[插圖]，且[插圖]滿足[插圖]。此時，最小KL散度爲[插圖]。 ♡ 定理11.6　矩約束下的最小鑑別信息（最大熵）定理 若隨機變量[插圖]服從概率分佈[插圖]，且滿足矩約束 [插圖] 那麼對於任意定義在[插圖]上的使得[插圖]存在的函數[插圖]，最小化[插圖]的分佈屬於指數分佈族（見定義5.9），即 [插圖] 可使得[插圖]最小。其中，[插圖]，[插圖]，且[插圖]滿足[插圖]。此時，最小KL散度爲[插圖]。 ♡ 證明（定理11.6）　首先證明上述分佈滿足矩約束條件。根據概率密度函數的歸一化性質，我們有 [插圖] 兩邊關於[插圖]求導，得到 [插圖] 實際上，指數族分佈滿足定義5.4中的正規性條件，因此我們可以將求導符號和積分符號交換位置，即 [插圖] 因此我們有 [插圖] 即該分佈滿足矩約束條件。下面證明該分佈最小化[插圖]。設[插圖]爲任意滿足矩約束的分佈函數，令[插圖]爲指數分佈族的分佈函數，我們有 [插圖] 即 [插圖] 等號成立當且僅當[插圖]。 作爲上述結論的一個重要特例，我們可以考慮連續隨機變量的均值向量和協方差矩陣均已知時的最大熵分佈。注意到這等價於選擇[插圖]。根據指數族分佈的定義，此時的最大熵分佈就是多元高斯分佈。 - [1] 特別地，當[插圖]爲常數時，最小化[插圖]等價於最大化[插圖]，即求解最大熵分佈。對於其他[插圖]，該優化問題被稱爲最小鑑別信息原理，即尋找一個在滿足矩約束的前提下，與參考[插圖]在KL散度意義下差異最小的分佈。可見，最大熵原理是最小鑑別信息原理在參考爲常數時的特例。此外，嚴格來說，KL散度定義在兩個歸一化概率分佈之間，而[插圖]作爲參考可能不滿足歸一化條件。因此這裏[插圖]實際上是一種符號濫用，用以指代[插圖]，其值可能爲負，不直接滿足KL散度的非負性。但這並不影響該定理的結論，如後文證明所示，我們利用的是[插圖]與歸一化後的指數分佈族分佈[插圖]之間的KL散度來導出極值性質，因此證明邏輯依然是嚴謹的。

在等人間隙讀完了這本科普讀物，裏面的數學原理和公式的推導提神醒腦，讓我想起了李航老師的那本小藍皮書籍

適合搞學術或搞底層的人看，沒有相關背景的普通人想了解原理，還是推薦《Python神經網絡編程》《深度學習入門：基於Python的理論與實現》。不是面面具到。但一定印象深刻。

從附錄看一些基本數學知識吧。其它講的過時，看起來是屠龍刀，實際那些龍早不在了。斬不了千問，也斬不了deepseek