人工智能數學基礎

信息論的基礎概念 信息論是數學、物理、統計、通信等多個學科的交叉領域，在機器學習與人工智能領域有廣泛應用。信息論由被稱爲“信息論之父”的克勞德·香農提出，它是主要研究信息的量化、傳輸、存儲和處理的一門學科。本章主要介紹信息論在機器學習與人工智能領域常用的基礎概念。熵 7.1.1 熵的概念 信息論的基本思想是對信息進行量化。香農首先提出了採用信息熵（簡稱熵）來表示信息量的大小。信息的信息量大小與它的不確定性有密切關係，而不確定性可以用概率模型來刻畫，人們正是沿着這樣的思路，建立了熵的概率模型。 1.自信息 自信息表示一個隨機事件所包含的信息量。對於一個隨機變量X，假定它的概率分佈是p(x)，則隨機事件X=x的自信息定義是 I(x)=-log p(x) 在自信息定義中，若對數的底數是2，則自信息的單位是比特(bit)；若對數的底數是e，則自信息的單位是奈特(nat)。1bit表示一個隨機事件發生的概率是[插圖]時傳遞的信息量。很顯然，概率越大，事件發生的可能性就越大，這樣事件的不確定性就越小，即I(x)越小。 2.熵的定義 此處熵的定義是香農從熱力學中借鑑過來的，是信息熵的簡稱。對於分佈是p(x)的隨機變量X，它的自信息的數學期望就是隨機變量X的熵，記爲H(X)，即 [插圖] 在式(7.1)中，當隨機變量X是離散型隨機變量時，如果隨機變量X的取值集合是X，根據數學期望的定義，有 [插圖] 在式(7.1)中，當隨機變量X是連續型隨機變量時，如果隨機變量X的概率密度函數是f(x)，根據數學期望的定義，有 [插圖] 在熵的定義中，有兩種特殊情況，分別是p(x)=0和p(x)=1。當p(x)=0時，0log0=0；當p(x)=1時，H(X)=0。這表明，熵越高，隨機變量的不確定性越大，隨機變量的信息越多；熵越低，隨機變量的不確定性越小，隨機變量的信息越少。當一個隨機變量服從均勻分佈時，它的隨機性最強，即它的不確定性最大，這樣它的熵就最大。 例7.1 離散型隨機變量X的概率分佈如表7.1所示，求它們相應的熵。 表7.1 離散型隨機變量X的概率分佈 [插圖] 解：根據熵的定義，有 H1(X)=-1×log1-0log0-0log0-0log0=0 H2(X)=-0.5×log0.5-0.1×log0.1-0.2×log0.2-0.2×log0.2≈0.530 H3(X)=-0.25×log0.25-0.25×log0.25-0.25×log0.25-0.25×log0.25≈0.602 由例7.1的結果可知，對同一個隨機變量，均勻分佈的熵最大。 例7.2 假設隨機變量X～N(μ，σ2)，求它的熵H(X)。 解：根據熵的定義，有 [插圖] 利用連續型隨機變量概率密度函數的性質[插圖]，上式可化簡爲 [插圖] 上式右邊第二項利用方差的定義，可以得到 [插圖] 由例7.2的結果可知，正態分佈的熵與均值無關，只與方差有關，因爲正態分佈的方差決定了它的隨機性程度。 7.1.2 聯合熵 7.1.1節針對隨機變量X，給出了熵的定義。本節要介紹的聯合熵是對熵的推廣，它描述了多個隨機變量的不確定性。爲簡單起見，本節以兩個隨機變量爲例，給出聯合熵的定義。 假設X和Y是兩個離散型隨機變量，隨機變量X的取值集合是X，隨機變量Y的取值集合是Y，它們的聯合概率分佈是p(x，y)，則隨機變量X和隨機變量Y的聯合熵定義是 [插圖] 類似地，假設X和Y是兩個連續型隨機變量，隨機變量X的取值集合是X，它們的聯合概率分佈是p(x，y)，則隨機變量X和隨機變量Y的聯合熵定義是例7.3 假定兩個離散型隨機變量X和Y的概率分佈如表7.2所示，求它們的聯合熵H(X，Y)。 表7.2 隨機變量X和隨機變量Y的概率分佈 [插圖] 解：根據離散型隨機變量聯合熵的定義，有 H(X，Y)=-0.1×log0.1-0.1×log0.1-0.1×log0.1-0.1×log0.1-0.2×log0.2 -0.1×log0.1-0.2×log0.2-0.1×log0.1≈0.88 例7.4 假設隨機變量x服從n維正態分佈N(μ，Σ)，求隨機變量x的熵H(x)。 解：根據連續型隨機變量聯合熵的定義，有 [插圖] 上式第二個等號右邊第一項利用連續型隨機變量概率密度函數性質[插圖]，可化簡爲 [插圖] 下面計算上式右邊第二項。由於協方差矩陣Σ是對稱正定的，根據矩陣的Cholesky分解方法，存在矩陣L，使得Σ=LLT，這樣有 [插圖] 在上式中令y=(L-1)T(x-μ)=(LT)-1(x-μ)，則有 x =LTy+μ 從而有 [插圖] 則式(7.2)右邊第二項（除常數因子外）積分可以變形爲 [插圖] 將式(7.3)代入上式，得到 [插圖] 在上式第二個等號右邊利用[插圖]，上式可以化簡爲 [插圖] 對上式右邊積分採用分部積分法，可以得到 [插圖] 將上式代入式(7.2)，得到隨機向量x的熵是 [插圖] 根據以上結果可知，多維正態分佈的熵只與協方差矩陣有關，與均值無關，這與一維正態分佈的情形一致。 7.1.3 條件熵 條件熵用於刻畫在已知一個隨機變量取值的條件下另外一個隨機變量的信息量。假設X和Y是兩個離散型隨機變量，隨機變量X的取值集合是X，隨機變量Y的取值集合是Y，它們的聯合概率分佈是p(x，y)，則給定隨機變量Y的取值條件下隨機變量X的熵稱爲它們的條件熵，其定義是 [插圖] 當X和Y是兩個連續型隨機變量時，它們的聯合概率分佈是p(x，y)，則給定隨機變量Y的取值條件下隨機變量X的熵稱爲它們的條件熵，其定義是 [插圖] 例7.5 根據例7.3中的信息，求H(X|Y)。 解：首先，根據例7.3中兩個離散型隨機變量X和Y的概率分佈，可以得到隨機變量Y的邊緣概率分佈如表7.3所示。 表7.3 隨機變量Y的邊緣概率分佈 [插圖] 根據條件熵的定義有 [插圖] 7.1.4 互信息 互信息是衡量兩個隨機變量之間相互依賴關係的量，用I(X，Y)表示。若X、Y是離散型隨機變量，隨機變量X的取值集合是X，隨機變量Y的取值集合是Y，p(x，y)是它們的聯合概率分佈，則隨機變量X、Y之間的互信息I(X，Y)定義是 [插圖] 若X、Y是連續型隨機變量，p(x，y)是它們的聯合概率分佈，則隨機變量X、Y之間的互信息I(X，Y)定義是 [插圖] 互信息的基本性質如下。 (1)對稱性。 根據互信息的定義可知，交換隨機變量X、Y的位置，I(X，Y)與I(Y，X)表達式一樣，所以有I(X，Y)=I(Y，X)，即互信息滿足對稱性。 (2)若隨機變量X、Y相互獨立，則I(X，Y)=0。 由於隨機變量X、Y相互獨立，因此有p(x，y)=(x)p(y)，根據互信息的定義有 [插圖] 連續的情況類似可證。 (3)非負性。 構造函數[插圖]，對函數g(z)求導，則有 [插圖] 根據上式可以得到，當0＜z＜1時，g′(z)＜0，函數g(z)單調減少；當z＞1時，g′(z)＞0，函數g(z)單調增加。因此，z=1是函數g(z)的極小點，又由於g(1)=0，這樣得到g(z)≥0，即 [插圖] 也就是 [插圖] 根據互信息的定義，結合以上不等式有 [插圖] 這樣就證明互信息的非負性。由該性質和性質(2)可知，隨機變量X、Y之間的相互依賴關係越緊密，它們的互信息I(X，Y)就越大，否則就越小。特別地，當隨機變量X、Y相互獨立時，它們的互信息最小，即I(X，Y)=0。 (4)I(X，Y)=H(X)+H(Y)-H(X，Y)，I(X，Y)=H(X)-H(X|Y). 根據互信息、熵和聯合熵的定義有 [插圖] 這樣就證明了第一個等式。下面證明第二個等式。 根據互信息的定義有 [插圖] 於是第二個等式得證。 已知互信息I(X，Y)刻畫了隨機變量X、Y之間的相互依賴關係，這種依賴關係可能是一種線性依賴關係，也可能是一種非線性依賴關係。這一點與上面介紹的相關係數有本質區別，以下性質(5)說明了這一點。 (5)隨機變量X、Y服從二維正態分佈，它們的互信息是I(X，Y)，相關係數是ρ，則有 [插圖] 根據假設有 [插圖] 根據熵的定義有 [插圖] 根據聯合熵的定義有 [插圖] 利用性質(4)有 [插圖] 7.1.5 熵的性質 上面給出了熵、聯合熵和條件熵的概念，本節將對它們的基本性質和關係進行總結和分析。相關結論的證明以離散型隨機變量爲例給出，假定隨機變量X的取值集合是X，隨機變量Y的取值集合是Y，它們的聯合概率分佈是p根據熵的定義有 [插圖] 根據聯合熵的定義有 [插圖] 利用性質(4)有 [插圖] 7.1.5 熵的性質 上面給出了熵、聯合熵和條件熵的概念，本節將對它們的基本性質和關係進行總結和分析。相關結論的證明以離散型隨機變量爲例給出，假定隨機變量X的取值集合是X，隨機變量Y的取值集合是Y，它們的聯合概率分佈是p(x，y)，連續型隨機變量情形可將求和符號修改爲積分符號進行類似證明。 (1)非負性。 熵H(X)、聯合熵H(X，Y)和條件熵H(X|Y)都滿足非負性，即 H(X)≥0，H(X，Y)≥0，H(X|Y)≥0 (2)最大熵原理。 在介紹熵的定義時，先假設隨機變量X的概率分佈已知，然後根據隨機變量的概率分佈給出了它不確定的度量。但是，在很多時候，隨機變量X的概率分佈不是已知的，而一些關於隨機變量X的觀測值或其他約束已知，那麼隨機變量X的概率分佈要如何確定？這就是最大熵原理要揭示的問題，即在掌握部分信息的情況下，確定隨機變量X的概率分佈。基本的思路就是取符合約束條件且熵最大的概率分佈作爲隨機變量X的概率分佈，也就是說，在學習概率模型時，最大熵原理可以理解爲在滿足約束條件的所有概率模型或分佈中選擇熵最大的模型。 假設一個隨機變量X取n個不同的值，每一個取值的概率是p1、p2、…、pn，可以證明只有等概率分佈時熵最大。由於概率p1、p2、…、pn滿足[插圖]，因此該問題可歸結爲以下最優化問題。 [插圖] 爲了求出滿足最大熵的概率pi，構造拉格朗日函數，即 [插圖] 將上式對pi求偏導數，並令偏導數爲零，得到 [插圖] 於是有 pi=eλ-1，i=1，2，…，n 根據[插圖]得到 neλ-1=1 即 [插圖] 因此有 [插圖] 這就證明，當離散型隨機變量取n個不同值，且等概率分佈[插圖]時，它的熵取最大值。又因爲該優化問題的目標函數是凹函數，所以此時的熵是最大熵分佈。這個結論表明[插圖]=logn。 連續型隨機變量也有類似的結論。若隨機變量X是區間[a，b]上的連續型隨機變量，則其最大熵分佈是區間[a，b]的均勻分佈。連續型隨機變量最大熵問題還有一個重要結論，以下給出該結論及證明。 對於連續型隨機變量X，如果已知它的數學期望E(X)=μ，方差D(X)=σ2，則其最大熵分佈是正態分佈N(μ，σ2)。 假定連續型隨機變量X的概率分佈是p(x)，其最大熵問題可以歸結爲以下最優化問題。 [插圖]X，Y)=H(X)+H(Y|X)≥H(X) H(X，Y)=H(Y)+H(X|Y)≥H(Y) 綜合以上兩個等式，可得 H(X，Y)≥max{H(X)，H(Y)} (6)H(X)≥H(X|Y)，H(Y)≥H(Y|X). 根據互信息的非負性，可得 I(X，Y)=H(X)-H(X|Y)≥0 從而有H(X)≥H(X|Y)，另外一個等式類似可證。 (7)熵、聯合熵、條件熵和互信息之間的關係。 熵、聯合熵、條件熵和互信息之間的關係圖如圖7.1所示。其中，圖7.1中左邊的橢圓表示熵H(X)，右邊的橢圓表示熵H(Y)；兩個橢圓的交集表示互信息I(X，Y)；兩個橢圓的並集表示聯合熵H(X，Y)；左邊的橢圓減去它與右邊橢圓的交集表示條件熵H(X|Y)，右邊的橢圓減去它與左邊橢圓的交集表示條件熵H(Y|X)。 [插圖] 圖7.1 熵、聯合熵、條件熵和互信息之間的關係圖 7.1.6 熵在機器學習中的應用 熵在機器學習中有廣泛的應用。機器學習中一個常見的任務是分類，分類本質上是不確定性降低的過程（把某一對象分配到某個類別），而熵刻畫了不確定性的度量，因此可以用熵大小作爲分類的依據，這就引出了採用熵最小的屬性作爲分類屬性，這就是著名的決策樹算法（也稱爲ID3算法）的基本思路。下面通過一個具體例子介紹熵在決策樹算法中的應用，該例參考了文獻[1]的部分內容和文獻[2]的部分代碼。 首先給出用於構造決策樹的數據。假設有表7.4所示的用於構造決策樹的數據集，每一個樣本數據由陰晴、氣溫、溼度、風力及根據這些信息給定的是否適合打網球的決策組成。 表7.4 用於構造決策樹的數據集 [插圖] 在表7.4中，第一列代表日期，這裏可以簡單地看出樣本的編號，第二至五列代表數據屬性，最後一列代表目標，也就是決策的結果。把前十行數據作爲訓練數據，最後四行數據作爲測試數據，以設計一個分類算法，根據前十行數據，建立屬性列與目標列之間的映射關係，從而使未知數據（這裏是表7.4中後四行數據）能根據分類算法學習的映射關係和屬性列的值預測出測試數據目標列的值。 下面要介紹的算法稱爲決策樹算法，它是一種基於信息熵的分類算法。假定用D表示表7.4中的測試數據集，根據信息熵的概念，有 [插圖] 其中，H(D)是測試數據集的熵，K是分類類別的數量或目標列取不同值的數量（表7.4中的K=2），Ci是第i個類別的數據樣本，[插圖]是測試數據集D中數據樣本的數量，[插圖]是集合Ci的樣本數量。 對於根據表7.4中的測試數據集構造決策樹來對樣本進行分類，首先容易想到的問題是，應該選擇哪個屬性開始或作爲樹的根節點。很顯然，選擇不同順序的屬性對數據集進行分類，對構成決策樹的性能會有很大影響。在根據某個屬性對數據集進行分類之前和之後信息發生的變化稱爲信息增益。決策樹算法就是選擇獲得信息增益最大的屬性作爲每次節點選擇的依據。若按照某個屬性A對測試數據集D進行分類，則分類之後測試數據集D的熵是H(D|A)，這樣信息增益就是 g(D|A)=H(D)-H(D|A) 其中，條件熵H(D|A)的計算公式是 [插圖] 以上公式中，n是屬性A將測試數據集D分成不同類別的數量；Cki是屬性A將測試數據集D分成目標列i中某個類別k的樣本數據。例如，針對表7.4的數據集，如果屬性A是“風力”，那麼n=2，即表示“強”和“弱”；Cki表示C強，是、C強，否、C弱，是、C弱，否。 有了以上準備，就可以根據表7.4的測試數據集和信息熵來構建決策樹了。詳細的步驟如下。 (1)計算測試數據集D的熵H(D)。 [插圖]交叉熵與損失函數 7.2.1 交叉熵的定義 上面介紹的熵是定義在一個概率分佈上的，而交叉熵是定義在兩個概率分佈上的。交叉熵是用來刻畫兩個概率分佈之間的差異程度。兩個概率分佈的交叉熵的值越小，兩個概率分佈就越接近。對於兩個離散型隨機變量，它們的概率分佈分別是p(x)和q(x)，則它們的交叉熵定義是 [插圖] 同樣地，對於兩個連續型隨機變量，它們的概率分佈分別是p(x)和q(x)，則它們的交叉熵定義是 [插圖] 例7.6 假設離散型隨機變量X的概率分佈如表7.5所示，求它們的交叉熵。 表7.5 離散型隨機變量X的概率分佈 [插圖] 解：根據交叉熵的定義，有 H(p，q)=-0.3×log0.1-0.2×log0.4-0.3×log0.1-0.2×log0.4≈0.76 7.2.2 交叉熵的性質 (1)非負性。 根據交叉熵的定義，可以得到H(p，q)≥0。 (2)非對稱性。 一般情況下，H(p，q)≠H(q，p)。這個結論可以通過例7.6得到驗證。對於例7.6，可以計算 H(q，p)=-0.1×log0.3-0.4×log0.2-0.1×log0.3-0.4×log0.2≈0.66 這樣就有H(p，q)≠H(q，p)。但是對於特殊的情況，若p(x)=q(x)，則有 H(p，q)=H(q，p)=H(p)=H(q) (3)當兩個概率分佈相等時，它們的交叉熵最小。 假設一個隨機變量X取n個不同的值，對於概率分佈p(x)，每一個取值的概率是p1、p2、…、pn；對於概率分佈q(x)，每一個取值的概率是q1、q2、…、qn。假定概率分佈p(x)固定，那麼概率分佈q(x)怎樣取值時，這兩個概率分佈的交叉熵最小？由於概率q1、q2、…、qn滿足[插圖]，因此該問題可歸結爲以下最優化問題。 [插圖] 爲了求出滿足最小熵的概率qi，構造拉格朗日函數，即 [插圖] 將上式對qi求偏導，並令偏導數等於零，可得 [插圖] 於是，有 pi=λqi，i=1，2，…，n 根據[插圖]，可得 λ=1 從而，有 pi=qi，i=1，2，…，n 這就說明，當概率分佈q(x)的取值是qi=pi時，它們的交叉熵取最值。由於該優化問題的目標函數是凸函數，因此這裏的最值是最小值，也就是說，當概率分佈q(x)和已知的分佈p(x)一樣時，它們的交叉熵最小，並且這時有 [插圖] 上式說明，交叉熵的最小值是信息熵，即 H(p，q)≥H(p)，H(p，q)≥H(q) 7.2.3 概率分佈推斷 由於交叉熵衡量了兩個概率分佈的差異程度，而在機器學習與人工智能領域，很多問題可以轉化爲學習一個概率分佈，人們希望模型學習到的概率分佈與另外一個概率分佈接近或一致，這樣，在模型可能輸出的多個概率分佈中，人們應該選擇哪一個作爲其學習到的概率分佈？解決這個問題的常見工具就是交叉熵。 對於一個分類問題，如MINIST手寫體數字識別問題（十分類問題），可以通過構建一個卷積神經網絡模型，假設模型的輸出是y1、y2、…、y10，使其輸出經過softmax函數處理之後，得到一個概率分佈是KL散度 7.3.1 KL散度的定義 KL散度也稱爲KL距離或相對熵，一般用於度量兩個概率分佈p(x)和q(x)之間的差異程度，其定義如下。 假定p(x)和q(x)是離散型隨機變量X的兩個概率分佈，隨機變量X的取值集合是X，它們之間的KL散度定義是 [插圖] 假定p(x)和q(x)是連續型隨機變量X的兩個概率分佈，它們之間的KL散度定義是 [插圖] 例7.7 假設離散型隨機變量X的概率分佈如表7.6所示，求它們的KL散度。 表7.6 離散型隨機變量X的概率分佈 [插圖] 解：根據離散型隨機變量的KL散度定義，有 [插圖] 而KL(q||p)是 [插圖] 可見對於KL散度，一般不具有對稱性，即KL(p||q)≠KL(q||p)。 例7.8 假設有兩個正態分佈[插圖]和[插圖]，求它們之間的KL散度。 解：根據連續型隨機變量的KL散度定義，有 [插圖] 利用對數的性質，可將上式變形爲 [插圖] 利用[插圖]和方差的定義，有 [插圖] 即得 [插圖] 而 [插圖] 將上式右邊的被積函數展開，可得 [插圖] 利用方差的定義、期望的定義及[插圖]，上式可變形爲 [插圖] 將上面的結果，代入[插圖]，可得 [插圖] 這個例子的結論可以推廣到多維正態分佈的情形，這裏直接給出具體的結果[插圖]。對於兩個n維正態分佈，假定它們的概率分佈分別是p1(x)和p2(x)，其中 [插圖] 則它們的KL散度是 [插圖] 7.3.2 從熵編碼的角度理解KL散度 7.3.1節給出了KL散度的定義及計算的例子，實際上人們還可以從信息論的熵編碼來更深入地理解KL散度的物理含義。信息論中的重要事情是解決信息的編碼與傳輸問題，也就是在信道容量一定時，如果能對數據進行編碼和壓縮，就可以傳輸儘可能多的信息。那麼應該怎麼對數據進行編碼？對概率分佈是p(x)的符號或數據進行編碼時，它的熵H(p)稱爲理論上的最優平均編碼長度，這種編碼方式稱爲熵編碼。 熵編碼的物理含義是什麼？例如，人們進行拋硬幣隨機試驗，結果出現硬幣正面向上或反面向上的概率都是[插圖]，這樣最優編碼長度是[插圖]，因爲拋硬隨機試驗的結果只可能是兩種（0或1）。給定一串要傳輸的文本信息，其中字母x出現的概率是p(x)，它的最優編碼長度是-logp(x)，這樣要傳輸的文本信息的平均編碼長度是x取不同值時最優編碼的加權平均值，即[插圖]，這恰好就是熵，這說明基於概率分佈p(x)的編碼去編碼來自概率分佈p(x)的樣本，其最優編碼長度所需要的比特數就是熵，這就是熵的物理意義[插圖]。 根據交叉熵的定義，H(p，q)=Ep(-logq(x))，其物理意義可以理解爲，採用概率分佈q(x)的編碼對來自概率分佈p(x)的樣本進行編碼的平均長度或比特數。 當讀者理解了熵和交叉熵的物理意義，其可以採用類似的方式來理解KL散度的物理意義。KL散度用於度量兩個概率分佈p(x)和q(x)之間的差異程度，其物理意義可以理解爲，已知概率分佈p(x)，用概率分佈q(x)來近似概率分佈p(x)所造成的信息損失量。因爲來自概率分佈p(x)的樣本最優編碼長度是它的熵H(p)，但是用概率分佈q(x)的編碼去編碼來自概率分佈p(x)的樣本，所需的平均編碼長度是H(p，q)，這樣造成的信息損失量是 [插圖] 上式右邊剛好是KL散度的定義，這說明KL散度的物理意義是，對於概率分佈p(x)和q(x)，用概率分佈q(x)的編碼去編碼來自概率分佈p(x)的樣本，相對於概率分佈p(x)的最優編碼而言，KL散度表示用來度量使用基於概率分佈q(x)的編碼來編碼來自概率分佈p(x)的樣本所需的平均額外比特數。 7.3.3 KL散度的性質 (1)非負性KL(p||q)≥0。 根據KL(p||q)散度的定義，有 [插圖] 利用概率模型中介紹的Jensen不等式，有 [插圖] 這樣就證明了散度的非負性，並且，在p(x)=q(x)時，KL(p||q)=0。 (2)非對稱性。 例7.7說明了在一般情況下，KL(p||q)≠KL(q||p)。 (3)根據散度的非負性，容易得到對於連續型隨機變量的概率分佈p來說，它的熵H(p)小於或等於與另外一個概率分佈q的交叉熵，即H(p)≤H(p，q)。 利用KL散度的非負性，有 [插圖] 根據對數性質，上式可變形爲 [插圖] 即 [插圖] 故 H(p)≤H(p，q) (4)散度、交叉熵和熵之間的關係：KL(p||q)=H(p，q)-H(p)。 這個性質在7.3.2節中給出了。 7.3.4 KL散度在機器學習中的應用 本節將介紹機器學習中的經典模型：變分自編碼器(Variational Auto-Encoding，VAE)。VAE是一種生成式模型，其目的是先將原始圖像編碼到潛在隱變量空間（低維），然後解碼回來，其常見應用是圖像的生成。 經典的自編碼器是通過一個編碼器將圖像壓縮或映射到一個潛在隱變量空間的，並通過一個解碼器將圖像重構出來，其示意圖如圖7.3所示[插圖]。 [插圖] 圖7.3 自編碼器示意圖 自編碼器是將原始圖像進行壓縮編碼，VAE不是將原始圖像壓縮成潛在隱變量空間中的固定編碼，而是學習原始圖像數據特徵的概率分佈，將原始圖像轉化爲統計分佈的參數，如平均值和方差。VAE使用學習到的平均值和方差從分佈中隨機採樣一個點，並將這個點解碼到原始圖像的數據空間，從而達到生成圖像的目的，其示意圖如圖7.4所示[插圖]。 [插圖] 圖7.4 VAE示意圖 簡單的理解就是，VAE將原始圖像編碼爲潛在隱變量空間的概率分佈p(z|x)，在解碼時從該概率分佈中採

可以作爲大學數學的複習，不建議新手直接閱讀

本書太數學，覆蓋內容相對全面，包括人工智能三大數學，基本是數學系的學習方式。不太像是人工智能專業的，相應例子太少。最後還有部分信息論的內容。 純數學教授寫的書，嚴謹，按部就班，絕大多數定理定義推論都有證明；但對自學者不友好，一定要有LLM輔助，否則數學系的學生也難，步驟像是給理論數學專業學生寫的，只是內容都是與AI有關。 教授有先驗經驗，部分定義定理概念覺着讀者會知曉，讀時容易蒙圈。 但如果與LLM和Python結合着讀，內容非常詳實，而且可以出發很多聯想！