深度學習入門5：生成模型

本書三個階段，10個步驟構建了一個從經典統計到現代AIGC的完整生成模型技術棧。 1階段：統計基礎（步驟1-3）—— 建立生成模型的數學母語 步驟1：正態分佈，掌握概率密度、期望、方差的精確定義，理解中心極限定理爲何讓正態分佈成爲"萬物的近似"。 步驟2：最大似然估計學習用對數似然作爲目標函數，理解"讓觀測數據出現概率最大化"的統計學習本質。 步驟3：多維正態分佈，將一維推廣到向量/矩陣形式，引入協方差矩陣表示特徵相關性。 2階段：潛變量模型（步驟4-7）—— 引入隱式結構，解鎖複雜數據 步驟4：高斯混合模型（GMM），用多個正態分佈的加權和擬合多峯數據（如男女混合身高）。 步驟5：EM算法，引入ELBO（證據下界）和KL散度，用E步（求期望）-M步（最大化）迭代破解GMM參數估計。 步驟6：神經網絡，從PyTorch張量計算到自動微分，用梯度法解決線性迴歸，最終搭建U-Net骨架。 步驟7：變分自編碼器（VAE），神經網絡替代GMM的固定高斯，用編碼器-解碼器結構，通過重參數化技巧實現端到端訓練。 3階段：擴散模型（步驟8-10）—— 抵達AIGC核心技術 步驟8：擴散模型的理論知識，分層VAE的極限形式，將潛變量變爲與觀測變量同維度的噪聲序列x₁...x_T，用馬爾可夫鏈逐步加噪/去噪。 步驟9：擴散模型的實現，U-Net + 正弦位置編碼處理時序，用Diffuser類封裝加噪/去噪，在MNIST上訓練出可生成圖像的模型。 步驟10：擴散模型的應用，條件擴散模型（用標籤/文本控制生成），分類器引導和無分類器引導提升生成質量，最終指向Stable Diffusion架構。 可以私信無償分享

剛讀到VAE這部分，還沒看完，總體上較本系列前幾本難讀很多，主要是數學推導多了不少，讓我一個數學專業的都回去過了多次概率公式。比較容易讓人陷到具體的公式推導裏，只見樹木，不見森林。