深度學習：基礎與概念

《深度學習：基礎與概念》｜克里斯托弗·M. 畢曉普、休·畢曉普 一句話概括 這是一本以概率論爲底座、以深度神經網絡爲主線的系統教材，從迴歸、分類、優化和反向傳播一路講到CNN、Transformer、GNN、潛變量模型、GAN、標準化流、VAE與擴散模型。 核心邏輯 全書沿着“概率基礎—監督學習—深度網絡—專用架構—生成建模”展開： 1. 用概率、標準分佈和信息論建立統一數學語言。2. 從線性迴歸和分類理解預測、損失與決策。3. 通過多層網絡、梯度下降和反向傳播學習複雜表示。4. 用正則化解決模型容量與泛化之間的矛盾。5. 以CNN、Transformer和GNN處理圖像、序列與圖結構。6. 用採樣和潛變量方法建立概率生成模型。7. 最後比較GAN、標準化流、VAE和擴散模型等生成路線。 核心觀點是：深度學習不是若干網絡架構的集合，而是概率建模、表示學習、優化、泛化和近似推斷構成的統一體系。 核心內容 1. 概率是理解機器學習的基礎語言 現實數據存在噪聲、不確定性和不可觀測因素。概率論讓模型能夠表達： - 某個結果發生的可能性。- 觀測數據與未知參數的關係。- 新證據如何更新原有判斷。- 模型對預測有多大把握。- 不同假設之間如何比較。 貝葉斯定理把先驗知識、數據似然和後驗判斷聯繫起來。最大似然則尋找最能解釋已觀測數據的參數。 概率視角提醒我們：模型輸出通常不是確定真相，而是在特定假設和數據條件下作出的估計。 2. 信息論衡量不確定性與分佈差異 熵衡量隨機變量的不確定程度；條件熵描述知道部分信息後仍剩多少不確定性；互信息衡量兩個變量共享了多少信息。 KL散度用於比較兩個概率分佈之間的差異，在變分推斷、生成模型和模型訓練中十分重要。 信息論把“學習”理解爲：模型利用數據減少不確定性，並讓自身分佈逐漸接近真實數據分佈。 3. 標準分佈提供概率建模組件 書中系統介紹： - 伯努利分佈。- 二項分佈與多項分佈。- 多元高斯分佈。- 高斯混合模型。- 指數族分佈。- 週期變量分佈。- 核密度估計和最近鄰等非參數方法。 這些分佈並非只供理論推導使用。它們是分類、迴歸、聚類、潛變量模型、貝葉斯推斷和生成模型的基本組件。 4. 迴歸與分類建立監督學習框架 迴歸預測連續數值，分類預測離散類別。 線性迴歸以輸入特徵的加權和預測目標，並可通過最小二乘或概率方法估計參數。邏輯迴歸和Softmax分類則將模型輸出轉化爲類別概率。 決策不能只看哪個類別概率最高，還要考慮： - 不同錯誤造成的損失。- 是否允許拒絕作答。- 類別是否不平衡。- 評價指標是否符合實際目標。- 預測概率是否得到良好校準。 機器學習模型的目標不是抽象地“預測正確”，而是在具體代價和任務條件下作出合理決策。 5. 偏差—方差權衡決定泛化能力 模型太簡單，無法捕捉數據規律，會產生高偏差；模型太複雜，容易記住訓練數據中的噪聲，會產生高方差。 提高訓練集表現並不等於提高真實預測能力。需要通過： - 驗證集。- 正則化。- 模型選擇。- 學習曲線。- 數據擴充。- 參數共享。- 模型平均。 在擬合能力與泛化能力之間取得平衡。 6. 深度網絡自動學習層次化表示 傳統方法依賴人工設計固定特徵，深度網絡則可以從數據中學習適合任務的表示。 低層通常提取基礎模式，高層將其組合成更抽象的概念。深度網絡的優勢來自： - 非線性函數組合。- 層次化表示。- 分佈式表示。- 數據依賴的特徵學習。- 跨任務遷移。- 對比學習。 深度並不只是增加層數，更重要的是讓模型以多個抽象層次組織信息。 7. 梯度下降與反向傳播完成模型訓練 梯度指出參數變化對損失函數的影響方向。梯度下降根據這些信息不斷更新參數。 常見方式包括： - 批量梯度下降。- 隨機梯度下降。- 小批量訓練。- 動量方法。- AdaGrad、RMSProp和Adam。- 學習率調度。 反向傳播利用鏈式法則，從輸出層向前高效計算所有參數的梯度。自動微分則由框架記錄計算過程，並自動執行相應求導。 訓練是否成功還受到參數初始化、數據歸一化、批量歸一化和層歸一化等因素影響。 8. 正則化爲模型加入合理偏好 有限數據無法唯一確定複雜模型，因此模型需要歸納偏置，即對“什麼樣的解更合理”作出假設。 正則化方法包括： - 權重衰減。- 參數共享。- 數據增強。- 殘差連接。- 模型平均。- 提前停止。- 限制網絡容量。 正則化不是單純讓模型變小，而是讓它減少對訓練樣本偶然細節的依賴，學習更穩定、可遷移的規律。 9. CNN利用圖像的局部與空間結構 卷積網絡通過局部連接和權重共享提取圖像特徵。卷積核可以在不同位置識別相同模式，從而降低參數量並提高空間泛化能力。 CNN可用於： - 圖像分類。- 目標檢測。- 圖像分割。- 特徵可視化。- 風格遷移。 可視化訓練後的卷積特徵，有助於理解模型關注了哪些紋理、形狀和對象區域，但仍不能自動獲得完整因果解釋。 10. 概率圖模型描述結構化依賴 概率圖模型用圖結構表示隨機變量之間的依賴和條件獨立關係。 它能夠： - 將複雜聯合分佈分解成較小因素。- 表示序列和時間依賴。- 將領域結構納入模型。- 簡化推斷與計算。- 區分直接關係和條件關係。 結構化概率模型爲序列模型、圖神經網絡和潛變量方法提供了重要理論背景。 11. Transformer用注意力連接長距離信息 注意力機制讓模型根據當前任務動態選擇輸入中的相關部分。自注意力則讓序列中的每個位置直接與其他位置交換信息。 Transformer的主要組成包括： - 詞或特徵嵌入。- 位置編碼。- 多頭注意力。- 前饋網絡。- 殘差連接。- 層歸一化。 Transformer支持高效並行訓練，並能建模長距離依賴，因此成爲語言模型的重要基礎，也逐漸擴展到圖像、語音和多模態任務。 12. 圖神經網絡學習關係數據 現實數據經常表現爲節點和邊組成的圖，如社交網絡、分子、交通系統和知識圖譜。 GNN通過神經信息傳遞實現： 1. 收集鄰居節點和邊的信息。2. 對鄰居信息進行聚合。3. 更新當前節點表示。4. 重複傳播，獲得更廣範圍的結構信息。5. 用於節點、邊或整張圖的預測。 通用圖網絡進一步把節點、邊和全局特徵放入統一更新框架。 13. 採樣用於處理難以直接計算的分佈 複雜概率模型中的期望、積分和後驗分佈常常無法解析求解，因此需要採樣近似。 書中介紹： - 基礎隨機採樣。- 重要性採樣等加權方法。- 馬爾可夫鏈蒙特卡洛。- 郎之萬採樣。 採樣質量取決於樣本是否充分探索目標分佈、相鄰樣本相關性有多強，以及算法是否已經收斂。 14. 潛變量模型發現不可直接觀測的結構 潛變量表示數據背後未直接觀測的類別、因素或連續空間。 離散潛變量方法包括： - K均值聚類。- 高斯混合模型。- EM算法。 連續潛變量方法包括： - 主成分分析。- 概率PCA。- 非線性潛變量模型。 EM算法在估計潛變量與更新模型參數之間交替進行。證據下界則爲難以直接計算的概率提供可優化近似，併成爲變分方法的重要工具。 15. GAN通過對抗學習生成數據 GAN包含生成器和鑑別器： - 生成器嘗試產生接近真實分佈的樣本。- 鑑別器嘗試區分真實樣本與生成樣本。- 雙方在競爭中不斷改進。 GAN能夠生成清晰圖像，也能完成圖像轉換。CycleGAN進一步利用循環一致性，在沒有成對樣本的情況下學習兩個圖像域之間的轉換。 其主要挑戰是訓練不穩定、模式崩潰、評價困難和數據偏差。 16. 標準化流提供可逆生成模型 標準化流通過一系列可逆變換，將簡單概率分佈映射爲複雜數據分佈。 因爲變換可逆且雅可比行列式可計算，模型能夠： - 精確計算樣本似然。- 生成新樣本。- 將數據映射到潛在空間。- 在概率密度與生成質量之間建立明確聯繫。 主要形式包括耦合流、自迴歸流和連續流。其限制是可逆結構會約束網絡設計，計算成本也可能較高。 17. 自編碼器學習壓縮表示 確定性自編碼器由編碼器和解碼器組成： - 編碼器把輸入壓縮爲潛在表示。- 解碼器根據潛在表示重建輸入。 它可以用於降維、特徵學習、去噪和異常檢測。 變分自編碼器進一步把潛在表示建模爲概率分佈，並通過重參數化實現梯度訓練。VAE的潛在空間通常連續而有結構，便於生成和插值，但生成結果有時較平滑。 18. 擴散模型通過逐步去噪生成數據 擴散模型的前向過程逐步向數據加入噪聲，直到其接近簡單隨機分佈；反向過程則學習逐步去噪，最終從噪聲生成樣本。 核心內容包括： - 前向加噪過程。- 反向生成過程。- 得分匹配。- 時間條件網絡。- 有條件和無條件生成。- 分類器或無分類器引導。 擴散模型通常訓練穩定、生成質量高，但採樣需要多步迭代，計算成本較大。 本書最值得關注的核心觀點 本書最值得關注的不是某一種最新架構，而是它用概率視角把判別模型和生成模型連接成一套統一體系。 無論是分類、Transformer、GAN還是擴散模型，本質上都在回答幾個共同問題： 數據來自什麼分佈？模型應怎樣表示這種分佈？如何利用有限樣本學習參數？如何評價不確定性與泛化能力？ 理解這些基礎問題，比只會調用某個框架或復現一個網絡，更有利於遷移到未來的新模型。 一段話總結 《深度學習：基礎與概念》以概率論、貝葉斯方法、標準分佈和信息論建立數學基礎，從線性迴歸、生成與判別分類器、決策理論和偏差—方差權衡進入深度神經網絡，再系統講解梯度下降、反向傳播、自動微分、歸一化和正則化。架構部分涵蓋卷積網絡、目標檢測、圖像分割、Transformer、多模態模型和圖神經網絡；概率建模部分則討論採樣、概率圖模型、離散與連續潛變量、EM算法和證據下界，並進一步比較GAN、標準化流、自編碼器、VAE和擴散模型。全書最核心的啓發是：深度學習不是不斷疊加新架構，而是用表示學習、概率建模、優化和近似推斷解決複雜數據分佈問題；掌握概率、泛化和訓練原理，才能真正理解不同模型爲何有效、如何失敗，以及應該在什麼場景中使用。

太難了，只能大概看看，宏觀理解一下，沒數學與計算機高級基礎能看懂就很喫力，想挑戰自己的智力推薦這本書

Bishop 的 PRML 是本好書，想必這本書也不錯

畢曉普的書，先推薦一下mark一下😊