深度學習

97小時，歷時一個多月。紙質版的太厚，拿來墊電腦了。電子版的輕薄，而且可以隨時做筆記，寫下閱讀時的想法。 好書是好書，但不易讀。雖說不是一本深入淺出的深度學習書籍，但也算一本知識點全面的指南。之前讀過一部分原版，所以還是覺得翻譯版缺了點什麼？不否認譯者團隊的專業性和用心程度，但還是推薦英文版，可能讀起來要兩倍時間，但值得。 作者用嚴謹的語言對每一個知識細節進行了完整深刻獨到的講解，每一章都是what—how—why的鏈式講述。有的章節所涉及的知識點太多，很容易忘記。數學公式推導太多，不知死了多少腦細胞。讀這本書，經歷了無數次自我懷疑自我否定的過程，但也收穫了很多次頓悟的喜悅。第二部分是本書精髓，正則化、優化方法和應用方法論等分別獨起一章，講解得非常透徹。 模型更新換代的速度之快超乎想象，但掌握這些基礎知識，調起bug來，將得心應手屢試不爽。

作爲人工神經網絡和深度學習領域的引路人，約書亞•本吉奧的著作《深度學習》亦是無數程序員在學習和使用人工智能與機器學習路上不可或缺的基石。 深度學習這個術語自2006年被正式提出後，在最近10年得到了巨大發展。它使人工智能 (AI) 產生了革命性的突破，讓我們切實地領略到人工智能給人類生活帶來改變的潛力。2016年12月，MIT 出版社出版的這本《深度學習》（《Deep Learning》），由約書亞·本吉奧和另外兩名作者伊恩·古德費洛（Ian Goodfellow）和亞倫·庫維爾（Aaron Courville）共同著成。 與約書亞•本吉奧一樣，伊恩與亞倫也一直耕耘於機器學習領域的前沿，引領了深度學習的發展潮流，是深度學習衆多方法的主要貢獻者。 其內容包括3個部分 第1部分介紹基本的數學工具和機器學習的概念，它們是深度學習 的預備知識； 第2部分系統深入地講解現今已成熟的深度學習方法和技術； 第3部分討論某 些具有前瞻性的方向和想法，它們被公認爲是深度學習未來的研究重點。因此，該書適用於不同層次的讀者。 本書最大的一個特點是介紹深度學習算法的本質，脫離具體代碼實現給出算法背後的邏輯，不寫代碼的人也完全可以看。 書中所用的例子大多使用可視化的圖示，清晰明瞭，讓一些晦澀的理論躍然紙上，輕鬆閱讀；流程與架構圖的使用，也使概念化的內容更流暢易懂。北京大學的深度學習課程將本書作爲了課程教材，同時它又不止是一本教材，任何對深度學習感興趣的讀者，閱讀本書都會受益。 除了學習機器學習的大學生，沒有機器學習或統計背景的軟件工程師也可以通過本書快速補充相關知識，並在他們的產品或平臺中使用。同時配合本書使用由 TensorFlow 實現的源代碼與志願者整理的讀書筆記，可以快速進行實戰練習，深度學習再也不是紙上談兵。 

《深度學習》拆解 作者：伊恩·古德費洛、約書亞·本吉奧、亞倫·庫維爾 一、一句話概括 深度學習的本質，是通過多層非線性模型從數據中自動學習有用的表示；要讓這種模型真正有效，必須同時理解數學基礎、泛化規律、優化方法、網絡結構和系統化實驗方法。 二、核心邏輯 全書分爲三個部分： 1. 應用數學與機器學習基礎：介紹線性代數、概率、信息論、數值計算和機器學習基本概念。2. 深度網絡的現代實踐：講解前饋網絡、正則化、優化、卷積網絡、循環網絡及實際建模方法。3. 深度學習研究：討論表示學習、概率模型、蒙特卡羅、近似推斷和深度生成模型。 整體路徑是： 數學表示 → 概率建模 → 定義目標函數 → 通過梯度優化參數 → 用正則化改善泛化 → 選擇適合數據結構的網絡 → 通過實驗診斷和迭代 本書關注的不只是“怎樣搭建一個網絡”，而是解釋深度學習爲什麼能夠工作、爲什麼會失敗，以及如何在理論與實踐之間建立聯繫。 三、核心內容 1. 深度學習首先是一種表示學習 傳統機器學習往往依賴人工設計特徵，再讓模型完成分類或預測。 深度學習通過多層網絡自動學習表示。較淺層捕捉局部、簡單的規律，較深層把它們組合成更抽象的概念。 在圖像中，這可能表現爲： 像素 → 邊緣 → 紋理 → 局部結構 → 完整對象 “深度”的價值不只是層數更多，而是模型能夠通過多級變換表達複雜函數。 2. 線性代數是深度學習的計算語言 神經網絡中的輸入、權重、激活和梯度通常用向量、矩陣或張量表示。 線性代數中的核心概念包括： 向量和矩陣運算；線性相關與秩；範數與距離；特徵值和特徵向量；奇異值分解；主成分分析。 理解矩陣乘法和張量形狀，是理解前向傳播、反向傳播和高效並行計算的基礎。 3. 概率論用於描述不確定性 機器學習面對的不是完全確定的規則，而是帶有噪聲、缺失和隨機性的現實數據。 概率分佈用於描述變量可能出現的取值，條件概率用於表達變量之間的關係，貝葉斯規則則連接先驗知識與觀察證據。 最大似然估計是訓練許多模型的重要原則：選擇一組參數，讓觀察到的訓練數據在模型下儘可能可能。 概率觀點也幫助我們區分預測結果、置信程度和真實不確定性。 4. 信息論解釋學習和壓縮 信息論用熵衡量隨機變量的不確定性，用交叉熵衡量兩個概率分佈之間的差異。 分類模型常使用交叉熵損失，因爲它鼓勵模型給真實類別分配更高概率。 KL散度衡量兩個分佈的差異，在變分推斷和生成模型中具有重要作用。 從信息論角度看，學習可以理解爲尋找一種更有效的方式表示數據中的規律。 5. 數值計算決定理論能否穩定實現 深度網絡包含大量浮點運算，數學上正確的公式在計算機上不一定穩定。 常見問題包括： 上溢和下溢；條件數過大；梯度消失或爆炸；矩陣求逆不穩定；有限精度誤差；不合理的初始化。 實際實現通常使用數值穩定的等價表達，並避免不必要的顯式求逆。 深度學習既是數學模型，也是數值計算工程。 6. 機器學習的目標是泛化，而不是記憶訓練集 訓練誤差低，只表示模型擬合了已知數據；真正目標是在未見數據上保持良好表現。 欠擬合表示模型連訓練規律都沒有學好，過擬合則表示模型過度適應訓練數據中的偶然噪聲。 模型泛化受到以下因素影響： 訓練數據規模和代表性；模型容量；目標函數；正則化；數據分佈變化；超參數選擇；評價方法。 測試集必須與訓練過程隔離，否則評估結果會失去可信度。 7. 深度前饋網絡通過多層函數組合進行預測 前饋網絡中的信息從輸入層經過隱藏層流向輸出層，不形成循環。 每一層通常執行： 線性變換 → 非線性激活 多層組合能夠近似非常複雜的函數。輸出層的形式取決於任務： 迴歸使用連續值；二分類常用Sigmoid；多分類常用Softmax；概率建模輸出分佈參數。 網絡結構、損失函數與數據目標必須保持一致。 8. 反向傳播負責高效計算梯度 反向傳播不是一種獨立模型，而是利用鏈式法則計算複合函數梯度的方法。 前向傳播保存中間結果並計算損失；反向傳播從損失出發，逐層計算每個參數對結果的影響。 優化器再根據梯度更新權重。 自動求導框架隱藏了大量細節，但理解計算圖和鏈式法則，仍是定位梯度消失、形狀錯誤和參數未更新等問題的基礎。 9. 正則化通過限制模型改善泛化 正則化不是單一技巧，而是任何旨在降低測試誤差的方法。 常見方式包括： L1和L2參數懲罰；數據增強；提前停止；Dropout；參數共享；噪聲注入；多任務學習；集成方法。 正則化引入了合理偏好：在多個能擬合訓練數據的解中，優先選擇更簡單、更穩定或更符合任務結構的解。 10. 優化深度網絡面臨非凸與尺度問題 深度網絡的目標函數通常是高維非凸函數，包含鞍點、平坦區域和不同方向的尺度差異。 隨機梯度下降使用小批量數據估計梯度，計算高效，並帶有一定隨機性。 動量能夠平滑更新方向，AdaGrad、RMSProp和Adam等方法會根據歷史梯度調整各參數的學習率。 訓練結果還高度依賴： 權重初始化；學習率與調度；批次大小；輸入尺度；網絡歸一化；梯度裁剪。 優化器不能替代正確的數據和模型設計。 11. 卷積網絡利用空間局部性 卷積神經網絡適合網格結構數據，尤其是圖像。 卷積通過局部連接和參數共享，在不同位置尋找相同特徵。池化或步長卷積可以降低空間分辨率，並增加一定的平移穩定性。 CNN的核心優勢包括： 參數數量少於全連接網絡；能夠利用圖像的局部結構；特徵可以分層組合；計算適合GPU並行。 卷積思想也可以擴展到時間序列、音頻和其他具有局部結構的數據。 12. 循環網絡建模序列和狀態 循環神經網絡把前一時刻的隱藏狀態傳遞到下一時刻，從而表示歷史信息。 它適用於語言、語音、時間序列和其他順序數據。 普通RNN難以學習長距離依賴，因爲梯度會反覆相乘，容易消失或爆炸。LSTM和門控循環單元通過門控機制改善信息保存與遺忘。 雙向RNN利用前後文，編碼器—解碼器結構則可把一個序列轉換成另一個序列。 13. 實踐方法論比盲目更換模型更重要 書中強調，應使用系統化流程診斷機器學習問題： 1）明確任務和評價指標；2）建立簡單基準；3）檢查訓練誤差和驗證誤差；4）判斷欠擬合還是過擬合；5）檢查數據、標籤和實現；6）針對主要瓶頸調整容量、正則化或數據；7）記錄實驗並保持可復現；8）最後才擴大模型和算力。 如果基本管線存在錯誤，複雜模型只會更昂貴地失敗。 14. 數據質量常比模型結構更重要 深度學習能夠減少部分人工特徵工程，卻無法修復錯誤目標、偏差樣本和不一致標籤。 訓練數據必須與真實使用環境儘可能一致。需要關注： 數據覆蓋；類別不平衡；標註質量；重複樣本；訓練與部署分佈差異；數據泄漏；隱私和授權；羣體偏差。 模型會忠實學習數據中可利用的模式，其中也包括不合理的捷徑和偏見。 15. 深度學習的應用跨越多種數據形式 本書討論圖像識別、語音、自然語言處理、推薦和其他應用。 不同領域共享神經網絡、梯度優化和表示學習等基礎，卻需要結合數據結構選擇架構。 深度學習系統通常還要與搜索、規則、概率模型、數據庫和業務流程結合。真實產品很少只由一個神經網絡構成。 16. 自編碼器通過重構學習表示 自編碼器由編碼器和解碼器組成。 編碼器把輸入轉換爲隱藏表示，解碼器再嘗試恢復原始輸入。爲了防止模型簡單複製，需要限制隱藏層容量、加入噪聲或使用稀疏約束。 自編碼器可以用於降維、表示學習、去噪和生成建模。 其關鍵不是重構本身，而是迫使模型提取能夠保留重要信息的表示。 17. 表示學習希望分離數據背後的變化因素 現實觀察往往由多個因素共同生成。例如，人臉圖像受到身份、姿態、光照、表情和背景影響。 好的表示應儘可能把這些變化因素分開，使下游任務更容易利用。 分佈式表示允許多個特徵共同表達一個概念，也允許一個特徵參與多個概念，因此具有強大的組合能力。 但模型能否自動學到人類期望的獨立因素，並沒有簡單保證。 18. 結構化概率模型表達變量間依賴 結構化概率模型用圖表示隨機變量之間的關係，可以編碼條件獨立性和領域知識。 它們適合處理多變量、隱變量和不確定推理問題。 深度網絡擅長學習複雜函數，概率圖模型擅長表達結構和不確定性。二者結合，可以形成更豐富的生成和推斷系統。 19. 近似推斷解決無法精確計算的問題 複雜概率模型中的後驗分佈和配分函數往往無法精確計算。 蒙特卡羅方法通過隨機採樣近似期望，變分推斷則把推斷轉化爲優化問題，用一個較簡單分佈逼近目標分佈。 這些方法是理解變分自編碼器、能量模型和其他深度生成模型的重要基礎。 近似方法需要在準確性、計算成本和穩定性之間權衡。 20. 深度生成模型學習數據分佈 判別模型學習輸入到標籤的關係，生成模型則試圖描述數據如何產生。 本書討論受限玻爾茲曼機、深度信念網絡、變分自編碼器、生成對抗網絡等方向。 生成模型可以： 生成新樣本；學習無監督表示；補全缺失數據；估計概率；發現隱變量結構；支持半監督學習。 生成模型比單純分類更接近對數據整體結構的建模，但訓練和評價通常也更困難。 21. 本書是Transformer時代之前的理論經典 本書英文版完成於2016年前後，核心內容主要覆蓋CNN、RNN、概率模型和早期深度生成方法，沒有系統討論後來成爲主流的Transformer、大語言模型和擴散模型。 但書中關於以下內容的解釋並未過時： 表示學習；泛化與正則化；梯度優化；數據分佈；數值穩定；實驗方法；近似推斷；生成與判別建模。 新架構不斷變化，這些基礎問題仍然決定模型是否可靠。 四、本書最值得關注的核心觀點 本書最值得關注的觀點是： 深度學習的真正突破，不是簡單用更復雜的網絡替代傳統算法，而是讓模型從數據中自動學習多層次表示。 過去，專家需要預先決定什麼是有用特徵；深度學習則通過優化目標，讓網絡逐層形成適合任務的內部表示。 但“自動學習特徵”並不意味着人可以退出系統。人仍然必須決定： 學習什麼目標；收集哪些數據；用什麼指標評價；接受怎樣的錯誤；如何防止泄漏和偏差；模型部署在什麼邊界內。 深度網絡自動學習的是表示，而不是自動定義問題與價值。 五、一段話總結 《深度學習》從線性代數、概率、信息論、數值計算和機器學習基礎出發，系統講解前饋網絡、反向傳播、正則化、優化、卷積網絡、循環網絡和實際建模方法，並進一步討論自編碼器、表示學習、結構化概率模型、蒙特卡羅、近似推斷和深度生成模型。全書的核心思想是通過多層非線性變換，讓模型從原始數據中自動學習由簡單到抽象的分佈式表示，同時用正則化、優化和嚴格實驗方法保證模型能夠泛化。雖然本書誕生於Transformer、大語言模型和擴散模型成爲主流之前，但表示學習、梯度計算、數據分佈、數值穩定、泛化與生成建模等內容仍是理解現代AI的底層基礎；新模型改變了架構，卻沒有繞過這些基本問題。

最近十年以來，深度學習成爲了風靡全球的技術。學生、從業人員和教師都需要這樣一本包含基本概念、實踐方法和高級研究課題的教科書。這是深度學習領域第一本綜合性的教科書，由幾位最具創意和多產的研究人員撰寫。是深度學習的經典之作，不過書中涉及大量數學，信息論等概念，不太好理解，要啃下來需要耗費一些腦力和時間的。

本書系統介紹了深度學習的理論、算法和應用，涵蓋神經網絡、卷積網絡、循環網絡、生成模型等核心內容。從線性代數、概率論等基礎數學知識入手，逐步深入講解深度學習原理，同時結合計算機視覺、自然語言處理等實際應用場景，幫助讀者理解理論與實踐的聯繫。

理工和人文能豐富我們的專業知識和內在。除此之外，語言學習也是終身學習的重要組成部分。特別是在當今信息全球化、互聯網社媒化的背景下，掌握一門或多門外語，能讓我們直接抵達信息源頭，減少對翻譯的依賴，不至於被二手不準確信息、被污染的信息誤導。尤其是在面對複雜的國際問題或全球性議題時，直接閱讀原始資料的能力非常寶貴。 舉個例子，掌握英語這門全球通用語言，能夠幫助我們獲取來自國際學術界的最新研究成果，第一時間讀到未經轉譯或解讀的內容。試想，一個研究人工智能的人，如果僅依賴中文的二手信息，很可能會錯過最新的技術發展動態，而掌握英文資料則可以幫助其緊跟領域前沿。全球的知名期刊大多用英文發表，掌握這門語言無疑拓寬了獲取信息的渠道。同樣，對於那些需要關注政策和經濟的人來說，直接閱讀英語等外文報道，也能避免因翻譯而帶來的偏差。 語言學習還能夠幫助我們獲得國際視野。這不僅是簡單的跨文化交流，而是在不同文化的碰撞和融合中，開拓自己的視角。語言承載着思維方式。學習不同語言帶來的不僅僅是講多種語言的能力，而更是對事物多種看法的包容和理解。這種視野的豐富尤其重要，因爲今天的社會問題往往是全球化的，各國之間的文化、科技、經濟等方面的互動前所未有的頻繁。在這樣的背景下，理解國際視野不僅有助於我們在事業上的成功，也讓我們能夠更加從容地面對不同價值觀、經濟模式或技術變革的衝擊， 甚至可以理解有些國家爲何走上逆全球化的道路。 此外，語言的終身學習也是對個人思維的挑戰。學習一門外語，尤其是從成年甚至中年後開始學習，幫助大腦持續地接受新信息、新邏輯，實際上也在幫助我們鍛鍊認知能力，這對保持大腦的敏銳度十分有益。語言不僅僅是交流的工具，它更是我們理解世界的方式之一。掌握一種語言，尤其是在長期的學習和探索中，能夠幫助我們打破原有的思維框架，用一種“異鄉人”的眼光去重新審視世界。這種換位思考的能力，正是國際視野的核心所在。 終身學習不僅僅是一種應對快速變化社會的策略，更是保持認知敏銳、充實精神生活的重要途徑，尤其是在老齡階段。隨着年齡增長，人的思維可能變得固化、敏捷度下降，但通過持續學習，我們可以有效對抗這種自然衰退，讓自己不被世界拋棄。在信息氾濫的今天，社交媒體和短視頻平臺上充斥着大量信息，但並非所有信息都可靠。事實上，虛假內容和帶有偏見的言論層出不窮，往往誤導大衆的判斷。終生學習能夠幫助我們形成科學的邏輯思維，增強獨立判斷力，避免輕信不實信息。具備較高科學文化素養的人在面對假藥廣告、僞養生、民間怪談等垃圾內容時會較爲理性，不會輕易被吸引。這種判斷力的建立，不是靠某個單一的知識點，而是通過持之以恆地學習打下的紮實基礎。 另一方面，終身學習可以拓展我們的思維視角，提升對複雜問題的洞察力。人文學習讓人保持對世界的批判性和沉思性，讓我們在面對各種社會問題時不急於下結論，而是從多維度加以思考。這種能力在短視頻信息流的干擾下尤其寶貴。許多信息片面化、情緒化，而終身學習可以讓我們形成更爲豐富、客觀的看待方式。邏輯思維和科學人文素養不僅關乎知識的積累，更是一種對抗偏見、接受多元的心態。通過終身學習，提高認知水平，我們能夠避免被單一視角所侷限，以更寬廣的視角看待問題。

深度學習代表了這個時代的人工智能技術，《深度學習》，涵蓋了深度學習的基礎應用、理論與實踐等各個方面的主要技術，觀點鮮明，論述比較深刻，講解雖然不盡人意，內容還是不錯，有些章節雖然拖沓，但依然是本不錯的書。

《深度學習》是一本“當之無愧的經典之作”，被《自然》旗下期刊Nature Machine Intelligence撰文推薦爲“目前最優秀的深度學習教科書”。它最大的價值在於能夠幫助我們這樣的小白快速建立對整個領域的整體認識，從直覺到數學的過渡自然流暢，尤其是講線性代數的地方很精彩。未來是人工智能的，這本書對我這個想要從事這方面工作的大一新生來說，已經很通俗易懂了，但是也有很多難點需要加強。 另外，想要一談的是，生活和工作的借鑑意義。如無監督學習方面的公式，就是不斷縮短我們的殘差，有一個很好的泛化的能力。

數學及相關概念的背景知識，包括線性代數、概率論、信息論、數值優化以及機器學習中的相關內容。同時，它還介紹了工業界中實踐者用到的深度學習技術，包括深度前饋網絡、正則化、優化算法、卷積網絡、序列建模和實踐方法等，並且調研了諸如自然語言處理、語音識別、計算機視覺、在線推薦系統、生物信息學以及視頻遊戲方面的應用。最後，本書還提供了一些研究方向，涵蓋的理論主題包括線性因子模型、自編碼器、表示學習、結構化概率模型、蒙特卡羅方法、配分函數、近似推斷以及深度生成模型。

就衝作者但是名頭，這本書也不可能是水貨。乾貨可以說是非常多，但可能是作者位階太高，也沒興趣給小白講深度學習，所以這不是一個入門書籍。可以說對初學者相當不友好。比較適合有一定深度學習基礎和數學功底的人讀。