神經網絡與深度學習

書名：神經網絡與深度學習 類型：計算機專業書 作者簡介：吳岸城，2004年畢業於浙江大學計算機系。2008年創建易元堂周易預測服務交易平臺，2016年06月出版<神經網絡與深度學習>，2017年07月出版<深度學習算法實踐>，目前就職於亞信科技。 本書是一本人工智能領域入門級的書籍，主要內容包括以下幾個部分： 1. 人工智能的發展歷史：三次人工智能浪潮的前因後果，以及這三次浪潮中的弄潮兒。 2. 神經網絡及深度學習領域常見的算法，以及這些算法的使用。 3. 決策樹、感知機、神經網絡、深度學習的區別與聯繫。 如果想要對人工智能領域有一個快速、全面的瞭解到話，那麼本書是極力推薦的。 本書並沒有詳盡的解釋各種人工智能算法的原理及推理論證過程，如果想要學習人工智能領域具體的算法的話，那麼本書是不合適的。 下面對人工智能的概念做一個簡單的科普。 概念： 1. 決策樹：是一個預測模型；它代表的是對象屬性與對象值之間的一種映射關係。樹中每個節點表示某個對象，而每個分叉路徑則代表某個可能的屬性值，每個葉節點對應從根節點到該葉節點所經歷的路徑所表示的對象的值。 2. 感知機：它被視爲是一種最簡單的前饋神經網絡，是一種二元線性分類器。 3. 神經網絡，是機器學習的一個分支，學名應該叫人工神經網絡，與之相對應的是生物神經網絡（Biological Neural Networks, BNN），我們將模擬生物神經網絡的數學模型統稱爲人工神經網絡模型，簡稱人工神經網絡或者神經網絡。 4. 前饋神經網絡：最簡單的人工神經網絡類型。在它的內部，參數從輸入層向輸出層單向傳播。 5. 特徵：本書中指將現實生活中的事物的部分特點提取並抽象出一種數學或物理模型。 6. BP算法（反向傳播算法）：是一種監督學習算法，常被用來訓練多層感知機，利用反向傳播原理修正權值。 7. RBM（限制波茲曼機）：是一種可通過輸入數據集學習概率分佈的隨機生成神經網絡。 8. DBN（深度信度網絡）：通過自底向上組合多個RBM可以構建一個DBN，利用非監督貪心逐層訓練算法，解決深層結構相關的優化問題。 9. CNN（卷積神經網絡/ConvNets）：是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋範圍內的周圍單元，對於大型圖像處理有出色表現。 10. SVM（支持向量機）：監督學習方法，屬於一般化線性分類器。這種分類器的特點是它們能夠同時最小化經驗誤差與最大化幾何邊緣區，因此支持向量機也被稱爲最大邊緣區分類器。 11. K-Means：把n個點（可以是樣本的一次觀察或一個實例）劃分到k個聚類中，使得每個點都屬於離它最近的均值（此即聚類中心）對應的聚類。 人工智能派別： 主流觀點分成了兩派： 1. 一派認爲實現人工智能必須用邏輯和符號系統，這一派是自頂向下的。 2. 還有一派認爲通過仿造大腦可以達到人工智能，這一派是自底向上的，他們認定如果能造一臺機器，模擬大腦中的神經網絡，這臺機器就有智能。 各路大神及人工智能簡史： 1. 1943年，傳奇人物麥卡洛可（McCulloch）和皮茨（Pitts）發表了模擬神經網絡的原創文章。 2. 控制論的始作俑者諾伯特·維納。 3. 得到維納真傳的人不多，邁克爾·阿比卜（Michael Arbib）是其中之一，他是MIT計算機系的創始人之一。 4. 喬丹，吳恩達導師。 5. 唐納德·赫布（Donald Olding Hebb）是加拿大心理學家，在神經心理學領域有重要貢獻，他的研究方向是神經元在心理過程中的作用。 6. 弗蘭克·羅森布拉特（Frank Rosenblatt），康奈爾大學的實驗心理學家，在一臺IBM-704計算機上模擬實現了一種他發明的叫作“感知機”（Perceptron）的神經網絡模型。 7. 馬文·明斯基（Marvin Lee Minsky）是人工智能的奠基人之一，是達特茅斯會議的組織者（其他組織者有麥卡錫、香農等）。1951年，他提出了關於思維如何萌發並形成的一些基本理論，並建造了一臺學習機，名爲Snare。Snare是世界上第一個神經網絡模擬器，是人工智能最早的嘗試之一。 8. 1959年，美國工程師維德羅（B.Widrow）和霍夫（M.Hoff）提出了自適應線性元件（Adaptive linear element，簡稱Adaline）。它是感知機的變化形式，也是機器學習的鼻祖模型之一。它與感知機的主要不同之處在於， Adaline神經元有一個線性激活函數，這允許輸出是任意值，而不僅僅只是像感知機中那樣只能取0或1。 9. MIT的大衛·考特尼·馬爾（David Courtnay Marr）將心理學、人工智能和神經生理學的研究成果結合起來，提出了全新的關於視覺處理的理論。他被認爲是計算神經科學的創始人，影響了後來連接主義的運動。 10. 哈佛的保羅·沃波斯（Paul Werbos），1974年寫了一篇博士論文在神經網絡中多加一層，然後利用“後想傳播”學習方法，解決了感知機XOR問題。同時他首次給出瞭如何訓練一般網絡的學習算法。 11. 物理學家霍普菲爾德（J. J. Hopfield），1982年提出了一種新的神經網絡——霍普菲爾德神經網絡。 12. 1986年，魯姆哈特（David Rumelhart）和麥克萊蘭（McCelland）等幾名學者提出的BP神經網絡是神經網絡發展史上的里程碑。 13. 傑弗裏·辛頓（Geoffrey Hinton）是反向傳播算法和對比散度算法的發明人之一，也是深度學習的積極推動者，2006年他的一篇文章開闢了深度學習領域。 14. 吳恩達，2012年和谷歌合作建造了一個當時最大的神經網絡，這是谷歌神祕的X實驗室的一個計劃。這個世界上，第一個能夠讓機器識別“貓”的人就是他。（這是他的封神之作）。 機器學習分類： 1. 機器學習可分爲三類：監督學習、非監督學習、強化學習。 2. 監督學習（Supervised Learning）：監督學習是機器學習中一種典型的學習方法，顧名思義，監督式學習就是有個人在旁邊看着你學習，隨時糾正你學習中的錯誤。 3. 非監督學習（Unsupervised Learning）：非監督學習，也就是沒有“人”在旁邊督促你學習，沒有人爲標定好的訓練數據，沒有告訴模型哪些數據是正確的，哪些是不正確的。 4. 強化學習（Reinforcement Learning, RL）：有時候，我們不知道標註是什麼，即一開始不知道什麼是“好”的結果，所以RL不是給定標註，而是給一個回報函數，這個回報函數決定當前狀態得到什麼樣的結果（“好”還是“壞”），其數學本質是一個馬爾科夫決策過程。 好了，就到這裏了！ 完～

《神經網絡與深度學習》拆解 作者：吳岸城 一、一句話概括 神經網絡通過大量簡單計算單元的連接，從數據和誤差反饋中自動調整參數、逐層學習特徵；深度學習的價值不只是網絡更深，而是讓機器從原始數據中形成越來越抽象的表示。 二、核心邏輯 全書以通俗案例串聯神經網絡的發展和應用： 1. 從大腦和分類問題理解什麼是神經網絡。2. 從單個神經元、感知機和代碼實現理解網絡怎樣學習。3. 解釋機器學習、特徵、淺層學習與深度學習的關係。4. 介紹稀疏編碼、自編碼器、RBM、DBN、CNN和RNN等模型。5. 以AlphaGo展示深度學習與搜索、強化學習的組合。6. 延伸到遷移學習、概率圖模型、並行計算和類腦智能。 核心訓練路徑是： 輸入數據 → 網絡生成預測 → 計算預測誤差 → 反向調整參數 → 重複訓練 → 逐層形成更有效的特徵 三、核心內容 1. 機器學習是讓系統從樣本中總結規律 傳統編程由人明確寫出規則，機器學習則讓算法根據數據和目標自動調整模型。 以挑選橙子爲例，人可以根據大小、顏色和重量形成判斷；機器學習則把這些屬性表示爲特徵，再從帶標籤樣本中學習分類邊界。 模型學習到的是數據中的統計規律，而不是人類意義上的完整理解。 2. 人工神經元是加權輸入與激活函數的組合 一個人工神經元接收多個輸入，爲每個輸入分配權重，求和後再通過激活函數產生輸出。 權重表示不同輸入的重要程度，偏置用於調整激活閾值，激活函數則賦予模型非線性能力。 單個神經元能力有限，大量神經元按層連接後，才能表達複雜關係。 3. 感知機是最早的神經網絡分類模型 感知機根據輸入加權和進行二分類。 如果樣本被錯誤分類，算法會調整權重，讓下一次判斷更接近正確結果。 對線性可分的數據，感知機可以找到分類邊界；如果數據無法被一條直線或一個超平面分開，單層感知機就無法解決。 這推動了多層神經網絡和非線性模型的發展。 4. 多層網絡通過隱藏層表示複雜函數 多層網絡通常包括輸入層、一個或多個隱藏層和輸出層。 隱藏層不直接對應最終標籤，而是把輸入轉換成更適合任務的內部表示。 例如，在圖像識別中，較淺層可能學習邊緣和紋理，較深層把這些局部模式組合成形狀和對象。 層次表示是深度學習區別於單純線性分類的重要能力。 5. 反向傳播讓網絡根據誤差調整參數 訓練時，網絡先執行前向傳播得到預測，再計算預測與真實答案之間的損失。 反向傳播利用鏈式法則，把輸出誤差逐層分配給網絡中的參數。 優化算法根據梯度調整權重，使損失逐步降低。 這可以概括爲： 預測 → 比較 → 追溯誤差 → 更新權重 → 再次預測 理解反向傳播，是理解神經網絡如何學習的關鍵。 6. 特徵決定模型能夠發現什麼 傳統機器學習高度依賴人工特徵工程。 例如，圖像分類可能需要人工設計邊緣、形狀和紋理特徵；文本分類則需要詞頻、關鍵詞和句法信息。 特徵質量會直接影響模型上限。錯誤或缺失的特徵，不能僅靠更復雜分類器修復。 深度學習的重要突破，是讓模型直接從原始數據中自動學習特徵。 7. 深度學習通過多層表示減少人工特徵工程 淺層學習通常使用人爲準備的特徵，再由模型完成預測。 深度學習把特徵提取和預測整合進同一個網絡，通過端到端訓練共同優化。 其優勢包括： 自動學習複雜表示；適合圖像、語音和文本；能利用大規模數據；不同層可以提取不同抽象程度的信息。 代價則是訓練需要更多數據、算力和調參，結果也更難解釋。 8. 稀疏編碼用少量基元素表示輸入 稀疏編碼假設，一個複雜樣本可以由少量基礎元素組合而成。 例如，一幅圖像可以由少數邊緣、方向和紋理基元表示。 “稀疏”表示在大量可能特徵中，只有少量特徵在某個樣本上激活。 這種表示有助於降低冗餘，並與生物視覺系統中的部分響應特徵產生一定類比。 9. 自編碼器通過重構學習隱藏表示 自編碼器包括編碼器和解碼器： 編碼器把輸入壓縮成隱藏表示；解碼器從隱藏表示恢復原始輸入。 如果隱藏層受到容量、稀疏或噪聲約束，模型就不能簡單複製輸入，而必須提取關鍵結構。 多個自編碼器可以逐層堆疊，形成棧式自編碼器，用於降維、預訓練、去噪和特徵學習。 10. RBM和DBN代表早期深度生成模型 受限玻爾茲曼機使用可見層和隱藏層，通過能量函數描述數據分佈。 多個RBM可以逐層堆疊成深度信念網絡，再進行整體微調。 在深度學習早期，逐層無監督預訓練幫助緩解深層網絡難以訓練的問題。 隨着更好的激活函數、初始化、歸一化和大規模監督訓練出現，RBM和DBN在主流應用中的地位下降，但它們仍是理解深度學習歷史的重要環節。 11. 卷積神經網絡適合圖像 CNN利用圖像的局部結構。 卷積核在不同位置共享參數，尋找相同的邊緣、紋理或局部模式；池化和步長操作則減少空間尺寸，並提高一定的平移穩定性。 CNN的優勢包括： 參數共享；局部連接；層次特徵；高效並行；對圖像結構具有較好歸納偏置。 它成爲計算機視覺長期發展的核心架構。 12. 循環神經網絡處理序列和記憶 RNN把前一時刻的隱藏狀態傳遞到下一時刻，因此能夠利用歷史信息。 它適合語言、語音和時間序列。 普通RNN在長序列中容易出現梯度消失或爆炸，導致早期信息難以保留。LSTM和GRU通過門控機制改善長期依賴建模。 今天Transformer在許多序列任務中取代了傳統RNN，但“利用上下文狀態”的核心問題仍然存在。 13. AlphaGo結合了深度學習與搜索 圍棋狀態空間極其龐大，單純窮舉無法完成有效決策。 AlphaGo的核心組合包括： 策略網絡：預測更值得嘗試的落子；價值網絡：估計當前局面的勝率；蒙特卡羅樹搜索：在候選路徑中進行模擬和選擇；專家棋譜學習；自我對弈強化學習。 深度學習負責識別局面與價值，搜索負責規劃行動。 其成功說明，高水平智能往往來自多種方法的組合，而不是單一神經網絡。 14. 強化學習通過獎勵學習策略 強化學習中的智能體在環境中採取行動，根據獎勵或懲罰調整策略。 它與監督學習的區別是，系統通常沒有每一步的標準答案，只能根據長期結果判斷行動好壞。 主要困難包括： 獎勵延遲；探索與利用；狀態空間巨大；獎勵設計不完整；訓練樣本效率低；模擬環境與現實環境存在差距。 AlphaGo的自我對弈，是強化學習與深度網絡結合的代表案例。 15. 遷移學習複用已有知識 從頭訓練大型模型需要大量數據和算力。 遷移學習先在大數據集上訓練模型，再把學到的表示應用於新任務。 常見方法包括： 固定前部特徵層，只訓練新輸出層；對部分網絡進行微調；在相近領域繼續訓練；使用預訓練模型作爲初始化。 遷移學習的基礎假設是，原任務與新任務共享某些有用結構。 如果領域差異過大，也可能發生負遷移。 16. 概率圖模型表示變量間的依賴和不確定性 概率圖模型用圖結構表示隨機變量之間的關係。 貝葉斯網絡、馬爾可夫網絡和隱變量模型，都可以表達數據怎樣生成以及不同變量如何相互影響。 神經網絡擅長學習複雜函數，概率圖模型擅長表達結構和不確定性。 將二者結合，是深度生成模型、結構化預測和可解釋推理的重要方向。 17. 不同問題需要不同模型 不存在適合所有任務的最佳架構。 模型選擇需要考慮： 數據是圖像、文本、序列還是表格；樣本規模；標籤是否充足；目標是分類、迴歸、生成還是決策；是否需要解釋；延遲和算力限制；錯誤成本；是否存在長期依賴或空間結構。 在選用複雜網絡前，應先建立簡單基線，並確認複雜度確實帶來有效收益。 18. 大規模學習依賴並行計算 深度網絡訓練包含大量矩陣和張量運算，適合GPU並行。 數據規模和模型規模進一步擴大後，還可能使用： 數據並行；模型並行；多GPU和多節點訓練；參數服務器；分佈式存儲；異步或同步更新。 並行計算能夠提升速度，也會引入通信開銷、參數一致性和故障處理問題。 19. 類腦智能不等於簡單複製大腦結構 人工神經網絡受到生物神經元啓發，但與真實大腦存在巨大差異。 生物神經系統具有複雜的化學過程、身體反饋、持續學習、低功耗和多層次結構。 直接把網絡節點稱爲“神經元”，不代表模型已經複製人腦。 類腦研究可以從大腦獲得啓示，但所有類比都需要通過實驗驗證，不能把相似術語當作機制相同。 20. 本書呈現的是深度學習早期發展圖景 本書重點介紹稀疏編碼、自編碼器、RBM、DBN、CNN、RNN和AlphaGo，主要對應Transformer、大語言模型和擴散模型普及之前的階段。 其中部分技術已經不再主流，但以下基礎仍然有效： 感知機與神經元；多層表示；反向傳播；特徵學習；卷積結構；序列建模；遷移學習；強化學習與搜索結合。 閱讀時應區分長期原理與具體技術流行度。 四、本書最值得關注的核心觀點 本書最值得關注的觀點是： 深度學習的核心不是“模擬了人腦”，而是把特徵學習和任務學習放入同一個可優化系統。 傳統流程由人先設計特徵，再訓練模型；深度學習則讓網絡根據最終任務的誤差，反向決定中間層應該提取什麼信息。 這使模型能夠從像素、聲音和文字等原始數據中學習複雜表示。 但端到端學習並不意味着不再需要人。人仍然決定數據、目標、損失、架構、評價和使用邊界。機器自動學習的是參數和表示，而不是問題本身是否值得解決。 五、一段話總結 《神經網絡與深度學習》從單個神經元、感知機和反向傳播入手，解釋多層網絡如何通過誤差反饋調整權重，並逐層學習由簡單到抽象的特徵；隨後介紹稀疏編碼、棧式自編碼器、受限玻爾茲曼機、深度信念網絡、卷積網絡和循環網絡，並以AlphaGo說明策略網絡、價值網絡、蒙特卡羅樹搜索和強化學習如何協同。遷移學習負責複用已有表示，概率圖模型用於描述結構與不確定性，並行計算則支撐大規模訓練。書中的部分架構屬於深度學習早期階段，但其核心思想仍然有效：深度學習的突破不在於簡單複製大腦，而在於將特徵提取和任務預測統一到端到端優化中，讓數據和目標共同塑造內部表示。

前5章適合普及神經網絡概念 細節上適合學習一下基本概念再讀 比如說基本的行列式矩陣，偏導，代價函數，階梯函數 之後再來看會很速度。 中間兩章章用來實踐 本書運用jaava 和Matlab的代碼。之後 解釋一些alfalgo的原理。 包括 強化學習 遷移學習等背景。最後一章講貝葉斯網絡 馬爾可夫網絡。可以提前瞭解一些條件概率的知識比如貝葉斯方法，這樣會好理解一些整體概念 爲了深入學習提供資源[微笑]一起加油[愛你]

看開頭感覺還不錯。但價格還是讓人很糾結。加幾塊錢就可以直接買本紙質書了。而且最近感覺微信讀書的價格很不穩定。有好多之前價格特貴的書降到一半不到。。。Kindle也沒有這本的電子書。憂傷…

看了這本書，我這個小白終算是入門深度學習了。爲了畢業設計，加油哇！[呲牙]

一本2016年購買閱讀的書，直到2020年纔算看完，其中還參雜着大量我的一知半解的認識。電子版的內容有大量的筆誤，紙質版已經一一勘正。 之所以打5星，是因爲畢竟本書寫作於2016。 這是我接觸AI的第一本專業書籍，算是比較深入淺出的介紹了神經網絡與深度學習的體系，可以作爲入門閱讀書籍，先建立起框架。 分層、分類、壓縮，這是我看完本書後腦中浮現的最多的詞彙。神經網絡與深度學習，提供了對海量非格式性數據的處理的模型，降低了可計算性的量級，提供了分層分類的數據特徵的抽取，實現了壓縮後的特徵抽取。 反過來看人類的大腦，也是有類似的結構構成。人類是萬物之靈這句話，也許將維持不久。最奇妙的感覺，也只是數據統計的一個結果。心理醫學上的潛意識，可能僅僅只是分層的數據歸類之一... 人工智能和分子生物學，讓人類走向了即將完全自我剖析的的最後階段。奇點何時到來？也許很快！

我滴神，總算吭哧吭哧讀完了，腦殼疼[哈欠]。總結一下：用SVM支持向量機把數據映射到高維或者給神經網絡增加隱含層來處理非線性數據，用PCA主成分分析或者自編碼器給樣本降維，用梯度下降法做優化，用正則化避免過度擬合，用卷積神經網絡做圖像識別，用循環神經網絡做自然語言處理，用強化學習進行策略獎懲，完成決策。 有一個問題書裏沒提到，如果有惡意動機的攻擊者在樣本中埋進了難以清洗的噪聲和異常值，使得模型在訓練時表現優秀，卻在應用時無法正常泛化，或者學到錯誤的數據模式，導致參數朝錯誤的方向迭代更新，甚至輸出錯誤的結果，這豈不成了安全問題。。。該怎麼避免呢？

人工智能，這本書比李彥宏、李開復的實在多了，更適合廣大羣衆讀者。李開復、李彥宏是AI領域大佬，高屋建瓴講格局、講故事、有借題發揮推廣自己公司產品之嫌；讀之有覺證己在AI領域地位之空泛。這本書言簡意賅，由淺入深，故事例子比喻恰當；適合初學者。預測上證股指的例子，有空自己寫寫代碼，看看效果。[奸笑]

不點評這本書了，說說對ai未來三年的預判 1、基於transformer和深度學習，出現大量水平、性能接近的開源、多模態的知識壓縮大模型 2、基於基礎知識壓縮大模型，對每個垂直領域應用的fine tune，形成滿足該領域應用特點的垂直大模型，並進一步產品化形成該領域的生產力工具，是未來3年的發展關鍵 3、3年內很難形成真正的AGI，transformer這套很可能不是實現AGI的真正道路 4、由於各個垂直領域，基於ai的生產力工具會極大發展，很可能出現大量超級個體（真正的自媒體、真正的個人設計師、柔性生產賦能下的超級手藝人等等），“大廠”的公司化、工業化生產方式可能受到巨大挑戰 5、ai不會取代各個工種，而是使各個工種的水平差異變得更大，對ai工具使用經驗不足、個人想法不夠的普通水平勞動力將沒有存在價值，但超級個體在ai的加持下，會和普通人拉開更大的差距

對於沒有編程基礎的工科生，讀下這本貌似只是皮毛概述的書也絕非易事。奈何是對象“送”的，流着淚也要看完。必須得說還是有一定收穫的。一是對該領域的一些皮毛了解，二是讓自己的腦子重新適應閱讀，而不是沉迷接收那些快餐娛樂信息。