深度學習的數學

《深度學習中的數學》從淺入深，從感性的角度，到生物神經元的直接靈感，再建立起基本的數學基礎，接着通過最優化問題的探討，最後兩章才真正展現了神經網絡中的兩種 階層型和卷積神經網絡 的推導過程。可謂是諄諄善誘，對於前三章而言，都是已經有的知識基礎，讀起來很順暢，也不會給人以敬而遠之的想法。接着第4章，是介紹階層型神經網絡和誤差反向傳播法，這個無論是後續的深度學習或者卷積神經網絡等等，都需要以這部分的思想邏輯作爲基礎，只是在不同的步驟有不同的壓縮、特徵映射操作而已。第4章整體而言，如果前面幾章沒有問題，也會覺得比較順暢，只是在引入\delta誤差的時候，需要聯想在很多數值優化方法中會考慮的微小擾動來幫助推導遞推關係式，從而採用類似動態規劃的方法從後往前推導出結果。因爲計算機擅長這樣的計算，而導數這類，不僅僅人類覺得麻煩，對於計算機而言也是，計算機擅長的是遞推。最後第5章，則是真正能帶人進入深度學習或者卷積神經網絡的大門，不能說這個學了什麼都會了，但至少從原理上，能很清晰的理解到卷積神經網絡的脈絡。整體而言，很棒，對於入門書籍，我覺得很好。雖然不分帶有公式的圖片不知道是排版還是什麼問題，會存在比如不應該是“=”號，卻給了“=”號的情況等，或者少了平方項，但整體對於初學者很有幫助，能讓我這樣一個完全沒有深度學習基礎的人，也能看明白。 各章總結筆記已經在電腦上記錄。 後面兩章還是擱家用kindle看的，大點的屏幕還是看着舒服點呀。尤其這種公式推導。 推完了，這個週末挺開心，值。

本書是把深度學習底層數學邏輯拆解得足夠直白的入門讀物。全書沒有堆砌晦澀的理論推導，而是從神經網絡基礎講起，把向量、矩陣、偏導數、鏈式法則、梯度下降法、誤差反向傳播這些核心數學知識點，和深度學習的實際原理一一對應，用通俗的表述搭配大量圖示，把抽象的算法邏輯落到具體的數學表達上。 書中藉助Excel做理論驗證，把複雜的計算過程轉化爲可操作的實踐步驟，沒有刻意拔高內容，也沒有省略關鍵的數學推導細節，既講清了神經網絡的構建邏輯，也拆解了卷積神經網絡的核心原理，讓深度學習不再是懸浮的技術概念，而是有跡可循的數學應用。 它立足基礎數學知識，循序漸進搭建起深度學習的數學框架，文字平實，邏輯清晰，不故弄玄虛，把一門交叉學科的數學內核講得通透易懂。合上書頁，書中的公式、推導、實踐邏輯依舊清晰，是對深度學習數學基礎極爲務實的梳理，也算是一段過往閱讀與鑽研的真切印記。

很好的一本書，內容很簡單，適合初學者閱讀，難度兩星。有一定基礎的讀者，也可以通過本書加深對反向傳播算法的理解，讀完本書，手推BP不是難事。 一些很好的概念—— 隱藏層肩負着特徵提取（feature extraction）的重要職責。 這是我看到過的，關於偏置bias最好的解釋。 在像這個神經網絡那樣前一層與下一層全連接的情況下，在輸入0的圖像時，原本不希望做出反應的隱藏層神經單元B以及輸出層神經單元1也有信號傳遞，因此需要禁止這樣的信號並使信號變清晰，這樣的功能就是偏置，在惡魔組織中表現爲“心的偏置”。 這種細胞被命名爲特徵提取細胞。 對某種模式做出強烈反應的視神經細胞有助於動物的模式識別。想到本節考察的“惡魔”在大腦中實際存在，這真是非常有意思的事情。 誤差反向傳播法以梯度下降法爲基礎，它通過遞推關係式越過導數計算。 誤差反向傳播法的特點是將繁雜的導數計算替換爲數列的遞推關係式。 只要求出輸出層的神經單元誤差，其他的神經單元誤差就不需要進行偏導數計算！ 幽默的解釋—— 本節登場的惡魔與之前的惡魔性格稍微有點不同。雖然他們的共同點都是具有自己偏好的模式，但是相比第3章登場的惡魔坐着一動不動，這裏的惡魔是活躍的，他們會積極地從圖像中找出偏好的模式，我們稱之爲小惡魔。 每個小惡魔都有自己偏好的模式S，每個過濾器也都有自己的偏好模式。通過卷積操作，得到每個區域內，小惡魔（過濾器）和圖片的相似度。 各個圖像下面的“相似度”表示過濾器S的灰色格子部分與掃描圖像塊的灰色格子部分吻合的地方的個數。這個值越大，就說明越符合小惡魔偏好的模式。 過濾器S對手寫數字“2”的檢測發揮了作用。 數字“2”的圖像的池化結果是由比數字“1”“3”的圖像的池化結果大的值構成的。如果池化層神經單元的輸出值較大，就表示原始圖像中包含較多的過濾器S的模式。

好的。以下是 **《深度學習的數學》**（作者：[日] 湧井良幸、湧井貞美，譯者：楊瑞龍）的**系統性思維導圖與核心觀念梳理**。 > **書名**：《深度學習的數學》 > **作者**：湧井良幸、湧井貞美（日本資深數學科普作家） > **譯者**：楊瑞龍 > **出版社**：人民郵電出版社（“圖靈新知”系列） > **定位**：面向初學者的深度學習數學入門書，強調**直觀理解 + 手工計算 + 無代碼推演**，避開復雜公式，用中學數學基礎講解神經網絡核心機制。 --- ### 一、全書核心主旨 > **深度學習並非高不可攀的“黑魔法”，其核心算法（如反向傳播）完全可以用高中數學（函數、導數、鏈式法則、矩陣）手工推導和理解。只要掌握“輸入→加權求和→激活→誤差→梯度下降”的閉環邏輯，就能看透神經網絡如何從錯誤中學習。本書的目標是讓讀者“親手算一遍”，從而建立真正的直覺。** → 作者強調：**“不親手計算一次反向傳播，就永遠無法真正理解深度學習。”** --- ### 二、思維導圖（文字層級版） #### **1. 神經網絡的基本結構** 　├─ **① 神經元模型**（感知機擴展） 　　　• 輸入 \(x_1, x_2\) → 權重 \(w_1, w_2\) → 偏置 \(b\) → 加權和 \(u = w_1x_1 + w_2x_2 + b\) 　　　• 激活函數 \(a = h(u)\)（書中用 **Sigmoid** 爲主） 　├─ **② 多層網絡**（MLP） 　　　• 輸入層 → 隱藏層 → 輸出層 　　　• 每層神經元全連接 　└─ **③ 輸出與目標** 　　　• 實際輸出 \(y\) vs. 真實標籤 \(t\) → 計算**損失函數**（Loss） > 圖示重點：用電路圖類比信號流動，權重如“旋鈕”，可調節。 --- #### **2. 核心數學工具**（僅需高中知識） 　├─ **① 函數與圖像** 　　　• Sigmoid 函數：\( \sigma(x) = \frac{1}{1 + e^{-x}} \) → 平滑階躍 　├─ **② 導數與斜率** 　　　• 導數 = 函數在某點的變化率 → 決定“往哪調權重能減少誤差” 　├─ **③ 鏈式法則**（Chain Rule） 　　　• 複合函數求導：\( \frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx} \) 　　　• **反向傳播的數學基礎** 　└─ **④ 矩陣乘法**（簡化多變量計算） 　　　• 輸入向量 × 權重矩陣 = 下一層輸入 > 書中特色：所有導數計算都用數值例子演示（如 \(x=0.5\) 時 \(\sigma'(x)=0.235\)）。 --- #### **3. 學習機制：梯度下降與反向傳播** 　├─ **① 損失函數**（Loss Function） 　　　• 用**均方誤差**（MSE）：\( E = \frac{1}{2}(y - t)^2 \) 　　　• 目標：最小化 \(E\) 　├─ **② 梯度下降原理** 　　　• 權重更新：\( w_{\text{new}} = w_{\text{old}} - \eta \cdot \frac{\partial E}{\partial w} \) 　　　• \(\eta\) = 學習率（步長） 　└─ **③ 反向傳播**（Backpropagation） ← 全書核心 　　　• **正向傳播**：計算輸出 \(y\) 　　　• **反向傳播**：從輸出層開始，逐層計算誤差對各權重的偏導（\(\partial E / \partial w\)） 　　　• 關鍵：利用鏈式法則，將全局誤差“分配”到每個權重 > 書中用 **2輸入-2隱藏-1輸出** 的小網絡，**完整手算一遍前向+反向全過程**（約10頁），極具教學價值。 --- #### **4. 激活函數與非線性** 　├─ **爲什麼需要激活函數**？ 　　　• 若無激活（純線性），多層網絡 = 單層網絡 　├─ **Sigmoid 的作用**： 　　　• 引入非線性 → 可擬合複雜函數 　　　• 輸出在 (0,1) → 適合概率解釋 　└─ **其他函數簡述**： 　　　• ReLU（書中提及但未深入）：\( f(x) = \max(0, x) \) --- #### **5. 過擬合與正則化**（簡要介紹） 　├─ **過擬合現象**： 　　　• 在訓練集上完美，測試集上差 　└─ **應對方法**： 　　　• 減少網絡參數 　　　• 增加訓練數據 　　　• （未深入講Dropout/L2，因側重基礎） --- #### **6. 從感知機到深度學習** 　├─ **感知機侷限**：無法解決異或（XOR）問題 　├─ **多層網絡突破**： 　　　• 隱藏層可學習中間特徵（如“左上角有邊緣”） 　└─ **深度學習本質**： 　　　• 自動從數據中學習特徵表示，無需人工設計 > “深度學習 = 自動特徵工程 + 梯度優化” --- ### 三、核心觀念總結 1. **深度學習的核心是“用梯度下降自動調整權重以最小化誤差”**； 2. **反向傳播 = 鏈式法則在神經網絡中的高效應用**； 3. **非線性激活函數是多層網絡表達能力的關鍵**； 4. **所有計算均可手工完成，無需依賴框架黑箱**； 5. **理解始於小網絡的手工推演，而非大模型調參**； 6. **數學不是障礙，而是照亮黑箱的燈**。 --- ### 四、關鍵公式與流程（書中反覆演練） | 步驟 | 公式 | 說明 | |------|------|------| | **加權和** | \( u = \sum w_i x_i + b \) | 神經元輸入 | | **激活** | \( a = \sigma(u) = \frac{1}{1+e^{-u}} \) | Sigmoid輸出 | | **損失** | \( E = \frac{1}{2}(y - t)^2 \) | 均方誤差 | | **權重更新** | \( w \leftarrow w - \eta \frac{\partial E}{\partial w} \) | 梯度下降 | | **Sigmoid導數** | \( \sigma'(u) = \sigma(u)(1 - \sigma(u)) \) | 反向傳播關鍵 | --- ### 五、本書獨特價值 - ✅ **零編程要求**：純數學推導，適合文科生或數學基礎弱者 - ✅ **極致可視化**：大量函數圖像、網絡結構圖、計算流程圖 - ✅ **小例子驅動**：用2-3個神經元網絡講透原理，避免信息過載 - ✅ **破除神祕感**：證明深度學習“可理解、可計算、可重現” > 適合人羣：高中生、大學生、轉行者、產品經理、對AI好奇但怕數學的讀者。 --- ### 六、一句話總結全書思想 > 《深度學習的數學》宣告：當你親手用紙筆算出一個神經網絡如何從錯誤中學習，深度學習就不再是黑箱，而是一場清晰、優雅、人人可參與的數學之旅。

一、本書的核心觀點1. ​​神經網絡＝“可調參數”的幾何函數鏈​​。作者把神經網絡看成多層幾何變換的串聯，通過調整權重與偏置讓每層逐步抽取出數據的特徵。2. ​​深度學習首先是數學問題​​。全書用微積分、線性代數、概率論打底，再講網絡結構與優化，強調“先懂數學，再談代碼”。3. ​​最優化是神經網絡的心臟​​。無論是迴歸還是分類，最終都轉化爲“找使代價函數最小的參數”這一數學最優化問題。4. ​​向量內積衡量“相似度”​​。作者利用內積的大小判斷兩個向量方向一致程度，爲後續卷積、特徵匹配奠定直觀基礎。5. ​​Excel 也能做深度學習驗證​​。書中用電子表格演示神經網絡訓練，意在降低讀者的代碼門檻，突出思想本身。6. ​​深度網絡之所以有效，是因爲“多層非線性＋大數據”足以逼近任何複雜函數​​，這一點讓深度學習在圖像、語音任務上大放異彩。7. ​​特徵學習取代人工特徵工程​​。作者強調逐層特徵變換能自動捕獲數據深層關聯，比傳統手工設計特徵更高效、可擴展。8. ​​信息在網絡中逐層壓縮但不憑空增加​​。這一信息論視角幫助讀者理解“深度≠信息膨脹”這一常見誤區。9. ​​激活函數讓網絡“看見”非線性世界​​。通過 Sigmoid、ReLU 等非線性映射，神經元才能區分複雜邊界。10. ​​實踐三步走：建模→損失→優化​​。作者反覆提示讀者：定義網絡結構後，選擇合適的代價函數，再用梯度下降及其變種進行參數更新，這一流水線構成深度學習訓練的核心。二、10 條金句1. ​​“數學不喜歡不漂亮的東西。”​​2. ​​“經過這樣處理，式子變漂亮了，也不容易發生計算錯誤。”​​3. ​​“而在神經網絡的世界中， 稱爲學習率。遺憾的是，它的確定方法沒有明確的標準，只能通過反覆試驗來尋找恰當的值。”​​4. ​​“對於生命來說，神經元忽略微小的輸入信號，這是十分重要的。”​​5. ​​“可以認爲內積表示兩個向量在多大程度上指向相同方向。”​​6. ​​“將神經元的工作在數學上抽象化，並以其爲單位人工地形成網絡，這樣的人工網絡就是神經網絡。”​​7. ​​“點火的輸出信號是由 0 或 1 表示的數字信息。”​​8. ​​“而在用神經網絡實現的人工智能，人們只需要簡單地提供數據即可。”​​9. ​​“網絡的連接方法多種多樣，本書將主要考察作爲基礎的階層型神經網絡以及由其發展而來的卷積神經網絡。”​​10. ​​“奇點（singularity）被用來表示人工智能超過人類智能的時間點。”

本文開篇就介紹了啥是深度學習？深度學習是人工智能的一種具有代表性的實現方法，然後又引出了神經網絡，深度學習是以神經網絡爲出發點的。作者用我們以前學的生物知識來解釋神經網絡。 (i) 神經元形成網絡。 (ii) 對於從其他多個神經元傳遞過來的信號，如果它們的和不超過某個固定大小的值（閾值），則神經元不做出任何反應。 (iii) 對於從其他多個神經元傳遞過來的信號，如果它們的和超過某個固定大小的值（閾值），則神經元做出反應（稱爲點火），向另外的神經元傳遞固定強度的信號。 (iv) 在 (ii) 和 (iii) 中，從多個神經元傳遞過來的信號之和中，每個信號對應的權重不一樣。 將神經元的工作在數學上抽象化，並以其爲單位人工地形成網絡，這樣的人工網絡就是神經網絡。將構成大腦的神經元的集合體抽象爲數學模型，這就是神經網絡的出發點。 緊接着又說了神經元工作的數學表示，如果輸入信號之和超過神經元固有的邊界值（也就是閾值），細胞體就會做出反應，向與軸突連接的其他神經元傳遞信號，這稱爲點火。那麼，點火時神經元的輸出信號是什麼樣的呢？有趣的是，信號的大小是固定的。即便從鄰近的神經元接收到很大的刺激，或者軸突連接着其他多個神經元，這個神經元也只輸出固定大小的信號。點火的輸出信號是由 0 或 1 表示的數字信息。 點火條件的圖形表示單位階躍函數，該函數當z<0時，u(z)=0，當z>=0時，u(z)=1。然後激活函數將神經元的工作一般化，激活函數的代表例子是 Sigmoid 函數，該函數連續、光滑，也就是說可導。這兩種性質使得 Sigmoid 函數很容易處理。單位階躍函數的輸出值爲 1 或 0，表示點火與否。然而，Sigmoid 函數的輸出值大於 0 小於 1，這就有點難以解釋了。如果用生物學術語來解釋的話，可以認爲輸出值表示神經單元的興奮度等。輸出值接近 1 表示興奮度高，接近 0 則表示興奮度低。 單位階躍函數引入了神經元的加權輸入，Sigmoid 函數引入了偏置。 激活函數 y = a(w1x1 + w2x2 + w3x3 - Q) 把-Q替換b,y = a(w1x1 + w2x2 + w3x3 + b)，加權輸入w1x1 + w2x2 + w3x3 + b，整理下w1x1 + w2x2 + w3x3 + 1×b，增加一個虛擬輸入，可以理解1作爲輸入值，加權輸入z可以看作兩個向量的內積 (w1，w2,w3,b)(x1,x2,x3,1)，計算機擅長內積的運算。 然後介紹了什麼是神經網絡，網絡的連接方法多種多樣，本書將主要考察作爲基礎的階層型神經網絡以及由其發展而來的卷積神經網絡。深度學習，顧名思義，是疊加了很多層的神經網絡。疊加層有各種各樣的方法，其中著名的是卷積神經網絡。作者很有意思的用惡魔來講解神經網絡的結構，隱藏層肩負着特徵提取（feature extraction）的重要職責，惡魔組織實現了手寫數字的模式識別。我們應該關注到，是惡魔之間的關係（也就是交情）和各個惡魔的個性（也就是心的偏置）協力合作推導出了答案。也就是說，網絡作爲一個整體做出了判斷。 神經網絡的參數確定方法分爲有監督學習和無監督學習。本書只介紹有監督學習。有監督學習是指，爲了確定神經網絡的權重和偏置，事先給予數據，這些數據稱爲學習數據。根據給定的學習數據確定權重和偏置，稱爲學習。那麼，神經網絡是怎樣學習的呢？思路極其簡單：計算神經網絡得出的預測值與正解的誤差，確定使得誤差總和達到最小的權重和偏置。這在數學上稱爲模型的最優化。關於預測值與正解的誤差總和，有各種各樣的定義。本書採用的是最古典的定義：針對全部學習數據，計算預測值與正解的誤差的平方（稱爲平方誤差），然後再相加。這個誤差的總和稱爲代價函數（cost function），用符號 [插圖] 表示（T 是 Total 的首字母）。利用平方誤差確定參數的方法在數學上稱爲最小二乘法，它在統計學中是迴歸分析的常規手段。 神經網絡的數列和遞推關係式，熟悉遞推關係式，對於用計算機進行實際計算有很大的幫助。這是因爲計算機不擅長導數計算，但擅長處理遞推關係式。還介紹了向量、內積的座標表示、張量（tensor，是向量概念的推廣）、矩陣、導數、偏導數、多變量函數的近似公式、梯度下降法、最優化問題和迴歸分析等相關的知識。都是爲了後面有助於理解神經網絡的數學知識。 神經網絡的代價函數，向神經網絡提供學習數據，並確定符合學習數據的權重和偏置，這個過程稱爲學習。這在數學上一般稱爲最優化，最優化的目標函數是代價函數。誤差反向傳播法的特點是將繁雜的導數計算替換爲數列的遞推關係式，而提供這些遞推關係式的就是名爲神經單元誤差（error）的變量 δ。 然後小惡魔來講解卷積神經網絡的結構，池化層的神經單元中濃縮了作爲考察對象的圖像中包含了多少小惡魔所偏好的模式這一信息。 最後不得不說作者高屋建瓴，在我看來，能把數學知識能講的明白並不無聊並非一件易事，裏面不管用了生物學的神經元還是小惡魔都很形象的把數學公式層層推進，讓數學公式不那麼單調，不管是讓你體驗神經網絡、神經網絡的誤差反向傳播法還是卷積神經網絡的誤差反向傳播法，作者都很用心的用Excel對數據層層推進與計算，以前我直接看花書來入門深度學習，理論太乾，看着看着就看不下去了，《深度學習的數學》很好的爲想接觸深度學習的小夥伴提供了一個入門的機會，十分推薦此書!!!

序號:2021.02 本書主要使用圖片數字識別作爲例子，來講述階層神經網絡，和卷積神經網絡模型。 下面是本人基礎本書，百度百科，以及個人理解寫的讀書筆記，以便後續查閱。 關鍵名詞 1. 所謂模式識別的問題就是用計算的方法根據樣本的特徵將樣本劃分到一定的類別中去。模式識別就是通過計算機用數學技術方法來研究模式的自動處理和判讀，把環境與客體統稱爲“模式”。模式識別的難點在於答案不標準。 2. 階層神經網絡：按照層（layer）劃分神經單元，通過這些神經單元處理信號，並從輸出層得到結果。構成這個網絡的各層稱爲輸入層、隱藏層、輸出層，其中隱藏層也被稱爲中間層。輸入層負責讀取給予神經網絡的信息；隱藏層實際處理信息；輸出層顯示計算結果。 3. 卷積神經網絡（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡（Feedforward Neural Networks），是深度學習（deep learning）的代表算法之一。 4. 神經網絡的參數確定方法分爲有監督學習和無監督學習。深度神經網絡是隱藏層比較多的神經網絡。 5. 向神經網絡提供學習數據，並確定符合學習數據的權重和偏置，這個過程稱爲學習。這在數學上一般稱爲最優化，最優化的目標函數是代價函數。 6. 在數學中，用模型參數表示的總體誤差的函數稱爲代價函數，此外也可以稱爲損失函數、目的函數、誤差函數等。 7. 迴歸分析定義：由多個變量組成的數據中，着眼於其中一個特定的變量，用其餘的變量來解釋這個特定的變量，這樣的方法稱爲迴歸分析。 階層神經網絡 1. 從數學角度來理解階層神經網絡模型，可以表述爲：將輸入層數據加權處理，得到加權後的輸入信息；然後還加權輸入利用激活函數處理以後，得到輸出結果。 2. 利用神經網絡解決實際問題時，需要解決的問題有：建立模型、數據預處理、訓練數據求解模型參數、用數據驗證模型準確性等。 3. 階層神經網絡，在建立模型的時候，需要考慮結果如何表示，參數加權函數、激活函數、代價函數等如何選擇的問題。 4. 神經網絡模型確立之後，就需要解決模型求解問題。模型求解需要解決，參數初始化、參數如果計算獲得等。 5. 從數學上來說，確定神經網絡的參數是一個最優化問題，具體就是對神經網絡的參數（即權重和偏置）進行擬合，使得神經網絡的輸出與實際數據相吻合。 6. 梯度下降法是確定神經網絡的一種代表性的方法。它是著名的尋找最小值的點的方法。在神經網絡參數計算時，我們常常利用梯度下降法來計算代價函數的最小值。 7. 用計算機實際確定神經網絡時，必須設定權重和偏置的初始值。求初始值時，正態分佈（normal distribution）是一個有用的工具。 8. 計算機不擅長導數計算，但擅長處理遞推關係式。在導出函數的遞推關係時，我們可以藉助近似函數、泰勒公式、數值分析計算等手段。我們在求解梯度下降算法的最優解時，需要大量的導數求解，這就導致最小值的求解很難進行。爲此，提出了誤差反向傳播法。 卷積神經網絡 1. 卷積神經網絡的隱含層包含卷積層、池化層和全連接層3類常見構築，在一些更爲現代的算法中可能有Inception模塊、殘差塊（residual block）等複雜構築。在常見構築中，卷積層和池化層爲卷積神經網絡特有。卷積層中的卷積核包含權重係數，而池化層不包含權重係數，因此在文獻中，池化層可能不被認爲是獨立的層。 2. 卷積層的功能是對輸入數據進行特徵提取，其內部包含多個卷積核，組成卷積核的每個元素都對應一個權重係數和一個偏差量（bias vector），類似於一個前饋神經網絡的神經元（neuron）。 3. 卷積層在特徵提取的時候，常使用特徵映射。 4. 在卷積層進行特徵提取後，輸出的特徵圖會被傳遞至池化層，進行特徵選擇和信息壓縮過濾。 5. 常見的池化層有：最大池化、平均池化、L2池化等。 6. 卷積神經網絡中的全連接層等價於傳統前饋神經網絡中的隱含層。全連接層位於卷積神經網絡隱含層的最後部分，並只向其它全連接層傳遞信號。特徵圖在全連接層中會失去空間拓撲結構，被展開爲向量並通過激勵函數。 7. 卷積神經網絡的整個過程，可以簡單講述爲：將輸入層數據進行特徵映射，剔除不重要的特徵信息，然後經過信息壓縮過濾以後，得到加權的輸入層。然後利用激活函數處理，得到最終的輸出結果。從數學的角度來講，就是將一個M*N的超大型矩陣，經過一系列的矩陣運算之後，變成一個結果向量。 整本書講階層神經網絡、卷積神經網絡的最基本最常見模型講的很清楚，適合初學者。不足的地方是，模型求解使用的Excel，建議作者可以學習一下TensorFlow工具。

零星花了一週的時間把內容過了一遍，慶幸的是過了四十了，以前學的還沒完全忘，邊看邊查，找到一點感覺。感謝書本圖文並茂，淺顯易懂的表達方式。但同時深知，要想學好，還有很長的路要走。人工智能需要的數學知識量還很多，後面一定要堅持下去。與書友們一起加油！

對我來說是很及時的科普。 計算機和數據的世界裏，模式識別問題是很重要的問題。 神經網絡（其實就是一種數學方法，將模擬動物的神經細胞的神經元聚集起來形成網絡，用網絡去觀察，去學習）就是來解決模式識別邏輯的。 深度學習：利用卷積神經網絡的多層結構的神經網絡，可以實現人工智能，也就是識別人和貓。 神經網絡：將構成大腦的神經元的集合體抽象爲數學模型。Sigmoid函數，是激活函數的代表隱藏層：肩負着特徵提取的重要職責監督學習的過程就是優化，給定學習數據確定權重和偏置。針對全部學習數據，計算預測值與正解的誤差的平方（平方誤差），然後再相加，稱爲代價函數。利用平方誤差確定參數的方法在數學上稱爲最小二乘法（二次函數中），它在統計學上是迴歸分析的常規手段。內積最小（向量相反），梯度下降（尋找最小值的點的方法）人工智能學習tensorflow，google的定義，tensor張力的概念誤差方向傳播方法（將繁雜的導數計算爲數列的遞推關係式），求梯度的有效方法，確定網絡的權重和偏置。池化（max pooling）：是信息壓縮方法，具體來說就是將劃分好的各區域最大值提取出來。

本書適合高中升大學的那個暑期閱讀，涉及到高中數學知識點會讓畢業生很好入門。但本書錯誤太多，作爲科普類的書籍這是大忌。希望後面的讀者理解思想即可，不要糾結其中的對錯。不過給出Excel去理解深度學習的角度很好，所以給出兩星，而不是一星。