深度学习的数学

《深度学习中的数学》从浅入深，从感性的角度，到生物神经元的直接灵感，再建立起基本的数学基础，接着通过最优化问题的探讨，最后两章才真正展现了神经网络中的两种 阶层型和卷积神经网络 的推导过程。可谓是谆谆善诱，对于前三章而言，都是已经有的知识基础，读起来很顺畅，也不会给人以敬而远之的想法。接着第4章，是介绍阶层型神经网络和误差反向传播法，这个无论是后续的深度学习或者卷积神经网络等等，都需要以这部分的思想逻辑作为基础，只是在不同的步骤有不同的压缩、特征映射操作而已。第4章整体而言，如果前面几章没有问题，也会觉得比较顺畅，只是在引入\delta误差的时候，需要联想在很多数值优化方法中会考虑的微小扰动来帮助推导递推关系式，从而采用类似动态规划的方法从后往前推导出结果。因为计算机擅长这样的计算，而导数这类，不仅仅人类觉得麻烦，对于计算机而言也是，计算机擅长的是递推。最后第5章，则是真正能带人进入深度学习或者卷积神经网络的大门，不能说这个学了什么都会了，但至少从原理上，能很清晰的理解到卷积神经网络的脉络。整体而言，很棒，对于入门书籍，我觉得很好。虽然不分带有公式的图片不知道是排版还是什么问题，会存在比如不应该是“=”号，却给了“=”号的情况等，或者少了平方项，但整体对于初学者很有帮助，能让我这样一个完全没有深度学习基础的人，也能看明白。 各章总结笔记已经在电脑上记录。 后面两章还是搁家用kindle看的，大点的屏幕还是看着舒服点呀。尤其这种公式推导。 推完了，这个周末挺开心，值。

本书是把深度学习底层数学逻辑拆解得足够直白的入门读物。全书没有堆砌晦涩的理论推导，而是从神经网络基础讲起，把向量、矩阵、偏导数、链式法则、梯度下降法、误差反向传播这些核心数学知识点，和深度学习的实际原理一一对应，用通俗的表述搭配大量图示，把抽象的算法逻辑落到具体的数学表达上。 书中借助Excel做理论验证，把复杂的计算过程转化为可操作的实践步骤，没有刻意拔高内容，也没有省略关键的数学推导细节，既讲清了神经网络的构建逻辑，也拆解了卷积神经网络的核心原理，让深度学习不再是悬浮的技术概念，而是有迹可循的数学应用。 它立足基础数学知识，循序渐进搭建起深度学习的数学框架，文字平实，逻辑清晰，不故弄玄虚，把一门交叉学科的数学内核讲得通透易懂。合上书页，书中的公式、推导、实践逻辑依旧清晰，是对深度学习数学基础极为务实的梳理，也算是一段过往阅读与钻研的真切印记。

很好的一本书，内容很简单，适合初学者阅读，难度两星。有一定基础的读者，也可以通过本书加深对反向传播算法的理解，读完本书，手推BP不是难事。 一些很好的概念—— 隐藏层肩负着特征提取（feature extraction）的重要职责。 这是我看到过的，关于偏置bias最好的解释。 在像这个神经网络那样前一层与下一层全连接的情况下，在输入0的图像时，原本不希望做出反应的隐藏层神经单元B以及输出层神经单元1也有信号传递，因此需要禁止这样的信号并使信号变清晰，这样的功能就是偏置，在恶魔组织中表现为“心的偏置”。 这种细胞被命名为特征提取细胞。 对某种模式做出强烈反应的视神经细胞有助于动物的模式识别。想到本节考察的“恶魔”在大脑中实际存在，这真是非常有意思的事情。 误差反向传播法以梯度下降法为基础，它通过递推关系式越过导数计算。 误差反向传播法的特点是将繁杂的导数计算替换为数列的递推关系式。 只要求出输出层的神经单元误差，其他的神经单元误差就不需要进行偏导数计算！ 幽默的解释—— 本节登场的恶魔与之前的恶魔性格稍微有点不同。虽然他们的共同点都是具有自己偏好的模式，但是相比第3章登场的恶魔坐着一动不动，这里的恶魔是活跃的，他们会积极地从图像中找出偏好的模式，我们称之为小恶魔。 每个小恶魔都有自己偏好的模式S，每个过滤器也都有自己的偏好模式。通过卷积操作，得到每个区域内，小恶魔（过滤器）和图片的相似度。 各个图像下面的“相似度”表示过滤器S的灰色格子部分与扫描图像块的灰色格子部分吻合的地方的个数。这个值越大，就说明越符合小恶魔偏好的模式。 过滤器S对手写数字“2”的检测发挥了作用。 数字“2”的图像的池化结果是由比数字“1”“3”的图像的池化结果大的值构成的。如果池化层神经单元的输出值较大，就表示原始图像中包含较多的过滤器S的模式。

好的。以下是 **《深度学习的数学》**（作者：[日] 涌井良幸、涌井贞美，译者：杨瑞龙）的**系统性思维导图与核心观念梳理**。 > **书名**：《深度学习的数学》 > **作者**：涌井良幸、涌井贞美（日本资深数学科普作家） > **译者**：杨瑞龙 > **出版社**：人民邮电出版社（“图灵新知”系列） > **定位**：面向初学者的深度学习数学入门书，强调**直观理解 + 手工计算 + 无代码推演**，避开复杂公式，用中学数学基础讲解神经网络核心机制。 --- ### 一、全书核心主旨 > **深度学习并非高不可攀的“黑魔法”，其核心算法（如反向传播）完全可以用高中数学（函数、导数、链式法则、矩阵）手工推导和理解。只要掌握“输入→加权求和→激活→误差→梯度下降”的闭环逻辑，就能看透神经网络如何从错误中学习。本书的目标是让读者“亲手算一遍”，从而建立真正的直觉。** → 作者强调：**“不亲手计算一次反向传播，就永远无法真正理解深度学习。”** --- ### 二、思维导图（文字层级版） #### **1. 神经网络的基本结构** 　├─ **① 神经元模型**（感知机扩展） 　　　• 输入 \(x_1, x_2\) → 权重 \(w_1, w_2\) → 偏置 \(b\) → 加权和 \(u = w_1x_1 + w_2x_2 + b\) 　　　• 激活函数 \(a = h(u)\)（书中用 **Sigmoid** 为主） 　├─ **② 多层网络**（MLP） 　　　• 输入层 → 隐藏层 → 输出层 　　　• 每层神经元全连接 　└─ **③ 输出与目标** 　　　• 实际输出 \(y\) vs. 真实标签 \(t\) → 计算**损失函数**（Loss） > 图示重点：用电路图类比信号流动，权重如“旋钮”，可调节。 --- #### **2. 核心数学工具**（仅需高中知识） 　├─ **① 函数与图像** 　　　• Sigmoid 函数：\( \sigma(x) = \frac{1}{1 + e^{-x}} \) → 平滑阶跃 　├─ **② 导数与斜率** 　　　• 导数 = 函数在某点的变化率 → 决定“往哪调权重能减少误差” 　├─ **③ 链式法则**（Chain Rule） 　　　• 复合函数求导：\( \frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx} \) 　　　• **反向传播的数学基础** 　└─ **④ 矩阵乘法**（简化多变量计算） 　　　• 输入向量 × 权重矩阵 = 下一层输入 > 书中特色：所有导数计算都用数值例子演示（如 \(x=0.5\) 时 \(\sigma'(x)=0.235\)）。 --- #### **3. 学习机制：梯度下降与反向传播** 　├─ **① 损失函数**（Loss Function） 　　　• 用**均方误差**（MSE）：\( E = \frac{1}{2}(y - t)^2 \) 　　　• 目标：最小化 \(E\) 　├─ **② 梯度下降原理** 　　　• 权重更新：\( w_{\text{new}} = w_{\text{old}} - \eta \cdot \frac{\partial E}{\partial w} \) 　　　• \(\eta\) = 学习率（步长） 　└─ **③ 反向传播**（Backpropagation） ← 全书核心 　　　• **正向传播**：计算输出 \(y\) 　　　• **反向传播**：从输出层开始，逐层计算误差对各权重的偏导（\(\partial E / \partial w\)） 　　　• 关键：利用链式法则，将全局误差“分配”到每个权重 > 书中用 **2输入-2隐藏-1输出** 的小网络，**完整手算一遍前向+反向全过程**（约10页），极具教学价值。 --- #### **4. 激活函数与非线性** 　├─ **为什么需要激活函数**？ 　　　• 若无激活（纯线性），多层网络 = 单层网络 　├─ **Sigmoid 的作用**： 　　　• 引入非线性 → 可拟合复杂函数 　　　• 输出在 (0,1) → 适合概率解释 　└─ **其他函数简述**： 　　　• ReLU（书中提及但未深入）：\( f(x) = \max(0, x) \) --- #### **5. 过拟合与正则化**（简要介绍） 　├─ **过拟合现象**： 　　　• 在训练集上完美，测试集上差 　└─ **应对方法**： 　　　• 减少网络参数 　　　• 增加训练数据 　　　• （未深入讲Dropout/L2，因侧重基础） --- #### **6. 从感知机到深度学习** 　├─ **感知机局限**：无法解决异或（XOR）问题 　├─ **多层网络突破**： 　　　• 隐藏层可学习中间特征（如“左上角有边缘”） 　└─ **深度学习本质**： 　　　• 自动从数据中学习特征表示，无需人工设计 > “深度学习 = 自动特征工程 + 梯度优化” --- ### 三、核心观念总结 1. **深度学习的核心是“用梯度下降自动调整权重以最小化误差”**； 2. **反向传播 = 链式法则在神经网络中的高效应用**； 3. **非线性激活函数是多层网络表达能力的关键**； 4. **所有计算均可手工完成，无需依赖框架黑箱**； 5. **理解始于小网络的手工推演，而非大模型调参**； 6. **数学不是障碍，而是照亮黑箱的灯**。 --- ### 四、关键公式与流程（书中反复演练） | 步骤 | 公式 | 说明 | |------|------|------| | **加权和** | \( u = \sum w_i x_i + b \) | 神经元输入 | | **激活** | \( a = \sigma(u) = \frac{1}{1+e^{-u}} \) | Sigmoid输出 | | **损失** | \( E = \frac{1}{2}(y - t)^2 \) | 均方误差 | | **权重更新** | \( w \leftarrow w - \eta \frac{\partial E}{\partial w} \) | 梯度下降 | | **Sigmoid导数** | \( \sigma'(u) = \sigma(u)(1 - \sigma(u)) \) | 反向传播关键 | --- ### 五、本书独特价值 - ✅ **零编程要求**：纯数学推导，适合文科生或数学基础弱者 - ✅ **极致可视化**：大量函数图像、网络结构图、计算流程图 - ✅ **小例子驱动**：用2-3个神经元网络讲透原理，避免信息过载 - ✅ **破除神秘感**：证明深度学习“可理解、可计算、可重现” > 适合人群：高中生、大学生、转行者、产品经理、对AI好奇但怕数学的读者。 --- ### 六、一句话总结全书思想 > 《深度学习的数学》宣告：当你亲手用纸笔算出一个神经网络如何从错误中学习，深度学习就不再是黑箱，而是一场清晰、优雅、人人可参与的数学之旅。

一、本书的核心观点1. ​​神经网络＝“可调参数”的几何函数链​​。作者把神经网络看成多层几何变换的串联，通过调整权重与偏置让每层逐步抽取出数据的特征。2. ​​深度学习首先是数学问题​​。全书用微积分、线性代数、概率论打底，再讲网络结构与优化，强调“先懂数学，再谈代码”。3. ​​最优化是神经网络的心脏​​。无论是回归还是分类，最终都转化为“找使代价函数最小的参数”这一数学最优化问题。4. ​​向量内积衡量“相似度”​​。作者利用内积的大小判断两个向量方向一致程度，为后续卷积、特征匹配奠定直观基础。5. ​​Excel 也能做深度学习验证​​。书中用电子表格演示神经网络训练，意在降低读者的代码门槛，突出思想本身。6. ​​深度网络之所以有效，是因为“多层非线性＋大数据”足以逼近任何复杂函数​​，这一点让深度学习在图像、语音任务上大放异彩。7. ​​特征学习取代人工特征工程​​。作者强调逐层特征变换能自动捕获数据深层关联，比传统手工设计特征更高效、可扩展。8. ​​信息在网络中逐层压缩但不凭空增加​​。这一信息论视角帮助读者理解“深度≠信息膨胀”这一常见误区。9. ​​激活函数让网络“看见”非线性世界​​。通过 Sigmoid、ReLU 等非线性映射，神经元才能区分复杂边界。10. ​​实践三步走：建模→损失→优化​​。作者反复提示读者：定义网络结构后，选择合适的代价函数，再用梯度下降及其变种进行参数更新，这一流水线构成深度学习训练的核心。二、10 条金句1. ​​“数学不喜欢不漂亮的东西。”​​2. ​​“经过这样处理，式子变漂亮了，也不容易发生计算错误。”​​3. ​​“而在神经网络的世界中， 称为学习率。遗憾的是，它的确定方法没有明确的标准，只能通过反复试验来寻找恰当的值。”​​4. ​​“对于生命来说，神经元忽略微小的输入信号，这是十分重要的。”​​5. ​​“可以认为内积表示两个向量在多大程度上指向相同方向。”​​6. ​​“将神经元的工作在数学上抽象化，并以其为单位人工地形成网络，这样的人工网络就是神经网络。”​​7. ​​“点火的输出信号是由 0 或 1 表示的数字信息。”​​8. ​​“而在用神经网络实现的人工智能，人们只需要简单地提供数据即可。”​​9. ​​“网络的连接方法多种多样，本书将主要考察作为基础的阶层型神经网络以及由其发展而来的卷积神经网络。”​​10. ​​“奇点（singularity）被用来表示人工智能超过人类智能的时间点。”

本文开篇就介绍了啥是深度学习？深度学习是人工智能的一种具有代表性的实现方法，然后又引出了神经网络，深度学习是以神经网络为出发点的。作者用我们以前学的生物知识来解释神经网络。 (i) 神经元形成网络。 (ii) 对于从其他多个神经元传递过来的信号，如果它们的和不超过某个固定大小的值（阈值），则神经元不做出任何反应。 (iii) 对于从其他多个神经元传递过来的信号，如果它们的和超过某个固定大小的值（阈值），则神经元做出反应（称为点火），向另外的神经元传递固定强度的信号。 (iv) 在 (ii) 和 (iii) 中，从多个神经元传递过来的信号之和中，每个信号对应的权重不一样。 将神经元的工作在数学上抽象化，并以其为单位人工地形成网络，这样的人工网络就是神经网络。将构成大脑的神经元的集合体抽象为数学模型，这就是神经网络的出发点。 紧接着又说了神经元工作的数学表示，如果输入信号之和超过神经元固有的边界值（也就是阈值），细胞体就会做出反应，向与轴突连接的其他神经元传递信号，这称为点火。那么，点火时神经元的输出信号是什么样的呢？有趣的是，信号的大小是固定的。即便从邻近的神经元接收到很大的刺激，或者轴突连接着其他多个神经元，这个神经元也只输出固定大小的信号。点火的输出信号是由 0 或 1 表示的数字信息。 点火条件的图形表示单位阶跃函数，该函数当z<0时，u(z)=0，当z>=0时，u(z)=1。然后激活函数将神经元的工作一般化，激活函数的代表例子是 Sigmoid 函数，该函数连续、光滑，也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。单位阶跃函数的输出值为 1 或 0，表示点火与否。然而，Sigmoid 函数的输出值大于 0 小于 1，这就有点难以解释了。如果用生物学术语来解释的话，可以认为输出值表示神经单元的兴奋度等。输出值接近 1 表示兴奋度高，接近 0 则表示兴奋度低。 单位阶跃函数引入了神经元的加权输入，Sigmoid 函数引入了偏置。 激活函数 y = a(w1x1 + w2x2 + w3x3 - Q) 把-Q替换b,y = a(w1x1 + w2x2 + w3x3 + b)，加权输入w1x1 + w2x2 + w3x3 + b，整理下w1x1 + w2x2 + w3x3 + 1×b，增加一个虚拟输入，可以理解1作为输入值，加权输入z可以看作两个向量的内积 (w1，w2,w3,b)(x1,x2,x3,1)，计算机擅长内积的运算。 然后介绍了什么是神经网络，网络的连接方法多种多样，本书将主要考察作为基础的阶层型神经网络以及由其发展而来的卷积神经网络。深度学习，顾名思义，是叠加了很多层的神经网络。叠加层有各种各样的方法，其中著名的是卷积神经网络。作者很有意思的用恶魔来讲解神经网络的结构，隐藏层肩负着特征提取（feature extraction）的重要职责，恶魔组织实现了手写数字的模式识别。我们应该关注到，是恶魔之间的关系（也就是交情）和各个恶魔的个性（也就是心的偏置）协力合作推导出了答案。也就是说，网络作为一个整体做出了判断。 神经网络的参数确定方法分为有监督学习和无监督学习。本书只介绍有监督学习。有监督学习是指，为了确定神经网络的权重和偏置，事先给予数据，这些数据称为学习数据。根据给定的学习数据确定权重和偏置，称为学习。那么，神经网络是怎样学习的呢？思路极其简单：计算神经网络得出的预测值与正解的误差，确定使得误差总和达到最小的权重和偏置。这在数学上称为模型的最优化。关于预测值与正解的误差总和，有各种各样的定义。本书采用的是最古典的定义：针对全部学习数据，计算预测值与正解的误差的平方（称为平方误差），然后再相加。这个误差的总和称为代价函数（cost function），用符号 [插图] 表示（T 是 Total 的首字母）。利用平方误差确定参数的方法在数学上称为最小二乘法，它在统计学中是回归分析的常规手段。 神经网络的数列和递推关系式，熟悉递推关系式，对于用计算机进行实际计算有很大的帮助。这是因为计算机不擅长导数计算，但擅长处理递推关系式。还介绍了向量、内积的坐标表示、张量（tensor，是向量概念的推广）、矩阵、导数、偏导数、多变量函数的近似公式、梯度下降法、最优化问题和回归分析等相关的知识。都是为了后面有助于理解神经网络的数学知识。 神经网络的代价函数，向神经网络提供学习数据，并确定符合学习数据的权重和偏置，这个过程称为学习。这在数学上一般称为最优化，最优化的目标函数是代价函数。误差反向传播法的特点是将繁杂的导数计算替换为数列的递推关系式，而提供这些递推关系式的就是名为神经单元误差（error）的变量 δ。 然后小恶魔来讲解卷积神经网络的结构，池化层的神经单元中浓缩了作为考察对象的图像中包含了多少小恶魔所偏好的模式这一信息。 最后不得不说作者高屋建瓴，在我看来，能把数学知识能讲的明白并不无聊并非一件易事，里面不管用了生物学的神经元还是小恶魔都很形象的把数学公式层层推进，让数学公式不那么单调，不管是让你体验神经网络、神经网络的误差反向传播法还是卷积神经网络的误差反向传播法，作者都很用心的用Excel对数据层层推进与计算，以前我直接看花书来入门深度学习，理论太干，看着看着就看不下去了，《深度学习的数学》很好的为想接触深度学习的小伙伴提供了一个入门的机会，十分推荐此书!!!

序号:2021.02 本书主要使用图片数字识别作为例子，来讲述阶层神经网络，和卷积神经网络模型。 下面是本人基础本书，百度百科，以及个人理解写的读书笔记，以便后续查阅。 关键名词 1. 所谓模式识别的问题就是用计算的方法根据样本的特征将样本划分到一定的类别中去。模式识别就是通过计算机用数学技术方法来研究模式的自动处理和判读，把环境与客体统称为“模式”。模式识别的难点在于答案不标准。 2. 阶层神经网络：按照层（layer）划分神经单元，通过这些神经单元处理信号，并从输出层得到结果。构成这个网络的各层称为输入层、隐藏层、输出层，其中隐藏层也被称为中间层。输入层负责读取给予神经网络的信息；隐藏层实际处理信息；输出层显示计算结果。 3. 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。 4. 神经网络的参数确定方法分为有监督学习和无监督学习。深度神经网络是隐藏层比较多的神经网络。 5. 向神经网络提供学习数据，并确定符合学习数据的权重和偏置，这个过程称为学习。这在数学上一般称为最优化，最优化的目标函数是代价函数。 6. 在数学中，用模型参数表示的总体误差的函数称为代价函数，此外也可以称为损失函数、目的函数、误差函数等。 7. 回归分析定义：由多个变量组成的数据中，着眼于其中一个特定的变量，用其余的变量来解释这个特定的变量，这样的方法称为回归分析。 阶层神经网络 1. 从数学角度来理解阶层神经网络模型，可以表述为：将输入层数据加权处理，得到加权后的输入信息；然后还加权输入利用激活函数处理以后，得到输出结果。 2. 利用神经网络解决实际问题时，需要解决的问题有：建立模型、数据预处理、训练数据求解模型参数、用数据验证模型准确性等。 3. 阶层神经网络，在建立模型的时候，需要考虑结果如何表示，参数加权函数、激活函数、代价函数等如何选择的问题。 4. 神经网络模型确立之后，就需要解决模型求解问题。模型求解需要解决，参数初始化、参数如果计算获得等。 5. 从数学上来说，确定神经网络的参数是一个最优化问题，具体就是对神经网络的参数（即权重和偏置）进行拟合，使得神经网络的输出与实际数据相吻合。 6. 梯度下降法是确定神经网络的一种代表性的方法。它是著名的寻找最小值的点的方法。在神经网络参数计算时，我们常常利用梯度下降法来计算代价函数的最小值。 7. 用计算机实际确定神经网络时，必须设定权重和偏置的初始值。求初始值时，正态分布（normal distribution）是一个有用的工具。 8. 计算机不擅长导数计算，但擅长处理递推关系式。在导出函数的递推关系时，我们可以借助近似函数、泰勒公式、数值分析计算等手段。我们在求解梯度下降算法的最优解时，需要大量的导数求解，这就导致最小值的求解很难进行。为此，提出了误差反向传播法。 卷积神经网络 1. 卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有Inception模块、残差块（residual block）等复杂构筑。在常见构筑中，卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数，而池化层不包含权重系数，因此在文献中，池化层可能不被认为是独立的层。 2. 卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量（bias vector），类似于一个前馈神经网络的神经元（neuron）。 3. 卷积层在特征提取的时候，常使用特征映射。 4. 在卷积层进行特征提取后，输出的特征图会被传递至池化层，进行特征选择和信息压缩过滤。 5. 常见的池化层有：最大池化、平均池化、L2池化等。 6. 卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。 7. 卷积神经网络的整个过程，可以简单讲述为：将输入层数据进行特征映射，剔除不重要的特征信息，然后经过信息压缩过滤以后，得到加权的输入层。然后利用激活函数处理，得到最终的输出结果。从数学的角度来讲，就是将一个M*N的超大型矩阵，经过一系列的矩阵运算之后，变成一个结果向量。 整本书讲阶层神经网络、卷积神经网络的最基本最常见模型讲的很清楚，适合初学者。不足的地方是，模型求解使用的Excel，建议作者可以学习一下TensorFlow工具。

零星花了一周的时间把内容过了一遍，庆幸的是过了四十了，以前学的还没完全忘，边看边查，找到一点感觉。感谢书本图文并茂，浅显易懂的表达方式。但同时深知，要想学好，还有很长的路要走。人工智能需要的数学知识量还很多，后面一定要坚持下去。与书友们一起加油！

对我来说是很及时的科普。 计算机和数据的世界里，模式识别问题是很重要的问题。 神经网络（其实就是一种数学方法，将模拟动物的神经细胞的神经元聚集起来形成网络，用网络去观察，去学习）就是来解决模式识别逻辑的。 深度学习：利用卷积神经网络的多层结构的神经网络，可以实现人工智能，也就是识别人和猫。 神经网络：将构成大脑的神经元的集合体抽象为数学模型。Sigmoid函数，是激活函数的代表隐藏层：肩负着特征提取的重要职责监督学习的过程就是优化，给定学习数据确定权重和偏置。针对全部学习数据，计算预测值与正解的误差的平方（平方误差），然后再相加，称为代价函数。利用平方误差确定参数的方法在数学上称为最小二乘法（二次函数中），它在统计学上是回归分析的常规手段。內积最小（向量相反），梯度下降（寻找最小值的点的方法）人工智能学习tensorflow，google的定义，tensor张力的概念误差方向传播方法（将繁杂的导数计算为数列的递推关系式），求梯度的有效方法，确定网络的权重和偏置。池化（max pooling）：是信息压缩方法，具体来说就是将划分好的各区域最大值提取出来。

本书适合高中升大学的那个暑期阅读，涉及到高中数学知识点会让毕业生很好入门。但本书错误太多，作为科普类的书籍这是大忌。希望后面的读者理解思想即可，不要纠结其中的对错。不过给出Excel去理解深度学习的角度很好，所以给出两星，而不是一星。