人工智能中的数学之美

书本由浅入深讲明白人工智能的算法先有统计数据和内容开始找公式， 一、首先找到 模型参数 w,b，和入参x 数量：比如特征多少个，参数数量随之确定。多少个卷积层由网络架构（书中说的超参数）比如补长，池化等决定。 权重初始值：随机初始化。 后续：依靠梯度下降自动迭代更新多入参线性公式（线性回归、逻辑回归）是超平面，用来分割空间，得到0或者1的输出或者分类，超平面的空间用矩阵表达是非常契合的。 二、得到明斯基说的局限限：1.仅仅能够表达线性分割。遇到异或、环状样本无法分开。这个时候可以吧非线性函数用微积分切割成多个线段。假设第一段线段是h=w*x+b 原来函数用y输出层再次线性加权：y=w*h_1+w*h_2+o，每一个神经元产出一条折线段。多条线段加权叠加，形成分段折线。只要有足够多的神经元就能表达出来。 2.为什么要激活函数无论堆叠多少层，没有激活函数，仅仅能够输出直线，不会出现折点。想要自动得到折线段，必须要有激活函数。单纯连续多层线性运算，等价于单层线性，输出永远是直线，不存在拐点。 三、为什么要多层神经元1. 单隐层 ≈ 泰勒展开，大量单项累加。想要高精度，需要极多项。 2. 深度网络 ≈ 复合函数。g(f(x))。少量函数嵌套即可实现复杂形态。 四、有了多层神经网络后调整权重需要反向传播算法，依靠反向传播去优化卷积核权重杨立昆的卷积神经网络就是把反向传播算法用在卷积上。为什么后面有李飞飞数据库后优化了算法工程应用在GPU，卷积核就是该层的权重 五、单个超平面仅仅能够实现二分类问怎能识别多物品？？。但是依靠大量超平面组合，可以完成多类别识别。 两。类别数量N，训练N个独立的分类器，每一个分类器对应1张超平面。 本质等价N张超平面。 分类器1：超平面1。猫【正】，狗+马【负】 分类器2：超平面2。狗【正】，猫+马【负】 ​分类器3：超平面3。马【正】，猫+狗【负】 五、朴素贝叶斯：统计各个类别里面特征出现概率；预测的时候相乘比对概率。全程不存在超平面、激活函数、权重。属于概率派算法，独立于神经网络体系。统计概率。生成式模型。小数据集起效快。文本基线算法。 逻辑回归、CNN：寻找最优超平面。判别式模型。海量数据可以持续提升精度。

神经网络的不可思议之处 2011年，AlexNet的问世标志着深度学习在机器学习领域的突破，深度神经网络（Deep Neural Networks，DNNs）迅速成为研究的重点。几年后，贝赫南·内沙布尔（Behnam Neyshabur）、富田良太（Ryota Tomioka）和内森·斯雷布罗（Nathan Srebro）等学者来自芝加哥丰田技术研究院（Toyota Technological Institute at Chicago），对深度神经网络的行为提出了令人震惊的观察。在他们的实验中，研究团队使用了一个仅包含单一隐藏层的神经网络。出乎意料的是，随着隐藏层神经元数量的增加（即模型容量的增加），该网络并未表现出传统上所预期的对训练数据的过拟合现象。 他们在两个标准的图像数据集上进行实验，其中一个是MNIST数据集，包含了手写数字图像。最初，随着网络规模的增大，训练误差和测试误差（即泛化误差）按照预期呈现下降趋势。当网络规模继续增大并且训练误差趋近于零时，根据经典的偏差-方差权衡理论，测试误差应当开始上升。然而，他们的实验结果却并未遵循这一规律，相反，测试误差持续下降。他们在2015年发表的论文中表达了对这一现象的困惑和惊讶： 更令人惊讶的是，如果我们将网络规模增加到超出实现零训练误差所需的规模，测试误差竟然继续下降！这一行为完全违背了我们对神经网络学习的传统理解，无法通过传统的假设空间拟合理论来解释。例如，在MNIST数据集上，32个神经元就足以实现零训练误差，但如果我们进一步增加神经元，网络对训练数据并未做出更好的拟合……然而，测试误差却持续下降。事实上，随着我们增加更多的参数，甚至超过训练样本的数量，泛化误差并没有如传统理论预测的那样上升。 尽管这一现象在早期的研究中已有所暗示，但内沙布尔及其同事是首个系统性地验证这一现象的研究团队。为了进一步探究这一问题，他们提出了一个更具挑战性的问题：如果故意向数据集中引入噪声，结果会如何变化？ 以MNIST数据集为例，每张图像都有对应的标签，如数字“5”对应标签“Five”，数字“6”对应标签“Six”，以此类推。假设我们从数据集中随机选取1%的图像并打乱它们的标签，例如将数字“5”误标为“Four”，数字“9”误标为“Two”等。然后，我们将数据集分为训练集和测试集，训练神经网络使其在训练集上实现零训练误差。对于这种情况，我们应该如何理解其结果？ 由于我们在数据中故意引入了噪声，网络在训练集上达到零误差意味着它已经“适应”了这些噪声。例如，它学会了将误标的数字“5”和“9”分别标记为“Four”和“Two”。因此，尽管数据中存在噪声，神经网络仍然能够在训练集上做出完美的拟合。在学习理论中，描述这种现象的术语是“打破训练数据”（Shattering the Training Data），即模型不仅能够完美拟合训练数据，还能对噪声做出某种“学习”——这种现象超出了传统机器学习理论的预期。 这一观察反映了深度神经网络与经典机器学习模型的显著不同之处。传统的学习理论往往假设，随着模型容量（即参数数量）的增加，模型会逐渐趋向于过拟合，无法很好地泛化到未见过的数据。然而，深度神经网络的实验结果显示，即便它们的容量远远超过了训练数据的样本数量，它们仍然能够有效地进行泛化，并且在测试数据上表现优异。 这种现象的出现，挑战了我们对神经网络和机器学习模型的传统理解，尤其是对偏差-方差权衡和过拟合机制的传统看法。它表明，深度神经网络可能具备一种独特的学习能力，即在高容量的情况下，不仅能够完美拟合训练数据，还能保持较低的泛化误差，甚至在引入噪声数据的情况下，依然能有效地进行泛化。 由于该模型能够完美拟合噪声数据，按照传统的机器学习理论，这种模型在测试数据上的表现应该会显著下降。直观而言，模型所学到的曲线是对训练数据噪声的高度拟合，而噪声通常是随机的，因此无法预期该模型能很好地泛化到未见过的数据。然而，实验结果却并非如此。内沙布尔（Neyshabur）及其同事在其研究中提道：“即便标签随机错误达5%，仍未出现显著的过拟合现象，而且随着网络规模的增大，测试误差依然持续下降，且超过了实现零训练误差所需的网络规模。”他们对这一现象感到困惑，提出：“这究

梳理了人工智能的发展脉络，每种人工智能技术的基本原理介绍。技术性、故事性都很好！也指出每种技术的特点，读完能够对人工智能相关技术以及发展脉络有个全面的了解。

模式识别的紧迫性 奥地利动物心理学家康拉德·洛伦茨（Konrad Lorenz）在童年时期深受瑞典小说家、诺贝尔文学奖得主塞尔玛·拉格洛芙（Selma Lagerlöf）创作的《尼尔斯骑鹅历险记》（The Wonderful Adventures of Nils）[插图]一书的影响。该书讲述了一个男孩与野鹅之间的冒险故事。洛伦茨幼时非常渴望成为一只野鹅，但这一幻想未能实现。他转而照顾邻居送给他的一只刚孵化一天的小鸭子。令人惊喜的是，这只小鸭子开始跟随他，因为它将他认作了自己的母亲。这种现象被称为“印随行为”（Imprinting，一种生物行为），即许多动物（包括小鸭子和小鹅）在孵化后会与最先看到的移动物体形成依附关系。 洛伦茨后来成为一名动物行为学家，开创了动物行为学领域的研究，特别是对印随行为的研究。他成功地让小鸭子将他当作母亲，它们不仅跟随他走路、跑步、游泳，甚至在他划独木舟时也紧跟其后。