神经网络与深度学习

书名：神经网络与深度学习 类型：计算机专业书 作者简介：吴岸城，2004年毕业于浙江大学计算机系。2008年创建易元堂周易预测服务交易平台，2016年06月出版<神经网络与深度学习>，2017年07月出版<深度学习算法实践>，目前就职于亚信科技。 本书是一本人工智能领域入门级的书籍，主要内容包括以下几个部分： 1. 人工智能的发展历史：三次人工智能浪潮的前因后果，以及这三次浪潮中的弄潮儿。 2. 神经网络及深度学习领域常见的算法，以及这些算法的使用。 3. 决策树、感知机、神经网络、深度学习的区别与联系。 如果想要对人工智能领域有一个快速、全面的了解到话，那么本书是极力推荐的。 本书并没有详尽的解释各种人工智能算法的原理及推理论证过程，如果想要学习人工智能领域具体的算法的话，那么本书是不合适的。 下面对人工智能的概念做一个简单的科普。 概念： 1. 决策树：是一个预测模型；它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，每个叶节点对应从根节点到该叶节点所经历的路径所表示的对象的值。 2. 感知机：它被视为是一种最简单的前馈神经网络，是一种二元线性分类器。 3. 神经网络，是机器学习的一个分支，学名应该叫人工神经网络，与之相对应的是生物神经网络（Biological Neural Networks, BNN），我们将模拟生物神经网络的数学模型统称为人工神经网络模型，简称人工神经网络或者神经网络。 4. 前馈神经网络：最简单的人工神经网络类型。在它的内部，参数从输入层向输出层单向传播。 5. 特征：本书中指将现实生活中的事物的部分特点提取并抽象出一种数学或物理模型。 6. BP算法（反向传播算法）：是一种监督学习算法，常被用来训练多层感知机，利用反向传播原理修正权值。 7. RBM（限制波兹曼机）：是一种可通过输入数据集学习概率分布的随机生成神经网络。 8. DBN（深度信度网络）：通过自底向上组合多个RBM可以构建一个DBN，利用非监督贪心逐层训练算法，解决深层结构相关的优化问题。 9. CNN（卷积神经网络/ConvNets）：是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 10. SVM（支持向量机）：监督学习方法，属于一般化线性分类器。这种分类器的特点是它们能够同时最小化经验误差与最大化几何边缘区，因此支持向量机也被称为最大边缘区分类器。 11. K-Means：把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离它最近的均值（此即聚类中心）对应的聚类。 人工智能派别： 主流观点分成了两派： 1. 一派认为实现人工智能必须用逻辑和符号系统，这一派是自顶向下的。 2. 还有一派认为通过仿造大脑可以达到人工智能，这一派是自底向上的，他们认定如果能造一台机器，模拟大脑中的神经网络，这台机器就有智能。 各路大神及人工智能简史： 1. 1943年，传奇人物麦卡洛可（McCulloch）和皮茨（Pitts）发表了模拟神经网络的原创文章。 2. 控制论的始作俑者诺伯特·维纳。 3. 得到维纳真传的人不多，迈克尔·阿比卜（Michael Arbib）是其中之一，他是MIT计算机系的创始人之一。 4. 乔丹，吴恩达导师。 5. 唐纳德·赫布（Donald Olding Hebb）是加拿大心理学家，在神经心理学领域有重要贡献，他的研究方向是神经元在心理过程中的作用。 6. 弗兰克·罗森布拉特（Frank Rosenblatt），康奈尔大学的实验心理学家，在一台IBM-704计算机上模拟实现了一种他发明的叫作“感知机”（Perceptron）的神经网络模型。 7. 马文·明斯基（Marvin Lee Minsky）是人工智能的奠基人之一，是达特茅斯会议的组织者（其他组织者有麦卡锡、香农等）。1951年，他提出了关于思维如何萌发并形成的一些基本理论，并建造了一台学习机，名为Snare。Snare是世界上第一个神经网络模拟器，是人工智能最早的尝试之一。 8. 1959年，美国工程师维德罗（B.Widrow）和霍夫（M.Hoff）提出了自适应线性元件（Adaptive linear element，简称Adaline）。它是感知机的变化形式，也是机器学习的鼻祖模型之一。它与感知机的主要不同之处在于， Adaline神经元有一个线性激活函数，这允许输出是任意值，而不仅仅只是像感知机中那样只能取0或1。 9. MIT的大卫·考特尼·马尔（David Courtnay Marr）将心理学、人工智能和神经生理学的研究成果结合起来，提出了全新的关于视觉处理的理论。他被认为是计算神经科学的创始人，影响了后来连接主义的运动。 10. 哈佛的保罗·沃波斯（Paul Werbos），1974年写了一篇博士论文在神经网络中多加一层，然后利用“后想传播”学习方法，解决了感知机XOR问题。同时他首次给出了如何训练一般网络的学习算法。 11. 物理学家霍普菲尔德（J. J. Hopfield），1982年提出了一种新的神经网络——霍普菲尔德神经网络。 12. 1986年，鲁姆哈特（David Rumelhart）和麦克莱兰（McCelland）等几名学者提出的BP神经网络是神经网络发展史上的里程碑。 13. 杰弗里·辛顿（Geoffrey Hinton）是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者，2006年他的一篇文章开辟了深度学习领域。 14. 吴恩达，2012年和谷歌合作建造了一个当时最大的神经网络，这是谷歌神秘的X实验室的一个计划。这个世界上，第一个能够让机器识别“猫”的人就是他。（这是他的封神之作）。 机器学习分类： 1. 机器学习可分为三类：监督学习、非监督学习、强化学习。 2. 监督学习（Supervised Learning）：监督学习是机器学习中一种典型的学习方法，顾名思义，监督式学习就是有个人在旁边看着你学习，随时纠正你学习中的错误。 3. 非监督学习（Unsupervised Learning）：非监督学习，也就是没有“人”在旁边督促你学习，没有人为标定好的训练数据，没有告诉模型哪些数据是正确的，哪些是不正确的。 4. 强化学习（Reinforcement Learning, RL）：有时候，我们不知道标注是什么，即一开始不知道什么是“好”的结果，所以RL不是给定标注，而是给一个回报函数，这个回报函数决定当前状态得到什么样的结果（“好”还是“坏”），其数学本质是一个马尔科夫决策过程。 好了，就到这里了！ 完～

《神经网络与深度学习》拆解 作者：吴岸城 一、一句话概括 神经网络通过大量简单计算单元的连接，从数据和误差反馈中自动调整参数、逐层学习特征；深度学习的价值不只是网络更深，而是让机器从原始数据中形成越来越抽象的表示。 二、核心逻辑 全书以通俗案例串联神经网络的发展和应用： 1. 从大脑和分类问题理解什么是神经网络。2. 从单个神经元、感知机和代码实现理解网络怎样学习。3. 解释机器学习、特征、浅层学习与深度学习的关系。4. 介绍稀疏编码、自编码器、RBM、DBN、CNN和RNN等模型。5. 以AlphaGo展示深度学习与搜索、强化学习的组合。6. 延伸到迁移学习、概率图模型、并行计算和类脑智能。 核心训练路径是： 输入数据 → 网络生成预测 → 计算预测误差 → 反向调整参数 → 重复训练 → 逐层形成更有效的特征 三、核心内容 1. 机器学习是让系统从样本中总结规律 传统编程由人明确写出规则，机器学习则让算法根据数据和目标自动调整模型。 以挑选橙子为例，人可以根据大小、颜色和重量形成判断；机器学习则把这些属性表示为特征，再从带标签样本中学习分类边界。 模型学习到的是数据中的统计规律，而不是人类意义上的完整理解。 2. 人工神经元是加权输入与激活函数的组合 一个人工神经元接收多个输入，为每个输入分配权重，求和后再通过激活函数产生输出。 权重表示不同输入的重要程度，偏置用于调整激活阈值，激活函数则赋予模型非线性能力。 单个神经元能力有限，大量神经元按层连接后，才能表达复杂关系。 3. 感知机是最早的神经网络分类模型 感知机根据输入加权和进行二分类。 如果样本被错误分类，算法会调整权重，让下一次判断更接近正确结果。 对线性可分的数据，感知机可以找到分类边界；如果数据无法被一条直线或一个超平面分开，单层感知机就无法解决。 这推动了多层神经网络和非线性模型的发展。 4. 多层网络通过隐藏层表示复杂函数 多层网络通常包括输入层、一个或多个隐藏层和输出层。 隐藏层不直接对应最终标签，而是把输入转换成更适合任务的内部表示。 例如，在图像识别中，较浅层可能学习边缘和纹理，较深层把这些局部模式组合成形状和对象。 层次表示是深度学习区别于单纯线性分类的重要能力。 5. 反向传播让网络根据误差调整参数 训练时，网络先执行前向传播得到预测，再计算预测与真实答案之间的损失。 反向传播利用链式法则，把输出误差逐层分配给网络中的参数。 优化算法根据梯度调整权重，使损失逐步降低。 这可以概括为： 预测 → 比较 → 追溯误差 → 更新权重 → 再次预测 理解反向传播，是理解神经网络如何学习的关键。 6. 特征决定模型能够发现什么 传统机器学习高度依赖人工特征工程。 例如，图像分类可能需要人工设计边缘、形状和纹理特征；文本分类则需要词频、关键词和句法信息。 特征质量会直接影响模型上限。错误或缺失的特征，不能仅靠更复杂分类器修复。 深度学习的重要突破，是让模型直接从原始数据中自动学习特征。 7. 深度学习通过多层表示减少人工特征工程 浅层学习通常使用人为准备的特征，再由模型完成预测。 深度学习把特征提取和预测整合进同一个网络，通过端到端训练共同优化。 其优势包括： 自动学习复杂表示；适合图像、语音和文本；能利用大规模数据；不同层可以提取不同抽象程度的信息。 代价则是训练需要更多数据、算力和调参，结果也更难解释。 8. 稀疏编码用少量基元素表示输入 稀疏编码假设，一个复杂样本可以由少量基础元素组合而成。 例如，一幅图像可以由少数边缘、方向和纹理基元表示。 “稀疏”表示在大量可能特征中，只有少量特征在某个样本上激活。 这种表示有助于降低冗余，并与生物视觉系统中的部分响应特征产生一定类比。 9. 自编码器通过重构学习隐藏表示 自编码器包括编码器和解码器： 编码器把输入压缩成隐藏表示；解码器从隐藏表示恢复原始输入。 如果隐藏层受到容量、稀疏或噪声约束，模型就不能简单复制输入，而必须提取关键结构。 多个自编码器可以逐层堆叠，形成栈式自编码器，用于降维、预训练、去噪和特征学习。 10. RBM和DBN代表早期深度生成模型 受限玻尔兹曼机使用可见层和隐藏层，通过能量函数描述数据分布。 多个RBM可以逐层堆叠成深度信念网络，再进行整体微调。 在深度学习早期，逐层无监督预训练帮助缓解深层网络难以训练的问题。 随着更好的激活函数、初始化、归一化和大规模监督训练出现，RBM和DBN在主流应用中的地位下降，但它们仍是理解深度学习历史的重要环节。 11. 卷积神经网络适合图像 CNN利用图像的局部结构。 卷积核在不同位置共享参数，寻找相同的边缘、纹理或局部模式；池化和步长操作则减少空间尺寸，并提高一定的平移稳定性。 CNN的优势包括： 参数共享；局部连接；层次特征；高效并行；对图像结构具有较好归纳偏置。 它成为计算机视觉长期发展的核心架构。 12. 循环神经网络处理序列和记忆 RNN把前一时刻的隐藏状态传递到下一时刻，因此能够利用历史信息。 它适合语言、语音和时间序列。 普通RNN在长序列中容易出现梯度消失或爆炸，导致早期信息难以保留。LSTM和GRU通过门控机制改善长期依赖建模。 今天Transformer在许多序列任务中取代了传统RNN，但“利用上下文状态”的核心问题仍然存在。 13. AlphaGo结合了深度学习与搜索 围棋状态空间极其庞大，单纯穷举无法完成有效决策。 AlphaGo的核心组合包括： 策略网络：预测更值得尝试的落子；价值网络：估计当前局面的胜率；蒙特卡罗树搜索：在候选路径中进行模拟和选择；专家棋谱学习；自我对弈强化学习。 深度学习负责识别局面与价值，搜索负责规划行动。 其成功说明，高水平智能往往来自多种方法的组合，而不是单一神经网络。 14. 强化学习通过奖励学习策略 强化学习中的智能体在环境中采取行动，根据奖励或惩罚调整策略。 它与监督学习的区别是，系统通常没有每一步的标准答案，只能根据长期结果判断行动好坏。 主要困难包括： 奖励延迟；探索与利用；状态空间巨大；奖励设计不完整；训练样本效率低；模拟环境与现实环境存在差距。 AlphaGo的自我对弈，是强化学习与深度网络结合的代表案例。 15. 迁移学习复用已有知识 从头训练大型模型需要大量数据和算力。 迁移学习先在大数据集上训练模型，再把学到的表示应用于新任务。 常见方法包括： 固定前部特征层，只训练新输出层；对部分网络进行微调；在相近领域继续训练；使用预训练模型作为初始化。 迁移学习的基础假设是，原任务与新任务共享某些有用结构。 如果领域差异过大，也可能发生负迁移。 16. 概率图模型表示变量间的依赖和不确定性 概率图模型用图结构表示随机变量之间的关系。 贝叶斯网络、马尔可夫网络和隐变量模型，都可以表达数据怎样生成以及不同变量如何相互影响。 神经网络擅长学习复杂函数，概率图模型擅长表达结构和不确定性。 将二者结合，是深度生成模型、结构化预测和可解释推理的重要方向。 17. 不同问题需要不同模型 不存在适合所有任务的最佳架构。 模型选择需要考虑： 数据是图像、文本、序列还是表格；样本规模；标签是否充足；目标是分类、回归、生成还是决策；是否需要解释；延迟和算力限制；错误成本；是否存在长期依赖或空间结构。 在选用复杂网络前，应先建立简单基线，并确认复杂度确实带来有效收益。 18. 大规模学习依赖并行计算 深度网络训练包含大量矩阵和张量运算，适合GPU并行。 数据规模和模型规模进一步扩大后，还可能使用： 数据并行；模型并行；多GPU和多节点训练；参数服务器；分布式存储；异步或同步更新。 并行计算能够提升速度，也会引入通信开销、参数一致性和故障处理问题。 19. 类脑智能不等于简单复制大脑结构 人工神经网络受到生物神经元启发，但与真实大脑存在巨大差异。 生物神经系统具有复杂的化学过程、身体反馈、持续学习、低功耗和多层次结构。 直接把网络节点称为“神经元”，不代表模型已经复制人脑。 类脑研究可以从大脑获得启示，但所有类比都需要通过实验验证，不能把相似术语当作机制相同。 20. 本书呈现的是深度学习早期发展图景 本书重点介绍稀疏编码、自编码器、RBM、DBN、CNN、RNN和AlphaGo，主要对应Transformer、大语言模型和扩散模型普及之前的阶段。 其中部分技术已经不再主流，但以下基础仍然有效： 感知机与神经元；多层表示；反向传播；特征学习；卷积结构；序列建模；迁移学习；强化学习与搜索结合。 阅读时应区分长期原理与具体技术流行度。 四、本书最值得关注的核心观点 本书最值得关注的观点是： 深度学习的核心不是“模拟了人脑”，而是把特征学习和任务学习放入同一个可优化系统。 传统流程由人先设计特征，再训练模型；深度学习则让网络根据最终任务的误差，反向决定中间层应该提取什么信息。 这使模型能够从像素、声音和文字等原始数据中学习复杂表示。 但端到端学习并不意味着不再需要人。人仍然决定数据、目标、损失、架构、评价和使用边界。机器自动学习的是参数和表示，而不是问题本身是否值得解决。 五、一段话总结 《神经网络与深度学习》从单个神经元、感知机和反向传播入手，解释多层网络如何通过误差反馈调整权重，并逐层学习由简单到抽象的特征；随后介绍稀疏编码、栈式自编码器、受限玻尔兹曼机、深度信念网络、卷积网络和循环网络，并以AlphaGo说明策略网络、价值网络、蒙特卡罗树搜索和强化学习如何协同。迁移学习负责复用已有表示，概率图模型用于描述结构与不确定性，并行计算则支撑大规模训练。书中的部分架构属于深度学习早期阶段，但其核心思想仍然有效：深度学习的突破不在于简单复制大脑，而在于将特征提取和任务预测统一到端到端优化中，让数据和目标共同塑造内部表示。

前5章适合普及神经网络概念 细节上适合学习一下基本概念再读 比如说基本的行列式矩阵，偏导，代价函数，阶梯函数 之后再来看会很速度。 中间两章章用来实践 本书运用jaava 和Matlab的代码。之后 解释一些alfalgo的原理。 包括 强化学习 迁移学习等背景。最后一章讲贝叶斯网络 马尔可夫网络。可以提前了解一些条件概率的知识比如贝叶斯方法，这样会好理解一些整体概念 为了深入学习提供资源[微笑]一起加油[爱你]

看开头感觉还不错。但价格还是让人很纠结。加几块钱就可以直接买本纸质书了。而且最近感觉微信读书的价格很不稳定。有好多之前价格特贵的书降到一半不到。。。Kindle也没有这本的电子书。忧伤…

看了这本书，我这个小白终算是入门深度学习了。为了毕业设计，加油哇！[呲牙]

一本2016年购买阅读的书，直到2020年才算看完，其中还参杂着大量我的一知半解的认识。电子版的内容有大量的笔误，纸质版已经一一勘正。 之所以打5星，是因为毕竟本书写作于2016。 这是我接触AI的第一本专业书籍，算是比较深入浅出的介绍了神经网络与深度学习的体系，可以作为入门阅读书籍，先建立起框架。 分层、分类、压缩，这是我看完本书后脑中浮现的最多的词汇。神经网络与深度学习，提供了对海量非格式性数据的处理的模型，降低了可计算性的量级，提供了分层分类的数据特征的抽取，实现了压缩后的特征抽取。 反过来看人类的大脑，也是有类似的结构构成。人类是万物之灵这句话，也许将维持不久。最奇妙的感觉，也只是数据统计的一个结果。心理医学上的潜意识，可能仅仅只是分层的数据归类之一... 人工智能和分子生物学，让人类走向了即将完全自我剖析的的最后阶段。奇点何时到来？也许很快！

我滴神，总算吭哧吭哧读完了，脑壳疼[哈欠]。总结一下：用SVM支持向量机把数据映射到高维或者给神经网络增加隐含层来处理非线性数据，用PCA主成分分析或者自编码器给样本降维，用梯度下降法做优化，用正则化避免过度拟合，用卷积神经网络做图像识别，用循环神经网络做自然语言处理，用强化学习进行策略奖惩，完成决策。 有一个问题书里没提到，如果有恶意动机的攻击者在样本中埋进了难以清洗的噪声和异常值，使得模型在训练时表现优秀，却在应用时无法正常泛化，或者学到错误的数据模式，导致参数朝错误的方向迭代更新，甚至输出错误的结果，这岂不成了安全问题。。。该怎么避免呢？

人工智能，这本书比李彦宏、李开复的实在多了，更适合广大群众读者。李开复、李彦宏是AI领域大佬，高屋建瓴讲格局、讲故事、有借题发挥推广自己公司产品之嫌；读之有觉证己在AI领域地位之空泛。这本书言简意赅，由浅入深，故事例子比喻恰当；适合初学者。预测上证股指的例子，有空自己写写代码，看看效果。[奸笑]

不点评这本书了，说说对ai未来三年的预判 1、基于transformer和深度学习，出现大量水平、性能接近的开源、多模态的知识压缩大模型 2、基于基础知识压缩大模型，对每个垂直领域应用的fine tune，形成满足该领域应用特点的垂直大模型，并进一步产品化形成该领域的生产力工具，是未来3年的发展关键 3、3年内很难形成真正的AGI，transformer这套很可能不是实现AGI的真正道路 4、由于各个垂直领域，基于ai的生产力工具会极大发展，很可能出现大量超级个体（真正的自媒体、真正的个人设计师、柔性生产赋能下的超级手艺人等等），“大厂”的公司化、工业化生产方式可能受到巨大挑战 5、ai不会取代各个工种，而是使各个工种的水平差异变得更大，对ai工具使用经验不足、个人想法不够的普通水平劳动力将没有存在价值，但超级个体在ai的加持下，会和普通人拉开更大的差距

对于没有编程基础的工科生，读下这本貌似只是皮毛概述的书也绝非易事。奈何是对象“送”的，流着泪也要看完。必须得说还是有一定收获的。一是对该领域的一些皮毛了解，二是让自己的脑子重新适应阅读，而不是沉迷接收那些快餐娱乐信息。