如何创造可信的AI

《如何创造可信的AI》是一部极具前瞻性与启发性的人工智能领域佳作。作者盖瑞·马库斯和欧内斯特·戴维斯以深刻的洞察力，精准剖析了当前AI技术存在的过度依赖数据、常识缺失、算法单一以及信任危机等局限性，展现出对行业现状的清晰认知和深刻思考。 书中提出的以认知科学为基础的解决方案别出心裁，构建可信AI的三大支柱，从整合知识到因果推理再到持续学习，为AI的发展指明了切实可行的方向。而认知科学启示的11条路径更是干货满满，从多模型协同到道德嵌入，为AI领域的研究者和实践者提供了全面且实用的指导。 此外，书中对AI未来发展方向的探讨，如通用人工智能、常识工程和人机协作等，充满了对技术发展的美好愿景与理性思考。对实践者的启示也极具价值，业务导向、透明化设计和跨学科融合的建议，能够帮助从业者更好地推动AI技术的应用与创新。 在如今人工智能飞速发展的时代，这本书宛如一座灯塔，不仅为我们揭示了AI技术的困境与挑战，更提供了突破困境、创造可信AI的有效方法。相信无论是AI领域的专业人士，还是对人工智能感兴趣的普通读者，都能从这本书中收获颇丰，对AI的发展有更深入的理解和思考。

《如何创造可信的 AI》由人工智能专家盖瑞·马库斯与欧内斯特·戴维斯合著，聚焦于当前人工智能技术的局限性及未来发展方向。书中批判了过度依赖深度学习的现状，强调​​常识与深度理解​​是实现真正可信 AI 的关键，并从认知科学视角提出了 11 条发展启示。以下是核心内容提炼： ​​1. 核心主题：AI 的“可信性”困境​​ ​​现状与差距​​：当前 AI（尤其是深度学习）在语言理解、常识推理、适应新环境等方面远未达到人类水平，存在​​“狭隘性”​​。例如，AI 可能无法理解“杯子”在不同场景中的隐喻意义，或无法处理模糊、矛盾的信息。 ​​风险与信任​​：书中列举了 AI 的 9 个潜在风险，包括错误决策、伦理问题、安全漏洞等，并指出缺乏常识导致 AI 输出不可靠，阻碍人类与 AI 的信任建立。 ​​2. 对深度学习的批判​​ ​​算法缺陷​​：深度学习依赖大量数据统计，缺乏对世界的深层理解。例如，AI 可能通过数据模式生成看似合理但实际荒谬的结论（如“机器人有暴力倾向”的误判）。 ​​“美好悲剧”论​​：作者认为深度学习在特定任务上表现卓越，但其局限性可能使 AI 发展陷入“表面进步”的陷阱，无法迈向通用人工智能（AGI）。 3. 通用人工智能的路径​​ ​​常识与推理​​：人类具备语言理解、环境适应、快速学习等 5 大核心能力，而当前 AI 仅能模仿部分功能。书中提出，​​常识库构建​​和​​因果推理能力​​是突破瓶颈的关键。 ​​认知科学启示​​：从人类心智结构中汲取灵感，例如： ​​结构化认知​​：人类思维通过模块化工具（如记忆、注意力）实现高效处理； ​​理论驱动学习​​：儿童通过少量示例即可理解新概念，而 AI 需依赖海量数据。 ​​4. 实践建议与未来方向​​ ​​技术改进​​：通过多模态数据融合、知识图谱构建增强 AI 的深度理解能力； ​​伦理与监管​​：建立 AI 安全验证体系，避免“白板机器”（从零学习）的盲目性； ​​跨学科融合​​：结合心理学、神经科学为 AI 赋予类人思维模式。 ​​5. 行业评价与价值​​ ​​专家认可​​：麻省理工学院教授埃里克·布莱恩约弗森称其为“分离真相与胡扯的里程碑”，搜狗 CEO 王小川认为其对金融、医疗 AI 有指导意义。 ​​争议性观点​​：作者直言当前 AI 发展“停滞”，呼吁行业正视技术局限，而非盲目乐观。 ​​延伸思考​​ 书中未否定 AI 的潜力，但强调​​“可信性”需以人类智慧为基准​​。例如，儿童的学习能力、常识推理机制仍是 AI 需追赶的标杆。未来，AI 发展可能需回归认知本质，而非单纯追求数据规模扩张。

本书的作者是美国人盖瑞•马库斯和欧内斯特•戴维斯，两位都是纽约大学的教授，也是人工智能领域的一流专家。马库斯还是两家人工智能公司的首席执行官和创始人。 一、 AI技术会犯什么错误，有哪些局限性？ 2016年，一名特斯拉车主启动了自动巡航系统后，便沉湎在电影《哈利波特》之中，一辆白色的箱车违反交通规则，企图横穿高速公路调头，自动巡航系统不能分辨前方的白色物体是什么，一再提醒车主转入人工驾驶，但车主没有意识到系统的提示，汽车一头扎进了箱车的车底。2017年，不少医院停止了与IBM的合作，因为沃森给出的一些建议“不安全、不正确”，甚至“结果无法接受”。鉴于沃森的遭遇，Facebook的M计划也在2018年叫停。 为什么人工智能答题和下棋那么厉害，而在开车、疾病诊断、居家服务上就不行了呢？ 目前在AI成功的例子中，设计初衷都限定在狭隘的专业领域内，例如沃森在电视比赛中回答的只是针对性的问题；Alpha Go更是局限在19X19的棋盘内。这些AI是狭义的AI，不是广义的AI。广义的AI是通用的人工智能，有能力灵活地适应疆域无限的世界，能够综合各方面的信息做出判断，因此，开拓可以信赖AI的关键，是要在人类心智的内在结构中寻找线索。 从应用者的角度看，存在过度信任AI的风险。 从设计者角度看，追求完美的愿望会给AI的应用带来风险。设计者过分控制的欲望也会带来隐患。此外，设计目标偏差也会带来风险。 更多的风险来自AI技术本身。所有的AI设备或软件都必须经过训练才能使用。训练有两种，一种由设计者训练好再交付用户，另一种是让用户自行训练，以契合用户的不同需求。几乎所有事先训练好的设备都有很强的针对性，从而导致过度依赖数据，不能适应环境变化，一旦环境出现异常，就会失去控制能力。 很多人将规避这些风险寄托在深度学习上。然而，深度学习真的能解决这些问题吗？ 深度学习可以追溯到误差反向传递算法和分层模式识别。误差反向传递算法简称BP算法，是20世纪70年代提出的人工神经网络的算法。这种算法首先利用输出信号与理想信号之间的偏差来调整最后一层神经元的权值，然后再调整前一层神经元的权值，权值调整逐层向输入层发展。因为顺序是从输出端到输入端，因此叫反向。 分层模式识别是生理学家大卫• 休伯尔和托尔思滕• 维泽尔发现的一种生理现象，他们发现不同的视觉神经元在图像识别中担任不一样的角色，有的辨识轮廓，有的辨识内容，而识别复杂内容的过程要由多个神经元协调完成。后人将这种多层结构引入了神经网络，还将图像识别中非常有效的卷积算法用来完成计算，神经元功能分层与卷积算法极大地减少了权值修正时间，加快了收敛速度。 首先，要得到成功的应用，深度学习系统必须经过大量的学习，也就是说训练样本必须充分。然而在很多实际应用中很难找到那么多的训练样本，样本一少就会影响系统的工作成效。 其次，对于深度学习的系统，我们不清楚网络是怎样产生这个结果的。如果网络识别有误，我们就很难找到产生错误的原因。 第三，深度学习的识别能力是脆弱的，它非常容易受骗。 二、构建可信任AI的一些建议。 第一个建议是，AI技术想要进一步发展，可以从认知科学得到启示。这些启示可以归纳成三类：来自人类认知基础的启示、来自人类认知手段的启示和来自人类认知模型的启示。 人类认知的基础。人类的认知来自遗传。作者认为，人的基因里带有先天的认知和融合能力。现代脑科学认为，与一生下来就会走路的生物不同，人类在出生之际，大脑发育是不成熟的，婴儿出生后大脑继续发育，但是这部分发育与他后天的经历无关，而仅仅取决于个体基因。目前机器学习研究很少关注与生物领域和心理领域的互动。 人类认知的手段。人类的认知是高度结构化的，人类认知过程至少可以分为两类系统，一类可以称为快系统，这类系统处理不需要经过大脑思考直接就会发生的反应；另一类可以称为慢系统，需要经过思考，从分析和推断中产生应对方案。在人类的认知过程中，这两类系统几乎是同时工作的，但也会分别进行，是根据实际需要调节的。除了高度结构化的认知系统，人类在认知过程中还会对人或事的演化进行跟踪。 此外，人类在认知过程中会自觉地采用抽象、归纳等思想方法，通过抽象和归纳可以加深对事物的认识。人类在认知过程中广泛使用语言，而人工智能的学习更多的是文字或数据，在通常情况下，语言可以比文字表达更多和更复杂的信息。 人类认知的模型。人类的认知模型通常是因果模型，而人工智能模型多数是依赖相关关系的；人类对于事物的认识常常是依赖环境的，而人工智能对于事物的认识常常是固定的。 第二个建议是应该让人工智能了解人类的常识，变深度学习为深度理解。 第一个框架是以时间进展为线索。任何事件都与时间相关，记录先做什么再做什么。如倒酒，先开瓶盖再倒酒，叫顺序；而对于救火，先救室内被困的活人，再救困在树上的小猫，这叫缓急。现在已经制定了一套形式逻辑系统，可以用计算机能懂的语言将情景与随着时间的变化发展描述出来。 第二个框架是以空间和事物的形状为线索。现代计算机图形学已经能够通过光线处理将一个复杂环境中的各个物体准确地描述和区分。因而一些静态的物体比较容易处理，困难的是一些可变的物体，例如网袋。 第三个框架是以因果关系为线索。广义地说，因果关系包含世界上随着时间变化的一切知识，这些知识可以是通用的、也可以是特定的。因果关系是有时间顺序的，应用的时候可以从因推断出果，也可以从果反过来断定因。

我快速过了其中的几个章节，我感觉这本书适合ai 从业者或者说高年级本科生作为思考的素材读一读。水平更低的这本书已经更不上形势了。 以我很粗浅的认知来看，ai 本质上可以说有两个流派，一个努力从人脑神经活动获取灵感，另一个假装从人脑神经活动获取灵感。一般前者都是特别喜欢搞高大上的批评，而后者一般都是做一些实用的，低级的但是可规模化的东西。在第三次ai 浪潮当中，基本上前者被彻底边缘化了。 这里头本质的问题在rich Sutton写的the bitter lesson里指出来的很清楚。研究者喜欢搞一些高大上的创新，但是这些创新通常都不scalable 。然后在短期来看似乎很厉害，但是长期来看很容易掉到local maxima里面。 为什么脑科学不是研究ai 的好的切入点 —- 从哲学理论上来看，我是这么看的，首先所谓的脑科学非常的复杂，这就导致了没有明确的对错，不像是decoder only transformers 那么简单，你只要拿loss 比一比你就知道怎样。当整个研究对象非常复杂的时候，就只有学术共同体内部的一个很小圈子可以评价。这不利于祛魅。 第二个，也是更大的问题，就是科学家普遍认为的复杂就是美，以及以人为智能最高的评价标准。这就好像古希腊虽然已经有很好的天文学成果，依然认为地心说，以至发明了本轮，均轮理论。 事实上，我认为完全没有理由认为ai 一定要模仿人的思考方式，就像计算机的基础理论，不管是图灵机，冯诺依曼架构，或者是lambda函数都没有尝试模仿人一样。

现阶段深度学习的进展比不懂深度学习的人比如尤瓦尔赫拉利所想象的慢很多很多，深度学习要达到人们对他期望还有很长的路要走。人工智能正在不断发展的过程之中，所以，我们最好尽自己最大的力量，确保接下来会发生的一切都是安全、可信、可靠的，并在我们的引导之下，让人工智能尽可能地为全人类提供帮助。 而朝这一目标前进的最佳路线，就是跳出大数据和深度学习这个框架，走向更具鲁棒性的全新的人工智能——经过精心工程设计的，出厂就预装价值观、常识和对世界深度理解的人工智能。

        《如何创建可信的AI》从狭义AI及大数据、深度学习的局限性开始，说明为什么现代AI不可信，并提出如何创建可信AI：依靠优秀的工程实践，用深度理解代替深度学习，建造具备常识、认知模型和强大推理能力，并符合人类价值观的机器，才能创建可信AI。 可信AI用更加优秀的人工智能来治愈有风险的人工智能，打造对世界拥有真正理解的人工智能。 （一）Narrow AI和AI鸿沟 “目前的AI是在限制领域内专用的狭义AI（Narrow AI），只能应用于其设计初衷所针对的特定任务，前提是系统所遇到的问题与其之前所经历过的场景并没有太大的不同。” “问题的核心就在信任二字。我们如今所拥有的狭义AI系统的确能按照编程逻辑去完成工作，但我们无法信任这样的系统去做那些没有被程序员精准预期到的任务。而当利害关系足够大时，这一问题就显得特别要命。” 这里表达的观点，背后的内容比较丰富。现代人工智能以深度学习为主导，以DNN、大数据和超高速计算机为三驾马车，它们是现在人工智能的制胜之道，但也是局限所在。 （1）Narrow AI只能应用于其设计的特定任务，甚至可能比你想象的还要Narrow。AlphaGo(Zero)能通过强化学习，学会下围棋，但它不能将下围棋的能力迁移到其它棋类或者游戏。 （2）在机器智能视觉领域，ConvNets（DNN）和ImageNet（大数据）是基石，但在目标识别的也存在致命短板，比如convNet在ImageNet的正确目标识别率实际是top-5的准确率而非top-1、人类识别错误率5%基准实际来自被试只有一个的实验结果、和识别目标相关的对象出现但目标对象没有出现的图片会导致机器误判等，包括对抗样本的攻击等（参考《AI3.0》）。 （3）自动驾驶的长尾效应（边缘案例）常常会让机器犯错，需要在“地理围栏”，即特定地理区域应用。 自动驾驶、老年人护理、重大疾病诊断机器人等就是利害关系足够大的AI，信任是特别要命的问题。 AI的理想（Broad AI）与现实（Narrow AI）之间，存在AI鸿沟及其3个大坑： （1）“轻信坑”：机器的行为与人类相似，并不说明机器拥有和人类一样的思维机制，机器实际并不具备这样的思维能力。机器只是按照程序员的“编程逻辑去完成工作”而已。 （2）“虚幻进步坑”：“误以为AI解决了简单问题，就相当于在难题上取得了进步”。能和你聊天的机器人，并不能说明它已经具备人类的深度理解能力。 （3）“鲁棒坑”：长尾效应（边缘案例）、对抗样本攻击等场景下，AI其实并不能继续工作正常。 （二）现代AI大数据和深度学习的局限性 现代AI的9个风险，其中6个风险来自大数据的局限性： （1）基本超归因错误：AI鸿沟的“轻信坑”，AI实际并不具备人类的思维能力，“不假思索地将太多的权力交到AI手中，并假设在某个场景中所取得的成功能确保另一个场景中AI的可靠性”是危险的。 （2）鲁棒性的缺失：AI鸿沟的“鲁棒坑”，长尾或者边缘案例失效、容易受对抗样本攻击等； （3）训练集精准细节依赖：现代机器学习严重依赖于大量训练集的精准细节，如果将这样的系统应用于训练过的特定数据集之外的全新问题，就没法用了； （4）AI偏见：实际上也是大数据依赖风险，“目前的AI系统只会对输入数据进行模仿，而将社会价值和数据的本质及质量置之不顾”； （5）回音室效应：当代AI对训练集的严重依赖，也会引发有害的回音室效应，系统最后是被自己之前产出的数据所训练的，比如在机器视觉领域，“系统依赖于众包工人来给图片打标签，但有时众包工人会利用AI驱动的机器人来做事”，这将引发有害的回音室效应。 （6）公众可任意操纵的数据影响：这些程序将容易受愚弄； （7）社会偏见的程度加剧：前面的社会偏见再加上回音室效应，进一步加剧社会偏见； （8）太容易落入错误目标的陷阱：AI解决问题的指标看似达到目标，但与实际目标不符，书中提到的抓取物品、踢球、计算奶牛发情期的AI，例子都挺鲜活； （9）可能被别有用心的人利用，对公众造成严重伤害：“现如今的AI被数据像奴隶一样驱赶，对程序员和系统设计师希望其遵从的道德价值观一无所知”。 深度学习是机器学习的范畴，基于分层模式识别和学习两个基本思想，学习需要反馈和调整，比如根据目标识别结果，利用反向传播算法调整权重提高准确率，利用卷积提高效率。那么，深度学习的局限性有哪些呢？书中总结了三个核心问题，即深度学习是： 1）贪婪的：“为了将神经网络中的所有连接都调校准确，深度学习常常需要大量的数据”； 2）不透明的：神经网络是个黑箱，它“究竟为何能做到这许多事情，至今仍然是一个未解之谜。而人们也不知道神经网络在达不到既定目标时，问题究竟出在哪里”；“针对特定问题选定的网络设计还远远不是一门精确的科学，更多是由实验而不是理论来指导”。即它是不可解释，训练过程需要设置的DNN层数、参数（即权重）等超参数，都是靠大数据和工程师的经验来调整； 3）脆弱的：即鲁棒性差，“深度学习在某个场景中可能臻于完美，而在另一个场景中却大错特错”；深度学习依赖训练集精准细节，长尾效应（边缘案例）、对抗样本攻击等场景下，AI并不能保证继续工作正常。“归根结底，深度学习并没有那么深刻。很重要的一点，就是要认识到，深度学习这个说法中的“深度”二字，指的是神经网络中分层的数量，除此之外别无其他。” （三）常识是实现深度理解的关键，构建可信AI “如果人工智能想要成为与自然智能有些许相似之处的事物，我们就要学习如何构建结构化的混合系统，将先天的知识和能力融入进去，让它实现对知识的组合性表征，并对持续存在的个体进行跟进，就像人类所做的一样。” “当机器有朝一日也能做到同样的事情，以人类一般的流畅性来对不确定、不精确和不完整的知识进行表征和推理时，灵活而强大的广义AI时代便终于拉开了帷幕”。 从认知科学启示看，大脑和认知系统是复杂的，实现深度理解需要丰富的认知模型、抽象和概括的能力，感知、预测和决策的高度结构化，自上向下的信息，和自下而上的信息（13还是字母B的例子），明白因果关系理解世界的基础，以个体而非类别了解事物，具备先天的知识而不是从白板开始等。 常识是人们普遍掌握的知识，是实现人工智能深度理解的关键。在正确表征知识（即编码知识）的基础上，理解事物与时间的关系、理解一切关于世界如何随时间变化的知识，即具备因果关系的思考能力，具备推理的能力，机器才真正具备常识，拥有对世界的连贯理解。 构建可信AI，需要优秀的工程实践，超越大数据或统计数据依赖，用深度理解取代深度学习，并赋予机器道德价值观。​

1. 本书讲述了仅靠大数据与深度学习无法保证AI安全与可信，未来 AI 需内嵌常识、价值观与道德判断，并在设计、训练、部署全链条体现可解释性、鲁棒性与合规性; 2. 在深度学习如火如荼之时，本书作者在2020年泼了一盆冷水，提醒我们关注联接主义学派的不足之处，提倡建立基于认知与常识的AI(理解为是符号主义)，但是随着技术发展与探索，目前这些问题正在逐渐攻破与解决; 3. 本书共8章，可分为三个部分，第一部分是1-3章，讲述深度学习的缺点及建立在其之上的AI的不足之处，第二部分是4-5章，举例说明基于深度学习的阅读与机器人的不可靠，第三部分是6-8章，讲述作者给出的解决方案，基于认知和常识，建立可信AI; 4. 每章的观点参考如下： 第一章说明理想与现实之间，存在着一个被称为AI鸿沟（The AI Chasm）的大坑：轻信坑、虚幻进步坑、鲁棒坑； 第二章提出AI的九大风险：过度信任风险​​、数据依赖风险​​、鲁棒性不足风险​​、偏见与歧视放大风险​​、恶意滥用风险​​、幻觉与有毒信息风险​​、递归式自我改进失控风险​​、具身AI与生物AI的物理安全风险​​、大规模系统风险​​; 第三章核心观点是：深度学习虽在数据自动化特征提取和感知通用性上表现出色，但解释性、鲁棒性和常识推理的缺失使其难以支撑可信、可靠的下一代 AI; 第四章的核心观点是：​​当前的深度学习模型之所以还不会“阅读”，是因为它们缺乏对语言背后意义、上下文与常识的真正理解​​，这个目前LLM已经基本解决; 第五章的核心观点是：​​在家庭这种高度动态、充满不确定性的场景中，现有机器人技术仍难以胜任“管家”角色，需要赋予其对环境的深度理解与常识推理能力​​，而不仅仅是依靠单纯的物体识别或定点导航; 第六章​讲述为了使人工智能真正逼近人类水平，必须从认知科学汲取灵感，构建一套兼具符号推理与统计学习的混合系统​​; 第七章的核心观点是：​​常识推理是机器实现深度理解与真正智能的关键​​。需要将时间、空间、因果等基本概念融入推理框架，也把感知、语言、行动能力整合成统一的认知模型; 第八章的核心观点是：​​要让生成式人工智能真正被社会接受，必须把“信任”作为系统设计的出发点和衡量标准​​。

永远都没有可信的 ai，这个是哥德尔和图灵数学的证明，如同不可能具有不可以被攻破的系统一样，只是其中的难度和时间消耗的差异，随着系统复杂性的增加，演化的过程更多不是 ai 本身而是系统性问题，对于 ai 可靠性的提高，如同大家看到当下 chatGPT 类似的过程，至少很多时候都是把语言和文字模式化，通过对于模式的数据重构而获得了我们感觉很神奇的 ai，但是对于其中思考的本质，以及产生的新信息的识别的可能性来说意义不大，但是对于信息的分发状态会产生更大影响，这个也就是互联网带来知识的普及模式，只是换了一个马甲，对于接受的信息都是被加工完成，但是能否从信息之中产生知识或者新知识，也许就是 ai 的意识瓶颈。对于人类智能也是类似的，对于知识的产生和理解需要时间，也就是生物学的限制，但是 ai 似乎只有算力。ai 学习能力产生在当下需要人类的帮助，其中比较典型的就是标记，经过了识别确定或者修订之后，就会产生一些全新的方式，或者演化的方式就会超过了人类的学习过程。当下对于 ai 还是处于我们对于儿童呀呀学语的时间，判断孩子的未来一样，但是我们终是充满了期待，无论是光明还是黑化，都是存在着可能，不确定的。

本书所讨论的正是现今AI的困境所在，尽管书中的一些例子已经被ChatGPT解决，但站在2025年我们非常清楚的看到在任何严肃任务中LLM的表现都非常糟糕，无法控制的幻觉、错误推理、观点歪曲和对未知场景中毫无意外的错误表现都继续证实着书中观点。 我们需要重启AI，理解概念、常识、逻辑和物理规则，而不是屈服于数据统计带来的相关性假象。 如果你认同LeCun的观点，这本书基本可以看作LeCun演讲的扩写版。

第一次出版后（好像是5月31日）10天第一时间读完一本书。非常推荐给所有人工智能从业者，非从业者读可能有些难度，尽管作者已经尽量科普。作者马库斯是认知科学和AI的先驱，是敢于硬刚Lecun等大佬的大侠，之前就已听说其名，遂中文版出来以后第一时间读完（有电子版）。翻译瑕不掩瑜。这是一本反思，他分析了为什么仅靠深度学习难以抵达推理和因果，为什么这些高级的智能因素如此重要，而业界现在实际上却几乎摸不着头脑，老实说非常符合我自己的思考。