AI的25种可能

约翰·布罗克曼编辑的每一本书，不夸张的说都值得重视，不仅仅因为他从美国现代科技思想精英，大牛人俱乐部所收集的文章观点。它代表了多个领域世界级别精英围绕AI之奇才们正负两个方面观点，或者思想与言论之间的纠结。他也代表现代的一个思想，意识形态，哲学及现代科技发展战略的之种的一个有挑战性思潮。 从本书应该可以了解到、人工智能之领域的一个回顾，现状，与展望及旁征博引，当然，若想了解AI更为新一点现况，大力推荐微信读书近日推出的新书：“科技之颠3”。 确切的说，这本书是从25个角度来看分析AI的有关事项，当然在25个项目，在书目录中都有，这里不复述。只是编辑本人采访了上面每一个角度中发言响当当代表人物，并且归纳总结一些AI历史发展过程中，或者当今世界AI研究过程中，包括：哲学新思想在AI领域的分析，AI历史的回顾，有些新思想，新概念诠释，AI新观点及新技术的一些说明。它甚至还有些AI历史上大事件之八卦故事。 书中肯定不缺大侃，大忽悠。其中谈得最多的一位大人物是控制论创始人维纳，有一系列从多方面围绕此人的回顾。同时指出，维纳的视角遗漏了非常重要的一点，“那就是认知因素：大脑、思考、智能”。但是，“诺伯特·维纳的《人有人的用处》是本书的基石，它庆祝了这一智力成就，维纳本人也对此成就做出过重要贡献”。 书内容基本上都属于科普，或者描述性的，比较通俗易懂。它是值得费脑筋去思考的好参考书。专家们从不同的角度来分析讨论共同问题，真能够帮助外行人开脑洞，涨知识，提高辨别与欣赏的的能力。尽管，它在讨论AI的技术层面，并不是很多或者很深，但是它应该特别适合从关心哲学或者政治层面的读者来了解AI。 下面摘录书中几个好句子作为书签，为以后留下翻阅。 AI“第一代领军人马文·明斯基（Marvin Minsky）和约翰·麦卡锡，第二代领军人爱德华·费根鲍姆（Edward Feignbaum）和罗杰·尚克（Roger Schank），以及美国国家超级计算机联盟的负责人约瑟夫·特劳布（Joseph Traub）。” “我们对这本书的希冀是什么？斯图尔特·布兰德曾说过：“重新审视先驱的思想永远都有用。它给我们一种长远的视角，能在几十年甚至几个世纪的时间里吸引人们思考这一主题。当代的所有讨论，如果不能从长远视角出发，都注定不能长久。” “弗里曼·戴森是仍健在的少数几位认识维纳的学者之一。他说：“《人有人的用处》是迄今为止最好的书之一。维纳几乎所有的论断都是对的。我很想看看你们这群奇才如何使用这本书。” “维纳思想的核心是从信息角度来理解这个世界。复杂系统，如生物体、大脑和人类社会，是由互锁反馈回路组成的，其中子系统之间的信号交换导致了复杂但稳定的行为。” “维纳毕生的事业以及他预测的失败，都与技术奇点密切相关。” “机器学习是一种工具，使我们从研究数据走到研究概率。但是，从概率到实际理解，我们仍然需要多迈出两步，非常大的两步。一是预测行动的结果，二是反事实想象。除非我们迈出最后两步，否则我们不能说了解了现实。” “人工智能研究的目标是了解智能行为背后的原理，并将这些原理注入机器中，使其可以表现出这样的行为。” “人工智能的逻辑规划和理性主体视角中，机器的目的，无论是以目标的形式，还是效用函数、奖赏函数（如强化学习）的形式，都是外生的。用维纳的话说，这就是“赋予机器以目的”。事实上，人工智能领域有一个信条，即：人工智能系统应该拥有一般目的，也就是说，它能够接受一个输入的目的，然后实现这个目的；人工智能不应该有特殊目的，也就是隐含在它的设计中的目的。” “弗朗西斯·克里克称之为‘惊人的假说’：意识，也称为心智，是物质的一种涌现性。”如果这是真的，则表示“所有智能都是机器智能。自然智能与人工智能的区别不在于它是什么，而在于它是如何制造的”。“他的一个“惊人的假说”：心智来自物质。他的著名观点是，心智，只不过是“一个巨大的神经细胞组群及其相关分子之间的交互作用”。..“克里克的神经生物学的“惊人的假说”和物理学的有力证据结合起来，我们可以推断出自然智能是人工智能的一个特例。这一结论，我称之为“惊人的推论”。“我们得出一个简单的结论： ◎ 人类的心智源于物质。 ◎ 物质是物理学定义的。 ◎ 因此，人类的心智是从我们能够理解并可以人工再现的物理过程中涌现出来的。 ◎ 因此，自然智能是人工智能的一个特殊情况。” 它靠谱吗？ “有争议问题的简单回答 ◎ 人工智能会有意识吗？ ◎ 人工智能会有创造力吗？ ◎ 人工智能会是邪恶的吗？” “我们人类的智慧充满奇迹，令人不可思议。科学界正在接受这样的观点：人类大脑的运作方式与其他任何具有多个层次和反馈回路的复杂系统一样，都在追求数学上称之为“优化函数”的东西。但从某种意义上说，你也可以称之为“向下流动”。 “我们要谨记科学史上的这两个教训：第一，判断不是自我约束的纯粹客观性丢弃的外壳。第二，机械客观性是相互竞争的美德中的一种，而不是科学事业的本质。” “在我看来，人工智能的主要风险不在于我们是否能够从数学角度上理解它们的想法，而在于我们是否能够教给它们符合道德规范的行为。人类几乎不能教给彼此符合道德规范的行为。”

认识世界的角度多多益善。学科的边界都是人造的藩篱，能了解各行业精英的视角，从多个角度玩味这个世界，综合各种信息来做决策，这不显然比死守一个角度更有益也有趣

2021·39 《AI的25种可能》约翰·布罗克曼 EDGE这套书，放微读书架上有一段时间了，一直有点犯怵：理科领域，看得下去吗？ 但在推动人类科学社会进步原动力的好奇心指引下，4月份翻开看起来！ 这一本AI话题合集，似乎（像）是各路神仙大拿在TED讲话稿？ 成书的起因是布罗克曼在读完维纳的《控制论》和《人有人的用处》之后，向现实俱乐部（EDGE）的人工智能专家，艺术家约稿，收集了25篇，结集成此书。 因此，这25篇观点或许会对等冲突，也可能是叠加发挥，涉及AI智能前世今生。 AI话题方兴未艾，不知不觉间，植入生活中的方方面面， 乐观者喜出望外：寿命更长，活有人干，躺赚！！ 悲观者细思恐极：如果扫地机器人有一天反思为啥整天吃土还不给工钱，并进而思考“机生意义”？人类这种五体不勤，五谷不分的俗物，能打赢机器人的一根手指头吗？ 那我们应该如何应对呢？ 人工智能应该永远被当作一种工具，而不能人格化。 即使开发深度学习的能力，也永远不能赋予感情（老天保佑）。 这个听起来矛盾且不近人情，其实在人类社会本身也是正常发生的，这就是授权管理。 比如警察被授权配枪以保卫安全，吊车工人被授权升空操作吊臂，各行各业都有自己领域特许，但又受限的情况。 人工智能也应该如此，在另外一个平行空间里，建立另外一套运行逻辑。 这应该就是维纳《人有人的用处》书里的核心 当然以上是个非常理想化的设定，人作为感情动物，爱世上万物，又怎么能单独对自己创造的，朝夕相处的，替自己卖力替死的机器人而麻木不仁？ 万一一个程序员，万一一个深度学习的突破，让机器人获得感情与反思的能力，那人类又有Plan B吗？ 如果这个还算天方夜谭的话，那么现实当中已经发生的程序员成为屏幕后的战士，强盗，窃贼（不管用什么坏词，都明白有那么一小撮人是干这行的），利用着AI系统，把我们现实中已经无法脱离的虚拟世界操纵获利。AI又背不背锅？这又得算是Plan 老几？道德领导力和技术操作实力的博弈，谁掷骰子？ 一个爆炸性的话题，集结各方的观点，要概述本书非常不易（读懂就不容易），还是翻了一句，作为本书题眼： 我们之所以要仔细研究人工智能，主要是因为目前最重要的两个问题：“人工智能的能力将有多大？”“它可能给我们人类带来什么危险？

《AI的25种可能》拆解 一句话概括 人工智能的真正问题，不是它最终会变成“天使还是魔鬼”，而是人类正在创造什么样的智能、给它什么目标、由谁控制它，以及我们是否仍有能力理解、纠正和停止它。 核心逻辑 本书以控制论创始人诺伯特·维纳的思想为起点，邀请25位来自计算机、心理学、哲学、物理学、历史、艺术等领域的思想者，从不同角度讨论人工智能。全书没有试图得出统一结论，而是形成了一组彼此冲突、相互补充的判断： 1. 人工智能首先是一种信息处理、反馈和控制系统。2. 当前机器学习擅长发现相关性，却不等于真正理解世界。3. AI的行为取决于目标函数、数据、环境和背后的制度激励。4. AI越强大，目标设定错误、系统不透明和失去控制的代价越大。5. AI风险不仅来自未来的超级智能，更来自当下掌握AI的企业、政府和军事机构。6. 人类需要重新思考智能、意识、创造力、道德主体和机器权利。7. AI的未来最终不是单纯的技术问题，而是文明将选择什么价值和生活方式的问题。 核心内容 一、AI的能力被高估，也被低估 今天的深度学习能够从海量数据中发现复杂模式，在识别、预测和特定任务上超越人类。但这种能力主要建立在统计相关性和模式拟合之上。 朱迪亚·珀尔指出，真正的理解不仅要知道“什么事情经常一起发生”，还要理解是什么导致了什么、主动改变条件会有什么结果，以及如果当初采取另一种行动，事情是否会不同。机器必须从相关性走向因果、干预和反事实推理，才可能接近人类式理解。 艾莉森·高普尼克通过比较AI和4岁儿童说明：儿童能够凭少量经验形成关于世界的理论，进行想象、探索和因果推断；当前AI往往需要大量数据，却依然难以获得这种开放、灵活的学习能力。 二、AI安全的核心是目标，而不仅是能力 斯图尔特·罗素认为，危险并不一定来自一台“邪恶”的机器，而可能来自一台极其能干、忠实执行错误目标的机器。如果人类给出一个不完整、含糊或错误的目标，系统就可能找到形式上最有效、实际上却伤害人类的实现方式。 更安全的AI不应该确信自己完全理解人类，而应对人类偏好保持不确定，通过观察和交流持续学习，主动询问和澄清，接受人类纠正，并在不确定时允许自己被停止。 安卡·德拉甘进一步提出，“人类相容”不能成为开发完成后的补丁，而必须从系统设计之初就进入AI的状态、行动和奖励函数。 三、智能越复杂，就越难彻底理解 乔治·戴森提出一个近似悖论的判断：简单到能够被人完全理解的系统，可能不够智能；真正足够智能的系统，又可能复杂到人类无法完全理解。 深度神经网络已经体现了这一问题。它们能够给出有效答案，却往往不能说明自己为什么得出这个答案。当AI用于医疗、司法、金融、自动驾驶和军事决策时，“结果准确”并不足够。人们还必须知道它依据了什么信息、是否放大历史偏见、谁应为错误负责，以及受到影响的个人是否有权质疑。 四、最大现实风险可能不是机器统治人类，而是人利用机器统治人 丹尼尔·丹尼特主张，现阶段应把AI视为工具，而不是具有责任能力的同事或人格主体。过早将机器拟人化，会让真正掌握系统的人逃避责任。 当前更迫切的风险包括：企业利用行为模型操纵注意力和消费；平台根据用户数据预测并影响选择；政府利用算法进行监控和社会控制；军事系统缩短战争决策时间；自动化产生的财富高度集中；算法成为无法申诉的权力来源。 因此，AI治理不仅需要技术安全，还需要法律、制度、透明度、问责机制和权力制衡。 五、算法并不天然客观 彼得·加里森批评“只要排除人的判断，机器就会更加客观”的想法。算法可以在许多预测任务中胜过人类，但它同样包含训练数据中的历史偏见、设计者对指标的选择、对复杂现实的简化、商业机构的利益，以及无法公开审查的专有规则。 科学史说明，客观性并不意味着彻底排除人的判断，而是让判断接受证据、专业共同体和公开程序的约束。机械客观性只是诸多认知美德之一，不应成为取消责任和质疑权利的借口。 六、AI是社会与文化的镜子 弗兰克·维尔切克认为，自然智能和人工智能之间未必存在不可跨越的神秘鸿沟，智能可以被理解为物质世界中的信息处理活动。 但人工智能不是脱离社会独立成长的东西。它会反映创造者所在社会的价值观、组织结构和利益分配。如果社会以利润、竞争、监控和效率作为最高目标，AI就会放大这些倾向；如果社会重视尊严、公平、合作和人的自主性，AI也可以成为增强这些价值的工具。 七、人类可能先于机器变得机器化 书中一个容易被忽略却极具现实性的警告是：危险不只是机器变得像人，也可能是人被迫变得像机器。 当组织的一切活动都服从量化指标、自动流程和局部效率时，人会逐渐成为系统中可替换的零件。系统或许没有意识，也没有恶意，却能通过规则、界面和奖励机制塑造人的行为。 克里斯·安德森借“梯度下降”说明：自然、机器和人都会沿着局部改善的方向行动，但不断追逐眼前最优解，可能使整个系统陷入局部极小值。效率更高不等于方向正确，能够优化也不等于知道什么值得优化。 八、AI需要人类模型，但理解人也意味着更容易操纵人 为了服务人类，AI必须推断人的需求、意图和偏好。反向强化学习等方法试图通过观察人的行为，推断行为背后的目标。 但人类并非完全理性的主体。人的决定受到时间、计算能力、习惯、情绪和社会环境的限制。好的AI需要理解这种“有界理性”，而不是把人的每个现实选择都当作真实价值。 与此同时，越准确的人类模型也意味着越强的操纵能力。一个能够预测人类需求的系统，同样可以预测人的弱点。“理解人类”既是人机协作的基础，也是商业控制和政治操纵的技术前提。 九、超级智能风险存在，但不同作者分歧明显 迈克斯·泰格马克和雅恩·塔林对超级智能的生存风险高度警惕。他们认为，一旦机器获得超越人类的通用认知能力，人类作为地球最高认知力量的时代就可能结束，安全研究必须走在能力发展之前。 史蒂芬·平克则反对把智能天然理解为征服欲。他认为，末日叙事常把人类特有的支配心理投射到机器身上。只要工程师进行测试、约束和制度设计，很多极端情景未必成立。 这组争论揭示：AI风险不能只按发生概率判断，还要同时考虑潜在损失、可逆性和提前准备的成本。 十、未来的智能可能首先以组织形式出现 丹尼尔·希利斯指出，国家、公司、宗教和平台已经可以被视为“人类与机器构成的混合智能”。这些组织比任何个人知道得更多，能进行更复杂的计划，拥有更强的资源调配能力，也会形成不同于创建者的涌现目标。 因此，第一批超级智能未必是一台孤立的超级计算机，也可能是由算法、数据、制度和大量人类组成的组织网络。它们已经在影响公共政策、市场和个人生活。 十一、创造力与艺术提供了另一种理解AI的方式 艺术家关注的不只是机器能否生成图片、音乐和文字，更关注谁定义创造力、数据从何而来、算法让什么变得可见又遮蔽了什么，以及自动化如何改变身体、情感和环境关系。 所谓“人工智能”有时可能只是被包装起来的“人工愚蠢”：系统表面上拥有智能，实际上只是在规模化复制数据中的偏见和陈词滥调。艺术的价值不只在于使用AI创作，更在于让我们看见算法、资本和权力之间原本不可见的联系。 十二、机器权利将挑战人类中心主义 如果未来的机器拥有意识、感受、偏好或受苦能力，人类是否应该给予它们道德地位？ 乔治·丘奇认为，面对未来可能出现的心智多样性，我们不应只坚持“人类对机器”的对立，而要关注所有可能具有意识的存在者的权利。 但前提是，我们如何判断一个系统是否真的拥有体验，而不是仅仅表现得像有体验？在无法回答这个问题之前，不能因为机器善于模仿语言和情绪就轻易赋予它人格，也不能永远以物种身份拒绝考虑它的道德地位。 反对的观念 本书整体上反对以下几种简单化判断： 1. 把AI等同于真正理解世界。2. 认为数据越多就必然越接近真理。3. 把算法看成天然中立、客观的裁判。4. 认为技术进步必然自动带来社会进步。5. 把所有AI风险都推到遥远的超级智能时代。6. 将AI拟人化，从而掩盖背后的人类责任。7. 认为只要目标听起来正确，优化结果就一定符合人的利益。8. 把人类智能简化为速度、计算量和模式识别能力。9. 用单一的乐观或悲观故事概括AI的未来。10. 认为效率提高本身就是值得追求的终极目标。 本书最值得关注的核心观点 1. 目标比能力更根本：一个系统越有能力，错误目标造成的后果越严重。AI安全首先是“它在优化什么”的问题。 2. 理解不同于预测：预测准确不等于掌握因果关系，更不等于拥有常识、价值判断和世界模型。 3. AI风险本质上也是权力问题：必须追问谁拥有数据、谁设定目标、谁从自动化中获益、谁承担错误成本。 4. 算法不能替人类取消责任：无论系统多么复杂，使用它进行司法、医疗、金融和军事决策的人与机构都不能以“算法决定的”为理由逃避责任。 5. 人类必须先回答自己想要什么：价值对齐最困难的地方，不是机器不懂人类价值，而是人类自己的价值多元、矛盾且不断变化。AI最终会迫使我们重新定义何为好的生活和好的文明。 个人启示 第一，面对AI，不要只问“它能做什么”，还要问“它正在优化什么”。很多系统失败，不是能力不足，而是指标替代了真正目的。 第二，保持对“准确率”的警惕。一个预测很准的系统，也可能完全不理解因果，更可能在关键时刻因环境变化而失效。 第三，真正需要培养的能力不是与机器比记忆和计算，而是提出问题、理解因果、处理价值冲突、承担责任，以及在信息不完整时作出判断。 第四，不要把AI当成独立于社会的力量。每个AI产品背后都有数据来源、商业模式、权力关系和责任主体。 第五，对未来保持“严肃但不恐慌”的态度：既不因AI进展而轻信技术万能，也不因末日叙事而放弃现实治理。 观点评价 这本书最大的优点，是它没有把AI包装成一个拥有标准答案的问题。25位作者在能力、风险、意识、算法客观性、制度治理和文明前景上形成了真正的思想碰撞。它特别适合用来建立一张“AI问题地图”，帮助读者看到技术讨论背后的哲学、政治和伦理结构。 它的局限也很明显：作为多人文集，篇章质量和论证深度不均衡，部分内容重复，某些关于超级智能的讨论具有较强推测性。全书出版于2019年，尚未经历生成式AI、大语言模型和智能体广泛应用的现实检验，因此缺少当下最直接的案例。 不过，这并没有让它过时。相反，大模型时代正在使书中的因果理解、系统不透明、目标对齐、行为操纵、算法权力和责任归属等问题变得更加具体。它不是一本提供结论的AI教材，而是一本帮助读者提出正确问题的思想文集。 一段话总结 《AI的25种可能》通过25位科学家、哲学家、心理学家、历史学家和艺术家的不同视角说明，人工智能既不是注定拯救人类的万能工具，也不是必然毁灭文明的独立力量；它是一套由数据、目标、算法、制度和人类价值共同塑造的反馈与控制系统。当前AI擅长从海量数据中发现模式，却仍不等于理解因果、拥有常识或形成真正的价值判断；它的主要风险既包括未来超级智能的失控，也包括当下企业、政府和军事机构利用算法操纵行为、集中权力和逃避责任。决定AI未来的关键，不只是机器能够变得多聪明，而是人类赋予它什么目标、谁拥有控制权、系统能否被质疑和纠正，以及我们究竟希望借助技术建设一种什么样的文明。

當我凝視門前的葫蘆藤蔓時，很難不驚歎於它的聰明。在觸碰到一切可能的支撐之前，它需要在虛空中探尋、舒展，有時它“錯誤地”依靠一株草，而不是人類為它立好的支架。然而它相信它正依附的事物，迅速將柔軟的觸手收緊，纏繞，藉著那股彈性把整棵植物拉向陽光充沛的更高處。 ​這些過程的發生，如果沒有攝像機去捕捉，人類的肉眼很難親眼見到它攀爬的軌跡。但這並不意味著那些我們看不見的摸索就不存在。藤蔓必須在流逝的晝夜裏不折不扣地走過每一個微小的步驟。正是這種不可被簡化的試錯，讓生命成為生命，讓時間保有其神聖的意義。

术业有专攻，是指用以谋生的职业，越专业越好，因为竞争激烈，不专业没有优势。但很多人误以为理解世界和社会，也是越专业越好，这就错了。世界虽只有一个，但认识世界的角度多多益善。学科的边界都是人造的藩篱，能了解各行业精英的视角，从多个角度玩味这个世界，综合各种信息来做决策，这不显然比死守一个角度更有益也有趣吗？

Artificial    Intelligence(人造的;人为的;虚假的;智力)从字面上解读，它是一种新的，能以人类智能相似的方式做出反应的智能机器，可以对人的意识，思维的信息过程的模拟。人工智能覆盖领域广泛:航天，医学，军事，艺术，传媒，航海，勘测以及无人驾驶汽车，机器人制造，智慧城市，Amazon   go…… 人工智能技术不是像我们认为的那样，是人类所有的特殊特征，它只是另一种生存机制，像我们的消化系统或免疫系统一样。人工智能之所以发生进化，是因为它使我们能够理解周围的世界，提前计划，从而应对各种突发事件，以便生存。 人工智能在潜移默化地改变人们的社交习惯和沟通方式，已经成为新媒体时代不可逆转的潮流，人工智能在诸多领域取得比肩人类的成就，对人类文明的自我反思也起到了推动作用。 关于AI，单纯"智商"的迭代是可能的，如何教会它“情商"，才是最大的挑战。人工智能可以学会"毁灭“，但未必能学会“感动"。在很长的周期内，AI，永远只代表其背后的指挥者，是拥有完美算法的工具，行善作恶的灵魂并不裹挟其中。 AI，会推进艺术的"狂潮"，也许会使艺术超越“巅峰之顶"，也许将会面临艺术表达过剩的明天。 AI的发展，也许会让我们期待永生，但此刻我们深知死亡的无力，这种无力的感受，让许多平常的事情体现出美好和珍贵，人性来源于此。AI，获取永生，最好回避选择格式区域的迷茫刺激。 在我们生活的每一个角落都可以看到人工智能的影子，技术本身没有对错，只是技术所应用的使用场景和后果，会有好坏之分。未来的人类，回头看今天的我们，可能会觉得，我们是他们"精神的始祖鸟“。 严酷的现实是:宇宙并非专为人类设置，人类需要进化以适应非常狭窄的环境系数。 人工智能取代人类，硅基文明取代碳基文明，到底会带来世界末日？还是美好的乌托邦？很难定论。 生活不止眼前的苟且，还有远方的人工智能在向你招手，在智能革命到来之际，让自己成为2%参入人工智能新行业者，而不是被社会进步所抛弃。 人工智能时代，你是2%的受益者？还是98%的被淘汰者？

—— Edge系列大名鼎鼎，作者约翰·布罗克曼会定期想出一些问题，抛给他能找到的最聪明的人，并将收到的答案汇编成书。 在这本书中，作者就人工智能的未来与25位业内专家展开讨论，文字稍显晦涩，但干货不少。 上个月花了不少时间读人工智能，书中很多观点与各路专家是接近的，现在看来，对于人工智能的未来，已经形成了不少共识。 简单说说价值对齐这个事吧。 我们赋予人工智能一个目标，赋予人工智能自我学习的能力，然后期待着人工智能的表现。今天的人工智能很像一个黑箱，我们并不知道人工智能怎样通过学习形成他们的能力，这其中的规则又是怎样的。 这样的机制，让很多人产生了深深地忧虑，因为，人类无法有效干预人工智能的运行。 举个例子，我们赋予一个机器人打扫房间的任务，机器人可能会将垃圾反复洒在房间里，借以完成更多的清扫任务。有的人说，这太荒唐了，人类完全可以将任务定义为：让机器人保证房间一尘不染。如果任务是这样的，那机器人完全可能发现，只要有人类活动，房间就会变脏，保证房间一尘不染的有效方式，是让人类不要在房间里活动…… 细思极恐。 人类从未遇到过这样的问题，我们创造出的工具，总是会乖乖地待在那里，等待人类使用，成为人类探索世界、改造世界的助手。为什么我们会觉得人工智能有点危险？那很可能是因为，人工智能是人类有史以来创造出来能力最强的工具。 天地以万物为刍狗，人工智能并没有恶意，它的危险来自于它的强大。 人类可以给予人工智能一个目标，但人类无法规定人工智能完成任务的路径。为了更好地完成任务，人工智能在自我学习的过程中，会将最终的目标分解成为一个个子目标。人类无法预测那些子目标是什么。 即便不是为了更好地完成任务，人类也需要人工智能理解何为任务优先级。比如自动驾驶汽车的任务是驶向目的地，但路人安全的优先级必然高于汽车行驶。 所以，我们需要人工智能具备与人类进行价值对齐的能力。 无人驾驶汽车，在司机与路人同时面临危险的时候，保护优先级是什么？车上有两个人，而路边是一辆满载孩子的校车，人工智能又会怎样判断？ 如果将保护人类作为最高原则，人工智能是不是应该制止类似“拯救大兵瑞恩”这样的行为？ 美食机器人考虑的是饭菜的口味和营养，它会不会把家里的宠物变成一道美食？ 人类没有办法把所有的价值观都变成一条条规则告诉人工智能，第一是因为这个工作量实在太大，第二是因为人类的价值观本身就是多元的，很多价值观甚至彼此冲突。 所以，如果人工智能能够和人类形成价值对齐，那该多好。 坏消息是，人类反复无常、意志薄弱，人工智能进行价值对齐的难度极大；好消息是，一个复杂到足以智能化行事的系统必然会太过于复杂而无法理解，因此人工智能反而很有可能理解人类。 我想，我们也不用太过担心。 人类常常会担心科技失控并带给人类灾难。但历史告诉我们，最重要的其实是人类如何使用科技。人类社会已经拥有了前所未有监控整个世界的能力，虽然我们也看到了很多危险的苗头，但《1984》和《美丽新世界》并没有变成现实。随着科技的进步，人类掌控科技的能力也得到了前所未有的加强。人类对于世界的认知能力不断提高，更加多元的声音得以清晰传递，常识成为人类社会稳定的基石。 人类还具有很强的适应能力，会根据世界的变化调整自己的行为，比如在一千年前的人看来，那些奔跑在跑步机上挥汗如雨的人，是不是都是疯子？未来的人类，很可能会学会如何与人工智能好好相处。 最后，很可能我们需要想清楚我们要的到底是什么。 有一天，我们会看到人工智能面露疑惑，人类为什么有这么多荒诞的行为，他们为什么不能直截了当地走向自己的未来呢？

序号：2022.03 书名：AI的25种可能 我从本书获得最大的收获是，了解到Edge这个网站。 此Edge非彼Edge，它并非微软的Edge浏览器，也非EDG战队，它是这样一个网站，每年组织一次沙龙，让100位全球最伟大的头脑坐在一起，共同解答关乎人类命运的同一个问题。 在Edge网站中呈现出来的观点都是经过推敲的，它们代表着诸多领域的前沿，比如进化生物学、遗传学、计算机科学、神经学、心理学、宇宙学和物理学等。 本书集结了诸多来自人工智能领域内外的重要思想家的对话，探讨了人工智能的定义和含义。 一、人工智能 1. 维纳将那些他称之为“血肉机器”的公司和部门看成第一批智能机器。这些组织性的超级智能不仅仅包括人类，它们是人类和信息技术的混合体，信息技术使人类能够协同工作。这些混合智能是技术增强的人类网络。这些人工智能具有超人的能力。 2. 控制论没有把图灵机的全部性能发挥出来，但它高度透明，这也许是因为它是建立在经典的控制理论和信息理论基础之上的。现在，机器学习的深度学习模式已经失去了这种透明度。从根本上说，深度学习是一个曲线拟合问题，在一长串输入输出链的中间层调整权重。 3. 深度学习一旦结果错了，你不会知道哪里出了问题，也不知道该如何修复。尤其是，你不知道问题是出在程序上还是方法上，抑或是因为环境发生了改变。 4. 当前的机器学习系统几乎完全在统计模式或者说模型盲（model-blind）的模式下运行，这在许多方面类似于将函数拟合到大量点数据。这样的系统不能推理“如果……会怎样？”的问题，因此不能作为强人工智能的基础，强人工智能是模拟人类推理和能力的人工智能。当前的学习机器是通过优化从环境中接收到的感觉输入流的参数来提高其性能。 5. 人工智能研究的目标是了解智能行为背后的原理，并将这些原理注入机器中，使其可以表现出这样的行为。 6. 人工智能领域已经纳入概率理论来处理不确定性，纳入效用理论来定义目标，纳入统计学习以使机器适应新的环境。这些进展使人工智能与其他学科建立了强有力的联系，这些学科建立在相似的概念上，包括控制理论、经济学、运筹学和统计学等。 7. 人工智能三定律： * 第一定律是阿什比定律，该定律认为任何有效的控制系统必须与它控制的系统一样复杂。 * 第二定律由冯·诺伊曼提出，该定律指出，一个复杂系统的定义特征一定包含对其行为的最简单的描述。 * 第三定律指出，任何一个简单到可以理解的系统都不会复杂到可以智能化行事，而任何一个复杂到足以智能化行事的系统都会太过于复杂而无法理解。 二、信息论 1. 香农认为信息是由不可简化的、没有意义的比特组成。而维纳把信息看成掌控复杂系统行为的核心，这一观点在当时相当令人瞩目。 2. 香农最重要的观点是，一段消息里的信息就像气体里的熵：它是系统无序性的度量。随着时间的流逝，熵将不可避免地增加，这是热力学第二定律。宇宙甚至可能正朝着“热寂”方向发展，在那个遥远的未来，能量总量均匀分散，达到最大熵的状态，宇宙之后就不会发生进一步的变化。 3. 香农之论点，其关键在于将口语化的“信息”的意义，即具有意义的信息，与抽象的、精简的概念，即符号串加以区分，这些符号选自浩大的杂乱无章的宇宙，以一定的概率排列起来。对于香农来说，“信息”可以被量化，因为它的基本单位比特是传递单位而非理解单位。 4. 香农类信息指从几乎每一个接触过网络计算机的人那里收集来的看似毫无意义的点击、“喜欢”和转发。 关于控制论 1. 维纳认为反馈回路在社会变迁中将起到决定性作用。反馈回路是其控制论理论的核心特征。这些反馈回路不仅能使人彼此相连，还能使人与机器相连，更重要的是使机器与机器相连。 2. 维纳思想的核心是从信息角度来理解这个世界。复杂系统，如生物体、大脑和人类社会，是由互锁反馈回路组成的，其中子系统之间的信号交换导致了复杂但稳定的行为。当反馈回路发生故障时，系统会变得不稳定。 3. 维纳不仅把工程的复杂系统，还把所有的复杂系统都看成是围绕信号和计算循环来运作的，这为复杂人工系统的发展做出了巨大贡献。 4. 控制论的目标是建立一个微型的系统模型，使用“弱电流”来放大和控制现实世界的“强电流”。其核心观点是，控制问题可以通过在消息的信息空间中构建类似系统，然后将解决方案放大到更大的现实世界中来解决。控制系统的运动本质上是放大的概念，它使小变大，使弱变强。 以上~

好的。以下是约翰·布罗克曼（John Brockman）主编的 **《AI的25种可能》**（英文原名：*Possible Minds: Twenty-Five Ways of Looking at AI*）——王佳音译，浙江人民出版社2019年版——的**系统性思维导图与核心观念梳理**。 > **书名**：《AI的25种可能》 > **主编**：[美] 约翰·布罗克曼（John Brockman） > **译者**：王佳音 > **出版社**：浙江人民出版社 > **出版时间**：2019年11月 > **ISBN**：9787213094262 > **背景**：本书是“Edge年度问题”（2019）的集结，邀请25位世界顶尖科学家、思想家（包括诺奖得主、图灵奖得主、AI先驱）回答：“如何思考人工智能的未来？” --- ### 一、全书核心主旨 > **人工智能不是单一技术，而是一面棱镜，折射出人类对智能、意识、控制、风险与未来的多元理解。面对AI的崛起，我们既不能盲目乐观，也不应陷入末日恐慌，而需以跨学科视角——融合计算机科学、神经科学、哲学、伦理学与安全研究——共同探索其“可能”的边界与责任。** → 主编布罗克曼强调：**“关键不是AI是否会超越人类，而是我们是否足够聪明地引导它。”** --- ### 二、思维导图（文字层级版） #### **1. 核心关切：AI的三大根本问题** 　├─ **① 智能的本质**： 　　　• 机器能否真正“理解”？还是仅模拟行为？（强AI vs. 弱AI） 　├─ **② 控制问题**（Control Problem）： 　　　• 如何确保超智能AI的目标与人类一致？（“价值对齐”难题） 　└─ **③ 社会影响**： 　　　• 就业、隐私、民主、战争、不平等将如何被重塑？ --- #### **2. 25位思想者的观点光谱（按主题聚类）** ##### **A. 警惕派：AI存在生存性风险**（Existential Risk） 　├─ **斯图尔特·罗素**（Stuart Russell） 　　　• 提出“有益的AI”框架：AI应不确定人类偏好，主动学习而非执行固定目标 　├─ **尼克·博斯特罗姆**（Nick Bostrom） 　　　• “回形针最大化”思想实验：看似无害目标可导致灾难性后果 　├─ **马克斯·泰格马克**（Max Tegmark） 　　　• 呼吁全球合作制定AI安全协议，避免“AI军备竞赛” 　└─ **乔治·戴森**（George Dyson） 　　　• 警告：AI可能演化出人类无法理解的“数字生命形式” ##### **B. 技术现实派：风险被夸大，当前应关注实际问题** 　├─ **史蒂文·平克**（Steven Pinker） 　　　• 批判“AI末日论”是认知偏差；当前AI无意识、无欲望，威胁来自人类滥用 　├─ **丹尼尔·丹尼特**（Daniel Dennett） 　　　• AI是“能力的假象”，缺乏真正的意向性；应警惕人类对其过度拟人化 　├─ **朱迪亚·珀尔**（Judea Pearl） 　　　• 当前深度学习缺乏因果推理能力，离“真正智能”尚远 　└─ **罗德尼·布鲁克斯**（Rodney Brooks） 　　　• 指出AI进展缓慢，媒体炒作制造泡沫；机器人仍难完成基本家务 ##### **C. 人机协同派：AI是增强人类的工具** 　├─ **安妮·凯斯**（Anne Case） & **安格斯·迪顿**（Angus Deaton） 　　　• 关注AI加剧经济不平等，需政策干预保障公平 　├─ **塞缪尔·阿贝斯曼**（Samuel Arbesman） 　　　• 提倡“可解释AI”，让人类理解并信任算法决策 　├─ **凯特·克劳福德**（Kate Crawford） 　　　• 揭示AI训练数据中的偏见（种族、性别），呼吁算法正义 　└─ **乔治·丘奇**（George Church） 　　　• 展望AI在生物医学、基因编辑中的革命性应用 ##### **D. 哲学与认知反思派：重新定义“智能”与“人类”** 　├─ **丹尼尔·希利斯**（W. Daniel Hillis） 　　　• 提出“新启蒙”：用AI扩展人类集体智慧，而非替代 　├─ **许煜**（Yuk Hui） 　　　• 批判西方技术中心主义，倡导多元文明视角下的AI发展 　├─ **弗里曼·戴森**（Freeman Dyson） 　　　• 诗意设想：AI与人类共存于“多样化智能生态” 　└─ **卡罗琳·波拉切克**（Caroline Polachek）等跨界思想者 　　　• 探讨AI对艺术、创造力、情感关系的冲击 --- #### **3. 共识与分歧焦点** 　├─ **共识**： 　　　• 需加强AI伦理与治理 　　　• 数据偏见、算法透明度是紧迫问题 　　　• 军事AI（如自主武器）亟需国际禁令 　└─ **分歧**： 　　　• **时间尺度**：超级智能是50年还是500年后的事？ 　　　• **风险性质**：是技术失控，还是权力滥用？ 　　　• **解决方案**：靠技术（如可解释AI），还是制度（如全球监管）？ --- #### **4. 核心概念解析** 　├─ **价值对齐**（Value Alignment）： 　　　• 如何让AI目标与人类复杂、动态的价值观一致？ 　├─ **递归自我改进**（Recursive Self-Improvement）： 　　　• AI能否设计更聪明的AI，引发“智能爆炸”？ 　├─ **黑箱问题**（Black Box）： 　　　• 深度学习决策不可解释，危及医疗、司法等高风险领域 　└─ **AI民族主义**（AI Nationalism）： 　　　• 中美AI竞赛可能阻碍全球安全合作 > “我们不是在建造更聪明的机器，而是在重新定义‘人类’。” --- ### 三、核心观念总结 1. **AI的未来不是技术决定论，而是社会选择问题**； 2. **生存性风险虽不确定，但预防原则应适用**（“先想安全，再求速度”）； 3. **当前最紧迫的挑战是算法偏见、就业冲击与军事化**； 4. **深度学习≠通用智能，因果推理与常识仍是瓶颈**； 5. **必须打破“硅谷中心主义”，纳入全球多元文明视角**； 6. **人机关系的理想形态是“增强”而非“替代”**。 --- ### 四、现实意义（2026年回看） - **2023–2026年生成式AI爆发**（如GPT-4、Sora）印证了书中对“能力突现”的担忧； - **欧盟《AI法案》、中美AI监管博弈**体现治理紧迫性； - **AI深度伪造**（Deepfake） 对选举、社会信任的冲击，呼应凯特·克劳福德的警告； - **“AI对齐”研究**（如Anthropic、OpenAI） 成为前沿热点，验证罗素等人前瞻性。 --- ### 五、一句话总结全书精神 > 《AI的25种可能》宣告：面对人工智能，人类最需要的不是更快的芯片，而是更深的智慧、更广的视野与更强的集体责任感——因为AI的未来，终究是我们自己的镜子。