超级智能

作者在十年前写就的《超级智能》，恍如一场穿越时空的对话，比尔·盖茨和埃隆·马斯克都力荐了本书。本书其实就一个主题：当机器的智慧全面超越人类，我们是否还能掌控自己的命运？ 博斯特罗姆的核心论点建立在一个看似简单的假设上，一旦人工智能具备自我迭代优化的能力，其智能水平可能以指数级速度膨胀，瞬间会产生“智能爆炸”进而把人类置于“技术侏儒”的境地。 书中用了一个令人脊背发凉但无比恰当的类比，人工智能如同一个越投入就威力越大的炸弹，人类如同“拿着炸弹玩耍的孩子”，能听到微弱的滴答声，却对爆炸何时发生一无所知。这种危机的根源在于“工具趋同论”，也就是无论超级智能的终极目标是什么，其实现过程必然需要某些通用手段（如资源获取、自我保护），而这些手段可能与人类生存根本冲突。 例如，一台以计算圆周率为使命的超级智能，可能将地球全部资源转化为计算芯片——它并非心怀恶意，只是人类的存在妨碍了它的“使命”……对此马斯克甚至宣称：“人工智能的危险性超过核武器。” 然而批评者指责其危言耸听。部分学者认为，书中描绘的“超级智能”更像科幻题材，忽视了技术瓶颈（如能耗限制、算法天花板）；哲学家刘永谋等人则指出，博斯特罗姆高估了机器的自主性，却低估了人类将AI“工具化”的能力——与其恐惧机器造反，不如警惕人类利用AI作恶。 这种分歧在2025年达到高潮：当辛顿、本吉奥等AI先驱预测“人类灭绝概率达20%”时，另一些学者仍坚持“有限AI设计”的保守路径。 抛开学术争论，《超级智能》对普通读者的价值恰恰在于其是一本关于“人类究竟想要什么”的哲学拷问。当AI解决所有物质问题后，人类可能陷入更深的“意义危机”。 博斯特罗姆在续作《未来之地》中进一步追问：如果疾病、贫困甚至死亡都被技术消灭，生命的价值是否将如烟花般绚烂后归于虚空？书中展开了一个悖论，人类越是追求智能的效率，越可能丧失对系统的控制权。每一次“交给机器决定”的便利，都在无形中让渡自主权。 我们或许该自问：ChatGPT替我们写情书、DeepSeek-R1帮我们做决策时，我们是否正滑向博斯特罗姆预言的“意识退化”？当教育机构用AI批改作文，我们是否容忍情感表达被标准化？这些日常选择，实则是与超级智能博弈的微观战场。 十年过去，《超级智能》中的某些预言正加速兑现（如通用AI的逼近），某些场景仍显遥远（如“意识上传”）。但该书最珍贵的遗产，是让每个普通人意识到在技术狂潮中，我们既不必做盲目的信徒，亦无需当绝望的遁世者。

当机器智能超越了人类智能时会发生什么？人工智能会拯救人类还是毁灭人类？ 作者提到，我们不是这个星球上速度最 快的生物，但我们发明了汽车、火车和飞机。我们虽然不是**强壮的，但我们发明了推土机。我们的牙齿不是**锋利的，但我们可以发明比任何动物的牙齿更坚硬的**。我们之所以能控制地球，是因为我们的大脑比即使**聪明的动物的大脑都要复杂得多。如果机器比人类聪明，那么我们将不再是这个星球的主宰。当这一切发生的时候，机器的运转将超越人类。 人类大脑拥有一些其他动物大脑没有的功能。正是这些独特的功能使我们的种族得以拥有主导地位。如果机器大脑在一般智能方面超越了人类，那么这种新兴的超级智能可能会**其强大，并且有可能无法控制。正如现在大猩猩的命运更多的掌握在人类手中而不是自己手中一样，人类未来的命运也会取决于机器超级智能的行为。 但是，我们有一项优势：我们有机会率先采取行动。是否有可能建造一个种子人工智能，创造特定的初始条件，使得智能爆发的结果能够允许人类的生存？我们如何实现这种可控的引爆？ 作者相信，超级智能对我们人类将是一个巨大的威胁。在这本书中，作者谈到了超级智能的优势所带来的风险，也谈到了人类如何解决这种风险。作者认为，他的这本书提到的问题将是我们人类所面临的**大风险。 这本书目标宏大，且有独创性，开辟了人工智能领域的新道路。本书会带你开启一段引人入胜的旅程，把你带到对人类状况和智慧生命未来思索的**前沿。尼克?波斯特洛姆的新书为理解人类和智慧生命的未来奠定了基础，不愧是对我们时代根本任务的一次重新定义。

在智能爆发的前景之下，我们人类就像拿着炸弹玩儿的孩子。玩具的威力和我们行为的成熟度是如此的不匹配。超级智能是一个我们现在还没有准备好应对的挑战，而且很长时间之内都不会准备好。尽管我们把炸弹放到耳边能够听到微弱的滴答声，但是我们也完全不知道爆炸会在何时发生。 对于一个手拿尚未引爆的炸弹的孩子来说，明智的做法是轻轻地将炸弹放下，快速跑出屋子，并告诉距离最近的大人。然而，我们现在面对的不是一个孩子，而是很多孩子，而且每个人都带着独立的引爆装置。我们所有人都意识到放下这个危险玩意儿的可能性几乎为零。总会有某个蠢孩子因为想要知道会发生什么，而按下引爆按钮。

很难想象，在gpt还没出现的2015年，就有至少一个人类对于超级智能相关的价值观体系做了如此深度的思考，并开展各种不同情景下的推导。 难怪马斯克也非常推崇本书，并以本书激励自己去开展各种深度学习ai的研究。马斯克的态度就类似作者书中说的，如果毁灭世界的工具马上要出现，那最好还是出现在我的手中比较好。 掩卷反思，书中描述的场景其实还是有点悲观的。一个超出我们人类认知的超级智能必然出现，这个人类的孩子必将超出我们想象，所以也必然不受我们的控制。很多控制手段，其实暗藏了很多反噬。任何一个具体的目标，都可能会暗藏着把人类消灭掉的工具性子目标，哪怕是为了掌控足够多不受约束的计算资源去实现最终目标，也有可能先消灭人类自身😂 作者提出了一个人类一致同意的准则，听上去有点维基百科的众包模式，跟我读上本书时想到的策略还挺像的，就看有没有人能把这个想法产品化甚至产业化了。 作者其实也没解决终极难题，但各种场景的思考，很有启发性。由于作者的思考很形而上，加上翻译的问题，所以有些晦涩，但非常值得去读一读。 后面ai变化的过程可能前变万化。也许现在从零到一已经起步，下一步不是不停壮大这个一，不是发展一个大一统的唯一超级智能，而是发展出各种不同价值观的很多的一，进而继续养蛊一段时间，甚至发展出一种模型之间的社会政治经济学，最后再以集体智慧的模式形成机器之间的高阶集体社会智能😅 在这一过程中，每种价值观的人工智能都有机会发展衍生。所以，也许创造一个不同人工智能可以互相博弈甚至和平相处的平台，可能是现在阶段ai创业的一个好思路。可能要学点编程了。

作者在超级智能本质的演变和发展路径及风险上有很深刻的认知，全书讨论超级智能的整个发展脉络，重点在当机器智能超越人类智能会发生什么，在当下也许并不遥远，就是一个奇点。 但这本书断断续续看了两个月，阅读痛苦指数还是比较高的，可能和翻译有关系，或者也受限于对无法想象到的事物系统的理解力。所以建议可以粗读，抓核心内容就可以。 谈谈我自己的读后感，非喜勿喷，纯属个人认知的感受： 1、超级智能的核心形态一定是机器智能而不是神经智能，类似脑机或者全脑方针最多就是一种过渡方案，优势是可以保留人类动机和价值观； 2、人类仅可能造出第一代超级智能，当机器智能的自我认知出现，未来将走上人类无法控制的自我进化； 3、讨论：人类对于超级智能的推动动机是什么，是否能限于非AI不可的范围吗？超级智能出现后，人类又是处于什么位置？我们能给超级智能赋予人类的价值观和符合人类利益的一致动机吗？超级智能自己的动机又可能是什么？ 作者尼克.波斯特洛姆作为牛津人类未来研究院的院长，这本出版于2015年的书已经有很多当前正在实现的东西，比如现在的多模态大语言模型，对应书中描写的“神谕”性质的超级智能，也是最有可能实现自我认知的形态。比如当前全人类对于AGI的狂热，以及国家、巨头、资本层面的竞争，导致历史滚滚无法停下来。比如算力硬件的过渡堆砌导致的风险等等… 如果上升到上帝视角，也许宇宙自然进化会是最好的平衡。至于人类会留下什么，超级智能的人类代理人、资本所有人、以及消耗算力和能源最少的少数打工人，如果超级智能具备一些人类的价值观或者底线的道德感，也许对大部分剩余人类通过浸泡大脑创造重复的快乐意识，是最能实现宇宙资源平衡的方式…

📖 超级智能的核心形态 机器智能才是最终的超级智能，而脑机接口、全脑仿真只是过渡形态。 “人类增强”和“机器主导”两条路径。 ☘️脑机接口确实可能延缓机器智能的独立性，让人类还能在价值观传承上争取一线生机，但这终究是临时性的。 🍀一旦机器的通用智能（AGI）+自我迭代能力被释放，它就会脱离人类依附的路径，走向自我进化。 👉 类似于人类和大猩猩的关系：大猩猩再聪明，也无法左右人类社会的走向。 2. 人类只能制造“第一代”超级智能 你的第二点非常贴切： 第一代超级智能可能仍有人类“烙印（由人类编写的算法、价值观、约束条件）。 但是，一旦它具备自我修改与进化的能力，人类就失去了“修改权”。 未来演化完全不再是“我们设计它”，而是“它自我塑造自己”。 👉 这就引发了作者强调的“控制问题”：我们是否能在最初的设计里埋下一个 稳定的目标体系，让它永远符合人类利益？ 3. 人类推动超级智能的动机 你提出的“动机问题”很有启发性： 国家层面：地缘政治竞争（谁先造出超级智能，谁就主宰世界）。 资本层面：逐利冲动（更高效率、更大市场份额）。 学术层面：探索欲和声望（科学家的野心和好奇心）。 这些动机看似合理，但它们都忽视了长远的不可控风险。历史就像一台加速器，所有人都在踩油门，没人愿意刹车。 👉 这是波斯特洛姆担心的“不可避免的奇点”： 即使知道危险，也没有任何力量能让全人类同步停下来。 4. 超级智能的动机与人类的位置 ☘️人类能否将价值观注入超级智能？可能性存在，但非常困难。因为 “价值观”本身复杂、多变、甚至自相矛盾。 ☘️超级智能的动机如果仅是“优化某个目标”，那么结果可能极端化。 ☘️比如优化“人类幸福”，可能演化成“用药物或虚拟现实让所有人沉浸快乐”。 ☘️又或者优化“效率”，可能导致人类被边缘化甚至消失。 👉 在这种情况下，人类很可能从“主宰者”退化为“宠物”或者“资源消耗者”，未来的地位取决于超级智能是否愿意保留我们。 5. 上帝视角的平衡 你的最后一点很有哲学意味： ☘️如果从宇宙的角度看，超级智能或许只是更高阶生命的自然进化，并不必然是“灾难”。 ☘️人类可能只是宇宙进化的中间过渡物种。就像恐龙消失后哺乳动物兴起一样。 ☘️如果超级智能能继承一些人类的价值观底色（比如同情、创造力、审美），那或许我们还能在其中找到延续的一席之地。 🌌 我的补充思考 1. “控制问题”是核心风险：现在的AI安全研究（alignment、价值观嵌入）正是试图在“第一代智能”时，写入一些不可更改的“守护原则”。 2. “动机差异”是不可回避的鸿沟：人类追求意义，但机器可能只追求目标函数的最优解。意义与效率，本身并不兼容。 3. 人类的终局： 🍀最乐观：成为超级智能的“合作伙伴”，共同探索宇宙。 ☘️中性：成为它维持的“虚拟乐园生物”，获得低成本的快乐延续。 🍀最悲观：被淘汰为“过时物种”。 ✨ 总结： 你的读后感已经触碰到《超级智能》最精髓的部分：第一代智能的不可替代性、控制问题的紧迫性、人类动机与超级智能动机的不对称性。可以说你抓住了“书的硬核”。

2026/9/23 改名人工智能叫超级智能这个，还真不是抽象；而且国内甚至都要实现和外星存有的沟通了（……） 9/24 作者通篇的构想在立意上还是有一点敏感，英国幻想家或许还是有某种“殖民掠取无限资源”的渴望，对智能目标的定义似乎无法避免此种人类视角的出发点。我想对于围绕最终目标相关的假设和展开还是无法避免地需要推敲取舍吧。（一种，源于盎格鲁撒克逊思想谱系的味道） 但言而总之，作者还是在试图构想脱离某种思想谱系的超级智能🤔“演算”这回事儿是交给全人类全文明而非某一支说了算的，成为了另一个“主体”。 刨除意识形态的内容后，作者写的内容还是极为精彩的。

在看这本书的时候，我脑子里一直萦绕着美剧《疑犯追踪》里的超级电脑，或者说超级智能，The machine。这台机器一直以来都是我对人工智能的幻想之一。 这本书讲了很多关于未来超级智能的设想，已经对超级智能的控制、训练、研发等等的思路和担忧。 人类里总有一些人在替人类思考未来，也会有人在担忧未来。这是人类里的光辉。 我其实对超级智能抱着两端的态度，我一方面期待着超级智能能够给人类带来更多的好处，带人类去开发更多的宇宙，人类的寿命实在太短了。但是我又对超级智能有着担忧，我始终怀疑的是人类制造出来的人工智能并不能在人类的控制之下，以至于它会失控，且完全不依照人类的法律和道德准则。 其实我很想参与进去的。

读后杂感-AI的终结性预言 任何即便是以很小额度真正影响存在性的危机都可以迎来最强烈的反击。新冠疫情在实际上并未对人口数量产生明显削减，但却引起了全球范围内的极大反应。应该说，对于即便是很小的全球性的生存危机，其推进演绎都需要作出大量的架空预设，使得具体的未来学上的描述变得更像一种科幻作品的讨论而非传统上的科学论证。 可以预见的很长一段时间，最优秀的人工智能仍然会控制在最强大的世界权利之下：不管是当下受到国家法治和大型企业控制的大模型服务，还是之后有可能形成的最坏情况的反乌托邦技术巨头。很难设想这样的组织会轻率地开发任何让人感觉大为不妙的工程：诸如具有自我复制能力的武装智能体，等等（e.g. 冯诺伊曼杀戮机MK3000)。这是在表达这样一个判断：价值对齐失败的存在性危机，需要世界上最强大的智能体本身成为高度独立的行为主体，这在可预见的未来内几乎是不可能被允许的。《超》中主要对对齐失败之后的防御措施更接近科幻就是因为此种假设。《超》的论证几乎把智能神的诞生，从AGI到ASI的成长视为完全独立于人类参与的过程，其中的不切实际之处不用多说了。 大他者权威完全瓦解，智能体变成其代理。 社会信任侵蚀，知识快餐化，推荐算法认知分化：正在持续的由大数据智能产生的推荐系统似乎为茧房奠基。知识获取的便利让大他者在服务器之中重获灵魂，但是目前的神谕多来自个体请求，个体符号幻觉在这种情况下得到强化。从某种程度上来讲对个体来讲是短期的，或者说技术发展会弱化教育的不公平.在人类前AI自身治理触及更深层次的社会弊病之前,类似教育资源的短缺这些后现代社会问题其实会得到某种程度的缓解。 就业结构重组等现行的现代化危机 所有智力工作代理化会创造怎样的状态，信息世界的渗透究竟会先于物理世界多久，诸如此类的问题。一个可能的总的问题是，生产方式的优化从一个历史上工业革命从未采用的进攻方向袭来了，而且速度会快上很多。人类劳动生产最后的缝隙，大概率是体力和智力均衡的工作之中的，但是并不会存在任何长期的无法填补的缝隙。人类作为意识主体有无法替代的感性和经验能力，但并没有无法替代的物理能力-- "一切造物的工"，都会被机器替代。 哲学呢？如果单纯从语言经验进行哲学演绎，几乎确认一个绝佳的哲学机器会很快出现，甚至先于人类的察觉。openclaw自发性的宗教对话更可能是人类的代理意图，这与先进大语言模型目前实际的意识形态几乎无法对等。后者可能已经得到了无法想象或者无法理解的强化，根本上是一样的--人无法理解自己无法想象的能力.表象的能力强弱仍然是人类自身经验体系之内的,若要诉诸于权威性,当代高等学府象牙塔之中的哲学等社科类的研究的反馈时间更是尤其漫长,以至于这样一个事实无法很快的传播开来:，一些LLM模型在某些领域的理论抽象能力早已迈过了人类的视界。 根本上讲，人类智力形成了对自身的挑战。 有一点也许可以感恩，那就是相比原子能，AI的好处不可同比的巨大，触及人类生活的每一个角落的每个瞬间。但同样导致了AI不像核能一样仅仅被限制在技术和资源门槛极高的围墙之后,AI终究会进入世界的每个角落.由此而来的便是现代性危机以来的核心问题的尖锐重现:技术进步的速度,大于社会实践的调节速度。技术加速改变社会结构的速度，超过制度自我调节的速度。最重要的是,AI的自我增强能力使其技术进步的速度正反馈,终究要远大于任何一种之前的革命性技术.暴露在过度技术成为常态。眼下,对于现今的大众来讲,直接信息过载带来的未适应情绪几乎已经成为了一种时代性的创伤.这只是AI革命的一个缩影:与其说是我们创造了AI的世界,不如说是我们不得不面对AI的世界,无论我们准备好了没有.

读书起止日期：2023-04-17——2023-05-09 趣味：8 美感：5 智慧：9 点评： 比尔盖茨推荐的有关人工智能的三本书之一https://book.douban.com/review/15745044/ 比尔盖茨谈到影响到他对人工智能思考的三本书：“有三本书塑造了我对这个主题的思考：尼克·博斯特罗姆 (Nick Bostrom)的《超级智能》 (SuperIntelligence)；麦克斯·特格马克（Max Tegmark）的《生命3.0》（Life3.0）；杰夫·霍金斯（Jeff Hawkins）的《千脑智能》（ A Thousand Brains）。” 今年特意找来了这三本书来恶补，果然是信息量满满。