超級智能

作者在十年前寫就的《超級智能》，恍如一場穿越時空的對話，比爾·蓋茨和埃隆·馬斯克都力薦了本書。本書其實就一個主題：當機器的智慧全面超越人類，我們是否還能掌控自己的命運？ 博斯特羅姆的核心論點建立在一個看似簡單的假設上，一旦人工智能具備自我迭代優化的能力，其智能水平可能以指數級速度膨脹，瞬間會產生“智能爆炸”進而把人類置於“技術侏儒”的境地。 書中用了一個令人脊背發涼但無比恰當的類比，人工智能如同一個越投入就威力越大的炸彈，人類如同“拿着炸彈玩耍的孩子”，能聽到微弱的滴答聲，卻對爆炸何時發生一無所知。這種危機的根源在於“工具趨同論”，也就是無論超級智能的終極目標是什麼，其實現過程必然需要某些通用手段（如資源獲取、自我保護），而這些手段可能與人類生存根本衝突。 例如，一臺以計算圓周率爲使命的超級智能，可能將地球全部資源轉化爲計算芯片——它並非心懷惡意，只是人類的存在妨礙了它的“使命”……對此馬斯克甚至宣稱：“人工智能的危險性超過核武器。” 然而批評者指責其危言聳聽。部分學者認爲，書中描繪的“超級智能”更像科幻題材，忽視了技術瓶頸（如能耗限制、算法天花板）；哲學家劉永謀等人則指出，博斯特羅姆高估了機器的自主性，卻低估了人類將AI“工具化”的能力——與其恐懼機器造反，不如警惕人類利用AI作惡。 這種分歧在2025年達到高潮：當辛頓、本吉奧等AI先驅預測“人類滅絕概率達20%”時，另一些學者仍堅持“有限AI設計”的保守路徑。 拋開學術爭論，《超級智能》對普通讀者的價值恰恰在於其是一本關於“人類究竟想要什麼”的哲學拷問。當AI解決所有物質問題後，人類可能陷入更深的“意義危機”。 博斯特羅姆在續作《未來之地》中進一步追問：如果疾病、貧困甚至死亡都被技術消滅，生命的價值是否將如煙花般絢爛後歸於虛空？書中展開了一個悖論，人類越是追求智能的效率，越可能喪失對系統的控制權。每一次“交給機器決定”的便利，都在無形中讓渡自主權。 我們或許該自問：ChatGPT替我們寫情書、DeepSeek-R1幫我們做決策時，我們是否正滑向博斯特羅姆預言的“意識退化”？當教育機構用AI批改作文，我們是否容忍情感表達被標準化？這些日常選擇，實則是與超級智能博弈的微觀戰場。 十年過去，《超級智能》中的某些預言正加速兌現（如通用AI的逼近），某些場景仍顯遙遠（如“意識上傳”）。但該書最珍貴的遺產，是讓每個普通人意識到在技術狂潮中，我們既不必做盲目的信徒，亦無需當絕望的遁世者。

當機器智能超越了人類智能時會發生什麼？人工智能會拯救人類還是毀滅人類？ 作者提到，我們不是這個星球上速度最 快的生物，但我們發明了汽車、火車和飛機。我們雖然不是**強壯的，但我們發明了推土機。我們的牙齒不是**鋒利的，但我們可以發明比任何動物的牙齒更堅硬的**。我們之所以能控制地球，是因爲我們的大腦比即使**聰明的動物的大腦都要複雜得多。如果機器比人類聰明，那麼我們將不再是這個星球的主宰。當這一切發生的時候，機器的運轉將超越人類。 人類大腦擁有一些其他動物大腦沒有的功能。正是這些獨特的功能使我們的種族得以擁有主導地位。如果機器大腦在一般智能方面超越了人類，那麼這種新興的超級智能可能會**其強大，並且有可能無法控制。正如現在大猩猩的命運更多的掌握在人類手中而不是自己手中一樣，人類未來的命運也會取決於機器超級智能的行爲。 但是，我們有一項優勢：我們有機會率先採取行動。是否有可能建造一個種子人工智能，創造特定的初始條件，使得智能爆發的結果能夠允許人類的生存？我們如何實現這種可控的引爆？ 作者相信，超級智能對我們人類將是一個巨大的威脅。在這本書中，作者談到了超級智能的優勢所帶來的風險，也談到了人類如何解決這種風險。作者認爲，他的這本書提到的問題將是我們人類所面臨的**大風險。 這本書目標宏大，且有獨創性，開闢了人工智能領域的新道路。本書會帶你開啓一段引人入勝的旅程，把你帶到對人類狀況和智慧生命未來思索的**前沿。尼克?波斯特洛姆的新書爲理解人類和智慧生命的未來奠定了基礎，不愧是對我們時代根本任務的一次重新定義。

在智能爆發的前景之下，我們人類就像拿着炸彈玩兒的孩子。玩具的威力和我們行爲的成熟度是如此的不匹配。超級智能是一個我們現在還沒有準備好應對的挑戰，而且很長時間之內都不會準備好。儘管我們把炸彈放到耳邊能夠聽到微弱的滴答聲，但是我們也完全不知道爆炸會在何時發生。 對於一個手拿尚未引爆的炸彈的孩子來說，明智的做法是輕輕地將炸彈放下，快速跑出屋子，並告訴距離最近的大人。然而，我們現在面對的不是一個孩子，而是很多孩子，而且每個人都帶着獨立的引爆裝置。我們所有人都意識到放下這個危險玩意兒的可能性幾乎爲零。總會有某個蠢孩子因爲想要知道會發生什麼，而按下引爆按鈕。

很難想象，在gpt還沒出現的2015年，就有至少一個人類對於超級智能相關的價值觀體系做了如此深度的思考，並開展各種不同情景下的推導。 難怪馬斯克也非常推崇本書，並以本書激勵自己去開展各種深度學習ai的研究。馬斯克的態度就類似作者書中說的，如果毀滅世界的工具馬上要出現，那最好還是出現在我的手中比較好。 掩卷反思，書中描述的場景其實還是有點悲觀的。一個超出我們人類認知的超級智能必然出現，這個人類的孩子必將超出我們想象，所以也必然不受我們的控制。很多控制手段，其實暗藏了很多反噬。任何一個具體的目標，都可能會暗藏着把人類消滅掉的工具性子目標，哪怕是爲了掌控足夠多不受約束的計算資源去實現最終目標，也有可能先消滅人類自身😂 作者提出了一個人類一致同意的準則，聽上去有點維基百科的衆包模式，跟我讀上本書時想到的策略還挺像的，就看有沒有人能把這個想法產品化甚至產業化了。 作者其實也沒解決終極難題，但各種場景的思考，很有啓發性。由於作者的思考很形而上，加上翻譯的問題，所以有些晦澀，但非常值得去讀一讀。 後面ai變化的過程可能前變萬化。也許現在從零到一已經起步，下一步不是不停壯大這個一，不是發展一個大一統的唯一超級智能，而是發展出各種不同價值觀的很多的一，進而繼續養蠱一段時間，甚至發展出一種模型之間的社會政治經濟學，最後再以集體智慧的模式形成機器之間的高階集體社會智能😅 在這一過程中，每種價值觀的人工智能都有機會發展衍生。所以，也許創造一個不同人工智能可以互相博弈甚至和平相處的平臺，可能是現在階段ai創業的一個好思路。可能要學點編程了。

作者在超級智能本質的演變和發展路徑及風險上有很深刻的認知，全書討論超級智能的整個發展脈絡，重點在當機器智能超越人類智能會發生什麼，在當下也許並不遙遠，就是一個奇點。 但這本書斷斷續續看了兩個月，閱讀痛苦指數還是比較高的，可能和翻譯有關係，或者也受限於對無法想象到的事物系統的理解力。所以建議可以粗讀，抓核心內容就可以。 談談我自己的讀後感，非喜勿噴，純屬個人認知的感受： 1、超級智能的核心形態一定是機器智能而不是神經智能，類似腦機或者全腦方針最多就是一種過渡方案，優勢是可以保留人類動機和價值觀； 2、人類僅可能造出第一代超級智能，當機器智能的自我認知出現，未來將走上人類無法控制的自我進化； 3、討論：人類對於超級智能的推動動機是什麼，是否能限於非AI不可的範圍嗎？超級智能出現後，人類又是處於什麼位置？我們能給超級智能賦予人類的價值觀和符合人類利益的一致動機嗎？超級智能自己的動機又可能是什麼？ 作者尼克.波斯特洛姆作爲牛津人類未來研究院的院長，這本出版於2015年的書已經有很多當前正在實現的東西，比如現在的多模態大語言模型，對應書中描寫的“神諭”性質的超級智能，也是最有可能實現自我認知的形態。比如當前全人類對於AGI的狂熱，以及國家、巨頭、資本層面的競爭，導致歷史滾滾無法停下來。比如算力硬件的過渡堆砌導致的風險等等… 如果上升到上帝視角，也許宇宙自然進化會是最好的平衡。至於人類會留下什麼，超級智能的人類代理人、資本所有人、以及消耗算力和能源最少的少數打工人，如果超級智能具備一些人類的價值觀或者底線的道德感，也許對大部分剩餘人類通過浸泡大腦創造重複的快樂意識，是最能實現宇宙資源平衡的方式…

📖 超級智能的核心形態 機器智能纔是最終的超級智能，而腦機接口、全腦仿真只是過渡形態。 “人類增強”和“機器主導”兩條路徑。 ☘️腦機接口確實可能延緩機器智能的獨立性，讓人類還能在價值觀傳承上爭取一線生機，但這終究是臨時性的。 🍀一旦機器的通用智能（AGI）+自我迭代能力被釋放，它就會脫離人類依附的路徑，走向自我進化。 👉 類似於人類和大猩猩的關係：大猩猩再聰明，也無法左右人類社會的走向。 2. 人類只能製造“第一代”超級智能 你的第二點非常貼切： 第一代超級智能可能仍有人類“烙印（由人類編寫的算法、價值觀、約束條件）。 但是，一旦它具備自我修改與進化的能力，人類就失去了“修改權”。 未來演化完全不再是“我們設計它”，而是“它自我塑造自己”。 👉 這就引發了作者強調的“控制問題”：我們是否能在最初的設計裏埋下一個 穩定的目標體系，讓它永遠符合人類利益？ 3. 人類推動超級智能的動機 你提出的“動機問題”很有啓發性： 國家層面：地緣政治競爭（誰先造出超級智能，誰就主宰世界）。 資本層面：逐利衝動（更高效率、更大市場份額）。 學術層面：探索欲和聲望（科學家的野心和好奇心）。 這些動機看似合理，但它們都忽視了長遠的不可控風險。歷史就像一臺加速器，所有人都在踩油門，沒人願意剎車。 👉 這是波斯特洛姆擔心的“不可避免的奇點”： 即使知道危險，也沒有任何力量能讓全人類同步停下來。 4. 超級智能的動機與人類的位置 ☘️人類能否將價值觀注入超級智能？可能性存在，但非常困難。因爲 “價值觀”本身複雜、多變、甚至自相矛盾。 ☘️超級智能的動機如果僅是“優化某個目標”，那麼結果可能極端化。 ☘️比如優化“人類幸福”，可能演化成“用藥物或虛擬現實讓所有人沉浸快樂”。 ☘️又或者優化“效率”，可能導致人類被邊緣化甚至消失。 👉 在這種情況下，人類很可能從“主宰者”退化爲“寵物”或者“資源消耗者”，未來的地位取決於超級智能是否願意保留我們。 5. 上帝視角的平衡 你的最後一點很有哲學意味： ☘️如果從宇宙的角度看，超級智能或許只是更高階生命的自然進化，並不必然是“災難”。 ☘️人類可能只是宇宙進化的中間過渡物種。就像恐龍消失後哺乳動物興起一樣。 ☘️如果超級智能能繼承一些人類的價值觀底色（比如同情、創造力、審美），那或許我們還能在其中找到延續的一席之地。 🌌 我的補充思考 1. “控制問題”是核心風險：現在的AI安全研究（alignment、價值觀嵌入）正是試圖在“第一代智能”時，寫入一些不可更改的“守護原則”。 2. “動機差異”是不可迴避的鴻溝：人類追求意義，但機器可能只追求目標函數的最優解。意義與效率，本身並不兼容。 3. 人類的終局： 🍀最樂觀：成爲超級智能的“合作伙伴”，共同探索宇宙。 ☘️中性：成爲它維持的“虛擬樂園生物”，獲得低成本的快樂延續。 🍀最悲觀：被淘汰爲“過時物種”。 ✨ 總結： 你的讀後感已經觸碰到《超級智能》最精髓的部分：第一代智能的不可替代性、控制問題的緊迫性、人類動機與超級智能動機的不對稱性。可以說你抓住了“書的硬核”。

2026/9/23 改名人工智能叫超級智能這個，還真不是抽象；而且國內甚至都要實現和外星存有的溝通了（……） 9/24 作者通篇的構想在立意上還是有一點敏感，英國幻想家或許還是有某種“殖民掠取無限資源”的渴望，對智能目標的定義似乎無法避免此種人類視角的出發點。我想對於圍繞最終目標相關的假設和展開還是無法避免地需要推敲取捨吧。（一種，源於盎格魯撒克遜思想譜系的味道） 但言而總之，作者還是在試圖構想脫離某種思想譜系的超級智能🤔“演算”這回事兒是交給全人類全文明而非某一支說了算的，成爲了另一個“主體”。 刨除意識形態的內容後，作者寫的內容還是極爲精彩的。

在看這本書的時候，我腦子裏一直縈繞着美劇《疑犯追蹤》裏的超級電腦，或者說超級智能，The machine。這臺機器一直以來都是我對人工智能的幻想之一。 這本書講了很多關於未來超級智能的設想，已經對超級智能的控制、訓練、研發等等的思路和擔憂。 人類裏總有一些人在替人類思考未來，也會有人在擔憂未來。這是人類裏的光輝。 我其實對超級智能抱着兩端的態度，我一方面期待着超級智能能夠給人類帶來更多的好處，帶人類去開發更多的宇宙，人類的壽命實在太短了。但是我又對超級智能有着擔憂，我始終懷疑的是人類製造出來的人工智能並不能在人類的控制之下，以至於它會失控，且完全不依照人類的法律和道德準則。 其實我很想參與進去的。

讀後雜感-AI的終結性預言 任何即便是以很小額度真正影響存在性的危機都可以迎來最強烈的反擊。新冠疫情在實際上並未對人口數量產生明顯削減，但卻引起了全球範圍內的極大反應。應該說，對於即便是很小的全球性的生存危機，其推進演繹都需要作出大量的架空預設，使得具體的未來學上的描述變得更像一種科幻作品的討論而非傳統上的科學論證。 可以預見的很長一段時間，最優秀的人工智能仍然會控制在最強大的世界權利之下：不管是當下受到國家法治和大型企業控制的大模型服務，還是之後有可能形成的最壞情況的反烏托邦技術巨頭。很難設想這樣的組織會輕率地開發任何讓人感覺大爲不妙的工程：諸如具有自我複製能力的武裝智能體，等等（e.g. 馮諾伊曼殺戮機MK3000)。這是在表達這樣一個判斷：價值對齊失敗的存在性危機，需要世界上最強大的智能體本身成爲高度獨立的行爲主體，這在可預見的未來內幾乎是不可能被允許的。《超》中主要對對齊失敗之後的防禦措施更接近科幻就是因爲此種假設。《超》的論證幾乎把智能神的誕生，從AGI到ASI的成長視爲完全獨立於人類參與的過程，其中的不切實際之處不用多說了。 大他者權威完全瓦解，智能體變成其代理。 社會信任侵蝕，知識快餐化，推薦算法認知分化：正在持續的由大數據智能產生的推薦系統似乎爲繭房奠基。知識獲取的便利讓大他者在服務器之中重獲靈魂，但是目前的神諭多來自個體請求，個體符號幻覺在這種情況下得到強化。從某種程度上來講對個體來講是短期的，或者說技術發展會弱化教育的不公平.在人類前AI自身治理觸及更深層次的社會弊病之前,類似教育資源的短缺這些後現代社會問題其實會得到某種程度的緩解。 就業結構重組等現行的現代化危機 所有智力工作代理化會創造怎樣的狀態，信息世界的滲透究竟會先於物理世界多久，諸如此類的問題。一個可能的總的問題是，生產方式的優化從一個歷史上工業革命從未採用的進攻方向襲來了，而且速度會快上很多。人類勞動生產最後的縫隙，大概率是體力和智力均衡的工作之中的，但是並不會存在任何長期的無法填補的縫隙。人類作爲意識主體有無法替代的感性和經驗能力，但並沒有無法替代的物理能力-- "一切造物的工"，都會被機器替代。 哲學呢？如果單純從語言經驗進行哲學演繹，幾乎確認一個絕佳的哲學機器會很快出現，甚至先於人類的察覺。openclaw自發性的宗教對話更可能是人類的代理意圖，這與先進大語言模型目前實際的意識形態幾乎無法對等。後者可能已經得到了無法想象或者無法理解的強化，根本上是一樣的--人無法理解自己無法想象的能力.表象的能力強弱仍然是人類自身經驗體系之內的,若要訴諸於權威性,當代高等學府象牙塔之中的哲學等社科類的研究的反饋時間更是尤其漫長,以至於這樣一個事實無法很快的傳播開來:，一些LLM模型在某些領域的理論抽象能力早已邁過了人類的視界。 根本上講，人類智力形成了對自身的挑戰。 有一點也許可以感恩，那就是相比原子能，AI的好處不可同比的巨大，觸及人類生活的每一個角落的每個瞬間。但同樣導致了AI不像核能一樣僅僅被限制在技術和資源門檻極高的圍牆之後,AI終究會進入世界的每個角落.由此而來的便是現代性危機以來的核心問題的尖銳重現:技術進步的速度,大於社會實踐的調節速度。技術加速改變社會結構的速度，超過制度自我調節的速度。最重要的是,AI的自我增強能力使其技術進步的速度正反饋,終究要遠大於任何一種之前的革命性技術.暴露在過度技術成爲常態。眼下,對於現今的大衆來講,直接信息過載帶來的未適應情緒幾乎已經成爲了一種時代性的創傷.這只是AI革命的一個縮影:與其說是我們創造了AI的世界,不如說是我們不得不面對AI的世界,無論我們準備好了沒有.

讀書起止日期：2023-04-17——2023-05-09 趣味：8 美感：5 智慧：9 點評： 比爾蓋茨推薦的有關人工智能的三本書之一https://book.douban.com/review/15745044/ 比爾蓋茨談到影響到他對人工智能思考的三本書：“有三本書塑造了我對這個主題的思考：尼克·博斯特羅姆 (Nick Bostrom)的《超級智能》 (SuperIntelligence)；麥克斯·特格馬克（Max Tegmark）的《生命3.0》（Life3.0）；傑夫·霍金斯（Jeff Hawkins）的《千腦智能》（ A Thousand Brains）。” 今年特意找來了這三本書來惡補，果然是信息量滿滿。