如何創造可信的AI

《如何創造可信的AI》是一部極具前瞻性與啓發性的人工智能領域佳作。作者蓋瑞·馬庫斯和歐內斯特·戴維斯以深刻的洞察力，精準剖析了當前AI技術存在的過度依賴數據、常識缺失、算法單一以及信任危機等侷限性，展現出對行業現狀的清晰認知和深刻思考。 書中提出的以認知科學爲基礎的解決方案別出心裁，構建可信AI的三大支柱，從整合知識到因果推理再到持續學習，爲AI的發展指明瞭切實可行的方向。而認知科學啓示的11條路徑更是乾貨滿滿，從多模型協同到道德嵌入，爲AI領域的研究者和實踐者提供了全面且實用的指導。 此外，書中對AI未來發展方向的探討，如通用人工智能、常識工程和人機協作等，充滿了對技術發展的美好願景與理性思考。對實踐者的啓示也極具價值，業務導向、透明化設計和跨學科融合的建議，能夠幫助從業者更好地推動AI技術的應用與創新。 在如今人工智能飛速發展的時代，這本書宛如一座燈塔，不僅爲我們揭示了AI技術的困境與挑戰，更提供了突破困境、創造可信AI的有效方法。相信無論是AI領域的專業人士，還是對人工智能感興趣的普通讀者，都能從這本書中收穫頗豐，對AI的發展有更深入的理解和思考。

《如何創造可信的 AI》由人工智能專家蓋瑞·馬庫斯與歐內斯特·戴維斯合著，聚焦於當前人工智能技術的侷限性及未來發展方向。書中批判了過度依賴深度學習的現狀，強調​​常識與深度理解​​是實現真正可信 AI 的關鍵，並從認知科學視角提出了 11 條發展啓示。以下是核心內容提煉： ​​1. 核心主題：AI 的“可信性”困境​​ ​​現狀與差距​​：當前 AI（尤其是深度學習）在語言理解、常識推理、適應新環境等方面遠未達到人類水平，存在​​“狹隘性”​​。例如，AI 可能無法理解“杯子”在不同場景中的隱喻意義，或無法處理模糊、矛盾的信息。 ​​風險與信任​​：書中列舉了 AI 的 9 個潛在風險，包括錯誤決策、倫理問題、安全漏洞等，並指出缺乏常識導致 AI 輸出不可靠，阻礙人類與 AI 的信任建立。 ​​2. 對深度學習的批判​​ ​​算法缺陷​​：深度學習依賴大量數據統計，缺乏對世界的深層理解。例如，AI 可能通過數據模式生成看似合理但實際荒謬的結論（如“機器人有暴力傾向”的誤判）。 ​​“美好悲劇”論​​：作者認爲深度學習在特定任務上表現卓越，但其侷限性可能使 AI 發展陷入“表面進步”的陷阱，無法邁向通用人工智能（AGI）。 3. 通用人工智能的路徑​​ ​​常識與推理​​：人類具備語言理解、環境適應、快速學習等 5 大核心能力，而當前 AI 僅能模仿部分功能。書中提出，​​常識庫構建​​和​​因果推理能力​​是突破瓶頸的關鍵。 ​​認知科學啓示​​：從人類心智結構中汲取靈感，例如： ​​結構化認知​​：人類思維通過模塊化工具（如記憶、注意力）實現高效處理； ​​理論驅動學習​​：兒童通過少量示例即可理解新概念，而 AI 需依賴海量數據。 ​​4. 實踐建議與未來方向​​ ​​技術改進​​：通過多模態數據融合、知識圖譜構建增強 AI 的深度理解能力； ​​倫理與監管​​：建立 AI 安全驗證體系，避免“白板機器”（從零學習）的盲目性； ​​跨學科融合​​：結合心理學、神經科學爲 AI 賦予類人思維模式。 ​​5. 行業評價與價值​​ ​​專家認可​​：麻省理工學院教授埃裏克·布萊恩約弗森稱其爲“分離真相與胡扯的里程碑”，搜狗 CEO 王小川認爲其對金融、醫療 AI 有指導意義。 ​​爭議性觀點​​：作者直言當前 AI 發展“停滯”，呼籲行業正視技術侷限，而非盲目樂觀。 ​​延伸思考​​ 書中未否定 AI 的潛力，但強調​​“可信性”需以人類智慧爲基準​​。例如，兒童的學習能力、常識推理機制仍是 AI 需追趕的標杆。未來，AI 發展可能需迴歸認知本質，而非單純追求數據規模擴張。

本書的作者是美國人蓋瑞•馬庫斯和歐內斯特•戴維斯，兩位都是紐約大學的教授，也是人工智能領域的一流專家。馬庫斯還是兩家人工智能公司的首席執行官和創始人。 一、 AI技術會犯什麼錯誤，有哪些侷限性？ 2016年，一名特斯拉車主啓動了自動巡航系統後，便沉湎在電影《哈利波特》之中，一輛白色的箱車違反交通規則，企圖橫穿高速公路調頭，自動巡航系統不能分辨前方的白色物體是什麼，一再提醒車主轉入人工駕駛，但車主沒有意識到系統的提示，汽車一頭扎進了箱車的車底。2017年，不少醫院停止了與IBM的合作，因爲沃森給出的一些建議“不安全、不正確”，甚至“結果無法接受”。鑑於沃森的遭遇，Facebook的M計劃也在2018年叫停。 爲什麼人工智能答題和下棋那麼厲害，而在開車、疾病診斷、居家服務上就不行了呢？ 目前在AI成功的例子中，設計初衷都限定在狹隘的專業領域內，例如沃森在電視比賽中回答的只是針對性的問題；Alpha Go更是侷限在19X19的棋盤內。這些AI是狹義的AI，不是廣義的AI。廣義的AI是通用的人工智能，有能力靈活地適應疆域無限的世界，能夠綜合各方面的信息做出判斷，因此，開拓可以信賴AI的關鍵，是要在人類心智的內在結構中尋找線索。 從應用者的角度看，存在過度信任AI的風險。 從設計者角度看，追求完美的願望會給AI的應用帶來風險。設計者過分控制的慾望也會帶來隱患。此外，設計目標偏差也會帶來風險。 更多的風險來自AI技術本身。所有的AI設備或軟件都必須經過訓練才能使用。訓練有兩種，一種由設計者訓練好再交付用戶，另一種是讓用戶自行訓練，以契合用戶的不同需求。幾乎所有事先訓練好的設備都有很強的針對性，從而導致過度依賴數據，不能適應環境變化，一旦環境出現異常，就會失去控制能力。 很多人將規避這些風險寄託在深度學習上。然而，深度學習真的能解決這些問題嗎？ 深度學習可以追溯到誤差反向傳遞算法和分層模式識別。誤差反向傳遞算法簡稱BP算法，是20世紀70年代提出的人工神經網絡的算法。這種算法首先利用輸出信號與理想信號之間的偏差來調整最後一層神經元的權值，然後再調整前一層神經元的權值，權值調整逐層向輸入層發展。因爲順序是從輸出端到輸入端，因此叫反向。 分層模式識別是生理學家大衛• 休伯爾和托爾思滕• 維澤爾發現的一種生理現象，他們發現不同的視覺神經元在圖像識別中擔任不一樣的角色，有的辨識輪廓，有的辨識內容，而識別複雜內容的過程要由多個神經元協調完成。後人將這種多層結構引入了神經網絡，還將圖像識別中非常有效的卷積算法用來完成計算，神經元功能分層與卷積算法極大地減少了權值修正時間，加快了收斂速度。 首先，要得到成功的應用，深度學習系統必須經過大量的學習，也就是說訓練樣本必須充分。然而在很多實際應用中很難找到那麼多的訓練樣本，樣本一少就會影響系統的工作成效。 其次，對於深度學習的系統，我們不清楚網絡是怎樣產生這個結果的。如果網絡識別有誤，我們就很難找到產生錯誤的原因。 第三，深度學習的識別能力是脆弱的，它非常容易受騙。 二、構建可信任AI的一些建議。 第一個建議是，AI技術想要進一步發展，可以從認知科學得到啓示。這些啓示可以歸納成三類：來自人類認知基礎的啓示、來自人類認知手段的啓示和來自人類認知模型的啓示。 人類認知的基礎。人類的認知來自遺傳。作者認爲，人的基因裏帶有先天的認知和融合能力。現代腦科學認爲，與一生下來就會走路的生物不同，人類在出生之際，大腦發育是不成熟的，嬰兒出生後大腦繼續發育，但是這部分發育與他後天的經歷無關，而僅僅取決於個體基因。目前機器學習研究很少關注與生物領域和心理領域的互動。 人類認知的手段。人類的認知是高度結構化的，人類認知過程至少可以分爲兩類系統，一類可以稱爲快系統，這類系統處理不需要經過大腦思考直接就會發生的反應；另一類可以稱爲慢系統，需要經過思考，從分析和推斷中產生應對方案。在人類的認知過程中，這兩類系統幾乎是同時工作的，但也會分別進行，是根據實際需要調節的。除了高度結構化的認知系統，人類在認知過程中還會對人或事的演化進行跟蹤。 此外，人類在認知過程中會自覺地採用抽象、歸納等思想方法，通過抽象和歸納可以加深對事物的認識。人類在認知過程中廣泛使用語言，而人工智能的學習更多的是文字或數據，在通常情況下，語言可以比文字表達更多和更復雜的信息。 人類認知的模型。人類的認知模型通常是因果模型，而人工智能模型多數是依賴相關關係的；人類對於事物的認識常常是依賴環境的，而人工智能對於事物的認識常常是固定的。 第二個建議是應該讓人工智能瞭解人類的常識，變深度學習爲深度理解。 第一個框架是以時間進展爲線索。任何事件都與時間相關，記錄先做什麼再做什麼。如倒酒，先開瓶蓋再倒酒，叫順序；而對於救火，先救室內被困的活人，再救困在樹上的小貓，這叫緩急。現在已經制定了一套形式邏輯系統，可以用計算機能懂的語言將情景與隨着時間的變化發展描述出來。 第二個框架是以空間和事物的形狀爲線索。現代計算機圖形學已經能夠通過光線處理將一個複雜環境中的各個物體準確地描述和區分。因而一些靜態的物體比較容易處理，困難的是一些可變的物體，例如網袋。 第三個框架是以因果關係爲線索。廣義地說，因果關係包含世界上隨着時間變化的一切知識，這些知識可以是通用的、也可以是特定的。因果關係是有時間順序的，應用的時候可以從因推斷出果，也可以從果反過來斷定因。

我快速過了其中的幾個章節，我感覺這本書適合ai 從業者或者說高年級本科生作爲思考的素材讀一讀。水平更低的這本書已經更不上形勢了。 以我很粗淺的認知來看，ai 本質上可以說有兩個流派，一個努力從人腦神經活動獲取靈感，另一個假裝從人腦神經活動獲取靈感。一般前者都是特別喜歡搞高大上的批評，而後者一般都是做一些實用的，低級的但是可規模化的東西。在第三次ai 浪潮當中，基本上前者被徹底邊緣化了。 這裏頭本質的問題在rich Sutton寫的the bitter lesson裏指出來的很清楚。研究者喜歡搞一些高大上的創新，但是這些創新通常都不scalable 。然後在短期來看似乎很厲害，但是長期來看很容易掉到local maxima裏面。 爲什麼腦科學不是研究ai 的好的切入點 —- 從哲學理論上來看，我是這麼看的，首先所謂的腦科學非常的複雜，這就導致了沒有明確的對錯，不像是decoder only transformers 那麼簡單，你只要拿loss 比一比你就知道怎樣。當整個研究對象非常複雜的時候，就只有學術共同體內部的一個很小圈子可以評價。這不利於祛魅。 第二個，也是更大的問題，就是科學家普遍認爲的複雜就是美，以及以人爲智能最高的評價標準。這就好像古希臘雖然已經有很好的天文學成果，依然認爲地心說，以至發明了本輪，均輪理論。 事實上，我認爲完全沒有理由認爲ai 一定要模仿人的思考方式，就像計算機的基礎理論，不管是圖靈機，馮諾依曼架構，或者是lambda函數都沒有嘗試模仿人一樣。

現階段深度學習的進展比不懂深度學習的人比如尤瓦爾赫拉利所想象的慢很多很多，深度學習要達到人們對他期望還有很長的路要走。人工智能正在不斷發展的過程之中，所以，我們最好儘自己最大的力量，確保接下來會發生的一切都是安全、可信、可靠的，並在我們的引導之下，讓人工智能儘可能地爲全人類提供幫助。 而朝這一目標前進的最佳路線，就是跳出大數據和深度學習這個框架，走向更具魯棒性的全新的人工智能——經過精心工程設計的，出廠就預裝價值觀、常識和對世界深度理解的人工智能。

        《如何創建可信的AI》從狹義AI及大數據、深度學習的侷限性開始，說明爲什麼現代AI不可信，並提出如何創建可信AI：依靠優秀的工程實踐，用深度理解代替深度學習，建造具備常識、認知模型和強大推理能力，並符合人類價值觀的機器，才能創建可信AI。 可信AI用更加優秀的人工智能來治癒有風險的人工智能，打造對世界擁有真正理解的人工智能。 （一）Narrow AI和AI鴻溝 “目前的AI是在限制領域內專用的狹義AI（Narrow AI），只能應用於其設計初衷所針對的特定任務，前提是系統所遇到的問題與其之前所經歷過的場景並沒有太大的不同。” “問題的核心就在信任二字。我們如今所擁有的狹義AI系統的確能按照編程邏輯去完成工作，但我們無法信任這樣的系統去做那些沒有被程序員精準預期到的任務。而當利害關係足夠大時，這一問題就顯得特別要命。” 這裏表達的觀點，背後的內容比較豐富。現代人工智能以深度學習爲主導，以DNN、大數據和超高速計算機爲三駕馬車，它們是現在人工智能的制勝之道，但也是侷限所在。 （1）Narrow AI只能應用於其設計的特定任務，甚至可能比你想象的還要Narrow。AlphaGo(Zero)能通過強化學習，學會下圍棋，但它不能將下圍棋的能力遷移到其它棋類或者遊戲。 （2）在機器智能視覺領域，ConvNets（DNN）和ImageNet（大數據）是基石，但在目標識別的也存在致命短板，比如convNet在ImageNet的正確目標識別率實際是top-5的準確率而非top-1、人類識別錯誤率5%基準實際來自被試只有一個的實驗結果、和識別目標相關的對象出現但目標對象沒有出現的圖片會導致機器誤判等，包括對抗樣本的攻擊等（參考《AI3.0》）。 （3）自動駕駛的長尾效應（邊緣案例）常常會讓機器犯錯，需要在“地理圍欄”，即特定地理區域應用。 自動駕駛、老年人護理、重大疾病診斷機器人等就是利害關係足夠大的AI，信任是特別要命的問題。 AI的理想（Broad AI）與現實（Narrow AI）之間，存在AI鴻溝及其3個大坑： （1）“輕信坑”：機器的行爲與人類相似，並不說明機器擁有和人類一樣的思維機制，機器實際並不具備這樣的思維能力。機器只是按照程序員的“編程邏輯去完成工作”而已。 （2）“虛幻進步坑”：“誤以爲AI解決了簡單問題，就相當於在難題上取得了進步”。能和你聊天的機器人，並不能說明它已經具備人類的深度理解能力。 （3）“魯棒坑”：長尾效應（邊緣案例）、對抗樣本攻擊等場景下，AI其實並不能繼續工作正常。 （二）現代AI大數據和深度學習的侷限性 現代AI的9個風險，其中6個風險來自大數據的侷限性： （1）基本超歸因錯誤：AI鴻溝的“輕信坑”，AI實際並不具備人類的思維能力，“不假思索地將太多的權力交到AI手中，並假設在某個場景中所取得的成功能確保另一個場景中AI的可靠性”是危險的。 （2）魯棒性的缺失：AI鴻溝的“魯棒坑”，長尾或者邊緣案例失效、容易受對抗樣本攻擊等； （3）訓練集精準細節依賴：現代機器學習嚴重依賴於大量訓練集的精準細節，如果將這樣的系統應用於訓練過的特定數據集之外的全新問題，就沒法用了； （4）AI偏見：實際上也是大數據依賴風險，“目前的AI系統只會對輸入數據進行模仿，而將社會價值和數據的本質及質量置之不顧”； （5）迴音室效應：當代AI對訓練集的嚴重依賴，也會引發有害的迴音室效應，系統最後是被自己之前產出的數據所訓練的，比如在機器視覺領域，“系統依賴於衆包工人來給圖片打標籤，但有時衆包工人會利用AI驅動的機器人來做事”，這將引發有害的迴音室效應。 （6）公衆可任意操縱的數據影響：這些程序將容易受愚弄； （7）社會偏見的程度加劇：前面的社會偏見再加上回音室效應，進一步加劇社會偏見； （8）太容易落入錯誤目標的陷阱：AI解決問題的指標看似達到目標，但與實際目標不符，書中提到的抓取物品、踢球、計算奶牛發情期的AI，例子都挺鮮活； （9）可能被別有用心的人利用，對公衆造成嚴重傷害：“現如今的AI被數據像奴隸一樣驅趕，對程序員和系統設計師希望其遵從的道德價值觀一無所知”。 深度學習是機器學習的範疇，基於分層模式識別和學習兩個基本思想，學習需要反饋和調整，比如根據目標識別結果，利用反向傳播算法調整權重提高準確率，利用卷積提高效率。那麼，深度學習的侷限性有哪些呢？書中總結了三個核心問題，即深度學習是： 1）貪婪的：“爲了將神經網絡中的所有連接都調校準確，深度學習常常需要大量的數據”； 2）不透明的：神經網絡是個黑箱，它“究竟爲何能做到這許多事情，至今仍然是一個未解之謎。而人們也不知道神經網絡在達不到既定目標時，問題究竟出在哪裏”；“針對特定問題選定的網絡設計還遠遠不是一門精確的科學，更多是由實驗而不是理論來指導”。即它是不可解釋，訓練過程需要設置的DNN層數、參數（即權重）等超參數，都是靠大數據和工程師的經驗來調整； 3）脆弱的：即魯棒性差，“深度學習在某個場景中可能臻於完美，而在另一個場景中卻大錯特錯”；深度學習依賴訓練集精準細節，長尾效應（邊緣案例）、對抗樣本攻擊等場景下，AI並不能保證繼續工作正常。“歸根結底，深度學習並沒有那麼深刻。很重要的一點，就是要認識到，深度學習這個說法中的“深度”二字，指的是神經網絡中分層的數量，除此之外別無其他。” （三）常識是實現深度理解的關鍵，構建可信AI “如果人工智能想要成爲與自然智能有些許相似之處的事物，我們就要學習如何構建結構化的混合系統，將先天的知識和能力融入進去，讓它實現對知識的組合性表徵，並對持續存在的個體進行跟進，就像人類所做的一樣。” “當機器有朝一日也能做到同樣的事情，以人類一般的流暢性來對不確定、不精確和不完整的知識進行表徵和推理時，靈活而強大的廣義AI時代便終於拉開了帷幕”。 從認知科學啓示看，大腦和認知系統是複雜的，實現深度理解需要豐富的認知模型、抽象和概括的能力，感知、預測和決策的高度結構化，自上向下的信息，和自下而上的信息（13還是字母B的例子），明白因果關係理解世界的基礎，以個體而非類別瞭解事物，具備先天的知識而不是從白板開始等。 常識是人們普遍掌握的知識，是實現人工智能深度理解的關鍵。在正確表徵知識（即編碼知識）的基礎上，理解事物與時間的關係、理解一切關於世界如何隨時間變化的知識，即具備因果關係的思考能力，具備推理的能力，機器才真正具備常識，擁有對世界的連貫理解。 構建可信AI，需要優秀的工程實踐，超越大數據或統計數據依賴，用深度理解取代深度學習，並賦予機器道德價值觀。​

1. 本書講述了僅靠大數據與深度學習無法保證AI安全與可信，未來 AI 需內嵌常識、價值觀與道德判斷，並在設計、訓練、部署全鏈條體現可解釋性、魯棒性與合規性; 2. 在深度學習如火如荼之時，本書作者在2020年潑了一盆冷水，提醒我們關注聯接主義學派的不足之處，提倡建立基於認知與常識的AI(理解爲是符號主義)，但是隨着技術發展與探索，目前這些問題正在逐漸攻破與解決; 3. 本書共8章，可分爲三個部分，第一部分是1-3章，講述深度學習的缺點及建立在其之上的AI的不足之處，第二部分是4-5章，舉例說明基於深度學習的閱讀與機器人的不可靠，第三部分是6-8章，講述作者給出的解決方案，基於認知和常識，建立可信AI; 4. 每章的觀點參考如下： 第一章說明理想與現實之間，存在着一個被稱爲AI鴻溝（The AI Chasm）的大坑：輕信坑、虛幻進步坑、魯棒坑； 第二章提出AI的九大風險：過度信任風險​​、數據依賴風險​​、魯棒性不足風險​​、偏見與歧視放大風險​​、惡意濫用風險​​、幻覺與有毒信息風險​​、遞歸式自我改進失控風險​​、具身AI與生物AI的物理安全風險​​、大規模系統風險​​; 第三章核心觀點是：深度學習雖在數據自動化特徵提取和感知通用性上表現出色，但解釋性、魯棒性和常識推理的缺失使其難以支撐可信、可靠的下一代 AI; 第四章的核心觀點是：​​當前的深度學習模型之所以還不會“閱讀”，是因爲它們缺乏對語言背後意義、上下文與常識的真正理解​​，這個目前LLM已經基本解決; 第五章的核心觀點是：​​在家庭這種高度動態、充滿不確定性的場景中，現有機器人技術仍難以勝任“管家”角色，需要賦予其對環境的深度理解與常識推理能力​​，而不僅僅是依靠單純的物體識別或定點導航; 第六章​講述爲了使人工智能真正逼近人類水平，必須從認知科學汲取靈感，構建一套兼具符號推理與統計學習的混合系統​​; 第七章的核心觀點是：​​常識推理是機器實現深度理解與真正智能的關鍵​​。需要將時間、空間、因果等基本概念融入推理框架，也把感知、語言、行動能力整合成統一的認知模型; 第八章的核心觀點是：​​要讓生成式人工智能真正被社會接受，必須把“信任”作爲系統設計的出發點和衡量標準​​。

永遠都沒有可信的 ai，這個是哥德爾和圖靈數學的證明，如同不可能具有不可以被攻破的系統一樣，只是其中的難度和時間消耗的差異，隨着系統複雜性的增加，演化的過程更多不是 ai 本身而是系統性問題，對於 ai 可靠性的提高，如同大家看到當下 chatGPT 類似的過程，至少很多時候都是把語言和文字模式化，通過對於模式的數據重構而獲得了我們感覺很神奇的 ai，但是對於其中思考的本質，以及產生的新信息的識別的可能性來說意義不大，但是對於信息的分發狀態會產生更大影響，這個也就是互聯網帶來知識的普及模式，只是換了一個馬甲，對於接受的信息都是被加工完成，但是能否從信息之中產生知識或者新知識，也許就是 ai 的意識瓶頸。對於人類智能也是類似的，對於知識的產生和理解需要時間，也就是生物學的限制，但是 ai 似乎只有算力。ai 學習能力產生在當下需要人類的幫助，其中比較典型的就是標記，經過了識別確定或者修訂之後，就會產生一些全新的方式，或者演化的方式就會超過了人類的學習過程。當下對於 ai 還是處於我們對於兒童呀呀學語的時間，判斷孩子的未來一樣，但是我們終是充滿了期待，無論是光明還是黑化，都是存在着可能，不確定的。

本書所討論的正是現今AI的困境所在，儘管書中的一些例子已經被ChatGPT解決，但站在2025年我們非常清楚的看到在任何嚴肅任務中LLM的表現都非常糟糕，無法控制的幻覺、錯誤推理、觀點歪曲和對未知場景中毫無意外的錯誤表現都繼續證實着書中觀點。 我們需要重啓AI，理解概念、常識、邏輯和物理規則，而不是屈服於數據統計帶來的相關性假象。 如果你認同LeCun的觀點，這本書基本可以看作LeCun演講的擴寫版。

第一次出版後（好像是5月31日）10天第一時間讀完一本書。非常推薦給所有人工智能從業者，非從業者讀可能有些難度，儘管作者已經儘量科普。作者馬庫斯是認知科學和AI的先驅，是敢於硬剛Lecun等大佬的大俠，之前就已聽說其名，遂中文版出來以後第一時間讀完（有電子版）。翻譯瑕不掩瑜。這是一本反思，他分析了爲什麼僅靠深度學習難以抵達推理和因果，爲什麼這些高級的智能因素如此重要，而業界現在實際上卻幾乎摸不着頭腦，老實說非常符合我自己的思考。