通用人工智能標準、評級、測試與架構

(1)殘差學習。首先，定義偏好輸出[插圖]和非偏好輸出[插圖]之間的殘差[插圖]。然後，訓練一個小模型來預測這種殘差，並根據殘差修正原始輸出。 (2)輕量級模型訓練。訓練一個小型模型[插圖]來預測這種殘差，並根據殘差修正原始輸出；[插圖]只需要在一個偏好數據集上進行單次訓練，就可以應用於多個上游模型。由於它非常輕量，訓練和推理速度都很快，適合快速迭代和資源受限的場景。 (3)訓練目標。最小化預測殘差和真實殘差之間的誤差，使用損失函數[插圖]。 該技術的優勢如下。 (1)即插即用(Plug-and-Play)。Aligner可以作爲即插即用模塊應用於各種模型。 (2)一次訓練，多次應用。Aligner僅需在一個偏好數據集上進行單次訓練，就可以應用於多個上游模型。 (3)快速迭代。由於Aligner模型小，訓練和推理速度快，非常適合快速迭代和資源受限的部署場景。 Aligner可以作爲即插即用模塊應用於各種模型，無須改變基礎模型參數。這意味着可以在不重新訓練大規模生成模型的情況下，顯著提升AI在有用性、無害性和誠實性方面的表現。 Aligner通過輕量級殘差學習，爲大模型提供了一種高效、快速的對齊方法。它特別適合那些需要快速迭代和資源受限的場景，與SFT、RLHF、RLAIF和DPO等全局優化方法不同，Aligner通過局部修正提升輸出質量，適合資源受限和需要快速迭代的場景。能夠在不改變基礎模型參數的情況下顯著提升生成結果的質量。 通過這些對齊方法，我們可以讓AI系統更加安全、可靠，並且與人類的期望保持一致。無論是SFT、RLHF，還是DPO和Aligner，每一種方法都有獨特的優勢，適用於不同的場景和需求。最終，我們的目標是讓AI不僅聰明，還能成爲一個真正“聽話”的好幫手。 6.2.5 人工智能對齊驗證與確認：確保人工智能“言行一致” 即使我們已經盡力讓AI系統學會了“聽話”，但在實際部署之前，還需要進行一次嚴格的“體檢”，確保它真的理解並遵循了人類的意圖和價值觀。這個過程稱爲對齊驗證(Alignment Assurance)，就像是給AI做一次全面的安全檢查，確保它在面對各種情況時都能表現得體。 1 可解釋性：讓AI“透明化” 想象一下，你有一個智能助手，它能幫你解決各種問題，但你完全不知道它是怎麼做出決定的。這聽起來有點嚇人，對吧？爲了讓AI更加可信，我們需要讓它變得“透明”，這就是可解釋性的作用，具體做法如下。 (1)工具和技術。研究人員開發了一系列工具，幫助我們理解AI的決策過程。例如，你可以通過這些工具看到AI在處理某個問題時，到底關注了哪些因素，或者它是如何權衡不同選擇的。 (2)應用場景。在醫療領域，醫生可能會用AI來輔助診斷疾病。如果AI能夠解釋它的診斷依據，醫生就可以更好地判斷是否信任這個建議。同樣，在金融領域，AI可以幫助評估貸款風險，但如果它能清楚地說明爲什麼某個人符合貸款條件，用戶會更放心。 可解釋性不僅讓AI的行爲更加透明，還增強了用戶的信任感。當你知道AI是怎麼做出決定的，你就更容易接受它的建議，尤其是在高風險領域，如醫療、金融和無人駕駛等。

掃了一遍。感覺能力和價值空間的劃分挺新穎的，而且相比於很多別的智能理論更爲符合生物智能的特徵。此外本書多個章節的文獻綜述部分比較詳盡，在中文原著中應該是屬於領先的。掃興的是任何涉及具體架構的闡述都很模糊，示意圖也很簡陋。導致全書更像是作者在縱觀整個領域之後提出的一些頭腦風暴和遐想，而缺乏更具體的實踐和理論。作者的觀點更像是“一個好的安全的通用人工智能應該是/大概是這個樣子”，但匆匆止步於此，幾乎沒有更具體的實現/設計/假設。所謂的“六腦認知結構”幾乎就沒有解釋。不知道是否有其他資料可以深入瞭解作者的架構設想。

幾乎是從千禧年開始的視覺感知圖像處理領域的歷史回顧，和對將來通用智能的基礎性研究工作，提出了一套理論和方法，探索了未來的技術發展方向。 我在這裏回顧到以蓮花山爲代表的歷史事件（名詞），感慨技術的發展太快了。沒有快速的進展就是會被淘汰的感覺。 但是本領域的現實就像計算機存在的互聯網一樣，既有 20 年前的老機器在老單位的機房給老設備提供支持，也有最新的芯片最新的架構最新的屏幕提供給最新的智能服務，都有各自的存活空間和存活意義，既有 copyright 也有 copyleft。尋找自己覺得最佳理解的智能方法。或許真的是通用智能。

這本書非常有價值，能讓人理解什麼是人工智能，也能讓人理解TongAI在幹什麼。 宏達的目標，宏達的工程，望朱教授旗開得勝。