大語言模型

《大語言模型》｜特倫斯·謝諾夫斯基 一句話概括 這是一本從技術原理、應用影響和哲學思考三個層面介紹大語言模型的科普讀物，重點解釋Transformer、預訓練、提示詞和計算基礎設施，並討論智能、意識、超級智能與監管問題。 核心邏輯 全書分爲三部分： 1. 認識大語言模型如何進入日常生活，以及聊天機器人改變溝通、工作和知識獲取的方式。2. 追溯深度學習、概率與高維數學，解釋Transformer爲何能夠處理語言。3. 從未來視角討論人工智能進化、下一代技術、自然啓發、超級智能和治理。 核心觀點是：大語言模型不是一個裝滿事實的數據庫，而是通過大規模數據訓練形成的概率模型；它的能力來自架構、數據、參數和算力的共同作用。 核心內容 1. 聊天機器人改變了人與信息的關係 傳統搜索要求用戶找到關鍵詞，再從結果中篩選答案；聊天機器人則通過對話幫助用戶解釋複雜概念、總結和改寫文本、生成計劃和代碼、進行多輪討論，並根據上下文調整表達方式。 這種變化降低了信息獲取和表達的門檻，也讓人與機器的關係從“查工具”轉向“與系統協作”。但輸出流暢不等於事實正確，仍需要覈驗、追問和人工判斷。 2. 大語言模型通過預測學習語言結構 大語言模型通常以預測下一個詞或符號爲訓練目標。通過在大量文本上反覆學習，模型逐漸掌握詞語關聯、語法結構、文體模式、概念關係和上下文線索。 模型未必像人一樣理解世界，卻能在語言空間中形成複雜表示。這解釋了它爲何能夠寫作、翻譯、編程和回答問題，也解釋了它爲什麼會把不確定內容表達得過於自信。 3. 提示詞決定協作質量 高質量提示通常要說明任務目標、使用場景、背景、約束、受衆、語氣、輸出格式和評價標準。 複雜任務可以要求模型先確認目標、列出缺失信息、提供多個方案、比較優缺點、標註假設和風險，再根據反饋修改。提示詞不是魔法，而是爲模型提供更清晰的任務邊界。 4. 語言表現不等於人的理解 模型可以進行連續對話、角色切換、文本生成和多步驟任務，但這些表現不自動證明它擁有主觀體驗、身體經驗、情緒、價值觀或真正的語義理解。 需要區分語言表現、任務能力、世界模型、長期記憶、自主目標和主觀意識。一個系統表現得像在理解，與它真正擁有理解，可能是兩個問題。 5. Transformer依靠注意力處理上下文 Transformer通過注意力機制動態衡量序列中不同位置的重要性，能夠建立遠距離詞語聯繫，並支持大規模並行訓練。 詞嵌入、位置編碼、多頭注意力、前饋網絡、殘差連接和歸一化共同構成現代語言模型的基礎。Transformer也逐步擴展到圖像、語音和多模態任務。 6. 深度學習建立在數據、數學和算力之上 大語言模型的進步依賴概率建模、梯度優化、大規模數據、海量參數、GPU、專用芯片和分佈式訓練。 模型規模增大可能帶來新能力，但也增加訓練成本、能耗、數據需求和錯誤風險。“更大”不是唯一目標，還要關注效率、可靠性、可遷移性和實際應用價值。 7. 大語言模型正在重塑多個行業 在醫療、法律、教育、科研、編程、藝術和媒體領域，模型可以輔助整理、檢索、起草、解釋和生成內容。 但高風險場景不能直接把模型答案當成最終決策。專業人員必須覈驗事實、理解模型侷限並承擔最終責任。 8. 幻覺和偏見是現實風險 模型可能生成語法流暢卻與事實不符的內容，原因包括訓練數據錯誤、知識範圍有限、提示模糊和模型傾向於生成完整答案。 模型也可能繼承訓練數據中的偏見，在不同羣體、語言和文化中表現不均衡。解決這些問題需要改進數據、訓練目標、評估方法、輸出覈驗和部署規則。 9. 超級智能帶來控制與責任問題 當系統在更多任務上超過人類，關鍵問題會變成目標是否與人類利益一致、系統是否可解釋可控制、是否會被濫用，以及誰擁有部署和關閉它的權力。 超級智能可能擴大人類能力，也可能放大權力、信息和資源不平等。 10. 監管必須與技術同步 AI治理涉及數據隱私、內容真實性、版權、模型安全、高風險應用、算法透明度、責任追究和跨國協作。 合理治理應當進行風險分級、持續評估，並保留人工審查、申訴和糾錯機制。監管既不能阻止一切創新，也不能用創新速度掩蓋風險。 11. AI未來會從自然和人腦中學習 生物大腦在低能耗、持續學習、感知行動結合和適應環境方面具有獨特優勢。下一代AI可能在記憶、能效、多模態感知、持續學習和世界建模上進一步發展。 未來不一定只是把模型做得更大，也可能改變模型的結構、記憶方式、行動能力和社會交互方式。 本書最值得關注的核心觀點 大語言模型最值得討論的，不是它是否“像人”，而是它如何改變人與知識、工作和社會制度的關係。 模型可以沒有人的意識，卻依然通過回答、推薦、生成和預測影響現實。真正重要的問題是： 誰在設定目標？模型依據什麼數據？輸出將被誰使用？錯誤由誰承擔？人能否覈驗、質疑和糾正？ 把注意力從“機器有沒有靈魂”轉向“人類如何使用和治理機器”，更有助於理解大語言模型的現實影響。 一段話總結 《大語言模型》從聊天機器人和提示詞切入，解釋大語言模型如何通過大規模數據、預測訓練和Transformer架構學習語言結構，並進一步介紹深度學習、概率、高維數學、計算基礎設施和模型規模對能力形成的作用。全書討論大語言模型在醫療、法律、教育、科研、編程、藝術和社會生活中的應用，也正視幻覺、偏見、隱私、版權、算力、能耗、就業和超級智能等風險。作者同時區分語言流暢、任務智能、真正理解和主觀意識，指出模型的表現不能自動證明它擁有人的思維或意識。全書最核心的啓發是：大語言模型的影響不只來自技術本身，更來自人類如何與它溝通、依賴它的輸出，並把它嵌入組織、市場和制度；因此，理解AI必須同時關注模型原理、實際能力、應用場景和治理責任。

在發起人工智能運動的達特茅斯夏季會議召開50年之後，馬文·明斯基和其他很多創始元勳回到達特茅斯大學舉行週年慶典。這一次，明斯基在臺上，另一位研究人員站在臺下。他就是特里·謝諾夫斯基，從東部的巴爾的摩搬到西部的聖迭戈之後，他現在是索爾克研究所的教授。謝諾夫斯基告訴明斯基，一些人工智能研究人員將明斯基視爲魔鬼，因爲他和他的書已經阻礙了神經網絡的發展。 “你是魔鬼嗎？”謝諾夫斯基問道。明斯基把這個問題擱在一邊，解釋了神經網絡的衆多侷限性，並正確地指出，神經網絡從未實現大家期待它實現的事情。 於是，謝諾夫斯基又問：“你是魔鬼嗎？” 明斯基被激怒了，最後回答說：“是的，我是。”

我覺得一般，結合Chat GPT後略有點AI水文的感覺。 本書介紹了LLM的前世今生與未來，以及探討了AI是否有意識等哲學話題。 我原計劃獲得一些實質性的AI技術培訓，很遺憾在這本書中沒有獲得，多數是concept的理論內容，因此對於我的目的來說，本書一般了。 想了半天，看了半天自己的筆記，實在整理不出什麼有價值的輸出材料，鬱悶的讀書筆記點評。 不過我也很認可幾種觀點與趨勢： 大腦給神經網絡提供了非常棒的參考模型，人腦褶皺，低功耗，整合，以及推理訓練下獲得經驗總結與預測。 在醫藥領域，科學領域，各種領域，AI帶來了大創造，AI能夠挖掘到世界上所有的物理公式。 未來在終端產品上，語音是個重要交互點，這樣將是我在消費電子端探索的方向。 我相信邊緣端側的必要性，在資源節約 與實際訴求下 均需要邊緣AI，這也是我爲什麼加入intel的原因，我想這是一家很不錯的，邊緣AI芯片定位平臺，值得我去摸索呢。

翻譯非常差，很多地方不通暢，用AI翻譯原文看都比這個好。翻譯人員非常不稱職，將“海馬體”翻譯成“海馬”。這些所謂的翻譯人員讀過小學嗎？？！！

謝諾夫斯基是深度學習界的三立型（立德、立言、立功）學者，與2018年度圖靈獎得主辛頓、本吉奧、楊立昆三人或謂並駕齊驅？他的另一著作的中譯本《深度學習》也值得一讀！

沒啥深度，感覺就是大模型拼湊出來的

梳理了大語言模型發展的脈絡，讀完會被這一領域吸引，尤其是高維數學一章。跨學科的知識圖譜塑造了現在AI的模樣，可見的未來依舊是生命科學、數學等基礎科學的天下。雖然書寫得比較早，但作者的博學讓這本書系統性極強，列出了本質性的問題，值得一讀。

讀來很有收穫的一本AI主題作品，作者的思考給了我很大啓發，雖然現在AI呈現快速發展，但是底層的邏輯我們得了解，纔不被表象所遮蔽。

殘酷的AT世代！大作已經過時了

讀完特倫斯·謝諾夫斯基大師兩本書，大師以敘事的方式記錄了大語言模型的發展，中間穿插了關鍵人物及事件，每個章節通過向ChatGPT提問的方式讓GPT總結，整體通俗易懂，方便讀者入門。