圖解大模型：生成式AI原理與實戰

花了兩天時間認真看完，總的來說應該是目前看過最爲實用的關於 llm 的書。 區別於一般大模型技術類書籍更關注在 decoder 架構的生成式模型（包括 transformer 原理、分佈式訓練、提示詞、微調量化、推理優化、部署等），這本書有將近一半以上的內容在基於 encoder 架構的 embedding model 的原理以及應用上，這些基於 transformer 架構訓練的 embedding model 其實在大廠的實際業務中更加有用，特別在搜索、推薦等涉及一些傳統 nlp 相關任務的技術應用中已經相當成熟。 特別值得一提的是對比學習 contrast learning 思想在這本書中的體現，從 word2vec 到 sentence transformer 再到 clip 的訓練和微調。 重點可以看一下關於 sentence transformer 在文本分類、聚類、主題建模方面的應用（bertopic 等），以及關於 embedding model 的訓練和微調（adapter、少樣本場景下的 setfit 方法等），對實際工作的幫助應該會相當大。

本書提供了大量的圖，對我來說，對理解大模型的技術有一定幫助，有一定的形象理解，但不完全理解，或許要有更深入的代碼實踐才能更理解吧。 本書並不是純粹講ChatGPT或DeepSeek這樣的生成模型，而是從更基礎的詞元、嵌入講起，然後是文本分類、文本聚類等應用，最後纔是我們熟知的GPT類大語言模型的應用。 通過本書我瞭解到了很多以前蠻想知道的，比如如何寫出更好的Prompt，大模型如何模擬記憶，如何實現Agent，如何結合網絡搜索使得答案更精準，以及如何做多模態（即圖片和文本都一起處理，可以文生圖或圖生文之類的），等等。 第三部分是訓練和微調語言模型，我想受限於個人的硬件條件，這裏的例子都相對來說比較簡單或數據量少，但也能給我們一些直觀體驗。真正要訓練或微調出一個好的模型，都是要大量的硬件資源。 本書提供了大量的例子代碼供運行，我也只能是大概看看代碼，粗略理解，然後跑一下看看結果。大量細節是看不太懂的，這個要真懂需要花很多時間研究裏面用到的各種庫，以及庫背後的各種知識，這些python和計算相關的，跟我目前的知識不太相關。 計算機類書的一個大問題就是裏面的例子有可能會過時，尤其是本地或者遠程環境裏的運行庫可能是更高版本而導致的各種問題。我是用Google Colab跑裏面的例子，就碰到了好多問題，主要是因爲Colab本就預裝了一些庫，且它們的版本高很多。我會在評論裏把解決方法列一下，供參考。

《圖解大模型：生成式AI原理與實戰》是一部面向零基礎讀者的大模型入門書，全程採用全綵圖解的方式，把枯燥的理論拆解成直觀可感的視覺化內容。 ​​1. 內容結構​​ • ​​第一部分 理解語言模型（第1~3章）​​：從詞元、嵌入向量講到 Transformer 架構，幫助讀者建立對語言模型核心概念的第一層認識。 • ​​第二部分 使用預訓練語言模型（第4~9章）​​：展示如何把現成的大模型用於文本分類、聚類、語義搜索、文本生成以及多模態擴展，側重“怎麼用”而不是“怎麼從頭訓練”。 • ​​第三部分 訓練和微調語言模型（第10~12章）​​：介紹構建嵌入模型、優化分類任務以及對生成式模型進行微調，讓讀者學會根據自己的數據和任務調整模型。 ​​2. 特色與實踐性​​ • 每章都配有可一鍵在線運行的示例代碼，讀者無需搭建複雜環境即可動手實驗。 • 面向開發者、研究人員和行業從業者，只要會 Python 就能跟上節奏。 ​​3. 讀者收穫​​ 讀完本書，你將： • 拆解大模型的核心原理並理解其設計初衷； • 掌握把大模型應用到文本生成、搜索、聚類等常見 NLP 任務的方法； • 具備對預訓練模型進行微調、構建專屬嵌入模型的能力； • 爲後續深入研究或業務落地打下堅實基礎。 ​​一句話總結​​：這本書用圖解+實戰的方式，把“大模型是什麼、能做什麼、怎麼用”講得通俗易懂，是快速進入生成式 AI 領域的友好指南。

如果只讀一本介紹大模型系統知識體系的書，那我推薦這本書。 她就像讀書時得教材，知識點講解得很清晰，包括來龍去脈和在系統整體裏面得位置和作用，能把常用知識點形成一個系統得知識體系。 就是因爲有這種體驗，在閱讀得過程中，我就決定一定要推薦此書和我自己一定要再次認真得讀第二遍。她能幫助我理解大模型規劃工作中如何抓住重點。 書最後還有相關知識點得問題，以供判斷自己對知識點是否掌握完整。

這本“袋鼠書”拿到手已經有一段時間了。原本想趁着春節假期好好啃一下，沒想到出來個智能體龍蝦（OpenClaw）打亂了節奏，結果一直沉迷養龍蝦不能自拔，最近才重新把它撿起來。 大模型的原理書看了不少，不過這次我不打算按以前的習慣從頭到尾通讀，而是先問 AI 一個更具體的問題：如果我現在最關心的是 Agent 開發，那麼這本書裏哪些內容最值得先讀呢？ AI 建議我先從第六章提示工程開始讀起。以前容易把提示詞優化當成是一種技巧，清晰描述需求、或者加一些約束，可以讓模型表現得更穩定些。這次讀下來，覺得提示詞不只是要把話說嚴謹，從工程角度看，更像是建立一套規範，定義輸入、邊界約束，尤其是結構化輸出和校驗，輸出能遵循特定格式，程序才能更好的處理，對 Agent 來說，後續的鏈、工具調用等，都依賴穩定的輸出。 一個設計好的提示詞，只能解決單次調用的穩定性，而我們大部分的任務，並不是一次問答就能完成的。當任務需要拆分成多步驟，並且前後結果需要穩定銜接時，就需要用到鏈了。鏈可以讓流程變得可控，每一步的輸入輸出，都可以提前定義好，單個步驟更容易調試和優化，這樣出了問題時，也方便排查。 模型本身不保留跨對話信息，如果任務缺少歷史上下文，模型無法關聯前文信息，輸出偏差會影響後續任務正確執行。要想多步任務穩定運行，還需要引入記憶機制。書中介紹了三種記憶保存方式，對話緩衝區、窗口式對話緩衝區和對話摘要。 記憶機制需要根據具體任務做選擇，本質是對上下文長度、完整性、維護成本之間進行取捨。 在鏈和記憶之後，通過工具調用與 RAG，模型分別獲得了操作外部服務和獲取外部知識的能力，從而能夠與外部環境進行交互。 有了以上的基礎功能，模型就具備了執行復雜任務的能力，但這還不能等同於 Agent ，還需要一套決策機制，把這些能力組織成一個可協同運作的系統。書中介紹的 ReAct 思考框架，是一種“思考、行動、觀察”的循環，每一步先思考再執行，根據結果調整下一步操作，這種循環機制把前面的能力都串聯起來，讓系統完成動態決策和工具調用，從而具備 Agent 的核心能力。 這本書的圖解部分對理解很有幫助。大模型相關概念本身比較抽象，加上書中代碼量還不少，如果只讀文字或直接看代碼，很容易陷入細節，反而忘了整體結構。圖示的好處是能讓複雜流程變得更直觀，比如 LangChain 模塊如何組織連接、ReAct 的決策過程、RAG 如何從檢索走到生成等等。以後複習時再看到這些圖，很多概念之間的關係也能很快重新串起來。 看完這些原理知識點之後，怎麼判斷自己是不是真的吸收了？本書譯者附帶了一份常見面試題，我覺得不要當成面試八股文來看，它更適合作爲一份自測清單。合上書之後再回頭看這些問題，如果能想起相關知識點，說明自己至少建立了基本印象，如果還能進一步說清楚它們的含義、適用場景和彼此之間的關係，纔算是真正把內容消化了。

如果你關注大模型技術動態，你可能知道這兩個名字：Jay & Maarten，如果你不知道，那你大概率知道這篇文章——“The Illustrated Transformer”，或是讀過以各種形式翻譯過的這篇文章。說這篇文章是“爆款”“在圈內瘋傳”，一點兒也不誇張。 25年， DeepSeek-R1 最火的時候，解讀底層原理的“The Illustrated DeepSeek-R1” 又刷屏了我們的朋友圈。以上兩篇文章的作者都是 Jay（Jay Alammar）。Maarten（Grootendorst）對熱點的追蹤沒那麼快，但跟 Jay 相比，Maarten 的表達功力有過之而無不及。 The Illustrated 系列已經成爲大模型技術圈的王牌解讀博客文章，每次出現新技術，讀者翹首以盼。 《圖解大模型》正是兩位業內資深專家專門爲初、中級讀者創作的大模型學習指南，原始資料就是百萬讀者親自驗證過的一些熱門博客文章，看到封面上的袋鼠部分朋友已經很熟悉了，原書非常有名：Hands-On Large Language Models: Language Understanding and Generation。 以“圖解”爲核心理念，通過高質量插圖（超過 300 幅），徹底顛覆你對技術書“晦澀難懂”的刻板印象。從底層原理到應用開發，再到模型訓練與微調，讓大家不僅能“讀懂”，還能“看懂”，更要“用起來”。 這書的中文書名並沒有照搬英文書名，原書名將“動手做”列爲第一特徵，中文書名將“圖解”作爲首要特色，“實戰”作爲第二特色，這最能體現圖書特色的書名了——左手代碼，右手圖，邊看邊操作，學得肯定快！ 本書的主要內容： 第一部分：理解語言模型探索大、小語言模型的內部運作機制。 首先概述該領域和常用技術(見第 1 章)，然後討論這些模型的兩個核心組件(見第 2 章)：詞元(token)和嵌入 (embedding)。 本部分最後是對 Jay 的大名鼎鼎的文章“The Illustrated Transformer”的更新和擴展，深入探討了這些模型的架構(見第 3 章)。本部分還將介紹許多貫穿全書的術語及其定義。 第二部分：使用預訓練語言模型 通過常見用例探索如何使用 LLM。我們將使用預訓練模型並展示它們的功能，無須進行微調。你將學習如何使用語言模型進行監督分類(見第 4 章)、文本聚類和主題建模(見第 5 章)，利用嵌入模型進行文本生成(見第 6 章和第 7 章)、語義搜索(見第 8 章)，以及將文本生成能力擴展到視覺領域(見第 9 章)。 學習這些獨立的語言模型功能將使你具備用 LLM 解決問題的技能，並能夠構建越來越高級的系統和流程。 第三部分：訓練和微調語言模型通過訓練和微調各種語言模型來探索高級概念。 我們將探討如何構建和微調嵌入模型(見第 10 章)，回顧如何針對分類任務微調 BERT(見第 11 章)，並以幾種生成模型的微調方法結束本書(見第 12 章)。 本書 GitHub 附贈大量延伸資料，且代碼可通過 Google Colab 一鍵運行。GitHub： https://github.com/HandsOnLLM/Hands-On-Large-Language-Models

不確定是原書的問題還是翻譯的鍋，但這本並不太適合零基礎的讀者。有一定基礎（雖然不多）如我，讀某些段落的時候都得停下來在腦海裏檢索一番，才能明白它在講什麼（翻譯腔重的地方尤其如此，感覺有些部分語句沒理順）。不過書裏的知識確實很新，作爲查漏補缺的工具書來用，還是挺不錯的。

抱着學習大模型原理來看這本書，讀下來感覺很糟糕。 第一部分，詞元和嵌入讀的津津有味 第二部分和第三部分。突然就變成了實操，後面都沒講清楚。就直接開始實戰了。 這就像我作爲一個新手想學做菜，例如土豆炒雞蛋。 這本書第一部分告訴我，土豆是什麼，雞蛋是什麼。 突然後面部分變成了，大廚拿出來一個預製菜加熱一下，跟我說做好了。 我是一臉問號，土豆怎麼切的，怎麼下鍋。這些原理都變成了預製菜，你就直接這樣用。 總的看下來就第一部分有收穫，後面至少不適合我這個新手來讀

一本紮實的技術導覽 1. 語言模型的核心組件：詞元與嵌入向量 語言模型的輸入首先需要經過分詞器的處理。分詞器一般在訓練集上通過子詞級、詞級、字符級或字節級的分詞方法訓練得到，用於將文本分解爲詞元（token）。 每個詞元會被映射爲一個嵌入向量，表示其在上下文中的語義。進一步地，模型也可以爲整段文本（如句子或文檔）生成文本嵌入，力求最大限度地捕捉語義信息。 2. 技術演進：從詞袋到 Transformer 的注意力機制 語言模型的發展大致經歷了三個階段： * 詞袋模型（Bag of Words）：將整個文檔表示爲一個嵌入向量，忽略了詞序和上下文語義。 * 詞向量（如 Word2Vec）：爲每個詞元生成嵌入向量，能夠在一定程度上捕捉上下文中的語義關係。 * 上下文建模與注意力機制：從最初的 RNN（循環神經網絡）開始嘗試建模上下文，但由於其順序處理特性，不僅難以捕捉長距離依賴，也難以並行訓練。 3. Transformer 的提出解決了這些問題。它通過堆疊編碼器和解碼器實現深層建模，其中解碼器相比編碼器多了一個“交叉注意力層”。注意力機制基於 Q（查詢）、K（鍵）、V（值）三個投影矩陣計算注意力分數，用於衡量當前位置詞元與上下文中其他詞元的相關性。 在此基礎上，通過語言建模頭將多個 Transformer 塊連接起來，可以構建出多種類型的系統。最終，模型輸出的是下一個詞元的概率分佈。 語言模型在架構上可分爲兩類：表示模型（只使用編碼器）和 生成模型（只使用解碼器）。前者擅長分類、聚類和語義搜索等任務，後者則用於生成詞元，支持文本生成、補全等能力。 4. Transformer 的改進方向 在標準 Transformer 架構之上，研究者提出了多種優化策略，包括： * 稀疏注意力、多查詢注意力、分組注意力等機制，提升注意力計算效率； * Flash Attention，顯著減少顯存使用並提升推理速度； * 在 Transformer 塊中採用預歸一化的 RMSNorm 和 SwiGLU 激活函數，提高訓練穩定性； * 位置編碼也從最初的絕對位置向量發展爲如 RoPE（旋轉位置編碼）等更加有效的方式。

除了面試200問，其他沒必要看，浪費我79.9書幣