從零構建大模型

Github上很火的開源項目LLMs-from-scratch，中文版紙書4月份才上市，沒想到電子版這麼快就上架了微信讀書，這是一本實操性很強的書，不僅開發了一個小型的類GPT-2大語言模型，還實現了數據集處理、模型預訓練、針對特定任務的微調，涵蓋了構建大模型的整個流程。作者把模型的核心組件拆分成多個知識點，引導讀者按章節編排的順序漸進的進行實踐，降低了學習難度，同時書中代碼示例也經過精心設計，算力有限的條件下也能使用，在筆記本上就可以搭建運行。 在編碼部分作者使用PyTorch作爲主要開發庫，這個功能強大的開源庫可以很方便的搭建神經網絡框架，操作張量、損失函數等複雜計算變得簡單易用，提升開發效率，整個模型開發完成後，代碼量也才幾百行，還提供了大量的代碼註釋和輸出可視化結果進行說明，直觀易讀。在內容部分作者採用實用主義導向，正文不過多講解原理性的知識，以代碼示例爲主，帶着讀者去解決實際問題。比如在Transformer模型開發階段，並沒有過多介紹自然語言處理的起源，或RNN模型背景及實現原理，僅提出RNN模型無法很好的獲取長距離上下文依賴的侷限性，作者從這個問題入手，實現了帶位置編碼的嵌入層，保存詞元順序和相互關係，再實現注意力機制用於並行捕獲上下文信息，這樣模型就可以在保持語序的前提下突破上下文長度的限制，解決了RNN模型的缺陷。作者正是通過這樣一步步拆解問題，把Transformer模型的核心功能知識點串聯起來，降低了理解門檻。 模型編碼完成之後，需要使用數據集訓練才能生成連貫的文本，同時還要計算輸出損失值用於評估和優化訓練結果。作者同樣給出代碼示例，使用一個2萬字的短篇小說作爲小數據集，和加載一個參數量1.24億的GPT-2公開大數據集做對比，可以看到小數據集對計算資源需求較小，但生成的句子不通順，且有明顯的語法錯誤。而用大數據集時雖然計算耗費資源，但輸出的文本明顯效果提升，表達也更流暢自然。可以更直觀的感受到，只有基於海量的數據訓練，才能使模型擁有強大的學習和處理複雜語言的能力。最後作者還介紹了用於分類的微調和用於執行指令的微調，展示如何通過微調，優化和改進模型適應性，使模型可以解決特定任務。 本書對初學者同樣友好，就算是編程苦手也不必擔心，可以把隨書代碼下載下來，暫時忽略代碼細節，跟着書中指引調試起來，也能在實踐中對大模型的架構和工作原理有整體的認識。另外作者博客的一篇新文章介紹了推理模型的構建方法，還分享了DeepSeek發佈後對大語言模型領域發展的看法，編輯把這篇文章作爲中文版的彩蛋收錄在附錄中，緊跟最新技術趨勢，也是非常用心了。

這是一本專業書籍，好奇心驅使我進來看個熱鬧，並請AI代爲總結😊😊 《從零構建大模型》是一部系統、實 踐導向的大型語言模型入門與進階指 南。全書內容可概括爲八個緊密銜接 的板塊，既提供理論框架，也給出可 運行的代碼示例。 1.大模型全景與動機 ·開篇首先明確“大模型”概念，闡 述其在自然語言處理、圖像生成、 語音合成等場景中的價值，並勾勒 本書學習路徑。 2.Transformer與 GPT基礎 ·介紹Transformer 結構、自注 意力機制、分詞、嵌入層等核心組 件；隨後剖析GPT的生成式訓練 流程和 BERT 的掩碼語言模型預 訓練思想，爲後續實戰奠定理論基 礎。 3.數據準備與預訓練 ·講解如何收集、清洗並組織大規 模語料；隨後展示從零啓動預訓 練、超參數設置及訓練過程監控的 方法。 4.模型對齊與安全 ·重點說明如何利用人工反饋 （RLHF）讓模型遵循指令，避免 偏見與安全風險，並介紹預訓練權 重的加載與推理優化技巧。 5.垂類微調與評估 ·系統比較全量微調、參數高效微 調（PEFT）、RAG等方法；給出 模型評估指標、基準測試及調優實 踐，幫助讀者把通用大模型適配到 具體業務場景。 6.架構演進與推理增強 ·概覽常見的模型並行、張量級並 行等分佈式策略，以及檢索增強生 成、Agent框架等外延技術，指 導讀者構建更高階的推理系統。 7.行業案例與落地 ·通過金融、醫療、教育等行業的 實際項目，演示從需求分析、數據 獲取到模型部署的完整閉環，幫助 讀者掌握商業化落地方法論。 8.未來趨勢與研究方向 ·討論大模型與推理模型的協同、 高效微調的新範式、多模態擴展等 前沿議題，爲讀者指明後續研究與 工程實踐方向。 通過上述七大板塊，作者將“理論一實 現一優化一應用”貫穿全書，使讀者能 夠真正從零開始構建、訓練並部署自 己的大模型。 （AI整理）

對我來說，最大的收穫，是把碎片化的知識組織起來了，有了系統性的梳理。 本書一大優點是比較新，現在的相關資料，要麼雖然新，但是是追熱度型，作者自己都沒想明白，就開始寫書了；要麼是與大模型完全沒關係的“經典”書籍，經典約等於過時，用處不大；要麼是論文，論文的問題是，基本都是在某個點去單項突破，知識碎片化，理解門檻高且質量參差不齊。 書裏寫得最好的部分，是Attention機制，在第三章裏的3.3-3.6，這部分把注意力機制分級講解得非常清晰，缺點是QKV的概念引入得太晚了，在3.4.1的結尾才提及，我讀到那裏的時候，看到好多筆記說不能理解，我感到很震驚，因爲第三章一直就是圍繞QKV的，如果看到這裏時才被QKV卡住的話，那前面怎麼可能理解呢……我覺得應該放在3.1-3.2就提的。 另一個缺點是很多圖我覺得畫得不是很好，有誤導作用，比如附錄F的DeepSeek流程圖，還不如文字描述易懂。 但總之是本好書，能夠讓人建立起系統性的知識框架。

《從零構建大模型》書評：真正把GPT拆開看了一遍一、這本書講了什麼全書七章，實際上完成了三個階段。 第一個階段，是搭建一個GPT模型。 前四章從大語言模型的基本概念開始，依次講解文本處理、詞元嵌入、位置嵌入、自注意力、多頭注意力、前饋神經網絡、層歸一化、殘差連接，最後把這些組件組合成一個完整的GPT模型。 第二個階段，是讓這個GPT真正學會語言。 第五章進入預訓練。模型根據前文預測下一個詞元，再通過交叉熵損失判斷預測結果與正確答案之間的差距，接着通過反向傳播計算梯度，由AdamW優化器更新參數。 前四章完成的是模型結構，第五章完成的是模型學習。 第三個階段，是讓模型適應具體任務。 第六章介紹分類微調，把原本預測整個詞表的輸出層，替換成只有兩個輸出節點的分類層，用來判斷短信是垃圾短信還是正常短信。 第七章介紹指令微調。模型不再只是繼續一段文字，而是開始學習識別人類指令，並生成符合要求的回答。這可以被看作從基礎GPT走向聊天助手的關鍵一步。 因此，這七章可以概括爲： 從認識GPT，到搭建GPT，再到訓練GPT，最後把GPT改造成分類模型和初步的指令模型。 二、這本書最好的地方，是它真的在“從零構建”現在很多大模型教程，本質上是在教人如何使用現有框架、調用模型接口，或者在一個成熟模型上進行簡單微調。 這本書不一樣。 它沒有一開始就使用封裝好的Transformer模型，而是從最底層開始： 文本爲什麼要分詞； 詞元爲什麼要轉換成ID； ID爲什麼還要轉換成向量； 一個詞元怎樣獲得位置信息； Query、Key、Value分別是什麼； 注意力權重是怎樣計算出來的； 爲什麼要加入因果遮罩； 爲什麼需要多頭注意力； 爲什麼前饋網絡要先擴展維度再壓縮； 爲什麼深層網絡需要殘差連接和層歸一化； 模型怎樣從768維向量映射到整個詞表； 損失函數怎樣衡量模型預測得好不好； 梯度又怎樣推動參數發生變化。 這些東西單獨看都不算特別複雜，真正困難的是把它們連接起來。 而這本書完成得比較好的一點，就是始終圍繞同一條主線推進： 文本如何一步步進入模型，又如何一步步變成下一個詞元的預測結果。 當這條鏈路真正建立起來之後，很多原本抽象的名詞就不再是孤立的概念。 例如，嵌入不是簡單地“把詞變成向量”，而是整個模型能夠進行連續數學運算的起點；注意力不是一句模糊的“關注重點”，而是Query和Key計算匹配分數，再用這個分數加權Value；殘差連接也不是簡單地“跳過幾層”，而是爲信息和梯度保留一條直接通道。 三、我對GPT最重要的幾個認識1. GPT的底層任務其實非常簡單 無論模型最終表現得多麼複雜，它最基礎的訓練目標始終是： 根據前面的詞元，預測下一個詞元。 例如： “人工智能正在改變——” 模型並不是直接理解整句話的終極含義，而是計算下一個位置上各種詞元出現的可能性。 “世界”可能是30%，“行業”可能是20%，“生活”可能是15%。 模型選擇一個詞元以後，再把這個詞元加入上下文，繼續預測下一個。 複雜能力最終建立在這個看起來非常簡單的目標之上。 這也是我讀完之後覺得最值得反覆思考的地方：一個足夠簡單的訓練目標，在海量數據、大量參數和持續優化下，竟然能夠發展出如此複雜的語言能力。 2. 模型中的“理解”，本質上是向量和參數的變化 人類使用“理解”“記憶”“關注”這些詞，很容易把人的心理活動投射到模型身上。 但從代碼層面看，模型內部真正發生的是： 詞元被轉換成向量； 向量經過矩陣變換； 不同位置計算注意力分數； 信息按照權重重新組合； 多層網絡不斷加工這些表示； 最終得到詞表中每個詞元的預測分數。 因此，模型並不是像人一樣在腦中形成一個清晰的句子含義，再決定怎樣回答。 它是通過大量參數，把文本中的統計關係、語法模式、知識聯繫和任務結構編碼進網絡。 這並不意味着模型“完全不理解”，而是提醒我們：模型的理解方式與人類的理解方式並不相同。 3. 參數、梯度和注意力權重是三種不同的東西 在學習過程中，這幾個概念很容易混淆。 參數是模型長期保存、通過訓練逐漸形成的數值，比如嵌入矩陣、Q/K/V矩陣和前饋網絡權重。 梯度表示當前損失對參數變化的敏感方向和大小，它告訴優化器參數應該往哪個方向調整。 注意力權重則是模型針對當前輸入動態計算出來的信息分配比例。換一句話，注意力權重就會重新計算，它不是長期儲存在模型中的知識。 把這三個概念分開以後，模型訓練過程會清晰很多。 4. 第四章結束時，模型已經“能生成”，但還不會語言 這是一個很有意思的分界點。 前四章把GPT的結構搭建完成後，我們已經可以輸入一段文字，讓模型不斷輸出後續詞元。 但此時參數還是隨機的，所以生成結果通常沒有意義。 這說明： 能夠輸出文本，不等於擁有語言能力。 模型結構只是提供了學習能力的容器，真正的能力來自訓練。 第五章通過交叉熵、反向傳播和AdamW優化器，讓隨機參數逐漸變成有用參數。模型纔開始從“能夠運行的程序”，轉變爲“能夠學習語言規律的模型”。 5. 從GPT到ChatGPT，關鍵不只是模型變大 第七章讓我更清楚地理解了基礎GPT和聊天模型之間的差別。 基礎GPT主要學習自然文本中什麼內容通常接在什麼內容後面，因此它擅長續寫。 指令微調則把訓練數據整理成： 指令； 可選輸入； 標準回覆。 模型通過大量這樣的示範，開始學習： 用戶提出這個要求時，我應該生成什麼樣的回答。 從用戶體驗來看，這是從“文本續寫模型”向“任務助手”的跨越。 不過這本書實現的主要是監督式指令微調，它還不等於完整的ChatGPT。真正成熟的聊天產品通常還涉及偏好優化、安全對齊、多輪對話、系統指令、工具調用和產品層設計。 因此，更準確的說法是： 第七章展示了從GPT走向ChatGPT的關鍵一步，而不是完整復刻ChatGPT。 四、這本書的敘事結構從結構上看，這本書採用的是非常典型的工程遞進方式。 它不是先講一大堆理論，再突然給出完整模型，而是每一章只解決一個核心問題。 第一章先建立整體認知，讓讀者知道大語言模型是什麼。 第二章解決文本怎樣變成模型可以處理的數字。 第三章解決詞元之間怎樣交換上下文信息。 第四章把這些模塊組合成完整GPT。 第五章讓模型開始訓練和生成。 第六章把模型改造成分類器。 第七章再把模型改造成可以遵循指令的生成模型。 這種結構的優點是，每一章都建立在前一章的結果上。讀者不是在記憶零散概念，而是在親眼看到一個模型逐漸成形。 從敘事角度看，它有一點像組裝一臺機器： 先認識機器，接着準備輸入材料，再製造核心部件，然後完成整機組裝，之後啓動訓練，最後爲機器增加不同用途。 這是我認爲這本書最成功的地方之一。

已經看了2遍，操作和測試了一遍，非常好的一本書，整本書結構嚴謹，解釋清晰，操作性強，雖然只有300多頁，但是如果把練習部分和擴展部分都完成的話，其實內容不少。作者把訓練大模型分爲3個大階段，每個，每個大階段又分爲N個小階段，一步步詳細講解和代碼實現。個人認爲最精彩部分是 Transformer 模塊的注意力機制的講解和分步實現。是近幾年我看到的除了《Python深度學習 (第2版)》以外最好的一本AI技術相關的書。

雙劍合璧：學習大語言模型的最佳拍檔 倘若想要系統地學習大語言模型的理論知識，可又受困於複雜的數學算法與公式，因而不得其門而入，該怎麼辦？以我的經驗，倘若能結合閱讀《圖解大模型》和《從零構建大模型》這兩本書，足以滿足AI框架開發和AI應用開發需要的大語言模型知識了。 我將這兩本書視爲學習大語言模型的最佳拍檔，只有這兩本書雙劍合璧，才能發揮最大的威力。兩本書的敘述風格非常相似，雖然是講解大語言模型理論，卻完全摒棄了晦澀的數學公式和艱深的理論知識，以大量的代碼案例驅動讀者的學習過程，非常符合程序員的“審美習慣”。然而，兩本書的側重點又各有不同，恰好可以形成內容的互補，組合起來，就能給讀者帶來更多的收穫。 本書是關於如何從零開始構建大模型的指南，由暢銷書作家塞巴斯蒂安·拉施卡撰寫，通過清晰的文字、圖表和實例，逐步指導讀者創建自己的大模型。 在本書中，讀者將學習如何規劃和編寫大模型的各個組成部分、爲大模型訓練準備適當的數據集、進行通用語料庫的預訓練，以及定製特定任務的微調。 此外，本書還將探討如何利用人工反饋確保大模型遵循指令，以及如何將預訓練權重加載到大模型中。 本書讓 LLM 不再高高在上，而是真正進入了普通開發者的工具箱裏。 如果你曾幻想過用自己的代碼構建一個大模型，如果你想真正理解 GPT、DeepSeek 等模型背後的運行邏輯，如果你厭倦了只會“調用接口”而不知其所以然——那這本書，可能正是你一直在等的那一本。 這是一本注重實戰、內容透徹的 LLM 入門書。作者手把手帶你親手構建、訓練、微調一個屬於自己的大模型。從數據準備到預訓練，從指令微調到模型部署，每一步都講得清清楚楚，還配有代碼、示意圖，手把手帶你實現。 只需跟着作者一步步操作，相信你一定能掌握構建 LLM 的核心技能，成功構建屬於自己的大模型！如果你正在探索如何打造大模型，這本書絕對是你的最佳指南！ 封面上有一個公爵夫人，很好辨認，而且這本的內容獨一無二！

從2025年4月份面世，到2026年6月份讀這本書，感慨AI行業迭代速度驚人。本書去年出版時，行業重心還在預訓練、微調等模型構建環節，如今技術風向已然轉向Agent、OpenClaw、Hermes等智能體應用框架，大模型發展從自研造模型，逐步邁向落地實用。 全書系統梳理大模型從零搭建的底層原理，詳解Transformer、預訓練與微調邏輯。雖說微調早已不再是落地主流，但書中夯實的基礎理論，仍是理解各類智能體框架的關鍵。當下產業不再比拼基座訓練，而是依託成熟大模型搭建智能應用，把AI用於生產與創意創作。 技術框架日新月異，但底層技術邏輯恆久不變。這本書褪去時效性工具書的侷限，既是舊時代模型研發的總結，也是擁抱AI應用時代的基石，幫我們跳出跟風新技術的誤區，立足本源、善用AI。

在飛機上讀完了。這是我係統性地對大模型知識學習的第二本書。 收穫: 1. 鞏固了大模型的結構，預訓練過程，以及指令微調的知識點。尤其對前向傳播和反向傳播的理解更加深刻，加深了對權重矩陣，超參的感性認識； 2. 從數學層面理解了大模型訓練的機制。本質是通過對詞元的向量化，在高維空間去擬合，即意圖理解。而多層神經網絡是提供了一個逐步遞進的架構，通過減少損失來擬合；維度代表了特徵，而這些特徵可以在大模型的訓練過程中自我學習得到（這也是神奇之處）。LoRA技術則在大模型權重矩陣上，實現了在特定領域中通過動態加載Lora矩陣，提升模型的準確率。 3. 理解了推理模型，尤其是三種主流機制的原理。也進一步認識到我們國家的Deepseek爲什麼會在西方引起巨大的反響。主要是兩點: 單純的強化學習就能引起大模型自我推理能力的湧現，以及蒸餾技術證明了小模型在特定場景比大模型一樣有效。 一本好書能讓自己享受到學習樂趣！

在豆瓣，這本書評分高達 9.5，不少讀者推薦：“建議團隊人手一本”。 在 OReilly、GitHub、Amazon 等海外平臺，它同樣被譽爲“構建 LLM 最值得讀的實戰書之一”。 上市幾個月，來自不同國家、不同背景的開發者和學習者，卻不約而同地說出了同一句話： “這是我第一次真正理解了大語言模型！” 由 GitHub 超 4 萬星項目 LLMs-from-scratch 作者、大模型公司 Lightning AI 工程師塞巴斯蒂安·拉施卡編寫的《從零構建大模型》！ 它不是隻講理論，而是從零出發，手把手帶你搭建一個完整的大語言模型。從訓練數據的準備、Transformer 的實現，到推理、部署與優化，你不僅讀得懂，還能親手跑通整個流程。 來自全球各地的真實評價，會告訴你爲什麼這本書值得反覆閱讀，也許還會重新點燃你“動手搭一個 LLM”的衝動。 中文版讀者評價 🔹寫得深入淺出，沒有 Pytorch 基礎也能看懂 寫得真好，深入淺出，居然能在默認讀者都沒 Pytorch 基礎的情況下，用 200 頁的篇幅講明白了全流程。 一直以來我都把 llm 當黑盒用，看完此書才發現，模型內部真就是預測了詞彙表裏幾萬個詞作爲下一個詞的概率，之後按貪心或者其他規則決定下一個詞是什麼。 無限猴子定理和詩云的排列組合，某種意義上不就是一個詞彙表均等概率的情況嗎？現如今 scaling law 已經成爲了共識，但在 GPT 2 之後，OpenAI 居然能那麼篤定地把 GPT 3 推進至 175b 規模。 懷義，你當年到底悟得了什麼？ —— @細逐空香瑤月麓 🔹Transformer 講解極其清晰，堪稱五星！ 對 Transform 的理解，還得是這本書，一下子就清楚了。什麼是深入淺出，這就是。還有作者錄了視頻講解，只能說太棒了，值得五星。 —— @非此即彼 🔹偏重動手實踐，讀起來輕鬆流暢！ 一本很精彩的大模型構建書籍，偏向入門和動手，看下來非常舒服。 —— @學習菜鳥 🔹內容沉穩紮實，配套資源也很到位。 非常紮實的一本書，沉甸甸的。作者還做了視頻，出版社同步到了國內。雙方都很給力。 —— @花花Binki 🔹CV 轉 NLP 快速上手，結構清晰友好。 多年 CV 經驗背景，NLP 經驗約等於 0，五天時間快速過了一遍，只有第 3 章講解注意力的內容稍難理解，其它章節和 CNN 大面積重疊，讀起來比較快。總體來說是一本入門大語言模型不可多得的好書，後續準備精讀第 3 章，然後動手實現一遍。 —— @天外來客 🔹Attention 講得最清楚的一本書! 讀完第 3 章先來評分，這本書是我看過的講 Attention 講得最清楚的。 —— @阿飛 全球讀者熱評匯總 🔹這是我理解 AI 和機器學習概念的轉折點 雖然我纔讀到第 2 章，但目前爲止內容真的太棒了。語言非常精準，很多我之前一直搞不懂的概念，現在都被清晰地講解出來了。我很期待做完所有練習並讀完整本書。我真的想對作者表達感謝——這本書改變了我對通用機器學習和人工智能概念的理解。 ——@Steve 🔹不再照搬模型，而是真的學會構建 LLM！ 我買過無數本機器學習、數據工程、編程、雲架構方面的書……但是這本書真的太棒了！ 它逐步構建了 Transformer 架構的每一個組成部分，寫得極其清晰，我現在真的覺得自己能親手構建一個 LLM 了。 哪怕最低限度，這本書也能幫你理解 Attention 機制、前饋網絡、層歸一化等核心結構，而不是像過去一樣只會從 Hugging Face 導入模型卻不懂其背後的邏輯。 如果你和我一樣，不滿足於只堆 RAG 和調用 API，而是想真正理解模型本體，那這本書就是寫給你的！只要作者還能維持這種內容質量，我會一直買下去。 —— @Higgs meets Boson 🔹不是隻講原理，而是帶你親手做！ 學習大模型最好的方式就是自己動手去構建，而這正是這本書在 LLM 領域所做到的。 你可以在網上找到很多關於 LLM 工作原理的解釋，但這本書的獨特之處在於：它把原理講清楚的同時，還帶你一起實現。 如果你能完成這本書的閱讀並完成練習代碼，你將擁有一套紮實、最新的關於 LLM 底層工作機制的理解。 —— @S.Wang 🔹非常適合入門 LLM，從第一步開始就很有價值！ 從我目前跟着這本書學習的進度來看，它對任何想入門大語言模型的人都非常有價值。我會繼續深入閱讀，獲取更多知識。 —— @B.Clarke 🔹比我讀過的論文更清楚，早該從這本書開始！ 這本書對我來說簡直太合適了。我是一名計算機性能專家，還沒真正開始系統學習機器學習和語言模型之前，我偶爾會讀一些概覽類文章，所以對“向量”“矩陣乘法”這些術語有些瞭解，但始終沒能拼出完整的圖景。 我之前買的機器學習方面的書，往往試圖“面面俱到”，結果我一本都沒讀完過。而這本書不僅提供了完整的實戰示例和源碼，還從頭到尾清晰展示瞭如何訓練你自己的簡化語言模型（用 Python / PyTorch 實現）。 它最讓我驚喜的地方是：對於訓練架構的講解，幾頁內容就比我之前讀過的那些深奧論文講得更清楚。 我現在覺得，我其實應該一開始就從這本書讀起，而不是繞遠路看那些論文。 ——@tanelP 當然除了諸多好評外，也有一些小建議。 章節內容很好，就是配圖如果能彩色或者高分辨率就更好了。 —— @Wael Mohsen 不過中文版在印刷質量上有了顯著提升，圖文更清晰，整體閱讀體驗也更加舒適。 本書內容很接地氣，作者手把手帶你親手構建、訓練、微調一個屬於自己的大模型。從數據準備到預訓練，從指令微調到模型部署，每一步都講得清清楚楚。 讀完這本書，你會學到什麼： 🔹從零開始：自己動手構建模型架構！ 🔹 模型訓練：教你如何準備數據、搭建訓練管道，並優化模型效果！ 🔹 讓 LLM 更聰明：微調、加載預訓練權重，讓你的 LLM 適應不同任務！ 🔹 人類反饋微調（RLHF）：讓 LLM 學會理解指令，避免胡言亂語！ 🔹 輕量級開發：一臺普通筆記本就能跑，告別「算力焦慮」！ 作者讓你用最小的算力跑通最大的邏輯，你只要擁有一臺筆記本，具備一定的 Python 基礎，那你都可以來試試！附上中文版思維導圖： 作者塞巴斯蒂安·拉施卡（Sebastian Raschka），極具影響力的人工智能專家，GitHub 項目 LLMs-from-scratch 的 star 數達 44k。 現在大模型獨角獸公司 Lightning AI 任資深研究工程師。博士畢業於密歇根州立大學，2018~2023 年威斯康星大學麥迪遜分校助理教授（終身教職），從事深度學習科研和教學。 除本書外，他還寫作了暢銷書《大模型技術30講》（圖靈已出版：不管哪個大模型火，你都繞不開這30個核心技術）和《Python機器學習》。 譯者馮驍騁，哈爾濱工業大學計算學部社會計算與交互機器人研究中心教授，博士生導師，人工智能學院副院長。研究興趣包括自然語言處理、大模型等。在 ACL、AAAI、IJCAI、TKDE、TOIS 等 CCF A/B 類國際會議及期刊發表論文 50 餘篇。 業內專家評價 我們已邁入了 AI 時代，深刻理解大模型的工作機制極有必要，而這本書可謂深入理解主流生成式AI的實踐指南。本書以“親手構建纔是真理解”爲核心理念，帶領讀者從零搭建類 GPT 模型，作者以工程師視角剖析LLM黑箱，通過清晰的代碼示例與模塊化拆解，完整覆蓋模型架構設計、預訓練、指令微調等核心環節，是掌握 Transformer 時代模型精髓的必讀之作。 ——張俊林，新浪微博首席科學家 & AI 研發部負責人  這真是一本鼓舞人心的書！它激勵你將新技能付諸實踐。 ——Benjamin Muskalla，GitHub 高級工程師 這是目前對語言模型最通俗易懂且全面的解析！其獨特而實用的教學方式，能夠達到其他方式都無法企及的理解深度。 ——Cameron Wolfe，Netflix 資深科學家

對於這本書，我想我是有資格評價兩句的，因爲這次我不僅讀完了全部內容，還把代碼部分全部實操了一遍。 在我看來，如果說《Python深度學習》是一本理論神作，那麼這本《從零構建大模型》就是一本實踐神作。這本書是真正意義上的“從零開始”，爲了讓讀者能在個人電腦上直接運行調試，作者做出了不少妥協，這一點實在難得。尤其是我近期轉型做大模型訓練以後，日常都是在多張卡或多臺機器上進行實驗，調試全靠增加日誌，再加上每次啓動整個實驗環境也比較耗時，對這一點的感受就更深了一層。 閱讀完本書,讓我對這個領域的很多名詞有了一個簡單的認識，比如dataset/datasetloader，其中的細節是datasetloader單次返回的都是一個input/target鍵值對，大模型就是通過對比這兩個值來進行訓練，此外還有batch_size/context_len/seq_len/max_new_tokens等，這也是我近期跑RL實驗常見的一些配置，不過工作中遇到的東西還是要比這本書中講的要深一些，比如batch_size涉及到顯存的佔用，以及分佈式訓練中最基本的dp/tp/pp分配策略。 另外真實的業務場景中，一個實驗的參數都是組織在配置文件裏，有數百個之多，哪些影響顯存，哪些影響效果，哪些影響速度不是短期內就能輕易搞清楚的，好在這本書中的內容已經把架子搭起來了，基本的參數搞清楚以後再看到這些實驗配置就有了脈絡，剩下的就要在後續各種調試中自己去學習了。 實操下來的最大感受就是整個訓練過程是比較順暢的，要解決什麼問題以及如何解決這些問題都寫的明明白白，但是如果想要理解背後的原理，比如爲什麼這樣做可以達到這個效果，那可真是難了。例如大模型需要知道輸入的句子中各個詞元之間的關係來進行預測，這個是非常好理解的，但是爲什麼點積計算可以用來表示向量之間的相似程度就不懂了。再加上什麼歸一化，激活函數，優化器以及各種矩陣的操作等等就容易讓人感覺雲裏霧裏，當然就是作者自己在書中寫的那樣，很多東西不是簡單就能說清楚的，也超出了本書的定位，目前看來現階段還是先從大處着手，先上手再補充理論知識，不必過於拘泥細節。 最後兩章的分類微調跟指令微調屬於連接大模型跟實際業務場景的關鍵環節，少了這一步，大模型是沒辦法直接爲人們提供服務的。之前瞭解過使用llama-factory跟unsloth來做大模型微調，書中介紹的是直接基於pytorch來微調，應該是比較原始的方式，而這些專業的微調框架應該做了不少封裝跟優化。 對於分類微調來說，從數據集上面看每個輸入對應一個類別的輸出，最後訓練出來的模型可以對輸入進行分類，這個比較好理解，但指令微調中，數據集沒有做什麼特殊處理，只不過是dataset只返回數據本身，再由聚合函數來拆分爲鍵值對，input跟target就採用了最原始的右移一位的方式，最終就讓大模型具備了識別指令這麼高級的能力，確實神奇。 書中對應的源碼都放在github上面，倉庫名是LLM-from-scratch項目，倉庫裏面有很多的擴展代碼是書中沒有提及的，也很值得學習。 以前就多次在github熱榜上看到這個項目，只不過一直沒有深究，沒想到就是這本書。 目前轉型到強化學習方向已經有一個半月，能深切感受到大模型這個方向的門檻確實比較高，編程語言只是一個殼，背後全是數學原理，一般的開發工作只要學會編程語言的語法就能上手，而大模型這個方向屬於每一行代碼都能看懂，連在一起卻不知道在幹嘛。我自己做的強化學習領域又是把模型的訓練跟推理揉在一起再加上強化學習算法本身，複雜度確實不低，這一個半月來算是一刻也沒消停，所幸進展還比較順利，學習了不少新東西，目前已經能把強化學習整個流程大致搞清楚，但是其中各個環節裏面的細節還得繼續一點點深究了，總結一下目前狀態就是僅僅能上手，離入門還有一定距離。 2025.11.1 於杭州回北京的高鐵上