GPT圖解 大模型是怎樣構建的

《GPT圖解：大模型是怎樣構建的》以清晰的技術邏輯和直觀的圖表形式，深入剖析了大語言模型（如GPT）的構建過程。作者並未停留在泛泛而談的層面，而是直擊技術本質，從數據準備、模型架構、訓練方法到實際應用中的優化技巧，層層遞進地爲讀者揭開了大模型的神祕面紗。 書中最令人稱道的是其對技術細節的精準把控。無論是對“詞嵌入”機制的解析，還是對“注意力機制”的深入探討，作者都展現出了極高的專業素養。通過大量圖表的直觀呈現，複雜的數學公式和算法流程被轉化爲易於理解的視覺語言，即便是對AI技術知之甚少的讀者也能輕鬆掌握核心概念。 然而，本書並非毫無瑕疵。在某些章節中，作者對技術背景的鋪墊稍顯簡略，可能會讓部分讀者感到“喫力”。此外，儘管書中提供了豐富的案例分析，但對實際應用場景的討論略顯蜻蜓點水，未能充分展開。這或許會讓期待更多實戰經驗的讀者感到些許遺憾。 總體而言，《GPT圖解：大模型是怎樣構建的》是一部兼具科學性和可讀性的佳作。它既適合零基礎的技術愛好者入門學習，也適合有一定經驗的技術人員深入理解大模型的核心原理。對於那些渴望在AI領域有所建樹的讀者而言，這本書無疑是一份不可多得的寶貴參考。 最後，用DeepSeek爲大模型賦詩一首： 《大模型賦》 數據如潮湧， 神經織網密。 詞嵌入玄機， AI展宏圖。 千億參數動， 萬億算力需。 量變到質變， 智慧躍然起。

2026年讀完的第三十七本書，今天工作比較繁忙而且在生活上需要處理的雜事也比較多，只有過了晚上10點半，纔有自己的時間能靜靜地坐下來讀書和複習、覆盤技術問題。在寫下這本技術書點評的此時此刻，由於重新充值了KiMi的Coding Plan高級套餐擴容了Token限額後，我的Agent Group又被“喚醒”起來工作了。 在讀這本書之前，其實我也讀了不少LLM（大語言模型）相關技術的書籍，但是這本通過LLM技術發展的歷史脈絡爲主線，結合代碼和實施方案的技術要點對GPT(Generative Pre-trained Transformer)進行講解和剖析，這是我目前爲止讀的第一本。正如很多書友在評論區提到，GPT的誕生不是一蹴而就的，除了在現代計算資源性能的不斷提高的前提下，它的出現離不開各種深度學習神經網絡數學相關原理、IT技術發展相互結合爲基石，歷經一代代鍥而不捨奮鬥的AI研究員和IT工程師無數的試錯、失敗、改進和總結相關。 這本書從技術的角度，先是從N-Gram、BoW、Word2Vec的基礎語言模型爲開端，到ML(機器學習)一直以來性能表現不佳的分支：神經網絡技術NPLM(神經語言概率模型)、RNN(循環神經網絡)、Seq2Seq（Encoder-Decoder架構），再到能使得神經網絡框架的表現性能對其他機器學習-深度學習框架如：類馬爾科夫模型、樸素貝葉斯分類器等實現”彎道超車“的注意力機制（Attention Mechanism），一直到出現了Transformer(Decoder-Only架構)、BERT(Encoder-Decoder架構)，還有開始引入有監督微調（SFT）和人類反饋增強式學習（RLHF）等模型訓練技術冠絕全球的GPT爲止，作者從構建LLM涉及的各種基礎技術，一直到通過PyTorch庫結合Python代碼層層深入講解和分析了各種LLM的高級技術，就像向讀者展開了一副豐富多彩的畫卷。 即使我之前讀過不少LLM相關的技術書籍，但是我讀到的那些書本提到的知識點都是比較分散，而這本書通過LLM技術發展的脈絡把涉及到訓練、測試神經網絡用到的技術一層層地串聯起來。有訓練LLM.模型基座相關的輸入詞在線性層的嵌入向量化:將離散的符號（如單詞）映射到連續的向量空間，讓原本沒有意義的詞彙編碼變成蘊含某些語言信息的表示，Encoder的注意力機制和Decoder的自注意力機制，FFNN（前饋神經網絡），殘差連接層，掩碼處理機制，向前傳播（計算損失得分），向後傳播（通過損失得分和學習率進行梯度處理更新權重），歸一化層（softmax函數處理），計算損失函數，非線性的隱藏層（Hidden Layer）等，激活函數，通過Sin和Cos函數化的位置輸入等；也有模型蒸餾相關的神經網絡節點剪枝，教師學生模式，LoRa和QLoRa；最後還重點介紹了SFT（監督微調）和RLHF（人類反饋增強學習）相關的PPO（近似策略優化）和GRPO（羣組相關策略優化），優化器，獎勵模型的訓練等一系列技術。 在讀這本書的過程中我查閱了非常多的資料，並花了非常多的時間去思考這本書的各種知識點，每遇到一些難以理解的知識我都會有抓耳撓腮的感覺，深度思考問題的時候我都會喜歡問各種是什麼、爲什麼、如果怎麼樣的問題。作者在書中提及到，生成式模型和判別式模型是兩種主要的機器學習模型，但是神經網絡在形式上是判別式模型（通過數據集間映射的訓練學習更新權重），而它在行爲上是生成式模型（自迴歸生成文本），這樣的結論加深了我對“事物的矛盾統一性原理”的理解。 讀完這本書，我感概良多，既對神經網絡模型波瀾壯闊的曲折發展過程感到欣喜，又對孜孜不倦追求模型性能提升AI表現性能的研究員和AI工程師充滿敬意，最後也爲自己終於能找到喜愛的AI事業感到慶幸。花了幾乎一個小時才完成這篇讀書評論的總結，我的在編寫這篇評論的中段時間裏，我的Agent Group很快就把KiMi的Coding Plan Quota耗光，從落筆開始到結束總結不知不覺間寫到凌晨深夜，這本書推薦一讀。

書名：GPT圖解 大模型是怎樣構建的 作者：黃佳 出版社：人民郵電出版社有限公司 出版時間：2023-12-01 ISBN：9787115623683 品牌方：人民郵電出版社有限公司 字數：22.8萬字 評價：81.5% 用“大模型”作爲關鍵詞搜索了一下，目前微信讀書上線的書籍有170本，總字數高達3104萬字，不過質量就一言難盡了。評價最低的只有29.7%，最高的也不過88.5%，平均值爲71.5%，其中60%的書籍沒有定量的評價。總體來說，可讀的不多。姑且從評價高的一路讀下去再說。 這本書有點兒老了，看在評價還行的份上，翻翻看。 先掃個盲——生成式語言模型的發展脈絡： • N-Gram和Bag-of-Words：都是早期用於處理文本的方法，關注詞頻和局部詞序列。 • Word2Vec：實現了詞嵌入方法的突破，能從詞頻和局部詞序列中捕捉詞彙的語義信息。 • NPLM：基於神經網絡的語言模型，從此人類開始利用神經網絡處理詞序列。 • RNN：具有更強大的長距離依賴關係捕捉能力的神經網絡模型。 • Seq2Seq：基於RNN的編碼器-解碼器架構，將輸入序列映射到輸出序列，是Transformer架構的基礎。 • Attention Mechanism：使Seq2Seq模型在生成輸出時更關注輸入序列的特定部分。 • Transformer：摒棄了RNN，提出全面基於自注意力的架構，實現高效並行計算。 • BERT：基於Transformer的雙向預訓練語言模型，具有強大的遷移學習能力。 • 初代GPT：基於Transformer的單向預訓練語言模型，採用生成式方法進行預訓練。 • ChatGPT：從GPT-3開始，通過任務設計和微調策略的優化，尤其是基於人類反饋的強化學習，實現強大的文本生成和對話能力。 • GPT-4：仍基於Transformer架構，使用前所未有的大規模計算參數和數據進行訓練，展現出比以前的AI模型更普遍的智能，不僅精通語言處理，還可以解決涉及數學、編碼、視覺、醫學、法律、心理學等各領域的難題，被譽爲“通用人工智能的星星之火”(Sparks of Artificial General Intelligence)。 1970年以後，以弗雷德裏克·賈里尼克(Frederick Jelinek)爲首的IBM科學家們採用了基於統計的方法來解決語音識別的問題，終於把一個基於規則的問題轉換成了一個數學問題，最終使NLP任務的準確率有了質的提升。 語言模型是一種用於計算和預測自然語言序列概率分佈的數學模型，它通過分析大量的語言數據，基於自然語言上下文相關的特性建立數學模型，來推斷和預測語言現象。 2018年之後，基於Transformer的預訓練語言模型一統江湖，在自然語言處理領域的許多任務中成爲主導方法。 自然語言處理中的預訓練，通常指在大量無標註文本數據上訓練語言模型。預訓練所得的大規模語言模型也被叫作“基礎模型”（Foundation Model或Base Model）。 NLP應用人員可以根據自己的需要，對模型的頭部或者部分參數進行適應性的調整，這通常涉及在相對較小的有標註數據集上進行有監督學習，讓模型適應特定任務的需求。這就是對預訓練模型的微調（Fine-tuning，有時也譯爲精調）。 除了“預訓練＋微調大模型”模式外，還有以下兩種提示工程模式： • Prompt模式：輸入通常是一個詞或短語，模型需要根據這個提示生成自然且連貫的文本。這種方式適用於生成式任務，如文本生成、文章摘要等。例如，當輸入“從前”這個提示時，語言模型返回“有個山，山裏有個廟……” • Instruct模式：輸入是一條明確的指令，要求模型完成特定任務。這種方式適用於那些需要明確指示的任務，如回答問題、解釋概念等。例如：當輸入“請給我講個故事”時，語言模型返回“從前有個山，山裏有個廟，廟裏有個咖哥給小冰、小雪上課……” 科普完了各種基本概念之後就是九課代碼課程，講解得還算詳細。

基本把圍繞GPT這一脈的NLP沿襲講清楚了，但正如個別書評所言，純小白難看懂，行內人又覺沒講清楚。新概念跳躍式出現，卻又花了大量篇幅粘貼code以及鋪陳解釋其中具體的arguments / parameters。 以QKV與縮放點積注意力爲例，覺得讀原論文“attention is all your need”都沒這麼擰巴，有非常多的技術博客與公衆號文章都比書中更有邏輯且清晰。 最好閱讀本書的方式就是跟着把code一起實現下，等具體項目上更有體感和動力吧。 因爲主線GPT，並不是純粹圍繞NLP，還是有所區別的，所以像LLM前的統計分析類模型與主題概率模型基本沒涉及。

ai 的熱潮使得我們發現人類智能的侷限性，當下的 ai 大發展可能非常類似於二十世紀初的相對論與量子理論對於我們社會的影響，而因爲具有很好的傳播性和工具性，所以 ai 再各行各業的擴散速度比以爲的科學發展更加迅速，特別是 2024 年的諾貝爾物理學和化學獎都授予了 ai 相關的工作，就說明了 ai 對於世界的影響已經變成了現實，這種快速的變化可能是人類數據的積累達到了一定程度，所以就給了 ai 提供了大量數據，對於 gpt 也是非常類似的，而達到了瓶頸似乎也是數據問題，據說在 2024 年之前的數據都用於了 ChatGPT的訓練了，新模型的演化就可能受到數據的限制，同時現實之中的數據還是具有各種產生速度的限制，比 ai 自動產生還是非常困難，數據的質量決定了 gpt 未來發展空間，只是不知道我們數據是否被用來訓練了。在大模型的參數達到一定規模之後，算法可能不是問題了，而是算力和數據的限制，從這裏也看出來 openAI 使用的算是還是谷歌發展的，只是使用的更加完美，ai 的突破，也是通用型 ai 的發展使得特定結構的 ai 也變得可能。對於 ai 來說輸入和輸出是固定的，但是中間過程被包裹了起來，能夠被我們理解的內容變少了，與大多數科學非常類似的，也就是我們被割裂在各種專業的領域之中，但是 si 似乎不會，不斷在我們認爲是智能的領域中來形成高地，當然 ai 似乎也會產生混亂，我們所謂做夢了，當然這個是一種非常形象的比喻。對於 gpt 的使用過程，使得自己對於記憶知識等形成了全新的認識，gpt 相當於人類算力的延伸，因爲人類算力是非常有限的。

匆匆讀完，頗有收穫。比較全局的瞭解了GPT的由來，NLP大模型的基礎架構和技術，以及基於大模型的大概的開發模式。知道了transformer是GPT（以及當前大多數大模型）的基礎架構，transformer最重要的思想就是注意力機制。自己有人工神經網絡理論基礎，把神經網絡知識深入的嵌入這些知識中，就會更加深刻的全面的理解NLP大模型。基於大模型的開發模式爲：預訓練+微調；爲什麼在預訓練的大模型上進行微調就能夠適應不同場景的應用呢？主要的原理是遷移學習，就更一個人的學習經歷是一樣的：先學習通識，在學習專業知識，而在學習專業知識時，通識在的很多概念通過類比，歸納，演化等方式（這就是遷移）幫助我們更好更快的理解專業知識。還有“強化學習”的概念，也就是大模型在實踐中學習提高自己。

簡而言之，從另一個層面回顧下線性代數，只是這裏的矩陣變成了層

《大模型浪潮》那本書很新，25年6月出版的，那本主要介紹了大模型的發展歷史和在各個領域應用的程度機遇與可能性，比較偏實際應用的介紹。閱讀性更廣，普適性更高。 《GPT圖解》這本書主要講了大模型發展背後的的技術邏輯，以教學對話的方式，按照發展史來寫的，言之有物，也有趣。建議搭配豆包一起食用，可以讓豆包按照發展歷程出一個大綱，再按照技術和學術專業名詞思路出一個大綱。但是更建議像我一樣的新手哪怕有了ai的總結也細嚼慢嚥自己啃一下，讀完會更瞭解aigc的邏輯。

太口水了，太囉嗦了。然後內容高不成低不就的，對於真正小白絕對看不懂，很多關鍵概念啥都沒解釋突然就冒出來了；對於懂得基本概念的人又太囉嗦了，信息密度低。

更推薦3blue1Brown的動畫教程，和Youtube上的視頻教程。 講的更清晰~ 對新手更友好