大模型是怎樣跑起來的（輕科技）

不用公式和代碼，就能看懂大模型從輸入到輸出的全過程。這本書把複雜的AI原理拆解得直白易懂，下次按下回車，你看到的就不只是答案，更是背後精密運轉的邏輯。

作爲程序員，我讀完這本書後悟了，寫代碼時，你的一行指令在 GPU 裏被拆成上億次微操，數據在 HBM 和 Tensor Core 間狂奔，才換來模型秒級響應；別再以爲只是調用 API，你其實在指揮一場高速文字接龍，每幀都決定輸出的命運。代碼一跑，世界就在你指間飛速成形。

可能AI的運算、運行方式的確很複雜，本文比較具象化地講清楚了，但更多還是用比喻的方式，實實際際是啥樣的，還是想象不出來。還是因爲自己不專業吧。 不像原來對計算機的理解，就是用無止境的0、1來運算。而GPU在怎麼運行還是沒有清晰的畫面。參數是什麼？KVCACHE具體放在哪？等等都不知道真實是啥樣的。

《大模型是怎樣跑起來的（輕科技）》是一部面向非專業讀者的 AI 大模型科普讀物。作者張其來用淺顯易懂的方式，帶領讀者一步步瞭解大模型從“接收問題”到“生成答案”的全過程： 1. ​​輸入階段​​：文字如何被拆分成模型可理解的數字序列（Token），以及爲什麼生成第一個字最慢。 2. ​​模型內部​​：介紹大模型的核心組件，如注意力機制、KV 緩存等，解釋它們如何讓模型在對話中保持上下文並快速生成回答。 3. ​​算力與硬件​​：比較 CPU 與 GPU 在 AI 計算上的差異，說明 GPU 爲何更適合訓練和推理大模型。 4. ​​整體流程​​：從軟件棧到硬件層，完整梳理大模型運行的“內部車間”，讓讀者看到按下回車後背後的一整套精密運轉。 通過這些內容，讀者無需具備深厚的數學或編程基礎，也能理解大模型爲什麼能如此迅速地生成連貫、準確的回答。

目前 AI 表現出來的智能化程度，讓很多人感到恐懼、焦慮和迷茫，但瞭解背後原理後，就會理解其本質和侷限性，大量的知識庫和知識之間的關聯關係纔是人類賦予它的殺手鐧，我們在製造自我焦慮的同時也在爲現在的 AI 大模型貢獻價值。 最終，還得看我們如何在 AI 時代，找到契合自己生存和發展的關鍵點，從歷史的工業革命發展來看，這只是人類在一段時期內積蓄技術和力量後的一次爆發和跨越，我們只能去適應，併爲下一次的科技革命積蓄能量，或許人類只有通過這樣的方式不斷的藉助科技力量一次次延續下去，甚而至於瞭解和走向宇宙更深處的祕密。

- 《大模型是怎樣跑起來的》 - 如今主流對話模型(GPT/DeepSeek)都是Transformer的decoder-only變體, 專爲"根據前文生成下一個token"而生 - 大模型生成回答的本質, 是根據前文不斷預測下一個Token, 不是查庫是概率預測, `它生成得像真的不等於一定是真的` - 文本, 分詞(Tokenization), Token Id, 查嵌入表(Embedding)得到向量, 給向量加上位置編碼, RoPE(旋轉位置編碼) - 語義空間(成千上萬緯), 語義相近的token在向量空間中距離更接近 - 注意力機制, 每個Token在參與計算時都會回頭看前面出現過的Token, 判斷誰對自己更重要 - 採樣策略, top-k(只在概率最高的k個裏選), top-p(在累計概率達到p的候選裏選), 溫度(低保守選高分/高更隨機) - 參數裏藏着語言規律/世界知識統計痕跡/`訓練集偏見` - 訓練兩階段, 預訓練練"語言規律+知識痕跡", 後訓練才讓它"會聊天/聽話/有禮貌" - 純LLM不查庫/不計算/不知道今天幾號, Agent讓模型調用工具來彌補這些短板, `Agent=LLM+工具+記憶+規劃` - 幻覺, 流暢但錯誤/編造, 知識截止(Knowledge Cutoff), 訓練數據的時間點, 之後的不知道 - 定製AI, 讓AI更懂我的領域, Prompt/RAG/微調 - Prompt不改模型寫好輸入, 把要求/背景/例子寫進輸入, 零成本/最快 - `RAG檢索增強生成, 不改模型而是臨時喂資料`, 讓AI先檢索你的資料庫, 開卷考試, 專治幻覺和知識截止 - 稅務場景很適合, 歸納整理政策法規資料庫, 及時保持更新, 需要時讓AI根據最新資料回答 - 微調(Fine-tune), 改模型參數, 專業領域定向微訓練 - 模型一次能看到的token總數叫上下文窗口(如128k), 推理時已算過的K/V會緩存 - 長!=好, 塞滿上下文不僅慢和貴, 還會稀釋注意力增加跑偏, `精準給相關內容, 比一股腦全塞更有效` - Lost in the middle, 上下文很長時, 模型對中間部分的信息利用最差, 首尾記得牢, 重要信息放開頭或結尾 - 相關概念 - 參數量, B=十億, 越大通常越強, 但越慢越貴 - MoE(混合專家), 如DeepSeek, 模型有很多專家, 每次只激活一部分, 總參數超大但單次計算不貴, 這是近年降本關鍵 - 量化(Quantization), 壓縮參數精度, 體積和顯存大降, 精度略損 - 蒸餾(Distillation), 用大模型當老師, 教出一個小而快的學生模型 - 思維鏈(Chain of Thought), 讓模型先寫推理步驟再給答案, 複雜題準確率大幅提升 - 推理模型, 專門訓練成回答前先長時間思考, 推理時多花算力換準確率 - 多模態(Multimodal), 除文本外還能處理圖/音/視頻 - 大模型的大量計算本質是矩陣乘加, 每一步很簡單, 但數量極其龐大 - CPU像少數全能工人, GPU像一大片並行工人, Tensor Core對矩陣乘加專門優化, 一次處理一小塊矩陣 - 一次回答分Prefill(讀題)和Decode(作答)兩階段 - KV Cache用空間換時間讓Decode不必重算曆史, 歷史越長緩存越大, 速度可能越慢, `記住需要空間, 回看需要帶寬` - 大模型的回答是否可靠 - 問題常見+語言規律穩定, 回答顯得可靠, `提示寫得清楚+背景給得充分, 往往表現更好` - 問題需要最新信息/嚴格事實/精確計算/複雜現實判斷, 可能出錯 - 問題模糊+上下文不足, 容易用看似合理的話填補空白(幻覺高發區)

【大模型是怎樣跑起來的】[咖啡] ​🥭🥭🥭軟件篇： ​🍎1. 把文字變成向量： 🍏1）一段文字由token組成 🍏2）每一個token都是一個向量，這個向量有幾千個維度（語義相近的token，在空間裏面距離更近） 🍏3）給每個token加上位置編碼（在文本中的前後順序） 於是，輸入的文字終於變成了模型能處理的數字序列 🍎2. 上下文 🍏1）注意力機制，每個Token在參與計算時，都會回頭看前面出現過的Token，判斷誰對自己更重要 🍏2）不是所有上下文都同樣重要，模型會給不同Token分配不同的參考權重 🍏3）一句話裏的關係不止一種。有些詞之間是語法關係，有些是語義關係，有些是指代關係。在現在的大模型中，會同時運行多組注意力，每一組都像是從一個角度看句子。最後，模型把這些觀察結果合起來，形成更完整的上下文理解。這就是多頭注意力​ 🍎​3. token預測 🍏1）這些帶着上下文的信息進入模型內部的參數矩陣。參數經過訓練，保存着大量語言規律。它們會共同決定下一個Token的分數。 🍏2）自迴歸：同時，前面已經生成的token，會成爲後面繼續生成的依據。這就是自迴歸 🍏3）參數：模型需經過海量訓練，訓練過程中會人爲調整參數（就好比投籃練習）。參數塑造了模型的傾向 🍏4）溫度：爲了讓回答有一定變化，系統會使用一些採樣策略，其中一個常見說法叫“溫度”。溫度低，模型更保守，更傾向於選擇最高分的Token。回答事實題、定義題時，這樣通常更穩。溫度高，模型會給一些分數沒那麼高的token機會。這樣更容易產生變化。 🥭🥭🥭硬件篇： 🍎1. 數據算得快 🍏1）GPU：相較CPU，GPU更像一大片同時工作的工人。每個工人不一定很全能，但數量多，適合同時做大量相似的小任務。 🍏2）這非常適合矩陣計算。矩陣裏有很多位置，每個位置都需要做類似計算。GPU把這些位置分給大量線程，讓它們同時開工。​ 🍎2. 數據送得快 🍏1）大模型推理時，要不斷讀取參數、讀取上下文緩存、寫入新的中間結果等。數據在芯片裏來回搬運，速度非常關鍵 🍏2）GPU上有一種很重要的內存，叫HBM，也就是高帶寬內存。像是一個倉庫，不僅容量大，更重要的是通道寬，一次能把大量數據送到計算單元附近 🍏3）KV Cache緩存：在Prefill階段（讀題），模型處理輸入時，會算出很多中間結果。後面Decode（作答）時，每生成一個新Token，都需要回看上下文，代價太高。於是，模型會把中間結果保存下來，就是KV Cache。用空間換時間​。

書名：大模型是怎樣跑起來的（輕科技） 作者：張其來 類型：輕科技 上架時間：2026-06-07 聯合策劃：人民郵電出版社 字數：8867字 評價：81.6% 用“大模型”作爲關鍵詞搜索了一下，目前微信讀書上線的書籍有170本，總字數高達3104萬字，不過質量就一言難盡了。評價最低的只有29.7%，最高的也不過88.5%，平均值爲71.5%，其中60%的書籍沒有定量的評價。總體來說，可讀的不多。姑且從評價高的一路讀下去再說。 這本書算是一篇科普長文，不過寫得並不嚴謹。在軟件篇裏，以“中國首都是”爲例來說明AI是如何生成回答的時候，把單獨的漢字和Token混淆着用，還給自己做辯解，說是“爲了方便理解，下面很多地方會用字來講，但你只需要知道，模型實際處理的是Token”。但其實對於這個具體案例而言，模型是先預測“北”後預測“京”還是把“北京”作爲一個Token來預測其機理是完全不一樣的。

《大模型是怎樣跑起來的（輕科技）》 張其來 13個筆記 軟件篇 ◆ 2026/07/01發表想法 監督學習 原文：模型一開始並不知道這些規律，它會亂猜，猜錯了，內部參數就被調整；猜對了，相關參數就被強化。這就好比一個人練習投籃，新手第一次摸球完全憑感覺扔，如果球砸到了籃板，教練就會告訴你下次力度小一點，弧度高一點，模型的參數調整也是這樣。 ◆ 大模型的回答需要判斷和核實。它擅長生成語言，但生成得像真的，並不等於一定是真的。 ◆ 把編號變成向量。向量可以理解成一長串數字。每個Token都會被展開成一組數字，放進一個很大的語義空間裏。語義相近的Token，在這個空間裏的位置往往更接近；語義差得遠的Token，位置也更遠。 ◆ 真實的語義空間不是二維圖，也不是我們能直接畫出來的座標紙，它可能有幾千個維度。 ◆ 注意力機制可以粗略理解成，每個Token在參與計算時，都會回頭看前面出現過的Token，判斷誰對自己更重要。 ◆ 這個過程叫自迴歸，也就是說前面已經生成的內容，會成爲後面繼續生成的依據。 硬件篇 ◆ 無論是向量、注意力，還是參數矩陣，最後都要落到數學運算上。大模型的核心計算，大量都是乘法和加法，尤其是矩陣乘法。 ◆ 大模型最重的計算，正是矩陣乘法。注意力要算矩陣，參數層要算矩陣，最後生成詞表分數也要算矩陣。 ◆ 一次推理大致可以分成兩個階段。第一個階段叫Prefill，可以理解成“讀題”。第二個階段叫Decode，可以理解成“作答”。 ◆ 在Prefill階段，模型會處理你輸入的全部Token，讓它們互相建立上下文關係。注意力機制會在這裏發揮作用。每個Token都要知道自己和其他Token的關係，模型才能形成對整段輸入的語境理解。 ◆ Decode的特點是，每次只生成一個新Token。先生成第一個，再生成第二個，再生成第三個。它不能把整段回答一次性全部生成出來，因爲後面的內容依賴前面已經生成的內容。 ◆ 模型會把已經算過的一部分中間結果保存下來。下一步生成時，直接拿來用。這些保存下來的中間結果，就是KV Cache，主要是爲了用空間換時間，讓模型避免大量重複計算。 總結 ◆ 文字被拆開，變成Token；Token變成數字，帶着位置信息進入模型。注意力機制讓它們彼此參照，參數矩陣把這些上下文信息轉成下一步的分數。與此同時，GPU在並行計算，顯存在搬運數據，緩存裏保存着前面已經算過的上下文。當這個過程足夠快，接出來的內容足夠連貫，我們就看見了一次像對話一樣的回答。 -- 來自微信讀書

最近在學習人工智能，瞭解自注意力和transformer,大模型，所以我現在還是有點疑惑，我們使用的大模型或其他模型是不是起源於語言模型呢，是不是最先開始就是語言模型，我看其他講解模型的視頻和書也都是拿語言模型舉例。 另外我對這些模型的計算產生好奇，是不是每一個不同的模型都有不同的矩陣運算處理方式呢，比如我現在只學習了自注意力的運算方式，那cnn,lstm,rnn類似的其他模型的計算是怎樣的？所以我們所謂的人工智能（想人一樣思考的大模型）就是對token的計算和輸出嗎？那如何把文字輸入替換成其他的比如波形，圖片不同形式的輸入，讓大模型更加靈活但同時也能像我們現在使用的語言模型輸出那樣漂亮，token是怎麼具體劃分的呢？我也很好奇。