圖解DeepSeek技術

在深度學習系統中，模型性能的提升往往取決於兩類因素：​​能夠帶來收益的“關鍵點”​​（ architectural 或 algorithmic 的亮點設計）與​​限制進一步提升的“瓶頸”​​（資源、通信、數據等客觀限制）。二者共同決定了模型能否高效訓練、推理以及落地。 ​​一、關鍵點：讓性能“跳得更高”​​ 1. ​​架構層面​​ • ​​混合專家（MoE）​​—在 DeepSeek-R1 中採用，通過“少量專家”+“門控機制”實現參數高效，使算力與效果取得平衡 。 • ​​稀疏注意力、MTP（多 token 預測）​​—在 DeepSeek-V3 中使用，減少冗餘計算，提升推理速度同時保持高精度 。 2. ​​訓練策略​​ • ​​FP8 混合精度​​—將權重、激活量化至 8-bit，顯著降低顯存與計算量，加速訓練 。 • ​​GRPO/強化學習​​—在 DeepSeek-R1 中用少量數據就能獲得推理能力，減少對大規模標註數據的依賴 。 3. ​​推理引擎​​ • ​​KV 緩存分片、Token 流水線併發​​—讓 DeepSeek-V3 在單 GPU 上實現 2–5 倍的吞吐提升，降低延遲 。 ​​這些設計共同特點是：在正確的位置“做對的事”，用更少的資源完成同樣的或更好的任務，從而直接提高模型性能。​​ ​​二、瓶頸：讓性能“卡在那裏”​​ 1. ​​計算資源不足​​：參數量和數據量同步增長時，顯存/算力成爲首要限制，出現“訓練不收斂或非常慢”的現象 。 2. ​​通信延遲​​：分佈式訓練中，節點間梯度同步或 MoE 專家間負載平衡若設計不當，會拖慢整體速度 。 3. ​​內存溢出與梯度不穩定​​：序列長度增加、批量變大時，顯存不足或梯度消失/爆炸導致訓練難以穩定 。 4. ​​推理端瓶頸​​：長上下文、高併發請求時，KV 緩存管理、硬件訪存效率成爲延遲主要來源 。 ​​一旦遇到瓶頸，模型性能就難以隨數據/參數規模線性上升，甚至可能出現“越大數據越慢”的怪圈。​​ ​​三、關鍵點與瓶頸的互動關係​​ • 識別並打穿瓶頸（如用 FP8、MoE、KV 緩存分片）本身就是新的關鍵點，說明二者在實踐中往往相互轉化。 • 關鍵點的設計目標就是“突破瓶頸”，因此在系統優化時需要先定位瓶頸，再選擇合適的關鍵點進行突破。 ​​四、如何利用關鍵點突破瓶頸、提升模型性能​​ 1. ​​先做性能剖析​​：找出佔用時間/資源最多的環節（工具如 PyTorch Profiler、DeepSeek 內存跟蹤等）。 2. ​​選擇匹配的關鍵點技術​​： • 計算/顯存瓶頸 → FP8、MoE、稀疏化。 • 通信瓶頸 → 優化分佈式策略、使用更高帶寬網絡。 • 內存瓶頸 → KV 緩存分片、序列並行、動態形狀優化。 3. ​​評估收益​​：通過 A/B 測試或基準測試確認瓶頸是否真正解除，性能是否隨之提升。 ​​結論​​ 關鍵點是“槓桿”，用少而精的技術讓模型性能向上躍遷；瓶頸是“天花板”，若不拆除就會限制模型規模與速度。理解二者並動態循環“定位瓶頸—應用關鍵點—再測量”，是提升深度學習模型性能的核心路徑。

本書通過DS_R1詳細講述推理模型。 爲什麼R1能在AI發展史上類比GPT O1模型。R1團隊實踐瞭如GRPO，強化學習，混合精度計算等方法論。一方面通過增強推理來提升生成結果的質量；另一方面通過各自方法來減緩由於推理導致的生成變慢的問題。 第一次清晰瞭解了DS_V3，DS_R1 ZERO和DS R1的區別。V3是基礎通用大模型，R1 ZERO是通過MOE，PPO，RPO等增強推理能力，而R1是讓R1_ZERO模型的輸出，更加格式化和偏人類風格。 進一步理解了基礎LLM和推理模型的關係。推理模型建立在基礎大模型基礎上。推理模型很難做到強泛化性，泛化性取決於基礎模型的通用性。推理模型的核心能力來自基礎大模型。 推理模型的能力取決於SFT，MOE，強化學習RL的信息輸入。 本身的另一個特點是在關鍵概念上，譯者會用註解方式對概念做詳述，能幫助讀者更好地理解DEEPSSEK的技術實現。

本書以通俗易懂、大量圖解的方式剖析了DeepSeek的底層技術。 全書分爲3章和附錄，第1章詳細分析了推理大模型的範式轉變，即從“訓練時計算”到“測試時計算”；第2章解讀了DeepSeek-R1的架構——混合專家（MoE）；第3章展示了DeepSeek-R1詳細的訓練過程及核心技術，涵蓋基於GRPO的強化學習等；附錄分享了DeepSeek開源周活動。 本書適合大模型從業人員和對大模型底層技術感興趣的讀者。書中通過豐富的圖解將複雜的技術解釋得簡單、清晰、通透，是學習大模型技術難得一見的參考書。

圖解很直觀，很輕薄的一本小冊子，作爲入門級讀物非常友好～ 但是想要搞懂MLA、MoE以及訓練細節，還是要看源碼讀R1的technical report🌞

雖然有些地方描述的不夠細緻很簡略，有些地方也很難讀懂，但是整體架構圖畫的還是不錯的，整體還是不錯的。

一、關於訓練時計算和推理時計算 1、訓練時計算：將資源全部用於訓練模型時。2、推理時計算：平衡資源時候，部分資源用於訓練時計算，部分資源用於推理時計算。減少訓練時計算遇到瓶頸後有邊際遞減效應。而推理時計算不僅僅是延長推理思考時長，總體有兩種模式：（1） 基於驗證器(verifier)的搜索（通過採樣生成多個候選答案並選擇最優解），屬於輸出導向。驗證器又有兩種模式：（1.1）結果驗證（偏向結果獎勵），通過少數服從多數，或者加權等等選擇結果。（1.2）過程驗證（偏向過程獎勵），關注過程，從過程開始打分，選擇更優的過程路徑。（2）調整提議分佈 15(proposal distribution)（經過訓練的“思考”過程），屬於輸入導向。主要也有兩種：（2.1）提示詞工程：提示詞讓模型按照提示步驟，優先選擇能夠觸發推理過程的詞元，而不是答案。但這種方法沒法把能力固化到模型中，而過於依賴每次的提示詞。（2.2）star方法：將推理過程生成問題、推理、答案三元組來微調模型，正確答案的三元組就反饋訓練模型，錯誤答案三元組就把具體答案生成過程告知模型，讓其知道爲什麼錯誤，進行微調。總之，就是把數學解題步驟列出來，對步驟進行點評，而不僅僅對答案點評，非常類似人類學習。 二、結合使用三種方法，DeepSeek 實現了專家功能的有效分工：由路由器選擇的專家通過細粒度專家分割專注於學習更加專業化的知識，而共享專家則通過共享專家隔離機制被激勵去學習通用性知識。 1.TOP-K路由：解決路由選擇，由稠密轉爲稀釋2.細粒度專家分割：讓專家更專業化。3.共享專家隔離：通用規則由共享專家解決，減少冗餘。架構設計就像人類各種組織的設計。 三、DeepSeek-R1模型基於Transformer解碼器模塊堆疊架構，共61層，前3層爲稠密層，後58層爲MoE層。稠密層：前3層Transformer 塊結構與主流大模型類似。每個塊先對輸入進行RMS歸一化操作，再經多頭潛在注意力機制運算，該機制通過低秩聯合壓縮鍵和值來降低 KV緩存需求，提高推理效率，最後送入前饋神經網絡處理。MoE層：後58層採用MoE 機制替代常規的前饋神經網絡。MoE 由專家和路由器組成，專家實際上也是前饋神經網絡，而路由器負責將詞元分配給特定專家。 四、訓練過程 1.基於基座模型進行監督微調需要用到數量龐大的長鏈思維推理示例，這種數據的獲取成本非常高。2.先建一個偏推理的臨時模型，由這個模型負責生成長鏈思維推理數據。這個臨時模型其他方面能力其實不強，只是用於生成推理訓練示例。3.推理導向的強化學習訓練方法可以生成DeepSeek-R1-Zero。（1）推理導向(reasoning-oriented)的強化學習是指要求模型先輸出推理過程，後輸出答案的強化學習過程；目的是讓模型解決數學、編程、邏輯推理等需要思考才能解決的問題。（2）RLHF（基於人類反饋的強化學習）的目的是讓模型的輸出與人類的偏好和價值觀對齊，從而讓模型的輸出格式和表達方式對人類更友好，並拒絕輸出有害的內容；4.過程如下：（1）基座模型：DeepSeek-V3 Base（2）DeepSeek-R1-Zero臨時推理模型，負責生成推理示例。（3）推理導向強化學習訓練可以得到DeepSeek-R1 -Zero。（4）基座模型+推理示例最終訓練出DeepSeek-R1。 五、大模型設計重點在於結構設計和損失函數設計。1.結構設計是關聯關係設計，一切都是關係，而不是實體。2.損失函數設計是指導原則，指導模型訓練的方向，指導權重調整的方向，也是模型最終的目標。 3.大模型學習和專家規則不同。大模型是設計好結構和誤差函數（或者獎勵機制），引導機器從數據中訓練和學習，最終收斂而形成模型。專家規則需要人類深入指導，將人類的知識和規則硬編碼到模型（程序）中。所以以前的編程時代是專家規則法，寫出各種if-else程序。而現在大模型訓練是設計時代，設計合理的關聯關係和模型結構，設計合理的誤差函數、獎勵機制。

我個人還是很推薦的。大模型本身的構建就是一個社會體系的構建。本質上是輸入-過程-輸出。而這個過程是怎麼樣的，就是建設的一個社會體系，通過獎勵、懲罰等措施保證輸出的有效性和正確性。這個獎勵和懲罰是什麼，如何設計，就有很多方法。比如尋找不同的權威專家、採用一個標準參考系等。

可算知道這東西怎麼回事了 之前看的幾本都雲裏霧裏的 還得是這種圖文並茂的 人工智能的這種訓練跟訓練動物挺像的 不管是機器還是動物它總歸會學會點什麼 只要投入的足夠多 我現在相信這東西能統治人類了 人類以後可能真的需要羅輯了

個人推薦：DeepSeek技術（非使用）入門，圖文並茂，深入淺出，短小精悍，點到爲止，理解大意即有收穫。因爲深度略顯不足（對初學者足夠），邏輯略有瑕疵，四星推薦！

《圖解大模型》的作者寫的關於DS技術解構書，從大模型應用者的角度來說可以作爲一個參考，但如果要自己實現還是有難度的。