萬字賞析 ：DeepSeek R1 是怎樣煉成的？（輕科技）

當了解deepseek從誕生到優化的全過程後，可以說包含了Searching的R1版本擁有的諸多創新纔是她破圈的特質。大家都在爲PRM、MCTS各種卷、各種失敗、各種苦惱時，R1另劈蹊徑，原生態的FP8配合MLP和精簡的Router算法，使得基於671B的MoE模型跳出來說不用這麼痛苦。 那些硬說是抄襲了o1技術的說法，不過是強加給她的喫不到葡萄說🍇葡萄酸，懂得都懂(~0~)

《硅火燎原》 近日細讀《萬字賞析：DeepSeek R1 是怎樣煉成的？》，字間幽微精妙，恰似一場思想盛宴。書中萬億級語料奔湧如江，在算法熔爐中千錘百煉，恍若星河傾落於方寸之間；終凝爲DeepSeek R1這一束智慧之光，竟讓冰冷的數字悄然有了血肉般的溫度。 掩卷時忽覺，AI精魂的淬鍊竟與人文脈絡暗合：參數微調如朝露凝珠，需步步捻量；模型優化似千錘鍛刃，必久久爲功。如此，方能從混沌無序中淬鍊出澄澈的智慧晶體。這般過程，何異於人類文明將粗糲礦石鍛造成璀璨思想？智慧從無憑空乍現，皆是在無涯的數據熔爐中，千萬次試煉方得真金。 科技之火，本是普羅米修斯盜自天界的火種。其溫暖可照徹幽微，其熾烈亦能焚燬家園。DeepSeek R1這簇新火，已在人間燎原。當衆人歡呼於其光明與便利之時，我們更需警醒：當以人類理性爲掌火之人，讓這硅基之火永爲智慧之僕而非主人——唯如此，方不負盜火者的初心與天地造化的玄機。 技術革命如燎原之火，其勢不可擋，其威不可測。駕馭此火，既需朝露凝珠的細謹，更需千錘鍛刃的堅韌。唯有以人文爲繮，以理性爲轡，方能讓這簇新火照亮幽微而不致焚燬家園。

2026年讀完的第五十四本書，花了幾乎兩小時纔讀完的一本輕科技書籍，讀的過程酣暢淋漓，讀完之後也有讓人有醍醐灌頂的感覺，對於我來講這本書是目前讀過有關Deepseek介紹最好的一本。 當然，可能也有人說爲什麼不直接讀Deepseek公佈的論文和官網介紹？我認爲第一就我目前而言沒有這個實力足以讀懂、解構純粹的技術論文，第二就是如果從不同的視覺觀點對Deepseek進行分析更有意思，更能看到不一樣的東西，第三就是觀察技術大能剖析複雜的系統，學習曲線沒有這麼陡峭，更易於普通人看懂其中的門道。 我知道逆向工程是非常難的，但是Deepseek團隊的工程師，僅僅憑藉AI行業頂尖公司公佈的論文隻言片語，或者是PPT的中某些不起眼的結論，對其進行逆向思考，並結合各種信息以及專業知識，最終推導出正確的結論，真的讓人拍案叫絕。 這本書中講到Deepseek進行pure-RL（純強化訓練）也特別有意思，我之前讀過的很多LLM書籍只有介紹HFRL或者SFT的內容，pure-RL這種不依賴獎勵模型、不需要標準數據和監督的訓練既省功夫又省成本的方法，並不是什麼團隊都能把握得住的。Deepseek團隊使用替代PPO(近端策略優化)的GRPO(組相對策略優化)算法非常粗暴，它類似於將同樣的問題扔給這個policy model，讓它答8次，得出結果後再根據正確答案算出一個平均值，使訓練環節裏損失函數的計算成本遠低於PPO，體現出“小成本辦大事”的哲學思想，其工程思維能力實在令人折服。 讀到某個章節提及到，Deepseek團隊沒有執着於利用MCTS(蒙特卡洛樹搜索)和PRM(過程獎勵模型)這種類似於“程序正確”的強化訓練，而直接走類似於“結果正確”的CoT(思維鏈)推理訓練使我十分有感觸。我認爲LLM這類的深度學習模型既誕生於機器學習，又脫胎於機器學習，在機器學習中效果良好的方法模型不一定能直接作用於神經網絡性能的提升上，我覺得它們可能更適用於類似於方法論或者指導方針等間接影響的地方，當然這也是我一家之言推論不一定正確。 讀完這本書後，我不禁感嘆到果然是“小作坊”纔敢下“猛料”。我之前一直都覺得像Deepseek這種依靠蒸餾其他公司大模型的手段難登大雅之堂，但是通過作者的深入分析才知道，Deepseek這個團隊在缺乏高性能顯卡的如此惡劣條件下，通過神級的工程學手段完成類似於“左腳踩右腳”，你訓練我、我訓練你的“輪動訓練”提升LLM模型性能的騷操作，對此令我肅然起敬。

書中對 AI 技術突破的底層邏輯提出了多角度見解，核心觀點可歸納爲以下五個方面： 1. ​​高質量數據與預訓練規模並非唯一決定因素，正確的訓練範式同樣關鍵。​​ DeepSeek R1 的奠基模型 V3 已具備足夠規模，真正讓它性能飆升的是後續的“純強化學習”+“固定模板 prompt”策略——先讓模型在多樣化問題上自我博弈，再用簡單獎勵信號（正確得 1 分、錯誤得 0 分）迭代參數，這種做法比傳統大規模標註數據更高效。 2. ​​“推理過程”本身就是模型能力的一部分，應與生成答案一體優化。​​ 書中提出將 CoT（思維鏈）視爲 Next Token Prediction 的自然延伸，而不是額外旁路；模型在一次推理中會動態激活與任務相關的神經元模塊（通過 MoE 機制），既提高計算效率，也讓推理結果更可解釋。 3. ​​架構層面的“算力路由器”——混合專家（MoE）——讓大模型能夠在邊緣設備上高效運行。​​ MoE 只在需要時喚醒特定專家，使寧夏枸杞種植戶的手機端 AI 能在當地完成水肥配比決策，擺脫對雲端算力的依賴，這揭示了“模型大並不等於能耗高”的底層邏輯。 4. ​​“推理即進化”：強化學習讓模型在使用過程中持續優化。​​ 傳統大模型推理時參數固定，而 DeepSeek 通過可微分的強化學習頭，使模型在推理階段就能根據實時反饋調整權重，實現“邊用邊學”，爲大模型邁向真正的類人持續學習提供了路徑。 5. ​​產品策略與技術突破相輔相成——抓住窗口、以免費模式聚攏高質量長尾數據。​​ 書中指出 R1 把握了 o1 付費且不支持搜索的空檔，通過免費開放+搜索整合，迅速積累真實用戶查詢，形成高質量數據池，反哺模型迭代，形成正向循環。 上述觀點共同勾勒出作者對 AI 技術突破底層邏輯的理解：​​數據與算法雙輪驅動，強化學習讓模型在真實場景中自我進化，輕量高效的 MoE 架構把這種進化能力落地到邊緣，而正確的市場時機與產品策略則爲技術迭代提供了源源不斷的高質量燃料​​。

看完了，我還是有點懵，許多的概念、縮寫，對於我來說，感覺就是天書。 2024年初，ChatGPT橫空出世後，作爲通信企業，單位領導也是技術男，就想製作關於人工智能和ChatGPT的材料，對企業內部員工進行宣講，也想通過這個機會，在市政府委辦局宣講，擴大科技企業的定位。我有幸成爲準備材料二人團隊的一員。當然，我主要是邊做邊學，思想和內容的策劃都來自於領導。 應該講，總體效果不錯，領導宣講後，許多同事的手機裏都多了AI APP，在外部單位的宣講也取得了成功，好多單位排隊希望科普AI。 這是難忘的經歷。

DeepSeek R1 是如何煉成的 2025.10.11 用強化學習讓大模型自己學會推理。 1. 先讓模型“裸奔”做強化學習，自己長出推理能力。 2. 再用少量高質量數據做“冷啓動”+多階段微調，把格式、安全、人類偏好一併拉齊。 3. 全程靠“羣體相對策略優化（GRPO）”和“拒絕採樣”控制訓練信號，不依賴人工寫思維鏈。 4.關鍵步驟 基底：直接在 DeepSeek-V3-Base 上開訓，不灌任何人工思維鏈樣本。 獎勵：只給“最終答案對錯”一個稀疏獎勵，沒有過程監督。 算法：用團隊自己提出的 羣體相對策略優化 (GRPO)，每次讓模型生成一組答案，用這組答案的相對優劣來估計優勢函數，避免再訓一個價值網絡，省顯存。 結果：模型爲了拿獎勵，自己“進化”出延長思考、自我質疑、回頭檢查等行爲。 5.訓練成本與規模 全流水線僅 600 萬美元。 數據側未使用任何 OpenAI 蒸餾痕跡，預訓練語料裏即使出現 GPT-4 生成文本也是互聯網公開爬取，團隊聲明無主動蒸餾。 6. 今年9月，其團隊研究成果登頂Nature封面，成爲全球首個經Nature同行評審的主流大語言模型。 7.總結 DeepSeek R1 不是“喂出來的”，而是“獎出來的” 用純強化學習把推理能力“獎”出來，再用少量高質量樣本和二次 RL 把能力磨成人樣，最終低成本煉成可與 o1 並肩的開源推理大模型。

本書深入探討了DeepSeek R1這一創新AI模型的開發歷程和技術奧祕。 通過對推理模型的定義與應用、AI模型自主思考的研究以及DeepSeek R1的技術創新等方面的分析，揭示了其在數學、代碼等任務上的卓越表現。 書中分享了DeepSeek從誕生到優化改進的歷程，以及在開發過程中面臨的技術挑戰和失敗經驗。 同時，展望了DeepSeek R1在未來產品中的應用前景，分析了其在全球市場的潛在影響力和戰略發展方向。 通過這些內容，讀者可以全面瞭解DeepSeek R1如何在激烈的人工智能競爭中脫穎而出，並對AI技術的未來發展有更深入的認識。

文字總體比較通俗。但很多縮寫的術語不僅不解釋，連全拼都不提供，很不友好！好的科普不應讓讀者還需查閱其他資料才能讀懂！ 摘要： 推理模型的本質是讓模型自己構建CoT（Chain of Thought，思維鏈），並將思考過程展現出來。 不要“教”模型，而是“激勵”它自己探索。不要激勵過程，而是激勵結果。 即使不顯式激勵思考長度，模型自己也會發現，思考鏈越長，答對率越高。 針對格式激勵，鼓勵模型輸出思考過程；針對可讀性激勵，從而解決多語言混雜等問題。 MoE（Mixture of Experts）架構相當於分診臺，可以將病人分流到不同診室。之前分診臺可能坐的是“保安”，而DeepSeek則用一個醫學“本科生”來分流，效果更好。 在V3的基礎上，僅通過純粹的強化學習（Reinforcement Learning），而不借助任何SFT（Supervised Fine Tuning，監督微調）數據，就訓練出了強大的推理模型R1 Zero，這是令人震驚的。而使用V3和R1 Zero所產出的SFT數據，再結合RL改進可讀性，就得到了最終的R1模型。

DeepSeek R1 系列模型採用了一條“先微調、再純強化學習、最後再微調”的簡潔流水線。 訓練中的關鍵步驟與獎勵設計如下。 ​​1. 冷啓動： 收集數千到數萬條高質量“問題-答案”樣本，對預訓練模型 DeepSeek-V3 進行一次監督微調，得到 ​​R1 Zero​​ 或 ​​DeepSeek-R1-SFT1​​。這些數據既包含數學、代碼，也包含常識性對話，保證初始模型具備通用知識與基本推理痕跡。 ​​2. 純強化學習階段（R1 Zero 的核心）​​ 訓練框架​​：DeepSeek 選擇用​​生成式反饋​​（GRPO）而非傳統 PPO。其做法是把同一問題多次餵給策略模型，取平均獎勵來估計梯度，從而節省計算。 • ​​獎勵信號​​由三部分構成： ① ​​準確度獎勵​​：答案正確得 1 分，錯誤得 0 分，通過規則或程序自動判分。 ② ​​格式獎勵​​：要求推理過程放在 <think> 標籤內、答案放在 `` 標籤內；若違反格式則得 0 分，否則獲得固定分數。 ③ ​​語言一致性獎勵​​：檢測推理文本中是否出現中英文混雜；全程單一語言才能拿到滿分，否則按比例扣分。 • ​​訓練時只給出“問題-答案-格式規則”，沒有大規模標註數據​​，模型靠自我探索學會“思考更長”以提高得分。 ​​3. 多階段迭代​​ • ​​第一輪 RL​​ 之後，用得到的模型再生成更大規模的高質量推理軌跡，合併原有冷啓動數據，進行下一輪 GRPO 訓練；迭代數次直至模型表現收斂。 • ​​在某些版本​​（如 DeepSeek-R1-RL1）還會追加拒絕採樣與人工篩選，去除冗餘、低質量條目，進一步提升推理效果。 ​​4. 最終模型（DeepSeek R1）​​ • 經過多輪強化學習後，再用少量人類偏好數據做最後的監督微調，使模型在格式、語言和答案准確性上同時保持高分，形成面向終端用戶的 DeepSeek R1。 ​​ 模型自己學會“更長的思考”​​：在僅激勵“對錯”與“格式”的情況下，模型發現延長推理長度能提高成功率，從而出現長鏈推理能力。

書名：萬字賞析 ：DeepSeek R1 是怎樣煉成的？（輕科技） 作者：騰訊科技 類型：輕科技 上架時間：2025-06-19 聯合策劃：騰訊新聞 騰訊科技 字數：2.4萬字 評價：80.9% 2024年11月20日，DeepSeek在官方Twitter上發佈了R1 Lite Preview。如今一年年多過去了，橫空出世的DeepSeek似乎已經迴歸平常。但是DeepThink這個模式則作爲一筆富貴的財富被大多數AI模型繼承。 不過，本書不適合圈外人掃盲，文章夾雜了太多英文縮寫和專業術語，作者還總把“大家都知道”掛在嘴邊。對我而言，閱讀過程是需要時不時停下來問一下下AI才能完全理解。不過話又說回來，騰訊在微信讀書裏部署AI深度解讀功能真的是超級好看用啊！ 以下面這句話爲例： DeepSeek不僅完成了自己的研究，還向全世界證明了一個事實：用通過一個超大size高質量的推理模型產生的數據進行SFT的成本非常低，與傳統的預訓練方法相比。它讓現有模型的表現拔地而起，不用做RL。 深度解讀 引用：他們用這個高質量數據去蒸餾了其他模型 根據搜索結果及技術背景，DeepSeek利用高質量推理數據進行模型蒸餾的核心要點如下： 1. 蒸餾的本質與目的 • 知識遷移：蒸餾技術通過將大型模型（如DeepSeek R1）的推理能力遷移到 smaller 模型（如Qwen、Llama），實現性能壓縮與效率提升。 • 成本優化：蒸餾後的小模型顯著降低計算資源需求，可部署於終端設備（如手機、PC），同時保持接近原模型的性能。 2. DeepSeek蒸餾技術的實踐 • 數據來源：使用自身模型（如R1）生成的高質量推理數據作爲“教師模型”知識，訓練更小的“學生模型”。 • 案例驗證： • 將Qwen系列（1.5B至32B參數）蒸餾後，性能顯著提升。 • 對Llama 70B進行蒸餾後，其表現與Qwen 32B相當，甚至在部分任務上超越原版，被戲稱爲對Llama的“技術反超”。 3. 技術爭議澄清 • 非抄襲指控：蒸餾 ≠ 直接複製他人模型輸出。DeepSeek的蒸餾基於自身模型生成的數據，而非使用ChatGPT等外部模型的響應訓練大模型（此行爲屬於數據採集，非蒸餾範疇）。 • 行業普遍性：頂級模型（如GPT-5、Claude Opus）也可能通過蒸餾將能力遷移至輕量化版本，以平衡性能與成本。 4. 潛在風險與挑戰 • 模型同質化：過度依賴蒸餾可能導致模型間能力趨同（如多數模型蒸餾程度高，僅Claude、Gemini等例外）。 • 泛化能力：蒸餾可能增強短期性能，但也需警惕對基礎模型泛化能力的潛在影響。 總結 DeepSeek的蒸餾技術通過自身高質量推理數據，成功將大模型能力遷移至輕量化模型（如Qwen、Llama），實現性能與效率的平衡。這一過程符合知識蒸餾的學術定義，且被行業廣泛採用，但需關注模型同質化等潛在問題。 深度解讀 引用：用通過一個超大size高質量的推理模型產生的數據進行SFT的成本非常低，與傳統的預訓練方法相比。它讓現有模型的表現拔地而起，不用做RL。 用戶希望對原文內容進行深度解讀，尤其是關於DeepSeek R1的技術細節和意義。爲了更好地理解原文內容，我需要從全書中搜索相關信息。 通過歷史對話和工具返回的信息，我已經獲取了關於DeepSeek R1的技術細節和意義的相關內容，可以直接回答用戶問題。 用戶希望對所給句子進行深度解讀。搜索結果中，書籍簡介提供了DeepSeek R1在成本與性能上的整體背景；本書相關內容直接呈現該句所在的技術討論；《DeepSeek實戰：操作攻略與商業應用》進一步說明了低成本訓練和可復現性等要點。這些信息共同幫助闡明“用超大size高質量推理模型產生的數據進行SFT”的含義、成本優勢，以及爲何在某些情況下可以省去RL。 這句話可以拆成三個關鍵詞來理解：超大size高質量推理模型、SFT成本低、無需RL。 1. 超大size高質量推理模型 • “超大size”指的是參數量級非常大，足以承載複雜推理所需的表達能力。 • “高質量推理”意味着該模型在數學、代碼等需要逐步思考的任務上本身就能給出正確、可讀的思考過程。DeepSeek R1 在 AIME、MATH、GPQA 等推理任務上已接近甚至超越 GPT-4，且推理過程可直接分享給社區。 2. 用它的數據做 SFT 成本低 • 傳統預訓練需要從頭大規模採集文本、進行分詞、再用高算力集羣迭代，費用高昂。 • 如果已有這樣一個大推理模型，只需讓它“自言自語”——用自身生成的大量高質量思考-答案對作爲訓練樣本，再做一次輕量級的 SFT，就能進一步提升效果。因爲數據已經由模型自己生成且質量高，標註、清洗等環節大幅簡化，故成本顯著下降。 3. “不用做 RL”意味着什麼 • 強化學習(RL)通常需要人工設計獎勵模型、收集反饋、反覆交互，工程複雜且算力需求大。 • 在 DeepSeek 的方案裏，大推理模型本身已具備足夠推理能力，加上少量 SFT 即可達到高績效，因此對 RL 的依賴被大幅削弱。團隊把精力放在改進推理過程的可讀性、格式和蒸餾版本上，而不是再去大規模做 RL 訓練。 4. 爲什麼這一做法有效 • 大模型的“湧現能力”：當模型足夠大並接受一定監督信號後，會突然展現出處理複雜任務的能力，而這種能力在小模型上並不存在。 • 高質量自生成數據：模型在推理時會自動選擇最合理的路徑、修正錯誤，產出的數據天然帶標籤且噪聲低，適合快速收斂的 SFT。 • 資源效率：省去大規模 RL/預訓練後，單機或多機 GPU 就能完成微調，社區開發者也可本地復現，形成“人人皆可調優”的生態。 5. 可能的侷限與思考 • 自生成數據仍可能繼承模型固有偏見或幻覺；若任務對事實性要求極高，仍需人工審覈或額外檢索增強。 • 方案假設“大模型 + 少量標註數據”即可，但對數據分佈與蒸餾策略設計提出了更高要求，實踐中需防止過擬合。 • 如果硬件條件極端受限，即使 SFT 成本降低，一次性購買大算力仍是門檻；未來進一步的量化、低秩適配等技術會是落地關鍵。 總結 這句話揭示了一條新的大模型優化路線：先訓練一個能“自己思考”的超大規模推理模型，再用它生成的數據做一次輕量 SFT，即可在低成本下獲得接近頂尖水平的性能，而不再依賴繁瑣且昂貴的強化學習流程。它背後反映的是“大模型 + 自監督蒸餾”正在成爲更具性價比的提升路徑，也爲中小企業和個人開發者打開了快速迭代的大門。 文中提到的英文縮寫分別指什麼 根據您提供的上下文，文中提到的英文縮寫及其含義如下： 1. SFT 全稱：Supervised Fine-Tuning（監督微調） 含義：指使用標註數據對預訓練模型進行微調，以提升其在特定任務上的表現。文中強調，利用高質量推理模型生成的數據進行SFT的成本遠低於傳統預訓練。 2. RL 全稱：Reinforcement Learning（強化學習） 含義：一種通過獎勵信號優化模型策略的訓練方法。文中指出，新方法通過SFT即可顯著提升模型性能，無需依賴複雜的強化學習流程。 補充說明： • 技術背景：DeepSeek的研究表明，超大規模推理模型（如千問系列）生成的高質量數據，可低成本實現SFT，且效果接近甚至媲美需強化學習的模型（如Llama 70B）。 • 實際意義：這一方法降低了模型優化門檻，使研究者可在本地設備（如普通PC）復現結果，推動技術普及。