DeepSeek原理與項目實戰

5.14讀書筆記 《deepseek原理與項目實戰》 後面都是Python代碼，不看了，簡單整理一下 回憶一下：對話生成，與代碼補全。首先是固定的基礎配置和定義密鑰，加上對應的功能設計和結構設計，最後再加上post請求和輸出，構成一個api請求的基本結構。 注意力機制，注意力機制指計算輸入數據的元素間的依賴關係， 歸一化，歸一化是優化輸出數據輸出，轉化爲和爲1的權重， 稀疏性與加速優化，稀疏性與加速優化是減少低概率權重的計算。 動態注意力，動態注意力是引入權重分配機制，動態調整注意力範圍。 長距離注意力，長距離注意力是指長距離關聯信息，整合全局依賴關係。 稀疏注意力，稀疏注意力就是減少低權重冗餘的計算。 位置編碼。位置編碼是確定輸入數據的位置關係的技術。 上下文窗口，上下文窗口是指一次數據處理所能關聯到的範圍。 MoE架構，MoE架構就是把大模型拆分成特定領域的專業模型來提升表達能力和準確性。 分佈式訓練，分佈式訓練就是在多個計算節點分配任務同時進行計算。 Token，Token是大模型處理文本的基本單位。 數據流向，數據流向依次是輸入層生成詞向量，建模層多頭注意力生成關聯，路由層MoE架構選擇對應專業模型，特徵層提取數據特徵，歸一層穩定輸出分佈，輸出層輸出下一個token 編碼器-解碼器模型，編碼器將輸入序列轉換爲高維表示，解碼器通過高維表示輸出目標序列。將詞語序列的邏輯關係變成空間中的向量關係，再根據向量關係對照出目標序列 自注意力機制，給每個詞在空間中的向量關係進行分類建立關聯檔案，根據相鄰詞彙判斷出所屬檔案，獲得權重再作用於輸出上，以此來更快的計算詞之間的依賴關係。 多頭注意力機制，從不同角度分析定義向量關係，包括語法關係，語義，上下文等等。 殘差連接，在每一層的輸出中直接添加上一層的輸出，既在已掌握的基礎上增加新的學習內容，避免了信息的過度衰減， 層歸一化。設計一個類似均值或者方差的輸出標準來降低偏移，加速訓練收斂，避免劇烈波動。 寫點感受：AI相關的書籍看到現在，大部分詞語都能看懂了，也算有了一些收穫，最大的啓發就是AI慢慢獲得了自我迭代和自我優化的能力，對於一個人來說這樣的能力也一樣重要，比如小朋友喜歡玩泥巴，和藝術家喜歡泥雕，雖然本質上是一樣的，但前者往往被看做無意義的遊戲，這樣的遊戲還會隨時間變化，不同年齡會迷戀上不同的遊戲，並意識到先前的遊戲只是笑話，而後者有在對能力進行迭代，使之可以成爲一種藝術或者一種職業。這就有了兩個要素，內化的能力和迭代的意識，玩泥巴的小朋友如果意識到這是一種能力，以及每次遊戲之後都進行反思總結，不斷迭代這個能力，這樣即使是小朋友也可以像藝術家一樣創造出精美的藝術品。這種情況遠不止遊戲還可以擴展到各種人生經歷，讓經歷不單單只是經歷，而是能力的來源，讓每一個經歷都至關重要。

本書圍繞DeepSeek-V3展開，結合理論解析與實際應用，帶領讀者全面探索這一開源大模型的核心技術與實踐價值。 本書旨在爲讀者提供一份系統性的學習指南，從生成式AI的理論基礎到DeepSeek-V3的技術架構，再到具體的開發實踐，通過理論講解與實用案例相結合的方式，幫助讀者掌握從原理到應用的完整流程。無論是AI技術研究者還是行業開發者，都能通過本書快速瞭解並運用DeepSeek大模型技術，深入探索其在工業與商業場景中的應用潛力。

第五章沒看完，實在看不下去了，太垃圾了，還沒百度搜出來的內容有精華，浮於表面、流水賬、華而不實、廢話連篇，像ai寫的 不如csdn找篇文章認真看，更不如讓deepseek先生成大綱，再逐步深入去學習，真是浪費時間，車軲轆話說來說去，連自注意力機制的公式都不捨得放一下

較全面的介紹了DeepSeek-V3的技術亮點: 1.自注意力機制 : 多頭注意力、殘差連接、層歸一化(Layer Normalization)、注意力矩陣、稀疏化矩陣、長距離注意力、動態注意力等 2.上下文窗口 3.MOE：共享專家網絡與路由專家網絡結合 4.多token預測 建議深度閱讀

全書分爲三部分，涵蓋DeepSeek-V3的理論基礎（如Transformer架構、Moe路由機制）、專業應用（對話生成、代碼補全）及實戰案例（Chat客戶端、AI助理開發等），從原理到實踐形成完整知識鏈。

2025.05.04大致瀏覽： 看了大綱後去看了1.3部分就不想看了，原因如下（個人觀點）： 1. 羅列概念，毫無自己的構思 2. 泛泛而談，感覺不如自己寫的博客 3. 一股AI味道（初心不對） 目前暫時不打算繼續看了。

這本書還是蠻專業了。可是我沒學過編程，最開始只是想提高自己寫提示詞的水平。主要看了4569這四個章，能看懂。 說個感受。 最開始也看了網上的一些資料，也買了兩本講AI提問方面的書看，但是看了吧，感覺都是炒概念的。這本書裏講提示詞就一看就是特別懂技術的人寫的，沒有亂七八糟自造的各種概念，而是基於官方的提示庫展開講解。其實DeepSeek官方文檔給了好多有價值的內容，但是我們沒有耐心去看，反而要去聽各種大神大佬忽悠。確實是，集體浮躁。這本書第9章講了DeepSeek的提示庫，就是基於人家官方文檔。這裏有個例子特別好，講代碼註釋的提示詞。乍一看可能覺得我不懂編程是看不懂吧，實際上恰恰解決了我之前想學AI編程而沒有克服的關鍵問題——很多編程語言到底是啥意思，那些符號什麼意思。用這個提示詞，直接就能把滿窗口的字符用我看得懂的文字對應講清楚。現在技術迭代這麼快，大家都有點焦慮，難免。但是人家官方文檔那麼明白的，免費的給出來了，可是我們都願意花冤枉錢去買那些“信息差”。把時間也都浪費在直播間短視頻上了。這本書很踏實，推薦給真心想學習的人。

很糟糕，賣大包，廢話連篇，浪費時間

從使用者的角度介紹了DP的部分原理，並且出不同行業的具體應用案例。既能瞭解大概的原理，有對於實操應用有了新啓發。

上來講transformer，貌似很專業的書，但對初學者極不友好，沒有一個由淺入深的介紹過程，還是靠自己問AI，才能理解一個一個概念。第五章到第十二章的內容，快速過一遍，不是一點點的失望。