大模型輕量化：模型壓縮與訓練加速
梁志遠
560人在讀
12.9萬字總字數
¥87.72定價
梁志遠
"《大模型輕量化:模型壓縮與訓練加速》圍繞大模型輕量化這一主題，系統地闡述大模型輕量化的基本理論與實現方法，旨在提升模型的部署效率和計算性能。全書分爲3部分，共10章。第1部分（第1～5章），介紹大模型的背景與面臨的問題，以及Transformer和MoE架構的基本原理；重點講解模型壓縮、訓練加速和推理優化等核心技術，包括量化、蒸餾和剪枝等，並通過實際案例驗證其效果。第2部分（第6、7章），重點介紹端側學習與計算引擎優化策略，尤其是動態Batch和異構執行的工程實現。第3部分（第8～10章），針對高性能算子庫與手工算子開發，分別以cuDNN、NEON、CUDA等爲代表，揭示算子優化的細節，最後，以國產開源模型DeepSeek-V3爲例，展現從訓練到推理的綜合優化方案。 《大模型輕量化:模型壓縮與訓練加速》提供全面實用的輕量化方法論，結合豐富代碼示例與實踐案例，適合從事大模型開發與優化的工程師，也爲研究人員提供深入探討的素材與視角，助力解決大模型訓練與推理中的實際問題。"
這本書感覺是作者先寫個大綱，然後讓大模型來填充。中間很多章節有重複。看完感受：理論概念似乎很多，但是讀完腦袋空空。缺少作者的細化以及深入的思考，算是個概念大雜燴吧。
樣例比較簡單，但介紹的知識點比較多
比較系統地介紹了從PC到端側各種模型輕量化技術，針對每種技術都有相關代碼實現講解，看完可以對模型量化壓縮訓練加速等會有個比較全方位的認知。