大模型訓練與推理加速實戰：基於CUDA計算平臺（Python版）
溫浩
432人在讀
15.9萬字總字數
¥90.3定價
溫浩
本書深入探討深度學習模型訓練和推理加速的前沿技術，尤其是在 NVIDIA CUDA（Compute Unified Device Architecture）平臺上的應用與優化。本書從大模型訓練的挑戰和分佈式訓練，到 CUDA 加速推理技術，再到端側推理的優化部署，系統地介紹如何利用 CUDA 平臺加速大模型的訓練與推理過程，並結合具體案例深入講解數據並行、模型並行、任務調度、負載均衡等技術。本書共 10 章，首先介紹大模型訓練面臨的計算複雜性、內存帶寬和數據傳輸瓶頸等問題，並講解基於NCCL（NVIDIA Collective Communications Library）的優化方法；然後，通過深入淺出的講解，展示如何使用 TensorRT 進行推理加速，並探討多模型並行推理架構、混合精度訓練與推理等優化策略；最後，詳細闡述端側推理加速，特別是在移動設備和邊緣設備中的應用，強調模型量化、裁剪等技術在推理加速中的重要作用。
完全不具備工業實現的可參考性，就是最基本的常識和玩具性demo，學不到什麼東西
零基礎想搞推理引擎加速的同學還是很建議讀讀的。