大模型動力引擎——PyTorch性能與顯存優化手冊

《大模型動力引擎》這本書乾貨滿滿，內容涵蓋大模型底層架構、CPU與GPU協同調度等關鍵技術，並聚焦於具有極強實用性的性能調優實踐，對系統學習框架類知識大有裨益。 構建大模型的核心在於處理數據與模型，其主要流程包括數據清洗、數據加載和模型訓練。訓練過程包含三個關鍵環節：前向傳播計算激活值、反向傳播計算梯度，以及優化器迭代更新權重。通常，訓練階段的計算量可達推理階段的三倍之多。推理在本質上是一個簡化的前向傳播過程；針對大語言模型，可進一步劃分爲 Pre-filling 和 Decoding 兩個階段。 大模型的訓練與推理涉及CPU、GPU、磁盤、網絡等多種硬件設備。進行優化時，首要步驟是定位性能瓶頸，判斷其屬於內存瓶頸還是計算瓶頸。實踐中，常藉助“屋頂模型”測算理論性能閾值，並配合使用 Profiler、NVIDIA System Management Interface、CUDA System 等工具監測硬件的算力與帶寬利用率。 在具體優化策略上： CPU優化：通常採用多線程技術加速數據清洗與加載流程，並實現CPU與GPU的異步計算，以提升硬件並行處理效率。 GPU優化：核心目標是提高硬件利用率。若存在算力瓶頸，可適當增大Batch Size；若需提升計算與存儲的並行度，則可減小Batch Size。此外，利用算子融合工具生成fused算子有助於減少帶寬瓶頸，而混合精度訓練與量化方法也能有效降低帶寬壓力。實在不行，可以自己寫算子。 網絡優化：重點是提升互聯帶寬。除NVIDIA的NVLink技術外，其他方案還包括RDMA、InfiniBand等高速網絡互聯技術。 多卡訓練：可採用多種並行策略。當前主流的是從不同維度切分任務的5D並行方案，涵蓋Pipeline並行、Tensor並行、模型並行、數據並行及Batch並行等。 最後，若經過上述優化算力仍無法滿足需求，最直接有效的方式便是擴充硬件配置以提升運行速度。

粗略看了一遍挺不錯，對pytorch的理解又深了一步，但書中的代碼鏈接咋沒看到，找了半天，最後在閒魚上才找到😂

對PyTorch 的性能優化部分介紹很多，連帶的就將GPU、反向傳播等進行了介紹，但是對分佈式方面的講解太少了。

二刷，推薦閱讀。本書雖然較老，但技術原理是相同的。閱讀本書，可以對大模型的訓練優化有一定了解

這本書主要內容是Pytorch程序的調優，對於Pytorch代碼的提高還是有作用的。

本書一個很難得的優點：點到爲止地串聯優化的各個知識點，面面俱到而不繁雜。不像別的一些書，要麼太冗餘把一個api的所有參數都列一遍，要麼太簡略覺得讀者都會了直接跳過一些簡單但關鍵的步驟半句不提。個人認爲技術類書籍就該和這本一樣，其一知識點得點到，要不然讀者可能壓根不知道有這東西；其二不能太過於詳細以至於瑣碎，畢竟讀一遍一般都記不住那麼細節的小知識點，都是在使用過程中進一步學習熟悉完善查漏補缺的。

絕大部分都是寫的單機優化，像數據加載，雙緩存區等優化還是比較實用的。其實見到這本書太晚了，在訓練的時候發現gpu沒跑滿就會自己琢磨排查哪個流程出問題了。踩完這些坑才發現，這本書已經給總結好了。

無論是講PyTorch還是講大模型還是講深度學習，這本書的角度、內容都很獨到。

模型訓練版本的《性能之巔》，非常值得一讀

作爲性能調優快速入門的書已經挺不錯的了，把零散的點串起來，幾個小時內通讀完還是有所收穫