分佈式機器學習：系統、工程與實戰
柳浩
624人在讀
35萬字總字數
¥97.3定價
柳浩
本書主要講解分佈式機器學習算法和開源框架，讀者既可以從宏觀的設計上了解分佈式機器學習的概念和理論，也可以深入核心技術的細節設計中，對分佈式機器學習形成深刻而直觀的認識，做到學以致用。 本書共分爲5篇，第1篇是分佈式基礎，首先介紹了分佈式機器學習的概念、基礎設施，以及機器學習並行化技術、框架和軟件系統，然後對集合通信和參數服務器PS-Lite進行了介紹。第2篇是數據並行，以PyTorch和Horovod爲主對數據並行進行分析，讀者可以瞭解在具體工程領域內實現數據並行有哪些挑戰和解決方案。第3篇是流水線並行，講解了除模型劃分之外，還通過引入額外的流水線來提高效率，以GPipe / PyTorch / PipeDream爲例進行分析。第4篇是模型並行，首先對NVIDIA Megatron進行分析，講解如何進行層內分割模型並行，然後講解PyTorch 如何支持模型並行，最後介紹分佈式優化器。第5篇是TensorFlow分佈式，前面幾篇以PyTorch爲綱，結合其他框架/庫來穿插完成，本篇帶領大家進入TensorFlow分佈式領域。
不錯的一本書，可以對分佈式機器學習有個系統的認識。
看得出來作者是下了功夫的，也懂的很多。內容也很底層，很細。不過有幾個小問題， 一是章節之間切分的太厲害，沒有宏觀上的把握。理想的狀態可能是整體按架構設計章節，具體講解技術時再借鑑各個框架。現在感覺彼此有重疊但又不一樣，雖然也提到了一點區別，但由於缺乏整體的瞭解，對框架不熟悉的人來說就會感覺讀的雲裏霧裏。 二是缺乏使用實例，只在很少幾個地方用到了很小的玩具代碼。這就讓人和實際平時使用這些框架割裂開了。我也用過ddp，對pt比較熟，用過tf1和2，以及paddle，但是幾乎沒有從中吸取到對實際使用有幫助的內容。理想狀態應該是從一個具體的模型出發，一步步到底層。 總的來說感覺可能讀者定位就是專門編寫框架的，這樣來看讀者範圍就很窄了。而且看起來內容很細，但很多上下文其實沒有交代清楚，看完了依舊迷迷糊糊，感覺還得再去看原始論文。
爲什麼會把zero和fsdp漏掉了