分布式机器学习：系统、工程与实战
柳浩
624人在读
35万字总字数
¥97.3定价
柳浩
本书主要讲解分布式机器学习算法和开源框架，读者既可以从宏观的设计上了解分布式机器学习的概念和理论，也可以深入核心技术的细节设计中，对分布式机器学习形成深刻而直观的认识，做到学以致用。 本书共分为5篇，第1篇是分布式基础，首先介绍了分布式机器学习的概念、基础设施，以及机器学习并行化技术、框架和软件系统，然后对集合通信和参数服务器PS-Lite进行了介绍。第2篇是数据并行，以PyTorch和Horovod为主对数据并行进行分析，读者可以了解在具体工程领域内实现数据并行有哪些挑战和解决方案。第3篇是流水线并行，讲解了除模型划分之外，还通过引入额外的流水线来提高效率，以GPipe / PyTorch / PipeDream为例进行分析。第4篇是模型并行，首先对NVIDIA Megatron进行分析，讲解如何进行层内分割模型并行，然后讲解PyTorch 如何支持模型并行，最后介绍分布式优化器。第5篇是TensorFlow分布式，前面几篇以PyTorch为纲，结合其他框架/库来穿插完成，本篇带领大家进入TensorFlow分布式领域。
不错的一本书，可以对分布式机器学习有个系统的认识。
看得出来作者是下了功夫的，也懂的很多。内容也很底层，很细。不过有几个小问题， 一是章节之间切分的太厉害，没有宏观上的把握。理想的状态可能是整体按架构设计章节，具体讲解技术时再借鉴各个框架。现在感觉彼此有重叠但又不一样，虽然也提到了一点区别，但由于缺乏整体的了解，对框架不熟悉的人来说就会感觉读的云里雾里。 二是缺乏使用实例，只在很少几个地方用到了很小的玩具代码。这就让人和实际平时使用这些框架割裂开了。我也用过ddp，对pt比较熟，用过tf1和2，以及paddle，但是几乎没有从中吸取到对实际使用有帮助的内容。理想状态应该是从一个具体的模型出发，一步步到底层。 总的来说感觉可能读者定位就是专门编写框架的，这样来看读者范围就很窄了。而且看起来内容很细，但很多上下文其实没有交代清楚，看完了依旧迷迷糊糊，感觉还得再去看原始论文。
为什么会把zero和fsdp漏掉了