深度强化学习实践（原书第2版）

这本书主要集中于机器学习中的强化学习领域，并结合深度学习，每一章都会结合实验结果详解深度强化学习中的有关算法，整体上还是讲的比较详实。几个深度强化学习的主要方法：DQN、actor-critic方法、A3C、A2C等都讲的比较详实，可见作者是位经验丰富的老手。 《深度强化学习实践》并不仅限于强化学习，它结合了深度学习的方法，特别在当今火爆的机器人领域应用广泛，书中有一章单独讲解了四足机器人的组建，似乎有点游离于全书主题之外，但结合当下也很有意思。 总体上作者还是以Deepmind的Atari游戏项目为主题，层层解析了上述深度强化学习算法的实现，再加上股票交易、网页自主浏览等相关实例，更觉有趣。不足之处在于当今的AI技术发展的太快，对于目前最火的多智能体协作问题，最后一章虽有介绍，但略显简单，这是成书时间的局限所致，并不影响整书的质量。

with the advancements in data and computing power, we have been witnessing the growth of Deep Reinforcement Learning (DRL) algorithms for solving sequential decision-making problems where a huge number of factors must be taken into account, like the supply chain . DRL provides dynamic learning in a stochastic environment with function approximation through the use of deep neural networks and does not particularly require restrictive assumptions or extensive domain knowledge. Extending from naive DRL methods to the MAS naturally encounters several challenges, such as non-stationary behaviors and the lack of scalability. More specifically, the action taken by one agent affects the reward and the evolution of the state of other agents when learning independently in the supply chain network, which invalidates the Markovian property, and the convergence of DRL algorithms no longer exists. In the context of a multi-agent supply chain, the dimension of the action space grows exponentially with the number of raw materials and marketable products, known as the combinatorial nature of MAS . Furthermore,the prohibitive combinatorial complexity can be further aggravated by the fact that solving a Nash equilibrium is PPAD-hard, even for one-shot, two-player games.

这本书其实很不适合初学者，虽然有代码、有示例，但是在基础理论、符号严谨性上都不过关。尤其是从 value function 开始，v和q的介绍相当不够，极容易让初学者对那几个公式无所适从。 如果想从头学RL，那么应该拿起的标准入门书籍是 Richard Sutton 的 《Reinforcement Learning: an Introduction》。

写得挺有体会的，但是太专业了，不能引人入胜。

优点：这书作者是老手，有自己心得体会，能用自己的经验和理解去解释串联概念。 缺点：项目代码堆砌，不够深入。

目前不仅最好的大模型用到了强化学习技术，四足机器人领域也用到了。深度强化学习极有可能统治未来的具身智能领域和无人驾驶领域。 本书讲的比较全面，并且github有源码可以学习，对深度强化学习感兴趣的可以读读。

算法涉及比较多。同时有相应代码，适合对算法落地比较有兴趣的人。

非常推荐的一本书，各方面内容讲解的比较详细，如果后面的代码中不使用ptan就更完美了！

目前读过的对深度强化学习讲解的最好的一本书了

越到后面越难，硬着头皮看完了😂 不过挺好的地方是Github上代码有更新版本。代码能跑通才有动力继续学习，看看简单的代码已经学到很多了