深度強化學習實踐（原書第2版）

這本書主要集中於機器學習中的強化學習領域，並結合深度學習，每一章都會結合實驗結果詳解深度強化學習中的有關算法，整體上還是講的比較詳實。幾個深度強化學習的主要方法：DQN、actor-critic方法、A3C、A2C等都講的比較詳實，可見作者是位經驗豐富的老手。 《深度強化學習實踐》並不僅限於強化學習，它結合了深度學習的方法，特別在當今火爆的機器人領域應用廣泛，書中有一章單獨講解了四足機器人的組建，似乎有點遊離於全書主題之外，但結合當下也很有意思。 總體上作者還是以Deepmind的Atari遊戲項目爲主題，層層解析了上述深度強化學習算法的實現，再加上股票交易、網頁自主瀏覽等相關實例，更覺有趣。不足之處在於當今的AI技術發展的太快，對於目前最火的多智能體協作問題，最後一章雖有介紹，但略顯簡單，這是成書時間的侷限所致，並不影響整書的質量。

with the advancements in data and computing power, we have been witnessing the growth of Deep Reinforcement Learning (DRL) algorithms for solving sequential decision-making problems where a huge number of factors must be taken into account, like the supply chain . DRL provides dynamic learning in a stochastic environment with function approximation through the use of deep neural networks and does not particularly require restrictive assumptions or extensive domain knowledge. Extending from naive DRL methods to the MAS naturally encounters several challenges, such as non-stationary behaviors and the lack of scalability. More specifically, the action taken by one agent affects the reward and the evolution of the state of other agents when learning independently in the supply chain network, which invalidates the Markovian property, and the convergence of DRL algorithms no longer exists. In the context of a multi-agent supply chain, the dimension of the action space grows exponentially with the number of raw materials and marketable products, known as the combinatorial nature of MAS . Furthermore,the prohibitive combinatorial complexity can be further aggravated by the fact that solving a Nash equilibrium is PPAD-hard, even for one-shot, two-player games.

這本書其實很不適合初學者，雖然有代碼、有示例，但是在基礎理論、符號嚴謹性上都不過關。尤其是從 value function 開始，v和q的介紹相當不夠，極容易讓初學者對那幾個公式無所適從。 如果想從頭學RL，那麼應該拿起的標準入門書籍是 Richard Sutton 的 《Reinforcement Learning: an Introduction》。

寫得挺有體會的，但是太專業了，不能引人入勝。

優點：這書作者是老手，有自己心得體會，能用自己的經驗和理解去解釋串聯概念。 缺點：項目代碼堆砌，不夠深入。

目前不僅最好的大模型用到了強化學習技術，四足機器人領域也用到了。深度強化學習極有可能統治未來的具身智能領域和無人駕駛領域。 本書講的比較全面，並且github有源碼可以學習，對深度強化學習感興趣的可以讀讀。

算法涉及比較多。同時有相應代碼，適合對算法落地比較有興趣的人。

非常推薦的一本書，各方面內容講解的比較詳細，如果後面的代碼中不使用ptan就更完美了！

目前讀過的對深度強化學習講解的最好的一本書了

越到後面越難，硬着頭皮看完了😂 不過挺好的地方是Github上代碼有更新版本。代碼能跑通才有動力繼續學習，看看簡單的代碼已經學到很多了