深度学习入门4：强化学习

鱼书一如即往对小白友好。本书基础知识讲解细致，适合入门，尤其是基础公式的推导十分清晰。但有两点不足：一是对时下的大热的强化学习算法PPO、DPO等介绍不足，其实可以结合llm rl好好讲讲；二是代码直接使用pytorch即可，没必要用之前自己写的框架。

本书算是一本RL的入门级的经典书籍了，讲得比较浅显易懂，基本遵循了端藤康毅的一贯风格。 不过，本书也有三点可以改进的地方： 1，使用了作者的一个深度学习库，其实直接用PyTorch就够了，完全没必要关联上自己的另一本书。 2，很多描述写得还是很简单，需要脑补大量的内容，这给阅读带来了更大的障碍。 3，对现有的比较流行的算法涉及不多，PPO一笔带过。当然，有一些新算法，比如GRPO，应该是本书完成以后才出来的，这是可以理解的。 即便存在一些问题，但，这本书仍然是我愿意优先推荐RL入门者的第一本书。

自己导pdf进来看，今天刚看完就发推送给我上架，真的不巧。复习的时候继续使用这本书。

May the Force be with you

对强化学习思想讲解的比较一般，大部分是公式的罗列，读完之后没什么方法论方面的收获。

我是这样理解的，监督学习是用打好标签的数据集进行训练；无监督学习不需要打标签，通过学习找到隐藏在数据中的结构和模式，就像BERT的完形填空；强化学习则是智能代理直接跟环境互动，设置合适奖励，观察环境状态，然后根据状态采取行动，在互动过程中掌握获得最大奖励的行动模式。 深度学习的优点是可以利用大量数据和可扩展的算力，加速训练学习过程，如果要跟环境互动，是不是要把步调降到跟环境一致，不再可以压缩时间。 当然强化学习也可以扩展，通过大量分布式的GPU和独立的环境互动，并行的进行训练。 例如自动驾驶的场景，可以用很多经验更丰富技术更好的驾驶员，同时在不同的路况和交通条件下驾驶，用交互数据分布式的训练。 虽然收集普通驾驶员的日常数据量更多更快，但是这个场景对数据质量，也就是奖励的要求远高于普通视觉识别

一坨粑粑。学这个还不如直接问AI。AI讲的比他清楚多了。他总是会误导你，并且最根本的思想都不会告诉你的。只会越学越糊涂。

这书挺好的，非常入门，十小时就看完了，而且还有代码练习，不过我都是让ai写成，比较新，pytorch的写法来看。不过进阶的强化学习内容，还需要继续自己补齐。

延续了这一系列丛书简单易懂的特点，非常推荐。书里面的程序配合ai coding工具进行解释，更容易加深对原理的理解。

买了实体书还没到，作者前几本书都看过，很期待新书的内容。 作者前几本书都能用最浅显易懂的方式讲清楚原理，这本书虽然还没看，但是想必不会让人失望，支持一下!