深度學習入門4：強化學習

魚書一如即往對小白友好。本書基礎知識講解細緻，適合入門，尤其是基礎公式的推導十分清晰。但有兩點不足：一是對時下的大熱的強化學習算法PPO、DPO等介紹不足，其實可以結合llm rl好好講講；二是代碼直接使用pytorch即可，沒必要用之前自己寫的框架。

本書算是一本RL的入門級的經典書籍了，講得比較淺顯易懂，基本遵循了端藤康毅的一貫風格。 不過，本書也有三點可以改進的地方： 1，使用了作者的一個深度學習庫，其實直接用PyTorch就夠了，完全沒必要關聯上自己的另一本書。 2，很多描述寫得還是很簡單，需要腦補大量的內容，這給閱讀帶來了更大的障礙。 3，對現有的比較流行的算法涉及不多，PPO一筆帶過。當然，有一些新算法，比如GRPO，應該是本書完成以後纔出來的，這是可以理解的。 即便存在一些問題，但，這本書仍然是我願意優先推薦RL入門者的第一本書。

自己導pdf進來看，今天剛看完就發推送給我上架，真的不巧。複習的時候繼續使用這本書。

May the Force be with you

對強化學習思想講解的比較一般，大部分是公式的羅列，讀完之後沒什麼方法論方面的收穫。

我是這樣理解的，監督學習是用打好標籤的數據集進行訓練；無監督學習不需要打標籤，通過學習找到隱藏在數據中的結構和模式，就像BERT的完形填空；強化學習則是智能代理直接跟環境互動，設置合適獎勵，觀察環境狀態，然後根據狀態採取行動，在互動過程中掌握獲得最大獎勵的行動模式。 深度學習的優點是可以利用大量數據和可擴展的算力，加速訓練學習過程，如果要跟環境互動，是不是要把步調降到跟環境一致，不再可以壓縮時間。 當然強化學習也可以擴展，通過大量分佈式的GPU和獨立的環境互動，並行的進行訓練。 例如自動駕駛的場景，可以用很多經驗更豐富技術更好的駕駛員，同時在不同的路況和交通條件下駕駛，用交互數據分佈式的訓練。 雖然收集普通駕駛員的日常數據量更多更快，但是這個場景對數據質量，也就是獎勵的要求遠高於普通視覺識別

一坨粑粑。學這個還不如直接問AI。AI講的比他清楚多了。他總是會誤導你，並且最根本的思想都不會告訴你的。只會越學越糊塗。

這書挺好的，非常入門，十小時就看完了，而且還有代碼練習，不過我都是讓ai寫成，比較新，pytorch的寫法來看。不過進階的強化學習內容，還需要繼續自己補齊。

延續了這一系列叢書簡單易懂的特點，非常推薦。書裏面的程序配合ai coding工具進行解釋，更容易加深對原理的理解。

買了實體書還沒到，作者前幾本書都看過，很期待新書的內容。 作者前幾本書都能用最淺顯易懂的方式講清楚原理，這本書雖然還沒看，但是想必不會讓人失望，支持一下!