Mastering Transformers

2026年讀完的第四十本書，今天下班比較早原本想在運動後安安靜靜讀兩三個小時技術書，無奈晚上的瑣碎事情比較多，而且我在對幾個AI Agent下達任務進行Vibe Coding花費了很多時間排查問題。最近讀的技術書對我來講都特別有挑戰性，特別是知識圖譜相關的書籍，在機器學習的這個章節各種數學公式真讓人頭大。 總體上來講，這本書對於講解Transform的技術覆蓋面大而廣，其中涉及的很多技術細節介紹都是點到即止，因此看起來我只花了三十個小時就讀完這本書，但實際上我花了更多額外的時間去Kimi和Deepseek深入瞭解更多底層的技術問題。例如涉及非線性降維的T-SNE和UMAP，或者是涉及Transform最重要的Attention機制、Softmax層、FFN層、殘差連接、Layer-Normalization層，在這本書中的講解都是一筆帶過。 這本書中我認爲比較有價值的是作者在討論問題的時候不是泛泛而談，切切實實地通過代碼給讀者講解各種Transform相關的模型如BERT、BART或者T5等。LLM涉及到的各種技術都能在這本書找到，我認爲可能是由於篇幅所限很多技術細節都沒有體現在章節中。我覺得這本書的每個章節，實際上要講通講透起碼需要把每個章節獨立出來寫成一本書。 如果單純框定這本書的內容的範圍閱讀，而不去深入思考和通過外部工具查閱資料的話，我認爲這本書可能不會對個人有任何的提升，我認爲可能是這本書的一個缺陷。不過換個角度來看待，在學習的過程中不會存在只是通過單維度的閱讀，而不去深入探究思考問題、多問更多的問題，或者不動手實踐得到反饋就能學會。對於想了解Transform的朋友而言，這本書值得一讀。

這本書名叫Mastering Transformers，但實際對Transformer本身講得不深，但是書中介紹了很多Transformer的應用方向和概念，適合想擴展知識面的讀者閱讀。