自然語言處理實戰：預訓練模型應用及其產品化

看完這本書，總有一種意猶未盡的感覺，其實看其中的每一章節是都有類似的感覺。每個NLP技術的介紹都是力求從基本說起，通過類比，直到本質，把內容講解清楚，寫得很精彩，確有一種戛然而止的感覺。 這本書把自然語言處理的發展脈絡介紹得很清楚，對於想了解發展歷史的讀者很有幫助，所以強烈推薦。 對於整個開發流程、工具和平臺的選擇，作者也是詳盡介紹，對於初學者很有幫助。 總體上值得推薦，謝謝，謝謝，謝謝😊

8/10分。 本來是衝着應用部分來的，想看看除了算法工程師之外，產品經理，數據分析師，模型部署是怎麼做的，但這部分確實太過不熟悉，反而不是最印象深刻的。 相反，對transformer的發展，attention的細緻解剖確實做的很好。每個提到的模型方法都可以從背景、要解決的問題、爲什麼、原理、不足這些角度給出清晰地敘述。而且不是照搬公式，也沒有一昧堆積代碼，是邏輯順暢得講清楚了物理意義，能看出作者確實是有自己思考的。這比公式和代碼難得。

從類比到本質，從發展過程到原理和機器學習流程，作者都有獨到的見解。 標準的機器學習流程包括以下步驟： 1. 導入數據。 2. 預處理數據（例如，處理丟失的值和離羣值，檢查和轉換數據類型，等等）。 3. 執行特徵縮放、特徵工程和特徵選擇。 4. 結構化數據（例如，創建訓練、交叉驗證和測試集等）。 5. 定義評估指標並選擇要測試的算法。 6. 建立算法，選擇並測試帶有超參數的模型。 7. 選擇要部署到生產環境中的模型。 8. 重構代碼，編寫測試，並投入生產環境中。 9. 在生產過程中監控和維護產品。 10. 收集實際結果，並根據需要對模型進行再訓練。

幾乎可以肯定的是，我們今天推薦的東西會隨着時間的推移而過時。我們希望，與其提出中規中矩的建議，不如幫助你形成能夠決定技術棧中包含哪些重要內容的一種直覺。 我們認識到你可能有自己的一系列限制——比如，你的公司可能已經有一組你必須使用的工具。或者，你可能是一個大型團隊的一員，該團隊已經爲你選擇了編程語言、雲服務提供商等。但希望本章仍然能給你提供一些其他的啓發。 爲你的技術堆棧做選擇可能會讓人不知所措。有這麼多不同的供應商提供類似的競品服務，他們提供的價格和功能經常變化。這使得選擇絕對意義上最好的服務幾乎不可能。競品供應商的多樣性會導致決策疲勞。我們會盡最大努力讓你的選擇減少到最少。事實上，我們將更進一步。作爲本書的作者，我們將在構建NLP應用程序時選擇自己喜歡的工具！ 這裏的工具列表既不全面也不權威（也沒有任何特定的順序或排名）。在這裏列出的工具只是作者認爲有用、流行或有趣的工具。使用什麼當然是由你自己決定的。 在這個領域裏適合某個人的東西不一定適合你。對我們的建議持保留態度，批判性地思考什麼對你來說最有用。 最後，最重要的不是你使用什麼工具，而是你如何使用它們。事實上，你會發現很多深度學習框架、編程語言等，通常都是非常相似的，一旦你學會了一種語言，再學習另外一種並不太難。

有點像NLP導論。什麼都講了一些，但是什麼都不深入。前面部分是理論部分主要講了RNN和Transformer。但是並沒有特別深入的講理論部分，只是從high-level講了一下兩種結構的設計理念。從歷史的角度上概括了，怎麼從RNN進化到了Transformer。這部分還是挺有意思的。後面的部署部分更像是文獻綜述概括了，把市面上的各種tools羅列了一遍，又簡單地走了一下流程，個人覺得沒什麼意思。

作爲自然語言處理的門外漢，我試着看了幾本入門書籍，這一本是最好的。 綜述了自然語言處理技術。綜述中信息做了篩選，只對主幹性的技術做了展開，包括分詞，詞性標註，NER，向量嵌入，神經網絡模型，transformer模型等。信息的密度和難度對入門者恰到好處。 對自然語言技術的發展歷史做了綜述。對自然語言處理技術發展的幾個重要階段，每個階段的重要技術出現的前因後果，做了深入淺出的介紹，讓入門者知道一門技術經過數十年幾代人努力走到今天的。 書中還介紹瞭如何通過現代的ai基礎設施開發自然語言應用的產品流程，這對初學者上手也是很有益處的。

買了紙質書，斷斷續續一個月讀完。對於自然語言處理的各個環節介紹的比較詳細，瞭解入門比較好。讀完之後意猶未盡，希望找一些深入的書籍繼續學習，比如向量嵌入環節。總體來說，對於想入門自然語言處理，預訓練模型應用，想設計自己的產品的朋友，牆裂推薦。

終於讀完了，前半部分寫的不錯，講了nlp技術的發展，後半部分寫的一些工具的介紹，比較淺顯，總體上比較完整的講解了nlp，適合初學者閱讀和學習。

忽略代碼部分， NLP 從傳統算法到大語言模型的“成長曆史”。語言代表人類思維和智慧的邊界，所以在教機器學習如何處理人類語言時也充分借鑑了人類🧠的特質：如循環神經網絡中的“記憶”、transformer 中的“注意”。更重要的，對自然語言任務的處理可以映射到很多其它非文本領域，這也是大語言模型遷移學習能力的魅力。

如果是做nlp產品，這本書很適合入門，尤其適合junior NLP engineer 或者給產品經理。書從一個比較宏觀的角度解釋技術，包也涉及到一些周邊知識，比如GPU，data engineering。但是因爲主要講應用，從業者的話快速過一遍就好，再另外仔細鑽研DL和更基礎性的構架。