商戰數據挖掘：你需要了解的數據科學與分析思維

#小曾曾讀書筆記#《商戰數據挖掘：你需要了解的數據科學與分析思維》本書講解數據科學的相關工作流程，聚焦常用的算法宏觀原理和數據科學分析思維，以及數據科學家的技能模型。 本書涉及的理論推導和數學極少，適合想了解數據科學大略的人，也適合制定宏觀數據科學執行戰略的人，不適合摳數學公式推導原理的人。 這本書最核心的三個點： 應該把數據看做投資性資產，對數據的投資和挖掘，能夠構建公司的護城河； 工具、算法、模型、技術，都是分析的手段，最根本的，是要在理解業務的基礎上，賦能業務，優化流程，提高效率； 計算目標模型的期望收益，往往能實現很好的評估模型的效果，以及在邊界條件內，更好地落地模型建議。 本書可讀性：優；適用性：良。 梳理總結本書核心要點： 1、“數據科學”是一套指導人們從數據中獲取知識的基本原理，而“數據挖掘”則是將這些原理以具體技術的形式實現並從數據中獲取知識的過程。 2、跨行業數據挖掘標準流程CRISP-DM：業務理解(仔細考慮需要解決的問題和應用場景)、數據理解(瞭解數據細節和優缺點)、數據準備(數據提取、數據預處理和注意數據漏洞)、建模(按照需要選擇合適的模型)、評估(上線前在可控的實驗室環境內進行測試)、部署。 3、對分析師而言，更重要的是能夠明確表達問題、迅速構建解決方案、對結構拙劣的問題提出合理假設、設計能夠代表大量投資的實驗和對結果進行分析。 4、常見的幾個數據挖掘模型基本概念： 分類和類概率估計可以用於估計總體中的每個個體在一（小）組類別裏到底屬於哪一類。 迴歸（“值估計”）可以用於估計或預測每個個體的某個變量的數值。 相似性匹配可以基於已知數據識別出相似的個體。 聚類可以用於在沒有具體目標的情況下，根據相似性將個體歸爲若干組。 共現分組（又名頻繁項集挖掘、關聯規則發現和購物籃分析）可以用於根據交易記錄找出個體之間的關聯。 畫像分析（又名行爲描述）可以用於描繪個體、羣組或總體的典型行爲特徵。 鏈路預測可以用於預測數據項之間的聯繫，其方法通常是，假定某鏈路存在並估計該鏈路的強度。 數據整理是將大數據集轉化爲保留了重要信息的較小數據集的過程。 因果模型能幫助我們理解哪些事件或行爲對其他事件產成了實質性的影響。 5、有監督的劃分步驟總結： 定義原數據集的混亂程度，即熵； 選擇信息量最大的那個富信息屬性，原數據集的熵與按照屬性分類後的子類總熵的差值最大時，的信息屬性爲富信息屬性。該過程爲信息增益計算方法； 可以繪製熵圖，按照面積來表示不同屬性的信息增益程度，按照信息增益降序即定位最具選擇性的屬性； 以上是分類問題的計算方法，迴歸問題可以用方差來計算，方差越大，說明混亂程度越高； 計算不同分類下的結果概率，可以繪製決策概率樹：樹根節點用信息增益最大的富信息屬性，子節點根據當下實例集合下的信息最大的富信息屬性，依次類推。每隻樹幹的概率，用頻率進行計算。在面對實例較少的極端情況，可以用拉普拉斯修正進行替代。 最後驗證，模型的準確率，可以在搭建模型前將數據集分一部分出來進行測試，得到準確率。 6、在模型中人爲添加了很多相關關係，導致記錄了數據中偶然非普遍的特徵，使模型泛化能力降低，即爲過擬合。理論上模型越複雜，過擬合可能性越大。過擬合曲線表徵了複雜度與模型泛化能力之間的關係； 7、學習曲線繪製了測試集上的模型效果與所用訓練數據量的關係，一般而言，模型效果隨數據量增大而提升，但不同模型的提升率和最終的漸近性能各不相同。 8、避免過擬合情況，可以通過將數據集分成不同的組合最終選擇效果最好的模型的交叉驗證法；也可以選擇訓練集+驗證集+測試集的嵌套保留測試；在決策樹中，可以通過控制複雜度或者剪枝來防止過擬合；或者通過正則化，既能保證擬合效果，也能保證複雜度。 9、對文本進行分析和挖掘，常用的方法有詞袋模型、n-grams、詞幹提取、命名實體提取、主題模型等。 詞袋模型：將每篇文檔作爲單詞的集合，忽略語法、詞序、句型結構和標點，結合詞頻和逆文檔頻率來爲詞語賦值； n-grams：分詞，按照n具體取值來劃分詞語，進行賦值； 命名實體提取：經過學習或者手動錄入進行實體識別； 主題模型：對語料庫的主題集合分別建模，最終分類器依據中間的主題來定義，而非單詞。 10、分析工程的重點不在於找出可以處理所有的偶然情況的複雜的解決方案。重要的是，要深化對問題的數據分析式思考，從而明確數據挖掘的作用，考慮業務約束、成本和收益，並有意識地、明確地簡化假設。 11、要在業務中成功應用數據科學，關鍵因素可能對數據科學團隊的高水平管理，優秀的數據科學管理者應該具有的特質包括： 深耕行業應用建模落地實踐的經驗，跨行業數據科學家的人脈； 理解和領會業務需求，可以提前預知業務的需要； 與搞技術的和搞業務的都能順暢溝通，能把數據科學術語轉化成業務術語，反之亦然； 在有約束條件下進行建模工作，從而能在具體商業活動中部署模型； 最重要的，能夠根據以往的經驗，洞察當下模型是否能夠成功。

當我學會各類算法後，我發現解決問題的關鍵不是算法，而是怎麼用數據去描述一個問題。 對於問題定量所使用的統計指標體系更需花費時間去思考，而這在大多數課程中是沒有的，他們只會給你一堆處理好的數據，學習各類算法的功能、適用範圍，可對於用數據描述問題的核心卻隻字不提。 算法難有持續性的創新，但理解問題的角度可以完善算法的不足。

終於有了幾天空閒，把這本書看完，看了看其他書評，自我感覺如下： 第一，如果定位小白入門書籍，不推薦，且不說翻譯問題以及英文敘事本身“淡淡的絮叨感”；如果有一定統計學基礎，可以看，張弛有度，有舒適區，也有需要你蹦一蹦的學習區，零星困難區不足掛齒；如果精通計量經濟學，機器學習或高級統計，這本書基本就是睡前讀物，甚至覺得囉裏囉嗦，章節間邏輯拆強人意，但部分章節內部敘述略顯勸退。 第二，再來說翻譯問題。“翻譯國外著作”對於很多學者來說，確實是一個可以當做“績效（譯著）”的評價項目，但是往往也僅僅就做成了“翻譯”。雖然編者已經儘量避免直譯，但是並不是每一句話必須要“譯”，每個詞必須找個對應詞彙“譯”出來，每個英文敘述環境下非常自然的轉折句，過渡句，承接句，解釋句，車軲轆句必須得在中文敘述環境下一一對應。所以和絕大部分同樣“不經典”譯著一樣，部分內容讓人忍不住趕緊跳過去，但是又怕錯過信息；有些句子讓人驚呼，這是人類寫得句子嗎（其實在英文環境下讀着確實不錯）？科研工作者基本知道，寫中文論文和寫英文論文，單從寫作上，其實自己也會在遣詞用句上的差異上非常講究和斟酌。但是偏偏，在譯著上，令人費解得“粗糙”。 總而言之，還行吧。

這本書評分那麼低，是因爲預備知識要求比較高。作爲深度學習工程化從業人士，我認爲可以打85分，該講的概念都詳細講了，而且比較有趣。

看了一部分過來評價 這本書適合有一點機器學習基礎的初學者，用於解釋機器學習的一些基本概念 不用精讀，粗略過下即可

2025年立下學習數據分析乃至機器學習的目標。在幾年前學習用python做爬蟲抓取線上土地交易數據時就有想過是否能夠實現對批量數據的進一步挖掘和分析，可惜後來熱情淡卻，沒能堅持研究。最近發現現公司在營銷和開發等端口存在大量落後觀念，很多決策是基於領導層的感性認識和武斷判斷，造成大面積虧損，所以重新又翻出幾年前對數據分析的想法，這次是問了chatGPT，關於如何學習人工智能，它告訴我python是需要繼續學習的，此外還要了解數據庫的用法，等等一系列的學習建議。這是數年前無法想象的狀態，可以說既是人工智能在教我學習，也激發了我想進一步利用人工智能的興趣，這會比以往更加有趣。這本書可以說是從感性層面讓我對數據分析相關的各種數學原理有普遍性的認識，而在閱讀過程中，我發現作者生怕把原理講複雜了，一個勁的和讀者解釋說這一段關於技術的討論即便跳過也不會影響後續閱讀。這種口吻太少見了，而對我這種喜歡讀綜述和緒論的粗淺讀者來說，能在最短時間內形成對大部分原理概念的直觀印象，至少在我下一步對數據庫和算法的學習中能夠帶着一系列的參考概念去深度學習，這本書值得貫穿我的學習過程，我會再來讀第二遍的。

涵蓋面挺全面的，還包括了成立和管理數據科學團隊的建議。

值得多讀兩遍的書，各種方法是死的，對業務的理解是活的，如果將業務問題轉化爲數據問題是一個數據科學家的高低區分的火眼金睛！

企業管理層必須具有數據分析思維；企業管理層必須培育出一種有利於數據科學和數據科學家繁榮發展的文化。商務人士更好地認知和領會數據科學家所用的概念、工具和技術，而且需要幫助數據科學家更好地理解其解決方案所應用的商業背景。本書通過大量真實的商業問題案例，介紹數據科學的基本原理和各種數據挖掘技術，闡釋如何從數據中提取出有用信息，進而用數據科學方法解決商業問題，做出精準的決策。

AUC和ROC兩個概念有意思，不過最後兩章廢話有點多，略過無妨