
彭鴻濤 張宗耀 聶磊
增強型分析是數據科學的未來,本書講解了如何通過前沿的大數據技術和AI技術實現智能的數據分析和業務決策,即增強型分析。本書的三位作者是來自德勤、前華爲和前IBM的資深數據科學家,在大數據和AI領域至少都有10年以上的工作經驗,他們將各自多年來在“構建數據挖掘模型,解決實際業務問題”方面積累的經驗全部總結在了這本書中。全書的內容由兩條主線貫穿:技術主線:一方面講解了預測模型、序列分析、預測分析、Prescriptive分析等前沿數據處理技術,一方面講解了CNN、RNN和GNN等前沿的AI技術如何爲數據分析賦能。業務主線:在數字化轉型的大時代背景下,如何通過數據分析實現智慧營銷、智慧風險管控,實現由初級的“主動營銷”到“被動營銷”,再到“全渠道協同營銷”等營銷手段的升級應用。本書的重點聚焦在本質內容上,即數據處理、算法及模型、“模型洞見到業務決策”的分析等。
#小曾曾讀書筆記#《增強型分析》,增強型分析,顧名思義,是在現有數據分析和數據建模手段基礎上,通過技術升級和技術結合,進一步提升分析的檔次和level,實現智能和自動地完成數據準備、數據預處理和數據分析、輸出決策的工作。在業務分析的四個層次,即描述性分析、診斷性分析、預測性分析和規範性分析過程中,都有增強型分析的影子和立足之地,當然,在預測性分析和規範性分析中,更考驗增強型分析的技術和業務應用。 描述性分析,即分析過去發生了什麼;診斷性分析,即分析過去發生這個事情的原因是什麼;預測性分析,即基於過去的步調,未來會發生什麼;規範性分析,未來應該採取的最優決策以及採取後的結果什麼。 目前大多數數據分析師都是停留在前兩個階段,而增強型分析更加着眼於後面兩個階段。這算是一個“新概念”,新到其實在一二十年前就已經有很多人在研究,並且至今有了長足的發展。數據分析任重道遠,學習之路慢慢,永遠不要停止行走。 最後也梳理下本書的一些關鍵點,有些技術細節較爲深刻,暫不做總結: 1、標準數據分析和數據建模四件套:(1)、大數據存儲與訪問(2)、數據分析流程的組件化、標準化改造(3)、提供大量的算法支持數據處理、模型構建(4)、將“模型洞見到業務決策”納入分析範圍 2、數據科學家敏捷性工作思路:積極主動地彙報分析思路、預期結果、進度等重要信息。時刻與業務人員以及管理人員保持溝通,對需求變化保持開放,將對模型的實際應用會有巨大的幫助。 3、數據探索可以有兩個層面的理解:一是僅利用一些工具,對數據的特徵進行查看;二是根據數據特徵,感知數據價值,以決定是否需要對別的字段進行探索,或者決定如何加工這些字段以發揮數據分析的價值。 4、數值類型:區間型數據(Interval)、分類型數據(Categorical)、序數型數據(Ordinal)(1)、連續型數據:重點關注缺失率,然後是均值、中位數等指標。偏斜度是另外一個非常重要的指標,但其絕對值接近1或大於1時,必須對其進行log轉換才能使用,否則該指標的價值將大打折扣。(2)、分類型數據:不平衡數據就是一個典型的與業務有關的例子。 5、在數據分析中會遵從一些規則來填補缺失值。如: 對於連續型變量,採用均值來代替缺失值;對於序數型分類型變量,採用中位數來代替缺失值;對於分類型變量,採用衆數來代替缺失值。 6、數據歸約(Data Reduction),在理解數據分析任務和數據本身內容的基礎上,尋找依賴於發現目標的數據的有用特徵,縮減數據規模,在儘可能保持數據原貌的前提下,精簡數據量。 7、梯度下降(Gradient Descent)是機器學習經常使用的一種在求得擬合函數參數時“最小化損失函數”的方法。其本質上就是求得使損失函數最少(對實際觀測值擬合效果最優)、能夠以最快的速度達到谷底過程。 8、文本分類是一個典型的機器學習的應用場景,人們利用文本分類技術進行情感分析(如正面情緒或負面情緒的判斷)、類別劃分(如微博上的發言屬於哪種類型)、人機對話(判斷用戶問題的類別)等不同的場景。
數據探索和序列規則序列預測寫得好,後面有點淺談。可能爲了篇幅吧。
對算法研發人員而言,此書毫無價值;對算法使用者而言,此書扯下了算法皇帝的新裝。 該書把很複雜的技術、看似高深的知識從實用角度、解決實際問題的角度講出來,就發現厚厚的知識轉化爲解決問題的能力可以壓縮的很薄。 多給一顆星,在書的內容之外
增強型分析是數據科學的未來,本書講解了如何通過前沿大數據技術和AI技術實現智能的數據分析和業務決策,即增強型分析本書的三位作者是來自德勒、前華爲和前IBM的資深數據科學家,在大數據和AI領域至少都有10年以上的工作經驗,他們將各自多年以來在“構建數據挖掘模型,解決實際業務問題”方面積累的經驗全部總結在了這本書中。
對於想要詳細瞭解的人來說,這本書內容太少。而且標榜中吸引眼球的prescriptive的分析完全沒有,只是一個現存方法的大雜燴。統計學專業的小夥伴可以把它作爲一個回憶性的綜述作品,其他的小夥伴可能只能把它作爲一件工具書。總體而言沒有太多閱讀的必要。
增強分析 augmented analytics的定義完全不是這樣子,這算是一本算法科普書。
很完整全面的數據分析的書,對於通用的建模、算法都有較完善的介紹。如果再多一些案例細節就更好了。