深入淺出數據分析

一本非常適合數據分析入門的教材。什麼軟件都別學，先看這個！ 其實我之前陸陸續續也在努力學習數據分析的相關軟件和技能，但是說實話很難找到學會的意義。如果沒有數據分析的思維，那就算學會了那些軟件，比如SQL、EXCEL、Python、Power BI、Tableau…..你也只能成爲一個取數工具人、下載工具人、美化工具人，根本無法真的成爲一個合格的數據分析師。 但是這本書是根據實際出發，每一個章節都有真實的問題來引導大家學習的。我們首先學會的就是如何識別問題和解決問題，所以運用工具是提升我們效率的辦法，而不是公司需要有人會用這些工具，所以把我們安排在了那裏。 看完了這本書，我對R語言的恐懼感也少了很多，因爲我發現那只是一個讓電腦明白你意思的語言而已，和英語一樣。只要把最基本的語法邏輯背下來，剩下的慢慢就學會了，只是時間問題。 接下來我會嘗試進入實戰練習，把這些學會的知識好好消化一遍。

深入淺出果然相當“淺出”深入淺出系列很精彩，不斷通過故事、對話、提問，來引導我參與其中，讓我在不知不覺間獲得了知識。 對於專業技術類知識，最重要的就是應用到工作中了，所以營造業務場景很重要。 這一塊對於數據分析可以說是得天獨厚的優勢，畢竟它的基礎就是深刻地理解業務+豐厚的工具儲備。 這本書強結論和強概念不多，畢竟不是無聊的知識普及和框框條條羅列。 但是很多知識點卻讓人印象深刻，話不多說，用簡單的話回顧總結一下。 一、數據分析流程數據分析本身是仔細推敲證據，前提是我們要先設立一些假設，然後代入邊界條件，用數據說話。 數據分析的流程： 確定，分解，評估，決策。 確定目標，明確問題； 分解問題，大事化小； 評估比較，定位因素； 決策輸出，總結策略。 不得不提的是，我們在分析問題的時候會用到一些心智模型，要好好評判心智模型，它會影響到我們結論的準確程度。 二、實驗做好實驗的關鍵，就是控制變量法了。 它取決於你對實驗因素的把握和拆解程度，越能明確出實驗中哪些會對結果造成影響的因素，然後控制這些因素，就越能得到更有參考價值的實驗。 要知道，數據分析就是這樣，存在很多混雜因素，有些有用，而很大部分都是噪聲。 三、尋找最大值線性規劃的知識，這個地方推薦了Excel的小插件Solver用於解決規劃問題。 最大的啓發是，我們考慮任何事情都是存在邊界條件的，要在範圍內做決策，纔有意義。 通過最優化方法的最終目的是，得出自己希望實現的目標，然後小心地鑑別會影響實現這個目標的約束條件。 四、數據圖形化好看，間接，明確，沒什麼多說的。 可以看得出來，作者很青睞散點圖，不過確實是個好東西，能很好地揭示兩個因素的相關和分佈關係。 這句話不得不提，很精彩： 當你描述你的數據圖形時，需要論述可相互換用的兩種因果模型或圖解。 能完成這個任務說明你非常公正：讓客戶知道你不僅會展示自己最喜歡的一面，還會徹頭徹尾地考慮自己提出的原理中可能存在的問題點。 五、假設檢驗“證僞法”橫空出世。 你不能選中一個自認爲正確的點，然後去找支持這個結論的論據，因爲這樣的話你總是能夠找到。 你應該是去能夠把每個論點證僞的證據，反證之，排除那些顯然是錯誤的備選。 在剩下的可能答案中，根據可能性去排序。 六、貝葉斯統計最重要的兩句話： 事前概率（先驗概率）會極大地影響條件概率； 新信息會改變你的基礎概率。 公式實際上不用記憶，你可以用整數思維，把各種情況畫出來，就知道怎麼求條件概率了。 七、主觀概率數據分析師不僅要會處理客觀量化的數據，更應該具有將主觀信念轉化成量化數字的能力。 當參與多方都陷入主觀用詞的時候（可能、大概、也許），那麼此時把主觀用詞數字概率化，相當重要。 此時《女士品茶》這本書裏面的校準方法派得上大用場，這本書艱辛，通過刻意練習，每個人預估的概率數字都能保持在95%置信區間內。 那麼通過這樣的方式，每個人就能得到在ta認知範圍內較爲準確的主觀數值。 綜合所有參與人的數字，通過統計學可視化等工具就能看到結果的分佈情況，從而得出結論。 再結合貝葉斯準則，利用新出來的消息修正主觀概率，簡直美滋滋。 八、啓發法每個人的資源都是有限的，而有些方法消耗的成本是巨大的，理論上的方法受到現實的限制。 所以我們需要一種方法，去利用既不齊全也不確定的信息，憑經驗進行處理，迅速做出決策。 啓發法的核心就是：問題複雜，回答簡單。 舉個例子，有一個非常常見的問題：他愛我嗎？ 這個問題相當複雜，感情本身就不能以是否回答，無法衡量，無關是非。 你基本上不可能建立一個模型，包含這個人看你的眼神、寬容理解你的次數、爲你花的時間和精力等等，最後得到結果。 此時，啓發法派上用場，過程很簡潔。 鏈路1：他願意爲我花錢嗎？----願意----他愛我 鏈路2：他願意爲我花錢嗎？----不願意----他不愛我 九、迴歸預測給我啓發最大的三點： 1、迴歸預測模型都是存在邊界的，超過邊界，結果可信度大大降低。 2、考慮到用於預測的歷史數據，預測的結果應該是一個範圍，這個範圍就是用於預測數據的標準差。 3、不同區間內數據存在不同程度的波動，可以分區間去預測，這樣可以讓模型更準，誤差範圍更小。 優秀的迴歸分析兼具解釋功能和預測功能。 你的分析應該介於具有完全解釋功能和具有完全預測功能之間，具體位於這兩個極限位置之間的哪個位置取決於你——分析師的最佳判斷。 最後，這本書可以說是相當入門，但是仍然能夠給我們相當多啓發。 數據分析的根本就在於靈活應用各種工具，去解決手中那個難題。 很有意思。

深入淺出數據分析 閱讀時間：2024.7.22-2024.7.26 閱讀用時：6小時43分鐘 總評價：原理講的比較淺顯，但是結合實際例子特別有實際操作性，引人入勝，有很好的啓蒙和入門引導作用。 幫助我學習了： R及用r進行數據分析 直方圖及散點圖的運用 誤差，迴歸預測等概念 幫助我複習了： 目標拆解及流程的重要性 實驗的方法 Excel一些公式的用法 貝葉斯 線性規劃最優解 幫我確立了以下概念： 流程，實驗，假設，最優，圖形……都是工具，最終目的是幫你達成目標——描述，解釋文件，展開預測，根據預測對決策進行控制（與pschology&life中的心理學的作用一致，站在定性和定量中間的知識似乎都特別在意：describe-explain-predict-control這套邏輯） 遺憾： 閱讀時沒有很快的識別書的結構模式做快速筆記方便複習 1.流程 目標：幫助化妝品公司提高銷售額 擁有信息： 數據 銷售額：月度，預計（定價，銷售量） 運營支出：線上，線下 批發商進貨量 消息 已獨佔市場 男性在使用本產品 工具：數據分析的流程 目標-分解-分析-決策 2，實驗 目標：幫助咖啡公司提高銷售額 擁有信息： 數據 月銷售額，月銷售額構成門店，咖啡售價 隨機抽查下顧客對咖啡及服務的月度評分 消息 特殊門店的特殊信息 工具：控制變量，平行 3.最優化 目標：幫助廠商指定最優生產策略 擁有信息： 數據： 月度商品生產時間及原料數量限制 單個商品利潤 消息 某一商品的爆賣 工具：明確目標，可控變量，限制變量 武器：excel中的slover用於線性規劃 4.圖形化 目的：在三個網站設計中選擇點擊，停留，銷售轉換最佳的網站 擁有信息： 數據： 大量的三個網站耽擱用戶點擊，停留，購買數據 工具：散點圖幫忙分析不同數據之間的關係；注意可以反證 5.假設論證 目的：幫助手機殼廠商分析手機上市時間 擁有信息： 信息：新聞報道，CEO發言，前款手機銷量，對手手機銷量，經濟形勢，狗仔路透 工具：提出假設，列出證據，針對每一個假設，填寫證據對假設的支撐力度，選擇最有力的假設爲預測結果，隨時關心更新的數據 6.貝葉斯概率 目的：計算你實際得蜥蜴病的概率 擁有信息： 數據： 1.人羣中得蜥蜴病的概率，第一種檢測爲陰陽的被測者各自得蜥蜴病的概率 2.針對第一次檢測爲陽的人羣，進行第二次檢測，測爲陰陽的被測者得蜥蜴病的概率 工具： 1獨立發生的時間均發生的概率：p(a^b)=p(a)*p(b) 2.互相之間發生有影響的事件均發生的概率計算:p(a^b)=p(a)*p(b|a)=p(b)*p(a|b) 3貝葉斯推論.p(a|b)=(p(a)*p(b|a))/(p(a)*p(b|a)+p(~a)*p(b|~a)) 4.勿忘基礎概率 7主觀概率 目的：幫助分析師從籠統的分析中得到統一意見 擁有信息： 信息：分析師們對各國經濟時間發生的籠統推斷；俄羅斯總統關於出售石油資產的新消息 工具： 將籠統推斷量化爲數字； 新消息的加入可以使用貝葉斯分析，勿忘基礎概率 8.啓發法 目的：幫助宣傳公司向議會論證其工作對減少垃圾污染有幫助 擁有信息： 半年內對市民和清潔工的相關調查 工具： 1.決策的方式：直覺-啓發法-最優，認真對待決策 2.啓發樹的使用 9.直方圖 目標：是否該提出漲薪？ 擁有信息： 數據：數年來漲薪成功的人士是否提出漲薪，漲薪幅度，年份，性別 工具： 1.安裝r語言，並進行直方圖分析 em<-read.csv(path)#import data hist(em$column1[em$column3==condition],breaks=50)#直方圖的y軸，x軸及數據分區數量設定 2.通過變換[]中的條件生成多個直方圖 3.正態分佈：衆數，中數，平均數是否圍繞峯值分佈（肥尾效應） 10迴歸，預測 目標：提出漲薪公式幫助他人漲薪 擁有信息： 數據：公司數年來 提出漲薪否，漲薪請求及得到相應的漲薪幅度 工具： 用r生成散點圖 x：requested y：received R步驟 1，導入數據：em<-read.csv(Path) 2，生成散點圖，計算自變量和因變量之間的相關性:plot(x,y)，cor(x,y)(r在-1-1之間兩數相關，正數正相關，負數負相關） 3.針對散點圖生成預測公式：y=ax+b myLm<-lm(x~y,data=em) myLm$coefficient 得到a和b 11偏差 目標：指出，控制並降低漲薪公式的偏差 擁有信息： 相對於10沒有新增信息 工具： 1.外插內插，自變量在所得數據之外的數據成爲外插，此類數據計算很有可能不能按照方程計算 有意思的點：預測未來是否本身就是一種外插值？——金融很可能是的，宇宙法則不是，大多數事情在中間。 2.用r算出迴歸線方差值，及大部分數據在此+-百分數之間抖動 myLm<-lm(x~y,data=) summary(myLm) summary(myLm).sigma 3.觀察散點圖，學會分割數據，不同區間數據線性迴歸不同則用不同的公式計算 12關係數據庫 目標：幫助雜誌社分析期刊文章數量-期刊銷量，作者文章-點擊率與評論數這兩項關係 擁有信息： 散落在數個表裏的文章，作者，期刊銷量數據 工具： 0.關係數據庫理念RDBM 以主鍵連接不同數據組成數據庫 1.excel部分 使用countif計算相關主鍵出現次數 使用 sumif 計算相關主鍵出現處特定數據的總和 2.r部分： 2.1用jitter增加噪音，以免重合數據多看不清 Csv中的空格 ，在r中用 . 表示 plot(Sales~jitter(Article.count)，data=） 2.2生成以一個column做panel的，針對兩個數據相互關係的多個散點圖 library(lattice)#導入lattice庫 xyplot(x~y|name,data=)#生成xyplot散點圖 注意，panel必須是factor，否則無法在圖片上正常顯示，最好運用強制轉換 d$year <- factor(d$year, levels = unique(d$year)) 2.3保存csv getwd()#獲得保存路徑 write.csv(dataframe,file=“name.csv”)#將r的dataframe文件保存到文件 13數據清理 目的：幫助獵頭從凌亂的數據中梳理出人才的聯繫方式 工具： 1.識別模式，規範數據 excel分列，替換（正則表達式） 2.排序,去重 3.R的運用 3.1替換 sub（“”，“”，data=） 3.2獲取保存文件所在位置 getwd() 保存文件 write.csv(data frame,file=“name”) 3.3刪除列 file$name<-NULL 寫入列 file[“NewName”}<-Obj 3.4排序 objSorted<-obj[order(obj$column),] 3.5去重 objUni<-unique(obj)

很有名的數據分析入門書，像國外那種啓發式教材，有很多互動思考的環節，但確實過於淺顯，學習框架不清晰，對於想要快速入門數據分析業務的人來說讀這個有些浪費時間。後面涉及R語言的部分比較多，我聽從其他書友的點評沒有繼續讀，畢竟這不是軟件教學教材，我（相信也是絕大多數讀者）也不是爲了學會R看它，因此看起來這本書的定位比較亂。還有一些翻譯錯誤（甚至影響整個理解的）。

這本書適合想入門或者剛入門數據分析的人，通過閱讀這本書建立初步的數據分析思維基礎，而且這本書講解得非常有趣且通俗易懂，更容易讓閱讀的人產生學習數據分析的興趣，但是如果想真正的進行數據分析工作，還需要學習更進階的相關技能，對相關的業務有一定了解之後，才能做好數據分析相關的工作，解決實際的問題。

這年頭，只要是家公司都想和“數據”沾點邊，卻少有人能說明白有了這麼多數據到底能幹嘛。 《深入淺出數據分析》用一個個幽默有趣的小故事，把數據分析最基本的知識說的很明白：數據分析的基本步驟，證僞法，最優化，控制組，貝葉斯統計，直方圖，還有R語言。 不僅如此，它還告訴讀者重要的是學會建立正確的心智模型，纔會有正確的統計模型，在此基礎之上，再去分析，評估和決策。 瑞達利歐在《原則》中也說過，他會把工作，生活的原則設計成算法，輸入到計算機裏，以做出更加高質量的決策。 讀過這本書會發現，統計也好，數據也好，其實並不客觀，相反非常“主觀”。我的看法是，任何一種心智模型想要模擬和推算出所有的結果幾乎不可能，人的決策不理性，會受情感，環境的影響，比的就是誰能在有限資源的情況下找出最優解。 正如書中所說： “所有的模型都是錯誤的，有那麼幾個模型是有用的。”

數據分析的根本在於妥善分解問題，爲數據套上適合的心智模型和統計模型，洞察先機、從而有能力作出更好的決策。 1、數據分析框架：確定問題-分解問題-評估模型-決策 2、實驗：檢驗理論。精心選擇分組，避免混雜因素。 3、最優化：儘量創建最有用的模型，讓模型的不完美相對於分析目標變得無足輕重。 最優化問題解決思路：創建目標函數-尋找約束條件-必要時重新構建分析方法（e.g利用歷史數據預估下個月最高值作爲新的約束條件，使得模型更貼合實際） 4、數據圖形化：面對龐雜的數據，只需牢記目標並將目光停留在與目標相關的數據上。 Edward Tufte關於分析設計的圖形原則 “體現比較、對比、差異； 體現因果關係、機制、理由、系統結構； 體現多元數據，即1個或2個變量； 將文字、數字、圖片、圖形全部結合； 充分描述證據； 數據分析報告的成敗，在於報告的質量、相關性和整體性。” 5、假設檢驗：核心是證僞-提出無法證實的假設。找到複雜問題的非直接答案，想人所不能想！ 6、貝葉斯統計：利用基礎概率和波動數據做到明察秋毫。 7、主觀概率：信念數據化。利用標準偏差量度分析點與平均值的偏差 STDEV() 8、啓發法：從直覺走向最優化的橋樑（面向沒有充分的數據和約束條件） 9、直方圖：通過數據的形狀挖掘數據背後的祕密。 10、迴歸：y=a+bx預測。僅針對線性相關的數據(r!=0, -1<=r<=1) 11、誤差：讓預測和信息更全面。均方根誤差=殘差=機會誤差。 12、R正則式：NewLastName <- sub(“\\(.*)\\”,””,hfhh$LastName) James(Id 98)Zhou -> JamesZhou

數據分析，讀這本書的起因也是想了解這方面內容，做了MBTI和結合自己的日常工作，有以後從事這方面工作的可能。正如書中介紹的，相當多的圖片和實例以及啓發式的問題，讓這本書讀起來不累，也兼具了專業性，入門的知識也算是換了另外一種方式再次領悟。 13個章節介紹了13種方法，包括數據分析的，統計的，實驗的，以及一些相關軟件知識。 第一章引言 介紹數據分析的流程，分別是： 確定問題→分解問題→分析評估→決策建議 通過數據分析解決問題。 第二章實驗 介紹實驗，控制變量，確定策略的有效性。 第三章最優化 介紹可行集，最優組合搭配，實現利潤最大化，通過圖像，利用Excel軟件方便測算，通過歷史數據校對調整現有預測。 第四章數據圖形化 介紹散點圖，數據和模型相吻合，對圖像的解釋。 第五章假設檢驗 介紹證僞法，證據的診斷性，通過分析證據來驗證假設的可能性，選擇可能性最大的假設。 第六章貝葉斯統計（重要） 介紹條件概率，基礎概率，簡單理解貝葉斯規則就是通過a條件下b的概率來計算b條件下a的概率，在加入新條件更新基礎概率。（之前學概率論好像還涉及一個全概率公式） 第七章主觀概率 介紹主觀概率，用量化的方式代替描述性形容詞。散點圖和標準偏差。也用到貝葉斯規則：通過假設成立，證據出現的概率，來修正證據出現時，假設條件的新概率。 第八章啓發法 介紹從直覺→啓發法→最優化的思維過程和方法，啓發法與快省樹，調查問卷。 第九章直方圖 介紹R的直方圖功能，將數據用直方圖的形式呈現。通過數據分類後的子集與原數據集合的比較往往更能發現問題所在。 第十章回歸 介紹線性迴歸以及R的線性模型功能。 第十一章誤差 介紹外插法，均方根誤差，定量地指定誤差，同時按照數據分佈進行分割，產生安穩組和激進組不同的預測模型和誤差。 第十二章關係數據庫 介紹了數據的關聯性，通過關係數據庫管理數據，也是數據分析的一大課題。RDBMS數據關聯庫工具。 第十三章整理數據 介紹了處理數據格式的一些方法，包括Excel和R。整理數據對我們現實工作有很大幫助。 最後附錄的一些淺談輒止的內容也可作爲深入研究的課題。 希望自己的願望能堅定並實現。

13章分別對應13種數據分析方式思路視角 第一章：分解數據（觀察數據得出一個結論）：一張數據表往往有對個因素組成，對於因變量有對個自變量影響。 將數據分解開一個一個的找那個自變量對因變量的影響程度最大。 第二章：用實驗證實第一章的結論。一組實驗要有對照組和實驗組，且在一個自變量影響其他自變量完全一致的實驗組和對照組得出的結論纔有效。用地域隔離可以過濾掉時間因素的影響。 第三章：最優化，尋找最大值。 中學學過的max（x1，x2，x3，…） 有準確具體數據爲前提。 第四章：數據圖形化 將數值照片文字統統轉化成一目瞭然的圖形。散點圖、柱狀圖、餅圖… 第五章：假設檢驗：假設並非如此。 證僞法，排除對假設結果影響因素最小的，剩下的就是正確的。證明是假的剔除他。 當不能證明爲真時，反過來證明是假的。 第六章：貝葉斯統計 一個概率公式 y條件下x發生的概率🟰（y條件下x的概率）➗（非y條件x概率➕y條件下x概率） 第七章：主觀概率。 憑藉數據分析事的經驗說出的概率沒有事實依據，但結合貝葉斯統計也可以得出可靠結論。 第八章：啓發法：憑人的天性分析。 當不能用數據衡量某件事情的具體實施效果時，用問卷法衡量某件事產生的社會輿論影響也可以。 第九章：直方圖📊：數字的形狀。 十分常見了，但警惕橫座標的區間存在不連續，少某個區間的數據。提到了R程序功能強大，r軟件下載地址：http://www.r-project.org 第十章：迴歸預測 用散點圖得出一條線性迴歸模型。 但也要注意線性迴歸圖在散點圖上若要做精準預測需要至少兩條斜率不同的折線，當然若能在每個區間都畫一條迴歸模型更好，但這樣的話預測效果可能會大打折扣。 第十一章：誤差：合理的誤差。 在迴歸預測基礎上，誤差範圍並非固定不變的一條直線的一個緩衝區，而是不同區間的誤差也不同。在散點相對集中的區間內預測的誤差小，散點越分散的區間內，預測的誤差大。也證實了爲何要有至少兩條斜率不同的直線。 第十二章：關係數據庫 提到專業的sql數據庫，我不會用還是不講了。 第十三章：整理數據。 原始數據需要人來手工處理後才能用分析工具分析，提到了手工處理數據的集中公式，excel也能實現，不錯不錯。 完

Head First 真是一個寶藏系列！！！《深入淺出數據分析》是一本數據思維的實操手冊，在案例中學會提問、回答、驗證—————以上來自唯一一次回家沒帶書，結果因爲疫情被關了2個月，在泡麪蓋上買了電子書的胖胖