深入浅出数据分析

一本非常适合数据分析入门的教材。什么软件都别学，先看这个！ 其实我之前陆陆续续也在努力学习数据分析的相关软件和技能，但是说实话很难找到学会的意义。如果没有数据分析的思维，那就算学会了那些软件，比如SQL、EXCEL、Python、Power BI、Tableau…..你也只能成为一个取数工具人、下载工具人、美化工具人，根本无法真的成为一个合格的数据分析师。 但是这本书是根据实际出发，每一个章节都有真实的问题来引导大家学习的。我们首先学会的就是如何识别问题和解决问题，所以运用工具是提升我们效率的办法，而不是公司需要有人会用这些工具，所以把我们安排在了那里。 看完了这本书，我对R语言的恐惧感也少了很多，因为我发现那只是一个让电脑明白你意思的语言而已，和英语一样。只要把最基本的语法逻辑背下来，剩下的慢慢就学会了，只是时间问题。 接下来我会尝试进入实战练习，把这些学会的知识好好消化一遍。

深入浅出果然相当“浅出”深入浅出系列很精彩，不断通过故事、对话、提问，来引导我参与其中，让我在不知不觉间获得了知识。 对于专业技术类知识，最重要的就是应用到工作中了，所以营造业务场景很重要。 这一块对于数据分析可以说是得天独厚的优势，毕竟它的基础就是深刻地理解业务+丰厚的工具储备。 这本书强结论和强概念不多，毕竟不是无聊的知识普及和框框条条罗列。 但是很多知识点却让人印象深刻，话不多说，用简单的话回顾总结一下。 一、数据分析流程数据分析本身是仔细推敲证据，前提是我们要先设立一些假设，然后代入边界条件，用数据说话。 数据分析的流程： 确定，分解，评估，决策。 确定目标，明确问题； 分解问题，大事化小； 评估比较，定位因素； 决策输出，总结策略。 不得不提的是，我们在分析问题的时候会用到一些心智模型，要好好评判心智模型，它会影响到我们结论的准确程度。 二、实验做好实验的关键，就是控制变量法了。 它取决于你对实验因素的把握和拆解程度，越能明确出实验中哪些会对结果造成影响的因素，然后控制这些因素，就越能得到更有参考价值的实验。 要知道，数据分析就是这样，存在很多混杂因素，有些有用，而很大部分都是噪声。 三、寻找最大值线性规划的知识，这个地方推荐了Excel的小插件Solver用于解决规划问题。 最大的启发是，我们考虑任何事情都是存在边界条件的，要在范围内做决策，才有意义。 通过最优化方法的最终目的是，得出自己希望实现的目标，然后小心地鉴别会影响实现这个目标的约束条件。 四、数据图形化好看，间接，明确，没什么多说的。 可以看得出来，作者很青睐散点图，不过确实是个好东西，能很好地揭示两个因素的相关和分布关系。 这句话不得不提，很精彩： 当你描述你的数据图形时，需要论述可相互换用的两种因果模型或图解。 能完成这个任务说明你非常公正：让客户知道你不仅会展示自己最喜欢的一面，还会彻头彻尾地考虑自己提出的原理中可能存在的问题点。 五、假设检验“证伪法”横空出世。 你不能选中一个自认为正确的点，然后去找支持这个结论的论据，因为这样的话你总是能够找到。 你应该是去能够把每个论点证伪的证据，反证之，排除那些显然是错误的备选。 在剩下的可能答案中，根据可能性去排序。 六、贝叶斯统计最重要的两句话： 事前概率（先验概率）会极大地影响条件概率； 新信息会改变你的基础概率。 公式实际上不用记忆，你可以用整数思维，把各种情况画出来，就知道怎么求条件概率了。 七、主观概率数据分析师不仅要会处理客观量化的数据，更应该具有将主观信念转化成量化数字的能力。 当参与多方都陷入主观用词的时候（可能、大概、也许），那么此时把主观用词数字概率化，相当重要。 此时《女士品茶》这本书里面的校准方法派得上大用场，这本书艰辛，通过刻意练习，每个人预估的概率数字都能保持在95%置信区间内。 那么通过这样的方式，每个人就能得到在ta认知范围内较为准确的主观数值。 综合所有参与人的数字，通过统计学可视化等工具就能看到结果的分布情况，从而得出结论。 再结合贝叶斯准则，利用新出来的消息修正主观概率，简直美滋滋。 八、启发法每个人的资源都是有限的，而有些方法消耗的成本是巨大的，理论上的方法受到现实的限制。 所以我们需要一种方法，去利用既不齐全也不确定的信息，凭经验进行处理，迅速做出决策。 启发法的核心就是：问题复杂，回答简单。 举个例子，有一个非常常见的问题：他爱我吗？ 这个问题相当复杂，感情本身就不能以是否回答，无法衡量，无关是非。 你基本上不可能建立一个模型，包含这个人看你的眼神、宽容理解你的次数、为你花的时间和精力等等，最后得到结果。 此时，启发法派上用场，过程很简洁。 链路1：他愿意为我花钱吗？----愿意----他爱我 链路2：他愿意为我花钱吗？----不愿意----他不爱我 九、回归预测给我启发最大的三点： 1、回归预测模型都是存在边界的，超过边界，结果可信度大大降低。 2、考虑到用于预测的历史数据，预测的结果应该是一个范围，这个范围就是用于预测数据的标准差。 3、不同区间内数据存在不同程度的波动，可以分区间去预测，这样可以让模型更准，误差范围更小。 优秀的回归分析兼具解释功能和预测功能。 你的分析应该介于具有完全解释功能和具有完全预测功能之间，具体位于这两个极限位置之间的哪个位置取决于你——分析师的最佳判断。 最后，这本书可以说是相当入门，但是仍然能够给我们相当多启发。 数据分析的根本就在于灵活应用各种工具，去解决手中那个难题。 很有意思。

深入浅出数据分析 阅读时间：2024.7.22-2024.7.26 阅读用时：6小时43分钟 总评价：原理讲的比较浅显，但是结合实际例子特别有实际操作性，引人入胜，有很好的启蒙和入门引导作用。 帮助我学习了： R及用r进行数据分析 直方图及散点图的运用 误差，回归预测等概念 帮助我复习了： 目标拆解及流程的重要性 实验的方法 Excel一些公式的用法 贝叶斯 线性规划最优解 帮我确立了以下概念： 流程，实验，假设，最优，图形……都是工具，最终目的是帮你达成目标——描述，解释文件，展开预测，根据预测对决策进行控制（与pschology&life中的心理学的作用一致，站在定性和定量中间的知识似乎都特别在意：describe-explain-predict-control这套逻辑） 遗憾： 阅读时没有很快的识别书的结构模式做快速笔记方便复习 1.流程 目标：帮助化妆品公司提高销售额 拥有信息： 数据 销售额：月度，预计（定价，销售量） 运营支出：线上，线下 批发商进货量 消息 已独占市场 男性在使用本产品 工具：数据分析的流程 目标-分解-分析-决策 2，实验 目标：帮助咖啡公司提高销售额 拥有信息： 数据 月销售额，月销售额构成门店，咖啡售价 随机抽查下顾客对咖啡及服务的月度评分 消息 特殊门店的特殊信息 工具：控制变量，平行 3.最优化 目标：帮助厂商指定最优生产策略 拥有信息： 数据： 月度商品生产时间及原料数量限制 单个商品利润 消息 某一商品的爆卖 工具：明确目标，可控变量，限制变量 武器：excel中的slover用于线性规划 4.图形化 目的：在三个网站设计中选择点击，停留，销售转换最佳的网站 拥有信息： 数据： 大量的三个网站耽搁用户点击，停留，购买数据 工具：散点图帮忙分析不同数据之间的关系；注意可以反证 5.假设论证 目的：帮助手机壳厂商分析手机上市时间 拥有信息： 信息：新闻报道，CEO发言，前款手机销量，对手手机销量，经济形势，狗仔路透 工具：提出假设，列出证据，针对每一个假设，填写证据对假设的支撑力度，选择最有力的假设为预测结果，随时关心更新的数据 6.贝叶斯概率 目的：计算你实际得蜥蜴病的概率 拥有信息： 数据： 1.人群中得蜥蜴病的概率，第一种检测为阴阳的被测者各自得蜥蜴病的概率 2.针对第一次检测为阳的人群，进行第二次检测，测为阴阳的被测者得蜥蜴病的概率 工具： 1独立发生的时间均发生的概率：p(a^b)=p(a)*p(b) 2.互相之间发生有影响的事件均发生的概率计算:p(a^b)=p(a)*p(b|a)=p(b)*p(a|b) 3贝叶斯推论.p(a|b)=(p(a)*p(b|a))/(p(a)*p(b|a)+p(~a)*p(b|~a)) 4.勿忘基础概率 7主观概率 目的：帮助分析师从笼统的分析中得到统一意见 拥有信息： 信息：分析师们对各国经济时间发生的笼统推断；俄罗斯总统关于出售石油资产的新消息 工具： 将笼统推断量化为数字； 新消息的加入可以使用贝叶斯分析，勿忘基础概率 8.启发法 目的：帮助宣传公司向议会论证其工作对减少垃圾污染有帮助 拥有信息： 半年内对市民和清洁工的相关调查 工具： 1.决策的方式：直觉-启发法-最优，认真对待决策 2.启发树的使用 9.直方图 目标：是否该提出涨薪？ 拥有信息： 数据：数年来涨薪成功的人士是否提出涨薪，涨薪幅度，年份，性别 工具： 1.安装r语言，并进行直方图分析 em<-read.csv(path)#import data hist(em$column1[em$column3==condition],breaks=50)#直方图的y轴，x轴及数据分区数量设定 2.通过变换[]中的条件生成多个直方图 3.正态分布：众数，中数，平均数是否围绕峰值分布（肥尾效应） 10回归，预测 目标：提出涨薪公式帮助他人涨薪 拥有信息： 数据：公司数年来 提出涨薪否，涨薪请求及得到相应的涨薪幅度 工具： 用r生成散点图 x：requested y：received R步骤 1，导入数据：em<-read.csv(Path) 2，生成散点图，计算自变量和因变量之间的相关性:plot(x,y)，cor(x,y)(r在-1-1之间两数相关，正数正相关，负数负相关） 3.针对散点图生成预测公式：y=ax+b myLm<-lm(x~y,data=em) myLm$coefficient 得到a和b 11偏差 目标：指出，控制并降低涨薪公式的偏差 拥有信息： 相对于10没有新增信息 工具： 1.外插内插，自变量在所得数据之外的数据成为外插，此类数据计算很有可能不能按照方程计算 有意思的点：预测未来是否本身就是一种外插值？——金融很可能是的，宇宙法则不是，大多数事情在中间。 2.用r算出回归线方差值，及大部分数据在此+-百分数之间抖动 myLm<-lm(x~y,data=) summary(myLm) summary(myLm).sigma 3.观察散点图，学会分割数据，不同区间数据线性回归不同则用不同的公式计算 12关系数据库 目标：帮助杂志社分析期刊文章数量-期刊销量，作者文章-点击率与评论数这两项关系 拥有信息： 散落在数个表里的文章，作者，期刊销量数据 工具： 0.关系数据库理念RDBM 以主键连接不同数据组成数据库 1.excel部分 使用countif计算相关主键出现次数 使用 sumif 计算相关主键出现处特定数据的总和 2.r部分： 2.1用jitter增加噪音，以免重合数据多看不清 Csv中的空格 ，在r中用 . 表示 plot(Sales~jitter(Article.count)，data=） 2.2生成以一个column做panel的，针对两个数据相互关系的多个散点图 library(lattice)#导入lattice库 xyplot(x~y|name,data=)#生成xyplot散点图 注意，panel必须是factor，否则无法在图片上正常显示，最好运用强制转换 d$year <- factor(d$year, levels = unique(d$year)) 2.3保存csv getwd()#获得保存路径 write.csv(dataframe,file=“name.csv”)#将r的dataframe文件保存到文件 13数据清理 目的：帮助猎头从凌乱的数据中梳理出人才的联系方式 工具： 1.识别模式，规范数据 excel分列，替换（正则表达式） 2.排序,去重 3.R的运用 3.1替换 sub（“”，“”，data=） 3.2获取保存文件所在位置 getwd() 保存文件 write.csv(data frame,file=“name”) 3.3删除列 file$name<-NULL 写入列 file[“NewName”}<-Obj 3.4排序 objSorted<-obj[order(obj$column),] 3.5去重 objUni<-unique(obj)

很有名的数据分析入门书，像国外那种启发式教材，有很多互动思考的环节，但确实过于浅显，学习框架不清晰，对于想要快速入门数据分析业务的人来说读这个有些浪费时间。后面涉及R语言的部分比较多，我听从其他书友的点评没有继续读，毕竟这不是软件教学教材，我（相信也是绝大多数读者）也不是为了学会R看它，因此看起来这本书的定位比较乱。还有一些翻译错误（甚至影响整个理解的）。

这本书适合想入门或者刚入门数据分析的人，通过阅读这本书建立初步的数据分析思维基础，而且这本书讲解得非常有趣且通俗易懂，更容易让阅读的人产生学习数据分析的兴趣，但是如果想真正的进行数据分析工作，还需要学习更进阶的相关技能，对相关的业务有一定了解之后，才能做好数据分析相关的工作，解决实际的问题。

这年头，只要是家公司都想和“数据”沾点边，却少有人能说明白有了这么多数据到底能干嘛。 《深入浅出数据分析》用一个个幽默有趣的小故事，把数据分析最基本的知识说的很明白：数据分析的基本步骤，证伪法，最优化，控制组，贝叶斯统计，直方图，还有R语言。 不仅如此，它还告诉读者重要的是学会建立正确的心智模型，才会有正确的统计模型，在此基础之上，再去分析，评估和决策。 瑞达利欧在《原则》中也说过，他会把工作，生活的原则设计成算法，输入到计算机里，以做出更加高质量的决策。 读过这本书会发现，统计也好，数据也好，其实并不客观，相反非常“主观”。我的看法是，任何一种心智模型想要模拟和推算出所有的结果几乎不可能，人的决策不理性，会受情感，环境的影响，比的就是谁能在有限资源的情况下找出最优解。 正如书中所说： “所有的模型都是错误的，有那么几个模型是有用的。”

数据分析的根本在于妥善分解问题，为数据套上适合的心智模型和统计模型，洞察先机、从而有能力作出更好的决策。 1、数据分析框架：确定问题-分解问题-评估模型-决策 2、实验：检验理论。精心选择分组，避免混杂因素。 3、最优化：尽量创建最有用的模型，让模型的不完美相对于分析目标变得无足轻重。 最优化问题解决思路：创建目标函数-寻找约束条件-必要时重新构建分析方法（e.g利用历史数据预估下个月最高值作为新的约束条件，使得模型更贴合实际） 4、数据图形化：面对庞杂的数据，只需牢记目标并将目光停留在与目标相关的数据上。 Edward Tufte关于分析设计的图形原则 “体现比较、对比、差异； 体现因果关系、机制、理由、系统结构； 体现多元数据，即1个或2个变量； 将文字、数字、图片、图形全部结合； 充分描述证据； 数据分析报告的成败，在于报告的质量、相关性和整体性。” 5、假设检验：核心是证伪-提出无法证实的假设。找到复杂问题的非直接答案，想人所不能想！ 6、贝叶斯统计：利用基础概率和波动数据做到明察秋毫。 7、主观概率：信念数据化。利用标准偏差量度分析点与平均值的偏差 STDEV() 8、启发法：从直觉走向最优化的桥梁（面向没有充分的数据和约束条件） 9、直方图：通过数据的形状挖掘数据背后的秘密。 10、回归：y=a+bx预测。仅针对线性相关的数据(r!=0, -1<=r<=1) 11、误差：让预测和信息更全面。均方根误差=残差=机会误差。 12、R正则式：NewLastName <- sub(“\\(.*)\\”,””,hfhh$LastName) James(Id 98)Zhou -> JamesZhou

数据分析，读这本书的起因也是想了解这方面内容，做了MBTI和结合自己的日常工作，有以后从事这方面工作的可能。正如书中介绍的，相当多的图片和实例以及启发式的问题，让这本书读起来不累，也兼具了专业性，入门的知识也算是换了另外一种方式再次领悟。 13个章节介绍了13种方法，包括数据分析的，统计的，实验的，以及一些相关软件知识。 第一章引言 介绍数据分析的流程，分别是： 确定问题→分解问题→分析评估→决策建议 通过数据分析解决问题。 第二章实验 介绍实验，控制变量，确定策略的有效性。 第三章最优化 介绍可行集，最优组合搭配，实现利润最大化，通过图像，利用Excel软件方便测算，通过历史数据校对调整现有预测。 第四章数据图形化 介绍散点图，数据和模型相吻合，对图像的解释。 第五章假设检验 介绍证伪法，证据的诊断性，通过分析证据来验证假设的可能性，选择可能性最大的假设。 第六章贝叶斯统计（重要） 介绍条件概率，基础概率，简单理解贝叶斯规则就是通过a条件下b的概率来计算b条件下a的概率，在加入新条件更新基础概率。（之前学概率论好像还涉及一个全概率公式） 第七章主观概率 介绍主观概率，用量化的方式代替描述性形容词。散点图和标准偏差。也用到贝叶斯规则：通过假设成立，证据出现的概率，来修正证据出现时，假设条件的新概率。 第八章启发法 介绍从直觉→启发法→最优化的思维过程和方法，启发法与快省树，调查问卷。 第九章直方图 介绍R的直方图功能，将数据用直方图的形式呈现。通过数据分类后的子集与原数据集合的比较往往更能发现问题所在。 第十章回归 介绍线性回归以及R的线性模型功能。 第十一章误差 介绍外插法，均方根误差，定量地指定误差，同时按照数据分布进行分割，产生安稳组和激进组不同的预测模型和误差。 第十二章关系数据库 介绍了数据的关联性，通过关系数据库管理数据，也是数据分析的一大课题。RDBMS数据关联库工具。 第十三章整理数据 介绍了处理数据格式的一些方法，包括Excel和R。整理数据对我们现实工作有很大帮助。 最后附录的一些浅谈辄止的内容也可作为深入研究的课题。 希望自己的愿望能坚定并实现。

13章分别对应13种数据分析方式思路视角 第一章：分解数据（观察数据得出一个结论）：一张数据表往往有对个因素组成，对于因变量有对个自变量影响。 将数据分解开一个一个的找那个自变量对因变量的影响程度最大。 第二章：用实验证实第一章的结论。一组实验要有对照组和实验组，且在一个自变量影响其他自变量完全一致的实验组和对照组得出的结论才有效。用地域隔离可以过滤掉时间因素的影响。 第三章：最优化，寻找最大值。 中学学过的max（x1，x2，x3，…） 有准确具体数据为前提。 第四章：数据图形化 将数值照片文字统统转化成一目了然的图形。散点图、柱状图、饼图… 第五章：假设检验：假设并非如此。 证伪法，排除对假设结果影响因素最小的，剩下的就是正确的。证明是假的剔除他。 当不能证明为真时，反过来证明是假的。 第六章：贝叶斯统计 一个概率公式 y条件下x发生的概率🟰（y条件下x的概率）➗（非y条件x概率➕y条件下x概率） 第七章：主观概率。 凭借数据分析事的经验说出的概率没有事实依据，但结合贝叶斯统计也可以得出可靠结论。 第八章：启发法：凭人的天性分析。 当不能用数据衡量某件事情的具体实施效果时，用问卷法衡量某件事产生的社会舆论影响也可以。 第九章：直方图📊：数字的形状。 十分常见了，但警惕横坐标的区间存在不连续，少某个区间的数据。提到了R程序功能强大，r软件下载地址：http://www.r-project.org 第十章：回归预测 用散点图得出一条线性回归模型。 但也要注意线性回归图在散点图上若要做精准预测需要至少两条斜率不同的折线，当然若能在每个区间都画一条回归模型更好，但这样的话预测效果可能会大打折扣。 第十一章：误差：合理的误差。 在回归预测基础上，误差范围并非固定不变的一条直线的一个缓冲区，而是不同区间的误差也不同。在散点相对集中的区间内预测的误差小，散点越分散的区间内，预测的误差大。也证实了为何要有至少两条斜率不同的直线。 第十二章：关系数据库 提到专业的sql数据库，我不会用还是不讲了。 第十三章：整理数据。 原始数据需要人来手工处理后才能用分析工具分析，提到了手工处理数据的集中公式，excel也能实现，不错不错。 完

Head First 真是一个宝藏系列！！！《深入浅出数据分析》是一本数据思维的实操手册，在案例中学会提问、回答、验证—————以上来自唯一一次回家没带书，结果因为疫情被关了2个月，在泡面盖上买了电子书的胖胖