商战数据挖掘：你需要了解的数据科学与分析思维

#小曾曾读书笔记#《商战数据挖掘：你需要了解的数据科学与分析思维》本书讲解数据科学的相关工作流程，聚焦常用的算法宏观原理和数据科学分析思维，以及数据科学家的技能模型。 本书涉及的理论推导和数学极少，适合想了解数据科学大略的人，也适合制定宏观数据科学执行战略的人，不适合抠数学公式推导原理的人。 这本书最核心的三个点： 应该把数据看做投资性资产，对数据的投资和挖掘，能够构建公司的护城河； 工具、算法、模型、技术，都是分析的手段，最根本的，是要在理解业务的基础上，赋能业务，优化流程，提高效率； 计算目标模型的期望收益，往往能实现很好的评估模型的效果，以及在边界条件内，更好地落地模型建议。 本书可读性：优；适用性：良。 梳理总结本书核心要点： 1、“数据科学”是一套指导人们从数据中获取知识的基本原理，而“数据挖掘”则是将这些原理以具体技术的形式实现并从数据中获取知识的过程。 2、跨行业数据挖掘标准流程CRISP-DM：业务理解(仔细考虑需要解决的问题和应用场景)、数据理解(了解数据细节和优缺点)、数据准备(数据提取、数据预处理和注意数据漏洞)、建模(按照需要选择合适的模型)、评估(上线前在可控的实验室环境内进行测试)、部署。 3、对分析师而言，更重要的是能够明确表达问题、迅速构建解决方案、对结构拙劣的问题提出合理假设、设计能够代表大量投资的实验和对结果进行分析。 4、常见的几个数据挖掘模型基本概念： 分类和类概率估计可以用于估计总体中的每个个体在一（小）组类别里到底属于哪一类。 回归（“值估计”）可以用于估计或预测每个个体的某个变量的数值。 相似性匹配可以基于已知数据识别出相似的个体。 聚类可以用于在没有具体目标的情况下，根据相似性将个体归为若干组。 共现分组（又名频繁项集挖掘、关联规则发现和购物篮分析）可以用于根据交易记录找出个体之间的关联。 画像分析（又名行为描述）可以用于描绘个体、群组或总体的典型行为特征。 链路预测可以用于预测数据项之间的联系，其方法通常是，假定某链路存在并估计该链路的强度。 数据整理是将大数据集转化为保留了重要信息的较小数据集的过程。 因果模型能帮助我们理解哪些事件或行为对其他事件产成了实质性的影响。 5、有监督的划分步骤总结： 定义原数据集的混乱程度，即熵； 选择信息量最大的那个富信息属性，原数据集的熵与按照属性分类后的子类总熵的差值最大时，的信息属性为富信息属性。该过程为信息增益计算方法； 可以绘制熵图，按照面积来表示不同属性的信息增益程度，按照信息增益降序即定位最具选择性的属性； 以上是分类问题的计算方法，回归问题可以用方差来计算，方差越大，说明混乱程度越高； 计算不同分类下的结果概率，可以绘制决策概率树：树根节点用信息增益最大的富信息属性，子节点根据当下实例集合下的信息最大的富信息属性，依次类推。每只树干的概率，用频率进行计算。在面对实例较少的极端情况，可以用拉普拉斯修正进行替代。 最后验证，模型的准确率，可以在搭建模型前将数据集分一部分出来进行测试，得到准确率。 6、在模型中人为添加了很多相关关系，导致记录了数据中偶然非普遍的特征，使模型泛化能力降低，即为过拟合。理论上模型越复杂，过拟合可能性越大。过拟合曲线表征了复杂度与模型泛化能力之间的关系； 7、学习曲线绘制了测试集上的模型效果与所用训练数据量的关系，一般而言，模型效果随数据量增大而提升，但不同模型的提升率和最终的渐近性能各不相同。 8、避免过拟合情况，可以通过将数据集分成不同的组合最终选择效果最好的模型的交叉验证法；也可以选择训练集+验证集+测试集的嵌套保留测试；在决策树中，可以通过控制复杂度或者剪枝来防止过拟合；或者通过正则化，既能保证拟合效果，也能保证复杂度。 9、对文本进行分析和挖掘，常用的方法有词袋模型、n-grams、词干提取、命名实体提取、主题模型等。 词袋模型：将每篇文档作为单词的集合，忽略语法、词序、句型结构和标点，结合词频和逆文档频率来为词语赋值； n-grams：分词，按照n具体取值来划分词语，进行赋值； 命名实体提取：经过学习或者手动录入进行实体识别； 主题模型：对语料库的主题集合分别建模，最终分类器依据中间的主题来定义，而非单词。 10、分析工程的重点不在于找出可以处理所有的偶然情况的复杂的解决方案。重要的是，要深化对问题的数据分析式思考，从而明确数据挖掘的作用，考虑业务约束、成本和收益，并有意识地、明确地简化假设。 11、要在业务中成功应用数据科学，关键因素可能对数据科学团队的高水平管理，优秀的数据科学管理者应该具有的特质包括： 深耕行业应用建模落地实践的经验，跨行业数据科学家的人脉； 理解和领会业务需求，可以提前预知业务的需要； 与搞技术的和搞业务的都能顺畅沟通，能把数据科学术语转化成业务术语，反之亦然； 在有约束条件下进行建模工作，从而能在具体商业活动中部署模型； 最重要的，能够根据以往的经验，洞察当下模型是否能够成功。

当我学会各类算法后，我发现解决问题的关键不是算法，而是怎么用数据去描述一个问题。 对于问题定量所使用的统计指标体系更需花费时间去思考，而这在大多数课程中是没有的，他们只会给你一堆处理好的数据，学习各类算法的功能、适用范围，可对于用数据描述问题的核心却只字不提。 算法难有持续性的创新，但理解问题的角度可以完善算法的不足。

终于有了几天空闲，把这本书看完，看了看其他书评，自我感觉如下： 第一，如果定位小白入门书籍，不推荐，且不说翻译问题以及英文叙事本身“淡淡的絮叨感”；如果有一定统计学基础，可以看，张弛有度，有舒适区，也有需要你蹦一蹦的学习区，零星困难区不足挂齿；如果精通计量经济学，机器学习或高级统计，这本书基本就是睡前读物，甚至觉得啰里啰嗦，章节间逻辑拆强人意，但部分章节内部叙述略显劝退。 第二，再来说翻译问题。“翻译国外著作”对于很多学者来说，确实是一个可以当做“绩效（译著）”的评价项目，但是往往也仅仅就做成了“翻译”。虽然编者已经尽量避免直译，但是并不是每一句话必须要“译”，每个词必须找个对应词汇“译”出来，每个英文叙述环境下非常自然的转折句，过渡句，承接句，解释句，车轱辘句必须得在中文叙述环境下一一对应。所以和绝大部分同样“不经典”译著一样，部分内容让人忍不住赶紧跳过去，但是又怕错过信息；有些句子让人惊呼，这是人类写得句子吗（其实在英文环境下读着确实不错）？科研工作者基本知道，写中文论文和写英文论文，单从写作上，其实自己也会在遣词用句上的差异上非常讲究和斟酌。但是偏偏，在译著上，令人费解得“粗糙”。 总而言之，还行吧。

这本书评分那么低，是因为预备知识要求比较高。作为深度学习工程化从业人士，我认为可以打85分，该讲的概念都详细讲了，而且比较有趣。

看了一部分过来评价 这本书适合有一点机器学习基础的初学者，用于解释机器学习的一些基本概念 不用精读，粗略过下即可

2025年立下学习数据分析乃至机器学习的目标。在几年前学习用python做爬虫抓取线上土地交易数据时就有想过是否能够实现对批量数据的进一步挖掘和分析，可惜后来热情淡却，没能坚持研究。最近发现现公司在营销和开发等端口存在大量落后观念，很多决策是基于领导层的感性认识和武断判断，造成大面积亏损，所以重新又翻出几年前对数据分析的想法，这次是问了chatGPT，关于如何学习人工智能，它告诉我python是需要继续学习的，此外还要了解数据库的用法，等等一系列的学习建议。这是数年前无法想象的状态，可以说既是人工智能在教我学习，也激发了我想进一步利用人工智能的兴趣，这会比以往更加有趣。这本书可以说是从感性层面让我对数据分析相关的各种数学原理有普遍性的认识，而在阅读过程中，我发现作者生怕把原理讲复杂了，一个劲的和读者解释说这一段关于技术的讨论即便跳过也不会影响后续阅读。这种口吻太少见了，而对我这种喜欢读综述和绪论的粗浅读者来说，能在最短时间内形成对大部分原理概念的直观印象，至少在我下一步对数据库和算法的学习中能够带着一系列的参考概念去深度学习，这本书值得贯穿我的学习过程，我会再来读第二遍的。

涵盖面挺全面的，还包括了成立和管理数据科学团队的建议。

值得多读两遍的书，各种方法是死的，对业务的理解是活的，如果将业务问题转化为数据问题是一个数据科学家的高低区分的火眼金睛！

企业管理层必须具有数据分析思维；企业管理层必须培育出一种有利于数据科学和数据科学家繁荣发展的文化。商务人士更好地认知和领会数据科学家所用的概念、工具和技术，而且需要帮助数据科学家更好地理解其解决方案所应用的商业背景。本书通过大量真实的商业问题案例，介绍数据科学的基本原理和各种数据挖掘技术，阐释如何从数据中提取出有用信息，进而用数据科学方法解决商业问题，做出精准的决策。

AUC和ROC两个概念有意思，不过最后两章废话有点多，略过无妨