统计学七支柱

在日常生活中，统计学是与我们最近乎或者最结地气的一门科学。一位伟大的数量遗传学家开的一门统计学课程，每次期末考试，几十年第一题都是像是放水10分题：什么是统计学的3R（Random, Reliability and Repeat)。从历史角度来回顾，这三个R 其实却无形刻在了学生的心里。 诺贝尔物理学奖获得者费曼教授留给后人，最了不起科学思维方式，就是用统计的思想来估计或者预测生活中各个方面。……如果不是遇到这本简明扼要科普书，真还没有听说或者想过一门科学的支柱是什么？ 所以，作者这本书也可以说是对于统计学系统性全面反思与归纳。他总结统计学的七大支柱就是：聚合（Aggregation），信息（Information），似然（Likelihood），相互比较（Intercomparison），回归（Regression），设计（Design）它类似于在“实验设计”中的含义，但“设计”的范围更广泛，它的目标是：先设定观测的权重相同，再训练我们的思想。最后一个是残差（Residual）。作者对于这些概念描述及关注远远超过一般统计学教学通常所关注情况。 作者认为：“概括了七根支柱，用七种基本统计思想的作用来表达——尽管这样做也许会导致过度简化的风险。 （1）定向减少或压缩数据的价值。 （2）数据量上升，价值会减少。 （3）如何使用概率测量我们做的事？ （4）如何使用数据中的内部变化帮助分析？ （5）从不同角度提问可以产生有启发性的不同答案。 （6）规划观测的重要作用。 （7）所有这些思想如何用于科学探索和比较彼此矛盾的解释”。 这像是对于统计学整体从古到今的基本特征的重新反思，书中有不少历史文物及照片，妙不可言。它在现代AI中的地位呢？ 作者总结：“每种有生命力的科学都有它自身的奥秘：天文学是暗能量和暗物质，物理学是弦理论和量子理论，计算机科学是P-NP难题，数学是黎曼假设。甚至对于最困难的情形，现存的七根支柱也能支持至少部分的回答。统计是一门活跃的科学，这七根支柱提供了强大的支持。我们进入了一个充满挑战性的时代，与我们相伴的是其他领域的强大盟友以及胜任挑战的强烈期望”。

《统计学七支柱》核心思想详解 史蒂芬·斯蒂格勒是统计学史泰斗级学者，这本书的核心定位是：不讲复杂公式，讲统计学的底层思维智慧。他提出的“七支柱”，是支撑整个统计学学科的7条基础思想原则，是统计学区别于纯数学、计算机的核心特质——支柱是“地基”，不是具体的计算方法。 七个支柱按逻辑递进依次为：聚合、信息计量、似然、相互比较、回归、实验设计、残差，以下逐一拆解。   支柱一：聚合（Aggregation） 核心思想 通过舍弃个体信息，获得更稳定的群体规律，最典型的代表就是“取平均值”。 这是一个反直觉的悖论：你主动丢掉了每个个体的细节，反而得到了比单个观测更准确、更有价值的信息。 底层逻辑 单次观测会混杂大量随机噪声（误差、偶然因素）；把多个数据聚合（求和、平均、加权）之后，正负向的随机误差会互相抵消，留下稳定的系统性信号。 例子与意义 - 天文学中多次测量行星位置取平均，结果比单次测量更接近真实位置； - 道琼斯指数把几十只股票的价格聚合，丢掉个股的随机波动，就能反映整个市场的整体走势； - 人口平均寿命、平均收入，舍弃个体差异，呈现社会整体的结构特征。 斯蒂格勒强调：聚合不是“简化偷懒”，而是一种主动的信息筛选策略——过滤噪声，提取规律。 支柱二：信息计量（Information Measurement） 核心思想 数据量 ≠ 信息量，信息的边际收益递减，信息量只和样本量的平方根（√n）成正比，也叫“根号n法则”。 反直觉结论 样本量翻倍，信息量不会翻倍，只会增加约40%；样本量扩大100倍，精度才提升10倍。 这直接打破了“数据越多越好”的误区：当样本大到一定程度，新增数据带来的信息增益会越来越微弱，这也是“大数据”的天然瓶颈。 现实体现 - 民意调查：样本从1000人扩大到2000人，调查精度的提升非常有限，远达不到“翻倍准确”； - 统计学里的标准误公式：均值的标准误 = 标准差 / √n，直接体现了这条法则。 它的本质是告诉我们：数据的价值是非线性的，统计推断永远要在成本和精度之间做权衡。 支柱三：似然（Likelihood） 核心思想 用概率量化“观测结果对某个结论的支持程度”，把模糊的“可能性”变成可计算、可比较的数值，是统计推断的核心工具。 关键区分 - 概率：已知原因，推算结果发生的可能性（比如已知硬币均匀，算抛10次出8次正面的概率）； - 似然：已知结果，反推哪个原因/假设更可信（比如抛10次出8次正面，算“硬币均匀”和“硬币作弊”各自的似然值，再做对比）。 意义 似然是统计学从“描述数据”走向“判断结论”的关键一步。我们熟悉的假设检验、p值、贝叶斯推断，本质都建立在似然的基础上。 斯蒂格勒认为：似然的出现，让人类第一次有了一套严谨的方法，去量化“证据有多强”，而不是全凭经验和直觉下判断。 支柱四：相互比较（Intercomparison） 核心思想 统计比较不需要外部“绝对真理/绝对标准”，只通过组内的相互对照，就能发现差异、验证结论。 反直觉之处 很多人以为科学要追求“绝对真值”，但统计学绝大多数时候只需要判断“有没有差异、差异有多大”。我们不需要知道人体的“绝对健康值”，只需要对比吃药组和安慰剂组的指标差异，就能判断药物是否有效。 应用与发展 - 医学临床试验、农业肥料对比实验，核心都是组间相互比较； - 费希尔的方差分析（ANOVA）就是这套思想的集大成：通过对比“组间差异”和“组内差异”，判断某个因素是否真的有影响。 这根支柱定义了统计学的世界观：它不追求绝对的本质规律，而是通过相对差异识别有效信号。 支柱五：回归（Regression） 核心思想 包含两层内涵：表层是“回归均值”的统计现象，深层是用条件分布做推断，从相关性走向预测与因果思考。 1. 回归均值悖论 两个不完全相关的变量，如果你选了其中一个极端值，另一个变量的平均值一定会向整体均值靠拢。 最经典的例子：高个子父母的孩子，平均身高会比父母矮一点；高个子孩子的父母，平均身高也比孩子矮。这不是生物退化，是纯粹的统计现象，和努力、天赋都无关。 高尔顿最初提出这个概念，就是为了解决达尔文进化论的矛盾：自然选择需要个体差异，但物种整体要保持稳定——回归均值就是群体稳定的来源。 2. 深层价值 回归真正的贡献，是引入了“控制变量”“条件概率”的思维：给定其他变量不变的情况下，一个变量对另一个变量的影响有多大。 它是现代多元分析、因果推断、贝叶斯统计的基础工具，让我们能从复杂的关联数据里，剥离出单一因素的作用。 常见陷阱 斯蒂格勒特意强调：相关性 ≠ 因果性，回归只能发现关联，不能直接证明因果，这是统计学最经典的思维误区。 支柱六：实验设计（Experimental Design） 核心思想 好结论从设计数据开始，而不是拿到数据再分析。通过随机化、对照、重复、控制混杂因素，主动生产能回答问题的高质量数据。 核心原则 1. 随机分组：平衡所有已知和未知的干扰因素； 2. 对照设置：有对照组才能判断干预有没有效果； 3. 重复实验：多次重复才能区分偶然和规律。 意义 这是统计学里最“主动”的一根支柱：前面的方法都是处理已有数据，而实验设计是从源头规划数据。 现代医学的双盲随机对照试验、农业田间试验，都建立在费希尔奠定的实验设计体系上。斯蒂格勒的观点很明确：垃圾数据配再高明的统计方法，也得不出可靠结论。 支柱七：残差（Residual） 核心思想 减去已知规律后剩下的“误差/偏差”，不是无用的垃圾，而是发现新规律的金矿。 模型拟合之后剩下的残差，如果里面藏着系统性的规律，就说明现有模型漏掉了重要的未知因素。 经典案例 - 天文学家发现天王星的轨道和牛顿力学计算的结果有偏差（残差），顺着残差的规律，最终发现了海王星； - 经济学里，减去GDP的长期增长趋势后，剩下的残差就是经济周期波动，能用来判断衰退和繁荣。 深层逻辑 科学进步从来不是一次性找到完美公式，而是不断用残差修正模型： 1. 用现有规律拟合数据 → 2. 观察残差里的异常 → 3. 发现新因素 → 4. 更新模型 残差是统计模型迭代、科学知识进步的核心动力。   整体逻辑：七根支柱的递进关系 七根支柱不是零散的知识点，而是形成了一套完整的统计思维闭环： 1. 处理数据：用聚合过滤噪声，提取群体信号； 2. 评估数据：用信息计量判断数据的价值边界，不迷信大数据； 3. 推断结论：用似然量化证据强度，用相互比较验证差异； 4. 挖掘关系：用回归识别变量关联，区分相关与因果； 5. 生产数据：用实验设计主动创造高质量数据，从源头保证结论可靠； 6. 迭代认知：用残差发现未知规律，不断修正模型与认知。 在斯蒂格勒看来，这七条思想共同支撑起了现代统计学，也是人类在不确定世界里，用数据获得可靠知识的底层方法。

书摘 第一根支柱——“聚合”，本质上在讲信息的放弃 第二根支柱——“信息及其测量” 它和聚合一起，帮助识别信息中的增益率递减如何同预期的使用相联系，以及这如何帮助设计实验和聚合两者的形式。 第三根支柱——“似然”，使用概率校准推断，并为度量不确定性提供尺度。 第四根支柱——“相互比较”，给出内部标准，以及根据手边数据判断内部效应及其显著性的一种方法。 第五根支柱——“回归”，极其巧妙。对统计分析而言，它是一种相对性原则。 第六根支柱——“设计”。构造结构模型，可以对同时考虑多个因素的高维数据模型进行探索。通过基础推断生成的随机化，可以只依赖于最低程度的建模。 最后一根支柱——“残差”，将复杂模型的比较逻辑作为探索高维数据的途径，图分析中也使用了同样的科学逻辑。 任何合理的分析必须（哪怕只是含蓄的）做出高度限制的假设 阿尔弗雷德·马歇尔：“所有理论家中，最鲁莽和狡诈的是那些自称让事实和数字为他们说话的人。这些人他在幕后扮演着自己的角色，有意无意地对事实和数字进行选择和重组，并提出‘后发者因之而发’的观点。” 我们进入了一个充满挑战性的时代，每种有生命力的科学都有它自身的奥秘：天文学是暗能量和暗物质，物理学是弦理论和量子理论，计算机科学是P-NP难题，数学是黎曼假设；与我们相伴的是其他领域的强大盟友以及胜任挑战的强烈期望。

戈塞特的t分布大大的提高了对于均值的假设检验和方差分析的能力 总体方差已知z分布， 总体方差未知t分布， 大样本，z/ t 均可用。 方差分析里将变异按照组内变异和组间变异进行剥离是一种重要的分析思想，从而区分主要变异和次要变异，为实验设计，MSA奠定了基础。 残差分析没看懂，功力不及🤷‍♂️🤷‍♂️🤷‍♂️

统计学是一门严重被我们低估了的现代数学分支。我主观的断言，所有的中等及高等教育中，唯一有用的学问就是统计学。能够在生活中熟练运用并用统计学的思维对待我们身边发生的事情，我们的智商至少可以提高三个量级。但这本书并不是一个统计学的好读物，偏专业而且逻辑有点混乱。

甚至对于科学奥秘最困难的情形，现存可以至少追溯到20世纪上半叶其中有些还会更古老的七根支柱也能支持至少部分的回答： 第一根支柱——“聚合”。在信息背景中概括信息。“聚合”必须遵守原则进行，放弃不利于（甚至可能减损）最终科学目标的信息。 第二根支柱——“信息及其测量”，在统计中的含义与在信号处理中的含义不同。它和聚合一起，帮助识别信息中的增益率递减如何同预期的使用相联系，以及这如何帮助设计实验和聚合两者的形式。 第三根支柱——“似然”，使用概率校准推断，并为度量不确定性提供尺度。似然不仅向我们的结论提供了度量，还对分析、聚合的方法以及信息积累的速率提供了指导。 第四根支柱——“相互比较”，给出内部标准，以及根据手边数据判断内部效应及其显著性的一种方法。与第六根支柱“设计”一起，在某些高维情形下，可以产生近乎神奇的路径，通向对问题的理解。 第五根支柱——“回归”。从不同出发点提出问题，这种思想不仅产生了意外的洞察力，也产生了框架性分析的新方法。用机制进行一般性描述推断的早期尝试比喻滑翔机飞行，经过20世纪的再次充分发展，这种理解产生的新方法可以允许高度更高甚至维度更高的旅行，这是更普通的运输方法还未达到的关键。 第六根支柱——“设计”。构造结构模型，可以对同时考虑多个因素的高维数据模型进行探索。通过基础推断生成的随机化，可以只依赖于最低程度的建模。 第七根支柱——“残差”，将复杂模型的比较逻辑作为探索高维数据的途径，图分析中也使用了同样的科学逻辑。 第八根支柱——一个领域：高维探索中，进行数目庞大的检验，对小径分叉的大数据花园有效选择处理分析提炼高维结论。

正是开始学习统计学的第一本书，大致翻了一遍。我的水平还不能够阅读这本书，读书的感觉比初期读python的书都晦涩难懂与无聊，还好python 咬着牙看了下去，现在会写简单的程序，也能从原本枯燥的代码书中读出一些乐趣。树立一个小目标，等我读完3本统计学的书之后再来读读七支柱，看能不能把这七个词读厚了。先找本致用类案例类统计学书读读

转 在日常生活中，统计学是与我们最近乎或者最结地气的一门科学。一位伟大的数量遗传学家开的一门统计学课程，每次期末考试，几十年第一题都是像是放水10分题：什么是统计学的3R（Random, Reliability and Repeat)。从历史角度来回顾，这三个R 其实却无形刻在了学生的心里。 诺贝尔物理学奖获得者费曼教授留给后人，最了不起科学思维方式，就是用统计的思想来估计或者预测生活中各个方面。……如果不是遇到这本简明扼要科普书，真还没有听说或者想过一门科学的支柱是什么？ 所以，作者这本书也可以说是对于统计学系统性全面反思与归纳。他总结统计学的七大支柱就是：聚合（Aggregation），信息（Information），似然（Likelihood），相互比较（Intercomparison），回归（Regression），设计（Design）它类似于在“实验设计”中的含义，但“设计”的范围更广泛，它的目标是：先设定观测的权重相同，再训练我们的思想。最后一个是残差（Residual）。作者对于这些概念描述及关注远远超过一般统计学教学通常所关注情况。 作者认为：“概括了七根支柱，用七种基本统计思想的作用来表达——尽管这样做也许会导致过度简化的风险。 （1）定向减少或压缩数据的价值。 （2）数据量上升，价值会减少。 （3）如何使用概率测量我们做的事？ （4）如何使用数据中的内部变化帮助分析？ （5）从不同角度提问可以产生有启发性的不同答案。 （6）规划观测的重要作用。 （7）所有这些思想如何用于科学探索和比较彼此矛盾的解释”。 这像是对于统计学整体从古到今的基本特征的重新反思，书中有不少历史文物及照片，妙不可言。它在现代AI中的地位呢？ 作者总结：“每种有生命力的科学都有它自身的奥秘：天文学是暗能量和暗物质，物理学是弦理论和量子理论，计算机科学是P-NP难题，数学是黎曼假设。甚至对于最困难的情形，现存的七根支柱也能支持至少部分的回答。统计是一门活跃的科学，这七根支柱提供了强大的支持。我们进入了一个充满挑战性的时代，与我们相伴的是其他领域的强大盟友以及胜任挑战的强烈期望”。

昨天刚完成第一遍阅读，虽然读的囫囵吞枣，但是稍微有点概念。今天再次阅读读前言部分。 统计学七个支柱，对应解决七个不同的问题，也是思考问题的七个角度。 第一个聚合，解决怎么从纷繁复杂的世界中提取出信息。通过舍弃观测值的个体特征来排除观测过程中的干扰，得到真实的信息。 第二个信息度量，解决的是要使找到的信息更准确需要成倍的提高观测数据的量。根号N法则，N个观测值含有的信息量与根号N成正比。越是成长越难进步，因为大多数时候都是重复已知的东西。 第三个似然，解决的是用观测结果来检测判断的准确性。提取的信息到底与真实的世界有多符合，需要似然来评估检验。 第四个相互比较，解决的是通过比较不同观测数据组，评估数据组间是否有差别。从不同时间，不同渠道获取的信息是否能够反映同一个问题。 第五个回归，解释了单个的极端情况迭代后趋于均值。没有永远的高峰和低谷，有的只是起起伏伏的回归。 第六个设计，解决了随机或受干扰情况下对实验的观测分析。即使是随机发生的事情，只要其中某个因素的影响出现一定的次数，就可以被分析出来。 第七个残差，解决了去掉已知原因后剩下的变化。及时发现微小的变化，寻找出现的原因，也许一扇崭新的大门会被你打开。 对这几个支柱的理解确实是一知半解，需要再仔细的通读全书，搜索相关内容，也许会有进一步的理解。

如果说以前学概率统计属于知其然不知其所以然，那么这本书就是所以然的由来了。从历史，哲学，天文，社会，医学等等方面引导出了统计的方法和用途，科普一下，还不错。