统计的魔法：揭开统计的另一面

严格地说，在科学方法中只能证伪，也就是说只能证明某理论不对，但不能证明它正确.这是因为人类对自然界任何规律都不可能完全了解，任何理论仅仅是对自然规律的某种近似.统计学家George Box说过：所有模型都是错的，但有些是有用的.

一、整体评价 一本挺有态度、有专业知识、有故事情节的高水平统计书。核心立意是统计不应成为是“避实就虚”的艺术，不该变成为人的“下一步”合理化服务的过程艺术，模型为数据服务，而不是数据削足适履。对于“乱假设”、“套模版”、“模型驱动”（错误假定模型导致的精确解/错误的模型把正常的点当成‘异常点’）等思维的质疑、打破以及吐槽，剖析很有新意的。 形式上有故事情节，有冲突、有小说的缘故很轻快，有问有答，比喻也有意思（例如拿烤袜子和显著性水平α、零假设对比;用烧菜说明回归模型参数和计算残差平方和SSE（或R2））。多处用“改错题”的对比方式方式集中展示了“按需画靶”、硬靠结论、一个模型不行就推断数据不行、模型有效但现实中根本无应用价值、用瞎用显著性水平等误区。 二、一些摘录 1、假设检验、零假设、备择假设 - 【虽然显著性水平α的大小（比如0.05）完全是人为设定的，本应受到怀疑，但因其是‘权威’采用过的而照用不误”。】 - 【“前面的若干假定被称为‘假定(assumption)’而后面要验证的被称为‘零假设(null hypothesis)’H0，这使得数学家习惯性地觉得前面的‘假定’是应该自然认可的，只有后面的‘零假设’才是可以怀疑的.”】 - 【“许多数理统计教科书还把‘检验不显著’作为‘接受零假设’的绿灯…”】 - 【在法律上的无罪推定(presumption of innocence)原则指的是‘未经审判来证明有罪确定之前，优先推定被控告者无罪’.这是个法律状况，而不是实际状况.】 - 【由于频率派只考虑零假设而不考虑备择假设，因此只要观察到的均值（如k或）不刚好等于零假设，在样本量足够大时，就可以拒绝零假设…但贝叶斯统计却真正用备择假设和零假设做了对比之后才做出对零假设有利的结论.”】 2、均值 - 【即使完全知道一个总体均值的大小，对于了解均值所反映的总体可能完全没有意义，比如你们提出的收入例子.】 3、大样本 - 【我们都在微积分课程中学过极限，极限理论的典型结论都是‘存在一个N，当n＞N时……’，这仅仅描述了极限的存在性，至于n的具体值多大才能算是‘接近极限’的标准则没有一个极限理论会给出，为了给外行人某种统计可以很容易做确定性决策的印象，某些统计文献提出了诸如‘30是大样本’‘p值小于0.05就显著’之类的说法，反正他们不用对这类说法承担任何后果.】 4、验证/交叉验证 - 【数理统计对数据所做的所有数学（或概率）假定，比如变量是否‘独立’、是否‘同分布’、是否属于某个‘分布’（特别受关注的是正态分布），以及变量间是否有‘线性关系’等，全都是无法用任何统计方法验证的.】 - 【我们既用L教授使用的逻辑回归，也用决策树和基于很多决策树的随机森林两种机器学习方法，通过交叉验证的预测精度来比较3种模型的优劣】 - 【判断模型好坏的标准是交叉验证的预测精度，也就是说，用一部分数据建模，而用另一部分未参与建模的数据来计算预测精度，我们这里打算利用10折交叉验证法，也就是说，把数据分成10份，每次用1份数据作为测试集来测试那9份数据一起建立的模型.这样可以循环做10次，得到每个观测值的预测精度.】 5、近似解/精确解 - 【决策树是正确问题（以预测精度为目标）的近似解，而线性回归是错误假定的线性模型导致的精确解…】 6、你不在别人的模型中 - 【错误的模型把正常的点当成‘异常点’…而正确的模型不存在‘异常点’… - 【一些天才往往被认为是‘怪人’或‘异类’；一些有创新性的思想也会被人认为是‘异端邪说’或‘妄想’，只有平庸的人才会被同样平庸的群体所认同】 7、解读方式 - 【这个问题被称为辛普森悖论(Simpson’s paradox)，几组数据中出现一种趋势，在将这些组数据组合在一起时趋势就会消失或逆转.这种结果在社会科学和医学科学统计中经常遇到.当频率数据被过度赋予因果解释时，它尤其成问题.只有在建模中适当处理混杂变量和因果关系时，才有可能得到解决】

虽然写得不甚有趣，但书中的道理很深刻，发人深省，值得借鉴。书中举了很多医学界包括心理学的研究例子，觉得经济学界这个统计问题也很严重，很多经济学文章都是基于模型在讨论，而几乎每一个经济指标都不能视作单独变量，不知那些模型研究是如何设定参数的，这也是很多经济学家说出的预测在实践中一点也不准的原因。非常推荐读这本书。

读完觉得当年在大学学的数理统计已经完全被颠覆了，说理简明，需要一些高数基础知识才能看懂，把代码全部展示出来的做法也很棒。对贝叶斯派产生了兴趣，回头去找本书看看

这本书的很多观点我其实不太赞同：作者从实际数据的角度，对传统统计理论发起猛烈挑战，勇气可嘉。但是统计是一个应用科学，很多时候我们只能接受够用和近似精确，无法完美证明。 作者反复强调总体不可知，实际上就是暗示抽样检验不可靠。但是按照这样的观点，所有的质检或者新药研发都将变得不可能。因为不可能穷尽所有实验结果，实验就会无穷无尽地做下去。 作者似乎很推崇贝叶斯统计，但是在我看来，如果用先验概率代替总体参数，再用后验概率来修正，结果也未必令人心安，因为总有新的证据来改变旧的信念。 但是我还是推荐本书，原因在于大数据时代让我们有了更强大和多样化的数据检测手段，兼听则明，不同方法之间确实应该交叉验证，同时我也期望在将来的论文中看到不同统计方法（抽样统计，贝叶斯统计，机器学习）对比验证的结果。

统计本身不具有社会性，但是进行统计人还有对于数据的态度还是具有的，同时解释的方式也是具有社会性的，非常类似于做研究总是存在着一些执念，使得结果按照按照自己的想象来进行，如果不是想象就是痛苦，而且伴随着认识手段的丰富，变得与设想一致，变得可能性越来越小了，本来相互之间没有内在的逻辑关系，非常类似于前一段时间汽油涨价与掉下来飞机之间的联系，所以很多人都说研究的可重复性差不多就是量子之中的随机，当然医学研究这样的状态可能会更多一些，只是我们根据统计来进行分析的 ai，已经从因果变成数据类聚状态，因为不需要，只是相空间的极值达到了设定的标准就好，非常类似于生物分类学的完全随机到林奈提出来的方法，依靠性来进行，当然伴随着认识的发展，似乎那个时间能够留下来的差不多只有命名的规则，而没有其他内容了。当下对于各种疾病都有了诊治标准，比较典型的就是各种精神疾病，比如抑郁症还 ADD 似乎都是可然性的方式来进行判断，进行答题或者出现了各种症状进行打分，达到了一定临界值之后，就可以形成判断，这个本身就是统计的结果，我们还是能够看到统计对于我们世界的影响，但是从我们本性之中，还是不大相信本性所带来的结果，比较典型的就是 i robot 之中对于各种判断还是基于贝叶斯定理来进行数字的判断，也就是我们经常说我们被物化所限制，尽管内心之中知道是准确的，但是就是感情上不愿意接受，也许就是统计给我们带来的矛盾，伴随着 ai 时代的到了，似乎更加严重一些，比较典型的就是养虾人带来的后果不可预测性。

這本統計學科普書不同於一般意義上的統計，即以統計顯著性為判定標準，而是從理性和邏輯的角度，闡明過度依賴統計顯著性的問題。幾乎所有統計學老師都強調統計顯著的重要性，這一概念也廣泛應用於各種研究分析中，但即使是日這麼常使用的人，對significant p-value的誤讀也並不少見。我在接觸統計學不久就讀到過對significant p-value的評判文章，大學時曾就此問題與畢業論文指導老師討論，個人對p-value的解釋也比較謹慎。簡而言之，p-value在一定程度上只能證偽而無法真正證明「什麼是對的」或因果性。數據本身也許不會說謊，但誤讀與強加因果，可能得出極其荒謬的結論。

专业性比较强，作为非专业读者读着有些吃力，但是内容比较深刻，其实不只是统计学，经济学也在向数学转型，原因无他，看着好看，或者说利用数学可以把学科包装的更加像科学，但社会现象具有复杂性，以至于模型和研究的问题直接有着很大的出入

书通过一些故事利用理性和逻辑来剖析作为传统统计核心价值的“统计显著性’’ 以及统计学家一些 ‘‘例行做法”，让读者从不同于教科书的角度认识数理统计中的逻辑及应用中的各种问题.

非常值得一读的课外读物，读完之后有一种统计学大厦将倾的感觉。AI时代，统计学迫切需要一种全新的研究范式。