
卡尔·伯格斯特龙 杰文·韦斯特
“用数据说话”是互联网时代的通用思维方式,有人说数据不会骗人,真的是这样吗?让人看不懂的数据分析和神奇算法。莫名奇妙的数学方程。强行联系因果的统计学论文。某些新闻报道或PPT中花里胡哨的图表……我们都曾经或正在被这些东西蒙蔽,却往往毫无察觉,甚至乐在其中!一些貌似可靠的数据来源,也可能藏着一本正经的胡说八道。比如TED演讲中的统计数字、《纽约时报》等媒体报道的大数据分析新算法、甚至是医学期刊中的诊断数据……虚假信息都有可能鱼目混珠,而你能分辨其中哪些是真正有用的信息,哪些只是胡扯吗?对此,华盛顿大学专门开发了一门尚未开课即爆满的公开课,而这本书正是源自这门引发热议的课程。两位作者花了多年时间研究打着数学和统计学幌子的胡扯,犀利幽默地对它们分门别类一一剖析,帮助我们培养批判性思维,有效分析海量数据和观点,拆穿无用数据的精致伪装,在信息时代做个游刃有余的明白人。话说回来,除了教会你如何识别数据胡扯,当你迫不得已需要胡扯时,它也会成为一本实操性强的工具书呢!
了解数据,拆穿胡扯【看书的速度得快一点,看完了后面前面的忘得差不多了,还好有读书笔记】 可能是因为是数据人吧,本书个人觉得写得令我看得很爽的几个章节有: 第5章-数字与胡扯:如何通过数据处理来传达错误信息 第6章-选择偏倚:导致选择性偏见出现的原因 第7章-数据可视化:通过图片的方式更容易诱导读者 第10章-辨别胡扯:6种实用的方法辨别胡扯 个人认为,数据和历史一样,是任人打扮的小姑娘。 有了一份数据,每个人都能够从自己的角度出发,从利于自己的角度解释。 辨别明显有逻辑谬误的陈述较容易,但是当对方既给你提供了数字,又给你提供了图表,然后top-down地给出了看似很合理的结论,我们就很难辨析了。 尤其是在移动互联网一键转发、线上匿名便捷手段加持下,胡扯、虚假、谬误则更是以爆发性的速度肆意传播。 毕竟,作者这么说: 驱动社交媒体内容的算法就是胡扯。他们不关心自己传递的信息,只是想引起我们的注意。只要是能吸引我们注意力的信息,他们都愿意告诉我们。 能够在现在做到多思考、少转发,已属难得。 本书令我印象最深刻的一句话: 如果某件事看起来太好或太坏而不像是真的,那么它很可能不是真的。 特别是在做数据的时候,发现环比涨了或者跌了30%的时候,就要细拆维度看看是不是自己弄错了。 然后作者提供的六大鉴别数据胡扯的方法,值得我们常用常新,个人认为在生活中的各个场景都能用上。 且可以通过主动提问的方式,增加主动性,带动思考。 1、质疑信息来源 WHO:说话的这个人是谁? HOW:他是怎么得到消息的? WHY:他为什么要说这个? 2、小心不公平的比较 两者可比吗? 用于衡量两者大小关系的指标是怎样量化的? 3、本书经典名句:如果好得/坏得不像是真的,那么极有可能就是假的。 数据好在/差在哪里? 4、从数量级考虑 用费米估计法,我会估算结果是多少? 5、避免证真偏差 为什么他得到的结论和我平时的认知如此一致,而我为什么连想都不想就点头了? 6、考虑多个假设 还有其他可能性吗? 别人可以不严谨,但是做数据的一定要严谨。 回到本文,看看那些经典句子。 1、你在学校学到的东西对你(将来的生活)几乎毫无用处,但它有一个好处:只要你认真学习,方法得当,那么在别人胡说八道的时候你会有所察觉。我认为,这即使不是教育的唯一目的,也是它的一个主要目的。 2、原因主要分为概率原因(A是B发生可能性增加的原因)、充分原因(A发生,则B肯定发生)和必要原因(如果A没有发生,则B不会发生)。 3、古德哈特定律:指标变成目标后,就不再是一个好的指标。 4、选择偏倚,或者交作选择性偏见,也是我在看到本书标题后想到的第一个胡扯,产生的几个原因举例 1). 主动选择效应。 e.g. 因为能赚一笔钱所以才换保险公司,呈现出来就是换了保险公司的人大部分都赚了钱。 2). 观察选择效应。 e.g. 等公交车,你更有可能在较长的公交车间隔期出现,所以你经常需要等待很长的时间。 3). 伯克森悖论:即使两个变量没有关联,但由于特定的抽样方法或者数据处理局限,导致呈现出一定的相关关系。 e.g. 帅哥都是渣男,好人却不怎么帅。 4). 数据删失:由于部分数据不满足条件被删除,导致样本不再具有随机性。 e.g. 学说唱、嘻哈音乐的人,平均死亡年龄只有古典音乐的1/2。因为前者存在的历史比较短,大部分还在世的人没有被统计进去。 5、如果用能力不足解释得通,就绝不要认为对方存有恶意或不诚实;如果用可以理解的错误解释得通,就绝不要认为对方能力不足。 6、比例油墨原理:用阴影区域表示一个数值时,阴影区域的大小(面积)应该与对应的数值成比例。 7、避免证真偏差。证真偏差是指人们往往会注意、相信和分享与我们已有信念相一致的信息。如果某个言论与我们相信的东西相一致,我们更倾向于接受它,而不太可能怀疑它的真实性。
拆穿胡扯数据-在数据驱动的世界里保持批判思维的艺术 社会学家尼尔·波兹曼名言:在任何时候,你必须与之抗争的胡扯主要源于你自己。 所以,我们辨别真想的时候,首先要做的就是避免“证真偏差”,我们愿意关注相信和分享与我们已有信念一致的信息,是啊,为什么要对你“知道”的事情进行核查呢?但正是因为我们以为我们知道了,从而失去了探索的动力,堆积了错误,从而继续在自己认知的牢笼里,看不见这个世界的真实,重塑基础思维的重要和困难大概也都源于此吧。 本书的作者提出了五六个识别虚假信息错误结论的方法,非常有价值,我用自己的理解和案例尝试复述。 1,质疑信息来源,这是众人皆知的,但是不容易做到,我们经常嘲笑老年人,开口就是“你王大娘说了”,其实我们在嘈杂的网络里看到信息,可能不过是另外一个“李大爷”的意见。当然作者讨论的困难还远远不止于此,即便是科技类专业期刊,也经常充满胡扯的论文,但是普通人只要避免一个原则,就可以大大减少错误的决策:向你传递该信息的人,是否在向你兜售某种理念或者物品,而这种兜售和他自身利益有直接相关。你当然知道不能盲目听从一个汽车销售员的信息或者商品导购的信息,但即便知道,还有很多更高层次的兜售,而且技巧之强大,往往会让你情不自禁购买或者投票。随时记得问三个问题:这个消息是谁告诉我的,他是怎么知道的,他们想向我兜售什么? 2,小心不公平的比较,我们必须小心的看待比较的数据范围,定义,性质,比如今年十一和2022年的同比,和2019年黄金周的比较,这里面涉及很多的维度,抛开社会管制因素不说,今年是8天,之前是7天,差了1天就相差了14%的幅度,拿绝对数据总量出来对比显然是不公平的。再比如大家关心通胀时往往对比CPI,但是中美CPI指数的各种权重设计是有很大偏差的,比如美国租房是很大权重,而中国猪肉一项大物价就会影响cpi,这样简单的对比想得出精细的结论,就不公平。而往往愿意不公平对比的人,经常是有了结论再去找证据,就好比箭射到靶子上再去画圆一样,看起来很完美,实际很虚假。 3,如果好得或者糟糕得不像真大的,那大概率就不是真的。但目前的网络世界只有极端言论才能吸引大家的眼球,所以很多新闻,尤其是自媒体新闻,在没有确认对方专业度和道德意愿之前,是真的没有必要阅读。最简单的例子,如果你对彩票的时候发现自己中了头等大奖,那么你看错一位数的概率会远远远远高于你真的中了大奖,世界往往是朴实简单的。 4,从数量级考虑,作者举了美国一个议员的例子,推测海平面的上升可能是落入海洋的岩石造成的,但是地球上的海洋都是相连的,哪怕高达100米的多佛白崖及沿岸1000米的陆地全部沉入大海,那么海平面大约上升3%头发直径的高度,普通人如果看到一个观点就形成自己的结论之前,真的要从数量级考虑一下,不幸的是我们的大脑并不善于处理太大或者太小的数据,更不善于处理幂级增长的数据。 5,考虑多个假设,比如x导致了y,那么我们可以想想如果没有x,y发生的概率有多大,比如发生了一个事件企业股票下跌1%,那么没有发生这个事件股票下跌1%的频次高吗?如果大盘下跌了2%而个股只下跌了1%,那么这个事件是不是正面的利好呢?这就是芒格推崇的“反过来想”,小事怎么决策都可以,大事情一定要多考虑几个假设,反过来想,把各种影响因素想的充分一点,并且真的区分是不是有因果关系,是不是大的影响权重。 哲学家哈里·法兰克福对谎言和胡扯做了区分,谎言是为了使人们远离真相,而胡扯则是对真相漠不关心。而一个世纪前传奇记者就指出:如果一个社会缺乏识别谎言的手段,就无自由可言。
书名:《拆穿数据胡扯》([美]卡尔·伯格斯特龙 [美]杰文·韦斯特) 读者:1100011101 耗时:3h4min 记录: 信息大爆炸时代,充斥着各种假消息,它们很大一部分来源于数据胡扯。对数据胡扯的辨别和措施如下: 一、如何辨别胡扯? 1. 质疑信息来源 2. 小心不公平的比较 3. 如果好得或糟糕得不像是真的 4. 从数量级考虑 5. 避免证真偏差。证真偏差是指人们往往会注意、相信和分享与我们已有信念相一致的信息。 6. 考虑多个假设 二、如何辨别网上的胡扯? 1.证实和三角互证。 2. 注意信息来源。 3. 追溯消息的最初来源。 4. 使用反向图像搜索。 5. 注意深度换脸等合成技术。 6. 利用事实核查组织。 7.确保你知道你在和谁打交道。比如假新闻的域名可能是abc.com.co,而非正确的abc.com。 8. 考虑网站的历史记录。 9. 注意真相错觉效应。 10. 减少信息摄入。 三、如何驳斥胡扯? 使用归谬法 要让人难以忘记:寻找目击证人? 寻找反例 使用类比 重新绘制图表 使用零模型 当面揭穿
《拆穿数据胡扯》这本书都讲了啥 《拆穿数据胡扯》是美国华盛顿大学的博格斯特隆和韦斯特写的,中信出版社在 2022 年 3 月出的这本书。 现在这社会啊,数据到处都是,可真真假假让人头疼,这本书就来教咱们咋看穿那些骗人的数据瞎话。 书开头说,把书献给作者的妻子霍莉和希瑟。为啥呢?因为这俩妻子可厉害啦,当丈夫们开始瞎扯的时候,她们马上就能指出来,一点不含糊。平常呢,又不会随便乱批评,给足了面子。这就跟咱们对待数据信息似的,碰到胡扯的得能发现,没毛病的咱也别乱质疑。 那啥是胡扯呢?简单说,就是那些不管事实、不讲逻辑,就为了说服你而用些花言巧语、不靠谱统计数字和迷惑人的数据图表的东西。 你看啊,在政治里,有些政客为了拉选票或者推政策,满嘴跑火车,说些不实的话;科研里也有,有些研究人员把没好好验证的新闻稿当成果发出来,这多坑人呐。这些胡扯的东西到处传,老百姓很容易就被带偏了,不管是对社会发展还是个人做决定都有坏影响。 为啥会有这么多胡扯呢?一方面,人都有私心,想卖东西赚钱或者让别人高看自己一眼的时候,就可能瞎编。比如说销售员为了多卖东西,把产品功效吹上天;找工作的人想得到机会,在简历上造假。另一方面,现在咱们懂的知识多了,也有更多办法去制造看似合理的瞎话。再加上互联网太发达了,传播东西太快太容易了,制造胡扯没多少成本,可要是想把这些胡扯清理掉,那可太难了。 在数据里,胡扯都咋表现呢?数据可能本身就有问题,收集数据的时候就出错了,或者故意改数据,测量方法也可能不对,选的样本也不科学,样本太少或者太偏向一方了。还有啊,数字和公式也会被乱用,单独拿个数字出来,也不说清楚背景,计算百分比的时候瞎算,用些复杂公式装样子。另外,别以为两个东西有关系就一定是因果关系,可能只是巧合或者有其他共同原因,可别被误导了。 那咱们咋辨别这些胡扯呢?首先得看看信息是从哪来的,如果是权威机构、专业期刊或者政府部门发布的,相对靠谱些,那些不知道哪来的网站或者个人博客发的,就得小心。还得知道统计方法都有啥毛病,要是数据是用不太靠谱的统计方法得出来的,那结论可能就不对。看数据的时候,样本量够不够大,是不是随机选的,图表有没有故意误导人,这些都得注意。判断事情的时候,别光想着找证据证明自己对,也得看看反面证据,多考虑几种可能,别轻易就认定两个东西有因果关系,得仔细分析分析。学会辨别胡扯可太重要了,能让咱们不被假数据骗,不管是买东西、投资,还是参与社会讨论、找工作做决定,都能更明智,这样社会也能发展得更好更理性。
骗死人不偿命推荐等级:★★★★ 数据不会骗人,这句话曾经很流行,也成为了许多人的口头禅。可事实果真如此吗?要说数据骗起人来,那也是骗死人不偿命。 《拆穿数据胡扯》一书作者为我们揭穿了那些用数字、科学和统计语言来制造精确严谨的假象,可以更好避免被这些披着真实外衣的谎言所利用。 无处不在的骗局 虽然说数字不会骗人,但也只是理想状态,而在现实中稍微懂点这种新式骗术的人可一点不比那些使用空口白话来忽悠人的来得差。受众通常默认其真实可靠不加防范,于是在被别有用心的人利用之后威力更大,造成的影响也更加严重,后果也更加恶劣。 使用虚假捏造的数字还算是小儿科,更加可怕的是那些使用真实数据裁剪后展现出的幻象,引导人们一个个主动掉进事先挖好的坑里。不仅浑然不觉,还会常常被人卖了还帮人数钱。 一门新的语言 其实之所以会出现此类现象,很大程度上是因为这是一门伴随着社会发展而诞生出的一门新语言。一来大多普通人不懂其中的奥妙,二来千百年进化而形成的人类大脑暂时无法跟上起发展步伐,三来缺乏相对应的训练。 以至于在拥抱世界的同时被这门语言骗得团团转,难以识别真假。不信打开手机,随手翻翻各种媒体报道里的数据,尤其是在那些虚假新闻中,此类骗局屡见不鲜。 老办法对新问题 面对层出不穷的新问题,老办法解决不了。好在除了坐以待毙之外,我们还有其他选择。本书作为一本通俗易懂的读物,不光可以帮助我们加强防范意识,更可以学习新的解决办法。 质疑信息来源、小心不公平的比较、警惕过度失真、注意数量级、提防迎合我们的、考虑多个假设,这些都是比较基本的做法。而在面对互联网上日新月异的新骗局,还要学习和了解最新技术的特点和局限,通过不断学习来提升自我,避免犯错误。 拆穿谎言 书中也提供了一些拆穿谎言的办法,可以让我们像一个侦探一样抽丝剥茧,还原出一个更加令人信服的事实。使用科学实用的办法来勘误很重要,但更加重要的是什么时候用、用在什么地方等。 再厉害的神兵利器也要用对地方,既可以最大限度发挥其作用,也避免产生的副作用。对于普通人来说,面对日常生活中的数据谎言,无伤大雅的可以不必认真,利益攸关的则不可马虎。 一个人的精力是有限的,如果总是盯着那些琐碎小事,在面对重大事项就很难做出全面客观的判断。那可真是捡了芝麻丢了西瓜,本末倒置。 换汤不换药 即便这样,我们也不必过分恐慌,就目前来看,其中很多骗局可谓是换汤不换药。只要搞清楚其中的基本原理,熟悉常见的数字语言,足以坦然应对大多数情况。 更何况,相对于不断花样翻新的手段,人的变化并没有那么大。甚至可以说,再高明的骗局依然还是针对人性中的那些弱点。倘若对此有所警惕和防范,保持冷静,理性面对,身处再眼花缭乱的局面也会迎刃而解。 你不懂,就很容易上当受骗;一旦学会,自然会将这纷纷扰扰看得真真切切。
看到书名就追着进来,想获得一些辨别胡扯的方法,还真找到了,不过在几乎看完整本书才看到,庆幸没在前面几章就放弃。 虽然干货只在最后一两百页出现,但还是有些收获。辨别胡扯的一些方法,归谬法,反例法,类比法等等。印象最深的是用常识中的数据量级维度去估算一个数据是否正确,这个很有用,比如10,100,1000,10000,100000这样,只需用到这个量级去估算即可,看到很多牛人心算水平很高,估计他们无意中也用这种方法,值得学习。 另外国外翻译过来的书都是一样的毛病,说的话像封建女人的裹脚布,又臭又长,绕来绕去[尴尬]
个人书摘整合 我是跳着读的,原因是,在我有限的时间看来,整本书还是比较厚的,且我通常喜欢看结论,不太喜欢跟着枚举的案例思考, 我的整体评价是,没什么新意,仍然是老生常谈的事情,下面的内容只是一些我自己理解的内容的概括,与某一主题相关的内容,我直接拼在一起了。 数据胡扯产生的原因 与进化的根源有关,指出动物也会胡扯。“这种行为并不是这些生物想象出来并决定去执行的。这只是一种进化后的本能反应。” 与人们对事情的解释有关, 含糊词、为达目的而撒谎、为取悦人而胡扯、选择偏倚(你看到什么,取决于你看的是哪) 注意,是不是你认为你对一个群体的研究结果也适用于其余的群体?思考问题的时候可以想一想。 与人们如何运用数据如何编造数据有关, 输入数据存在偏差,或者是得出结果存在明显问题,从错误数据中也可能得到荒谬结果。也就是说测量程序可能存在问题,基于来源误差。比如样本选择方式的偏差会产生负面影响更大。“计数时可能出错,小样本可能无法准确反映整体的特性。根据其余信息判断数量的过程可能是错的,数字也可能完全是胡扯凭空捏造出来的,目的是给一个本来就站不住脚的观点增加可信度。”且数字、公式会给人一种客观的感觉。数字的上下文也会导致人们进行解释,要放在合适的位置,不然也会造成误解。有可能出现一个很大程度上不相干的数字,或是两个数字都有一些道理。也会误导人们进行错误的判断。还要考虑得到的结果是否受抽样行为本身的影响,例如调查某一课题,只摘取某一固定性别的数据。 注意,“样本不一定要完全随机才有用,只需要对于我们问的问题来说,具有随机性就可以了。”“还应该考虑的一个问题是我们对研究结果的适用范围抱有什么样的期望。” 与如何传播数据有关,与技术有关,与互联网当中的利益有关,比如新闻的点击率,从而导致新闻大量渲染情绪,可能会夹杂一些毫无意义的事实。 与人们的自我表达有关,有些时候人们并不在乎数据的真实,而是想要表达自己,这个表达过程当中没有统一的含义,就会容易造成误解。 而之所以胡扯难以散去, 是由于1 “制造胡扯的工作量远小于清除胡扯的工作量,2 而且胡扯难度低,成本小。”胡扯不仅容易创造,还容易传播。3 制造胡扯,对智慧的要求比清除胡扯的要求低。 第2张章单独谈了媒介 媒介会放大传播胡扯的速度——互联网用户大多数是普通民众,没有什么权限进入到专业信息中,以及信息轰炸、情绪渲染、肤浅的、遮掩的标题更容易提升点击率,制造这些产物的人不在乎事件本身,只在乎用户平台活跃度。关乎到商业利益,有偏见的内容更容易被分享、点击,“社交媒体分享新信息是次要目的,主要目的是维持并加强共同纽带。”人类自动化计算机程序也会造成很多虚假行为。 胡扯的定义:“全然不顾事实、逻辑连贯性或实际传递的信息,而是利用语言、统计数字、数据图表和其余表现形式,通过分散注意力、震慑或恐吓等方法,达到说服或打动人听话的目的。” “这一定义的关键要素在于胡扯的目的根本不是表述事实,而是利用某种修辞手段来掩盖事实。” 一个测试含糊程度的方法:“如果一个语句变成否定句后意思没有变,就是胡扯。” 需要警惕的是:相关性不等于因果性。“一个测量项无法告诉你另一个测量项的任何信息。”且注意大众媒体通常不做这样的区分。有可能会通过一些暗示、数据图使人误认存在因果性。还有可能是“对数据进行各种各样的比较,最终发现了因果性,但这些因果性是巧合导致的,而不是现实世界中任何相互关系的体现。” “讨论因果关系时,我们一直在说可能性而不是确定性。” 对于以上偏差的应对 1 质疑、追溯信息来源——这个信息是谁告诉我的?这个人是怎么知道这些信息的?这些人想向我兜售什么东西?不仅要看新闻标题,还要看报道具体内容。尽量挖掘一手内容。使用反向图像搜索。注意深度换脸等合成技术。利用事实核查组织,作者在这里提供了三个外国的网站,考虑网站的历史记录。 2 小心不平等的比较 3 “如果某件事好到或糟糕到让人难以置信的程度,就有可能不是真的。” 4 从数量级考虑 5 避免证真偏差——“人们往往会注意相信和分享与我们已有信念相一致的信息。”“看到某个东西的次数越多,越有可能相信它。” 6 考虑多个假设 还要减少信息摄入 所有的这些要素其实是互相关联的,所以本身分类只是为了让人重点在意哪里,其实根据我看认知心理学书籍的经验,人是不可避免的拥有认知偏差的,这些梳理的话也只能是建议和提醒,如何运用数据还是在人,而人本身就不是那种标签化程序化的东西,人总是会变,我是以动态的视角看待这个世界的,我也明白看了这一本书也不可能让我变成一个完全没有任何偏差的人,我在读的过程当中本身,就只注意了结论没怎么在意过程。有可能也会造成偏差,今天的主要目的还是挑战一下速度整本书,我会有什么样的感受,所以并没有太在意信息的严谨。对于养成这种思辨的能力,还是最好从微习惯开始,这本书也算是我养成思辨习惯的一个提醒吧。
里面讲了很多关于数据的“诡辩”,在大数据时代,书里提到的想法很受用。可以更理性看待“研究表示”“数据显示”
这是一本值得推荐的书。 我们每个人每天都会面对海量的信息,而我们的情绪还极易受到各类信息的撩拨,最重要的是,我们的大脑还很“懒”,不愿意进行思考,因此便给了“胡扯”可乘之机。 其实书中揭示的很多胡扯类型,以及应该怎样辨别胡扯、驳斥胡扯的方法,都是基于常识的基础上的,而我们现在大多数人之所以会受到各类信息的影响,就是我们忽略了一些基本的常识。 所以,这本书提醒我们,在每天面对海量信息的时候,不要轻易的站队,给自己几分钟的时间,琢磨琢磨这些信息是否符合常识?是否符合逻辑?这样我们才会生活的多一些理性,多一点清醒。
没看过原著,不知道是翻译还是读者的问题,有些地方实在是难受,请说人话,说人话; 被书名吸引,没啥新收获,同类型更推荐《学会提问》。