可视化未来：数据透视下的人文大趋势

人文研究和自然科学的隔阂并非天注定。 艾登和米歇尔用500万本电子书的数据，把人类文化当作自然现象来测量，这门冷板凳学问突然变得硬气起来。 他们发明的Ngram工具，让纳粹时期的审查痕迹在词频曲线上原形毕露：被禁作家的名字突然消失，又缓慢复苏。这种量化视角往小处说给了历史考据一把可操作的尺子，往大处说让我们看见秦始皇焚书坑儒的真正影响——文明断层是有数字可以描述的。 你不需要读过万卷书，只需要看懂图表中的曲线起伏，就能见证人类思想的起落与集体记忆的消长。 读这本书的启示在于方法论的大反转：有穿透力的洞察，有时候恰恰需要放弃感受，信任赤裸裸的数据。

书分四境, "圣贤庸渣". 此书中贤~ 从"特殊动词"是什么, 开启一个人类文化如何浪里淘沙的发现之旅. (比如, burnt 到 burned是如何变迁的, 是'baby*sitter', 中间, 是有空格, 无空格, 还是'-' ?) 简言之, 概念或文化(书里主要说单词) 的产生于 "需求", 而修正和进化于 "一致性" 和 "效率" 的共同作用. 极具洞察. 你还可以看到, Larry Page是如何思考, 谋划, 实施一项, 前所未有的, 看似不可完成的宏大工程的. 一个好玩的视角是, 从纳粹德国期间, 犹太和自由派作者被 "压制" 的词频表现, 你可以清楚的看到2个惊人的趋势: 1/ 他们本已经在走下坡路, 而战后的反弹, 却给了这些作品更旺盛的生命力 (禁书乃antifragile之最) 2/ 这些创作(文人艺术家)的衰落远远早于1933年, 让人不禁猜想: 到底Hiter是这一切的原因还是结果. 就像法国大革命前夕, 启蒙思想家的作品只占流通读物的1%不到, 而社会主体是通俗小说甚至小黄书 (当然其中大多被禁)-- 但禁令本身, 却促进了几大领域的爆发式发展: 1/图书分类 2/流通渠道 3/色情创作 4/印刷工业. 而这些, 最终促成了法国大革命~ 启蒙思想家是大革命的原因? 文艺复兴n杰是文艺复兴之推手? Hitler是纳粹德国的原因? not really.. 很多事件的产生都是体制原因, 而非单纯的统治者个人意志. 关于历史和文化, 数据给了我们一个更加真实的视角. no shit, no bullshit.. "任何有用的概念, 无论多么模糊抽象, 都是可以被测量的." 你需要的不仅仅是想象力, 极大可能伴有一个庞大的脏活累活, 就像"打扫牛粪的赫拉克勒斯". 这不是一条知识, 而是一个信念.. History, should well be written in data. and, a book about "what" is more inspiring than a book about "why"... ~

几年来关于大数据，无论是政治家、科学家还是企业家讲出来的都是有关商业及利益的故事，从数据中寻找获得权力和财富的秘密，而本书则是利用大数据洞察与人文相结合来讲故事，令人耳目一新。数字化历史记录会让我们对历史和文化的认知方法发生重大变化，也相信有一天我们任何一个普通人都可以随时随地的应用作者的研究成果去了解文化现象，因为自由开放、交流创新毕竟是不可逆转的人类发展大趋势。

动词有半衰期，语言也在进化，这一发现得益于大数据的独特视角，在过去，这是我们穷尽一生也无法跨越的数据鸿沟，大数据能给我们带来的想象还有更多。此时，人文和科学这一对并肩行走又各自独立的兄弟正在相互融合，未来是跨领域合作的未来。

此书和我前几天思考的问题相关：那就是先出现苹果这个词，还是现出现水果这个词？我通过逻辑推断给出了答案，真希望用大数据验证一下我的逻辑判断呀，哈哈 大家觉得先出现哪个概念呢？为什么呢？

可视化未来，透视历史与未来，真的如此吗？大数据只是人们分析历史，预测以后或未来趋势的一种方法，一个很好的分析工具，把大数据神秘化只会害己害人。

数据就是力量 如今我们已经进入了大数据时代，大数据将改变人文科学和社会科学，重新界定商界和学术界之间的关系。 在过去，人们对书面记录的诉求通常源于经济活动。毕竟，除非能够清楚地记录谁拥有什么，否则交易便毫无意义。因此，早期的人类文字大多和交易有关，人们记录了大量的赌注、单据和合同。所以，早在我们祖先的著作问世之前，我们首先拥有的是关于交易和利润的记录。实际上，许多文明甚至没有发展到记录和留下伟大文学作品的阶段，而我们通常会将文学作品和文化历史关联在一起。从古代社会留下来的东西主要是收据。如果不是这些为商业目的而产生的记录，对于古代文化我们将知道得少之又少。 在我们体验现代生活所提供的各种便利时，互联网不断记录下了我们日益增多的数字足迹：具有惊人广度和深度的个人历史记录。 只要拥有充足的数字记录和一定程度的计算能力，那么人类文化的相关研究就会达到新的制高点，我们也就有可能在认识世界以及理解我们在世界中的地位方面作出令人惊叹的贡献。 齐夫定理：词在表中的位置和它的出现频次之间存在着一种逆相关。词的排序每升高10倍，譬如，从第50位到第500位，其出现频次则会下降到原先出现频次的1/10。齐夫定理告诉我们，词汇世界远不是正态的，词的出现频次遵循着一个特殊的、看上去很奇怪的数学模式。今天，科学家们将其称为“幂率分布”（power laws）。例如，数学上，人们已经证明，“富者愈富”这一过程的确可以产生各种幂率分布。认识的人越多，越容易认识更多的人。因此，在齐夫的世界里，随着时间的推移，起初比较受欢迎的人会越来越受欢迎。而规模较大的城市会吸引更多的人移居，使城市大小遵循着幂率分布。 历史潮流无法倒退，这些动词一旦规则化，就无法再回到不规则形式。越来越多的不规则动词转变成了规则动词，规则动词则成了主流。 数据的性质是什么呢？数据不是公共的，但也不是私有的。相反，数据是一种数字资源，是一块“无主地”——数百万人对它感兴趣，但没有人具有完整的权威将其占有，而在法律中的地位也相对模糊。对科学家而言，大数据是规则改变者。我们过去习惯于这样的世界：我们制造数据或者获得数据，如果有必要，我们还可以分析数据，而这些最多也只需要获得伦理方面的授权而已。 为了更好地使用大数据，我们需要找出一种满足四个重要标准的投影方式：第一，数百万人共同创造了原始数据，数据投影需要能够保护这些人的权利；第二，数据投影必须是令人感兴趣的；第三，数据投影不能和数据持有公司的目的相违背；第四，产生数据投影的方法要切实可行。 语言不是在变化，就是在生长。为什么人们喜欢用世界语当口头禅，在评论里复制那些新鲜、高频的网络语言？因为，新词总是能够让人兴奋。没有人想要为“死去”的词汇举行葬礼，因为人性使然，人们总是喜新厌旧，在语言上同样如此。 著名心理学家和语言学家史蒂芬·平克描述大脑是如何工作的，形容脑细胞是有规律地燃烧。理论对物理世界做了一些潜在的假设，而这些假设有可能是错误的。所以，知行合一的目的在于，用理论指导实践，实践证明或证伪理论。实践过程中，如果要让成功的概率尽可能高，就可以搞调研以及内测和公测，对产品和行为进行验证。 在测量的过程中，存在两种误差。第一类误差叫作“随机误差”（random error）。即便测量对象不变，随机误差也会因一系列相关因素微小的随机波动而产生。这种误差通常以微小的波峰和波谷的形式出现。它虽然无处不在，却通常没有什么意义。随机误差的优点在于，测量出的曲线虽然很扭曲，但是一般都保持在真值附近。第二类误差叫作“系统误差”（systematic error），通常很棘手。这类误差一般会让测量结果朝某个方向偏离，可能是放大，也可能是缩小。随机误差是我们可以忽略的，而系统误差是我们必须要重视的。 思想的确可以从数百万个渠道渗出。那些有信仰之人，无比珍视文字的保存和传承，只要文字不灭，民族就有希望。一个世纪之久的羊皮纸上，每个字都完好无缺。和物种一样，思想可以被复制并流传开来，也可以变异。在美国，公民权利主要指黑人的权利，它可以作为检验新生国家是如何对待少数族裔的一个样例。 受民权运动成就的鼓舞，妇女组织、儿童组织和动物保护组织等一些组织纷纷加入了这波争取权利的浪潮。19世纪60年代，女权组织首先发出了声音，并在民权运动一个世纪后加速促进国家对妇女权益的保护。最近几十年，儿童权利和动物权利开始普及。在今天，两次错误不一定能够换来一次正确。但是幸运的是，多次错误却可以催生一场权利运动。 关于人类记忆，早在维也纳学派形成之前，艾宾浩斯就赞同这样的观点：经验、测量和实证是人类知识的基础。 我们记得有多快和我们遗忘得有多快。实验需要孤立的、可控的环境。然而，人类记忆不具备这样的条件。我们记忆中的每一点信息都是嵌在一个概念网络中的。对于每一个概念，我们将其和相关的事实、思想、人物、情感、地点、时间和事件等关联在一起。概念之间的复杂关系对于记忆具有重要的影响。如此一来，研究我们对某个孤立事件的记忆将非常困难。 随着时间的推移，集体遗忘的半衰期在逐渐变短。这一现象表明，整个社会对待过去的态度在发生变化。我们对过去的事情失去兴趣的速度正变得越来越快。 互联网需要开放，才能获取更多有价值的数据。它从一开始就对保护隐私的准则进行了重新定义，以诱导人们对日益增加的个人信息进行传播，无论是表达我们想法的博客，还是关于我们社会关系的状态。我们知道这个故事会如何收场：不可避免地，一些人会开始自愿地记录他们的全部生活，而网站则会进一步推广这些人的做法。 生活日志不仅是我们观察自己的窗口，也是观察周边世界的窗口。可穿戴电子设备，例如，Nike+FuelBand和Fitbit已经可以记录你每天走了多少步、爬了多少阶楼梯、消耗了多少卡路里等。随身医疗装置Scanadu Scout虽然只是一个小型的手持硬盘，却可以时刻跟踪和记录使用者的体温、心跳速率和血氧含量等，还可以进行心电图检查，甚至进行尿检。 如果我们身体的某个部位出了问题，生活日志就会立即通知我们的护理者。如今，年度体检的就医模式将完全改变。使用基于三录仪的远程医疗，医疗服务人员能够记录下你每天的身体状况。如果发现你的身体哪里看上去出现了问题，那么他们很可能会在你想要求医时打电话给你。 人们设计出此类脑机接口基于的是这样一个事实：虽然机器难以理解大脑电波，但我们可以训练我们的大脑，使其活动对于机器而言更为“透明”。这是通过让意识自由地产生机器能够分辨的神经信号来完成的。 我们不妨大胆地想象，人们可能已经习惯于将内心独白和相应的意识词汇对应在一起，构建起一个实时的、没有字幕的系统，而让机器可以听懂的设想并不疯狂。如果我们按照这样的方式和计算机互动，很可能就可以记录下我们的内心独白了。 每个感官体验、每次心跳和腹部的每个响动，甚至大脑里飘过的每个想法等，理论上来说都是可以被记录下来的。实际上，用日志将这些记录下来可以使我们的生活发生巨大的变化，但现在这一切只是我们想象出来的。然而，如果实现的话，这些日志不仅将改变我们的生活，还可能会比我们自身活得更久。这样我们将能够把自己的生命历程留给我们的孩子和所爱的人。他们也将能够从我们的成功和遗憾、智慧和愚蠢中学到一些东西：数字化的来世。如果你愿意，也可以将你的生活日志卖给某家公司，或者分享给科学家和学者。在未来的图书馆里，自传部分将不再只有一些故事，而是拥有一份份完整的记录。 面对可视化的未来，我们需要跨学科、跨领域的共享视野，才有可能驾驭那个神秘未知而又充满挑战的时代。这种学习和成长的必然性，也让科学和人文志趣相投地走到了一起。

大数据的一个应用场景。缺点是拿着锤子找钉子，优点是用数据视角去整理人文历史。 从技术角度看，其实是个没什么门槛的事：锤子就是n-gram元组词频分析。这个技术只是谷歌兵器库中比较常见的一种武器。对谷歌而言，大很多个数量级的网页信息都能处理，对付图书馆的书并没什么难度。只是由于对版权问题一向小心翼翼，所以不方便自己来搞。（其实最繁琐的一步是将图书数字化，如同搜索引擎里的爬虫。）读过这本书，可以大概了解谷歌图书项目的雄(ye)心(xin)。 如作者在书中提到的，本书中的研究有一些局限性，包括但不限于下述几点： - 图书只能覆盖一部分历史信息 - 近现代（最近一百年）的书由于版权问题无法收录 - OCR扫描精度导致少量错误 - 因为保护知识产权无法使用比n-gram更强大的分析工具 从内容角度看，作者讲故事的能力还可以，较为失望的是提了不少关键问题但没有答案。有些章节略显拖沓，但整体还可以。 另外中文版没有翻译原书最后的Notes（注释）一章，较为遗憾。（作为中文电子版应该收录，作者提供了不少问题的上下文和相关链接。） 总体来讲，本书有一定的启发性，但是关键处有些隔靴搔痒。不妨看成是抛砖引玉之作：毕竟我们还处在大数据时代的早期，虽然深度不够，但作者的探索和思考方向值得肯定。

如果说此前看到的很多书是读完第一章就不必阅读后续章节的话，那么本书算是刷新了这个记录，读完前言部分就大抵不必去读了。本书基本上用了所有的篇幅，只是叙述了一件事：根据谷歌阅读的词频元组提取，试着去解读各个人文学科领域的时代变迁，而其分析方法则是：1、绘制词频-年代曲线图，2、分析词汇半衰期。

大数据➕人文的故事解读非常精彩，灵活运用跨领域、跨学科的分析方法，虽然作者对所能获取的有限数据，在分析、清洗、解读数据时的每一步都并不完美，但依然秉承了科学严谨的研究态度，令人钦佩。最重要的是作者提出了未来，对数据隐私的保护，对大数据进行有助于促进社会发展的解读，以及运用数据分析可能存在的弊端，发人深思。相对于预测未来的技术而言，我们该如何预测未来的价值观？