
[奥]维克托·迈尔-舍恩伯格 [英]肯尼思·库克耶
"《大数据时代》是国外大数据系统研究的先河之作,本书作者维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。维克托·尔耶·舍恩伯格在本书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。"
AI#14:;近期选择读一些有关逻辑,AI及诗学书籍像并非偶然。本书内容及出版年代是乎像有点过时,但是同意本书译者介绍,它是该领域中一本具有特殊意义的作品。因为它首先想到,并且从逻辑思维领域提出,为什么大数据对于逻辑思维领域不仅带来革命性突破,大数据也不仅仅是数据大,它的核心就是预测,它像人类生活中的第三只眼,它还带来一些逻辑思维领域传统概念上革命。尽管本书译者不认同作者之有关的观点,例如,大数据讲究不是因果关系,而是相关关系。应该补充道,这里相关关系不是线性关系而是像多元统计模式下的关系。其实细心想,二者观点都有道理。只是如果能够换一个角度或者层次看同样问题,就都不难理解?举一个统计学经典例子,当讲身高与体重的关系时,在线性关系条件下,它可能有统计意义有显著关系,但是如果再将上面关心放在多元统计分析条件之下,这种线性条件下之因果关系统计意义下,相关表现图形为零型。 另外,毕竟我们在逻辑思维领域的认识,早已经像从“革命的现实主义加上革命的浪漫主义”不以人们意志为转移改良到:“革命的现实主义+革命的浪漫主义+革命的数据主义“之三结合模式。从人文主义角度来看,就像是:“感性+理性+信息(Logos”)。从哲学角度来看,已经发展到能够从“唯物+唯心+信息”三个维度来分析与发展理念。其实此并不难理解,例如,生命物质中遗产密码,它即不属于“唯物”,也不是“唯心”滴,而是彻头彻尾“信息”的。简言之,从过去简单“二分法”过渡到现在“三分法”,这就像是人类文明进步的必然。只是人不常问或者反省:心思意念是否常能够得到心意更新,跟上时代步伐之发展?其实,向四度思维模式的发展趋势也会是必然,尽管数学上已经证明11个维度空间的存在。 如前所叙,对于二者看法不一之另外一种可能诠释就是,对于其中逻辑思维模式转换认知重点聚焦不同。因为对于逻辑思维模式的应用除了有传统形式逻辑之归纳演绎外,其模式表达方式也从描述性(qualitative )向量化 (quantitative)发展。在朝气蓬勃AI发展领域,各种深度学习或者机器学习模式层出不穷,各种新花样也方兴未艾。在东方和西方诗论近年研究发展也引人注目,因此小白童鞋大胆试问:特别是西方诗学之历史大发展后,有逻辑思维领域大发展,而有丰富底蕴东方诗学是否在现代大数据,现代数理逻辑及AI领域是否可以为全新逻辑思维模式领域提供一批新思路。新思路才能提供全方位新大格局,它令人向往。期待读本书后,再读下一本介绍关于量化思维模式之收藏好书后再来学习分享有关泡泡。 大数据对于AI的贡献之一就是加深对于“复杂性”认识。数学家 Horgan 曾统计过,复杂性的定义至少有 45 种,目前则不下 50 种。有报道,复杂性“总体可以分为客观复杂度和认知复杂度大类,前者是物理或本体意义的复杂,例如熵复杂度,无法通过认知进行化简,后者指随着人类认知提升、掌握规律后就能变得简单的复杂。在此基础上,复杂度则可以划分为信息类、熵类、描述长度类、深度类、复杂性类、多样性类、维数类、综合类(隐喻)等几大类”。从人文主义角度来看,除了上面提及三个维度之外及“人与鼠标间”竞争外,是否重新反思对于“灵性”维度的重审?或者说能够或者愿意重新考虑,像“眼见不 为实”之类,例如“柴米油盐”之上的思维领域?或者说,在“眼睛未曾经可见,耳朵未曾听见,人心也未曾想到的”领域的一个礼物? 有意思的有,本书提到:大数据关心核心不是“为 什么”而是“是 什么”;在“牛津大学通识读本:数学”一书导论中,谈数学本质时也有相同说法。现代生物信息学(bioinformatics)所关注本质上也同样如此。显然,通过去探求“是什么”而不是“为什么”之相关关系,特别追随其逻辑循环过程,帮助我们更好地了解了这个大世界。它难道不像一字之差,统领三军?奇怪吗?其实,它不新鲜。研究西方思想历史中,有一个著名例子。在公元589年,因为在其拉丁文一个字之诠释,带来思想领域及社会剧变,它影响世界一直到如今。它既像是莎士比亚名句“To be or not to be “范例,它是否更像大数据在现代思想历史穿越剧中的一个插曲吗? 简言之,如果收集大数据方面书不多,它可能是进入“新秩”之时,能够有效像洗脑式接受或者构建“大数据”经典,并且还应该是通俗易懂经典入门五星好书!
如今,一个大规模生产、分享和应用数据的时代正在开启。 发掘数据价值、征服数据海洋的“动力”就是云计算。互联网时代,尤其是社交网络、电子商务与移动通信把人类社会带入了一个以“PB”(1024TB)为单位的结构与非结构数据信息的新时代。 以云计算为基础的信息存储、分享和挖掘手段,可以便宜、有效地将这些大量、高速、多变化的终端数据存储下来,并随时进行分析与计算。大数据与云计算是一个问题的两面:一个是问题,一个是解决问题的方法。通过云计算对大数据进行分析、预测,会使得决策更为精准,释放出更多数据的隐藏价值。数据,这个21世纪人类探索的新边疆,正在被云计算发现、征服。 数据正成为巨大的经济资产,成为新世纪的矿产与石油,将带来全新的创业方向、商业模式和投资机会。 “大数据”发展的障碍,在于数据的“流动性”和“可获取性”。 各界应该首先开始尝试公开数据、方式与方法。如同工业革命要开放物质交易、流通一样,开放、流通的数据是时代趋势的要求。大数据将逐渐成为现代社会基础设施的重要部分,就像公路、铁路、港口、水电和通信网络一样不可或缺。但就其价值特性而言,大数据却和这些物理化的基础设施不同,不会因为人们的使用而折旧和贬值。 大数据之所以可能成为一个“时代”,在很大程度上是因为这是一个可以由社会各界广泛参与,八面出击,处处结果的社会运动。 世界的本质就是数据。整个世界会被割裂为大数据时代、小数据时代和无数据时代。因此,大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展,进而影响人类的价值体系、知识体系和生活方式。 信息社会所带来的好处是显而易见的:每个人口袋里都揣有一部手机,每台办公桌上都放有一台电脑,每间办公室内都拥有一个大型局域网。但是,信息本身的用处却并没有如此引人注目。半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息总量的变化还导致了信息形态的变化——量变引发了质变。最先经历信息爆炸的学科,如天文学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应用到了所有人类致力于发展的领域中。 大数据是人们获得新的认知、创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。 如今,数据已经成为了一种商业资本,一项重要的经济投入,可以创造新的经济利益。事实上,一旦思维转变过来,数据就能被巧妙地用来激发新产品和新型服务。数据的奥妙只为谦逊、愿意聆听且掌握了聆听手段的人所知。 数字网络已经成为人类文明的新纪元,学习工作生活的思维变革刻不容缓。我们“努力在可以应用、可以拓展的地方,应用它、拓展它;在不能应用、不能拓展的地方,就停下来。”这应该是所有人面对一个新领域或新概念时应有的态度。与朋友们一起学习分享网络财商智慧助人助己,共同踏入好客时代开启全新的生活……
很有启发的一本书👍其实应该给四个半星,可惜没这个选项。给出了一些实用的商业建议,是一本一般人我都不舍得推荐的好书! 这本书把大数据思维总结得很详细,也给了不少具体的例子,很多我以前没听过,或者没听过这么深入的剖析和解读,为我提供了一个崭新的视角。最后也有一部分篇幅讨论大数据的局限性,比较完整,只是我对最后这部分还期待看到更完整更深入的分析。 美中不足的是:有些细节还是欠缺准确性,至少我有不同的看法。虽然承认了因果关系的重要性,但也许是经济学者看待计算机学者的偏见,还是觉得作者过于强调相关关系和数据本身,低估了因果关系。最后部分讨论大数据立法虽然提出了不少有用的见地,包括算法师的提法,但还是流于表面,没看到我期望的答案。不过也许这是该领域的发展阶段就是如此,只能期望以后有更多实质性的进展。 两个问题我有比较大的不同意见: 1. 作者用尼采的“上帝已死”来类比大数据提出的“理论已死”,在我看来是低估了理论和因果关系的重要性,而片面强调了大数据和相关关系带来的好处。 2. 作者认为大数据的价值最大部分是数据本身,我却觉得数据的应用技能才是关键。
大数据注重事情的相关性而非因果性,通过大数据,人们可以预测出很多事情,但 我们能收集和处理的数据只是世界上极其微小的一部分。这些信息不过是现实的投影——柏拉图洞穴上的阴影罢了。因为我们无法获得完美的信息,所以做出的预测本身就不可靠。但这也不代表预测就一定是错的,只是永远不能做到完善。 大数据提供的不是最终答案,只是参考答案,为我们提供暂时的帮助,以便等待更好的方法和答案出现。这也提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。尤其在对待大数据所带来的个人隐私权方面,大数据的使用者更应当按照国家法律有关规定,坚决杜绝个人隐私权的随意暴露,让大数据为人们带来便利的同时,个人权益也能得到很好的保护!
万物互联靠智能感应落地生根,大数据重建人们认识世界的基础,而人工智能与大数据和智能感应结合,将形成一种全新的能力,这种能力能够渗透到社会生活的每一个角落,影响和改变世界的进程。“大数据时代”,这是一个被信息包围的时代,这是“数字蝶变”时代,在这样的时代下,一切的发展超乎我们的想象,为我们提供了许多便利,但同时也掺杂着隐患。 大数据时代下数据到底有什么样的潜在价值?那些数据的核心是什么?那些数据又存在哪些风险呢......这些是大数据时代下数据的发展延伸出来的。 大变革——生活、工作与思维 不再是随机样本数据,不再是追求精确性,不再是寻找因果关系。一切发生了改变,开始了“样本=总体”庞大的数据资源使得各个领域开始了量化进程。 大数据的价值体现在哪? 大数据的科学价值和社会价值。一方面,对大数据的掌握程度可以转化为经济价值的来源。另一方面,大数据已经撼动了世界的方方面面,从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。 大数据是人们获得新的认知、创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。 大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。 拥抱混杂,寻找窗口 大数据经过三个方面的转变: 第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。 第二个改变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。 第三个转变我们不再热衷于寻找因果关系。确定“是什么”而不再是“为什么” 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法被利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户。 我们能够得到一个事物更完整的概念,我们就能接受模糊和不确定的存在。就像印象派的画风一样,近看画中的每一笔都感觉是混乱的,但是退后一步你就会发现这是一幅伟大的作品,因为你退后一步的时候就能看出画作的整体思路了。 价值——取之不尽,用之不竭 数据就像一个神奇的钻石矿,当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,而绝大部分都隐藏在表面之下。 所谓大数据思维,是指一种意识,认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。 为什么企业会把数据看的那么重?那是他们公司数据的核心,从中可以分析出不一样的内容,大部分的信息价值来自于这,即潜在价值。 大数据同时也给我们带来了巨大的风险。它使得目前用以保护隐私的法律手段和核心技术失去了效果。而今天,即使是最无害的数据,只要被数据收集器采集到足够的量,也会暴露出个人身份。匿名化或是单纯隐藏已不再适用。出台的相关隐私政策不过是无规则的马奇诺防线。 当世界由探求因果关系变成挖掘相关关系,我们怎样才能既不损坏建立在因果推理基础之上的社会繁荣和人类前行的基石,又取得实际的进步呢? 大数据的不利影响并不是大数据本身的缺陷,而是我们滥用大数据预测所导致的结果。 在这个利用数据做出决定的世界里,人类存在的目的是什么?难道是为了运用直觉和违背事实?
🧠大数据不是技术问题,而是思维方式的重构。 1️⃣ 从样本分析到全量分析 传统是“采样→分析→推断”,而大数据的逻辑是“全体数据→直接揭示趋势”。 👉 不再抽样,而是掌握全貌。 2️⃣ 从精确性转向相关性 数据不再一定要求“精确值”,而是追求趋势、模式与概率。 👉 追求有用而非完美,模糊但强大。 3️⃣ 从因果逻辑转向相关判断 我们不再执着于“为什么”(因果),而是接受“是什么”(相关性)。 👉 数据自发“发声”,我们只需听懂。 > 🧠 关键词:放弃控制、接受不确定性、让数据说话 🖊️大数据时代的商业变革 > 从“关注技术”转向“关注信息”。 ✅ 大数据重新定义商业流程: ❤️ 所有行为可被记录、量化; ❤️数据成为“资产”与“资源”; ❤️预测性替代经验判断; ❤️创新发生在数据与需求之间的缝隙。 ✅ 三个重要转变: 1. 信息成为企业核心竞争力; 2. 拥有数据的企业站上“价值链顶端”; 3. 企业决策由“拍脑袋”变为“看数据”。 > 谁拥有数据,谁就拥有未来。 🖊️大数据的双刃剑效应 ✅ 提高效率,精准预测未来 | ⚠️ 隐私暴露,数据滥用 ✅ 降低成本,优化资源分配 | ⚠️ 被监控,被操纵 ✅ 推动商业与技术创新 | ⚠️ 权力集中,信息垄断 > 大数据是“皇帝的新装”,我们的一举一动都暴露无遗,透明是力量也是风险。 🖊️底层逻辑总结 + 金句提炼 🔍 💖数据≠信息,但数据是通往信息的钥匙 💖相关性+预测性 > 因果性+解释性 💖商业竞争力=数据获取能力 × 数据理解能力 × 数据利用能力; 💖大数据是新时代的“基础设施”,如同电力或公路一样重要。 ✨ 大数据的价值不在于掌握技术,而在于改变思维。 💖“不是要解释世界,而是用数据预测世界。” 💖“在大数据面前,我们每个人都是透明的。” 💖“未来的商业领袖,不是最会决策的人,而是最懂数据的人。” 💖 “数据不是死物,它们会说话,关键是你是否能听懂。”
大数据时代-我们难以遁逃的科技洪流 在生活中被各种数据信息充斥、智能制造概念妇孺皆知的今天,大数据这个词汇已经不陌生了,但从一个新兴的名词,到一个热门的技术,再渗透为一个世界经济发展格局为之改变的时代代名词,作为普通人,与大数据有着怎样千丝万缕的关系,你想去一个地方旅游,立马收到当地的酒店优惠信息,打开购物平台,你看到的商品刚好是你想要的.....你真的认为这是巧合么?当然,这只是大数据时代信息的冰山一角而已,在各种真真假假、以大数据为噱头的行业竞争、生活向导和纷杂繁乱的信息流面前,个人如何正确认知“大数据”这个隐形的怪物,并与之友好相处,做一个认知它而不畏惧、利用它而不被左右甚至完善引导它而不被牵制的信息时代的新人类个体,是时候系统地了解一下它了。 本书是国外大数据系统研究的先河之作,作者维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。他前瞻性地指出“大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,受它的影响,在一段时期内,经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展,进而影响人类的价值体系、知识体系和生活方式。” 作为一本关于大数据的畅销书,虽然谈的是前沿信息技术,但作者只从认知观念、思维模式和由之引发的商业变革谈起,并不涉及具体的数据分析、模型研究等专业知识,不能作为大数据从业者开发代码的助手,但却无疑是一块普通人了解大数据世界的敲门砖,而且本书语言上生动诙谐,举例也丰富详实,加之翻译给力,阅读起来丝滑顺口,毫不生涩牵强。 本书主要从思维变革、商业变革和管理变革三个大的方面作了介绍,深入浅出,在难以理解的信息隘口,列举了大量真实的案例以帮助读者消化。 一.大数据时代的思维变革。 思维转变是新的行动的前瞻,作者用了大量的理论分析和实例,帮助读者从对传统的”小数据“分析时代认知转变到“大数据”时代,特别阐明了大数据时代的三个明显特征,一是数据采集量的变化,不是随机样本,而是所有数据,二是不再苛求数据的精确性,而是混杂性,允许海量数据里的失真个例存在,三是不再过分强调数据之间的因果关系,而是分析研究数据之间的相关关系。 二.大数据时代的商业变革。 主要介绍大数据成为行业、企业之间的竞争利器的时候,所带来的商业行为和模式的变革。强调一切数据皆可量化,且在大数据背景下,拥有原始数据并不代表拥有了财富,真正具有价值的是对海量数据的再分析再利用,以及对分析利用过程的不断创新,最后,介绍了在大数据时代,原始数据供应商、数据价值挖掘技术服务商和大数据思维引导者(个人理解相当于大数据时代的商业顾问)三足鼎立的新格局。 三.大数据时代的管理变革。 思维的转变、商业模式的革新势必带来管理上的变革,主要包括个人隐私保护、个人动因对阵预测分析、大数据算法师的崛起和反数据垄断大亨的出现等四个方面对大数据时代的管理模式进行了预测和阐释。 在系统讲述的过程中,作者也毫不避讳地分析了大数据发展带来的风险,如让数据主宰一切的隐忧,获取数据的不合法性和数据二次使用缺失监管等等,使得普通民众的隐私数据被窥探窃取,从这个层面讲,大数据作为一项被公众认可和接受的技术任重而道远。作者在提出问题的同时,也前瞻性地提出如何应对这些风险,如我们需要设立一个新的隐私保护模式,一种着重于数据使用者为其行为承担责任的模式,而不是将重心放在收集数据之初取得个人同意上。 当然,读完本书,我们并不能一味地悲观和担忧,因为大数据终归是产生于人类之手的资产,它的崛起让一些人失去了岗位,却也滋生了新的岗位需求,如书中提到的外部算法师,内部算法师、第三方公正机构等等。而且,在有效防范弊端的基础上,我们更应该看到大数据的分析预判带来的正面效应,如对于一些灾难性的事物,人们可以通过大数据的精准预警提前采取补救措施,避免问题发生并改善结局,如我们能在期末考试之前早早发现有退步趋势的学生;我们能检测到微小的癌变,赶在疾病完全爆发前根治;我们能看到青春期意外妊娠的可能性,或是预测到某种犯罪生涯,预判困扰世界好几年的新冠疫情等等,然后尽力干预,避免出现可能的悲剧结局。 归根结底,大数据并不是一个充斥着运算法则和机器的冰冷世界,人类仍然是大数据的主导者,所以,人类的弱点、错觉和错误依然主导性地决定着大数据时代的质量和走向,这也提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。 另外,作者站在普通人的视角,告知人们面对席卷而来的大数据时代,不必躲避,也不用恐慌,因为人们总是受到现有测量和认知工具的局限,我们明天使用的工具很可能比今天的强大数倍甚至上千倍,就像当我们拿着轻巧的智能手机在网络里畅游的时候,谁会想到那个占地170平方米,重达30吨,耗电功率约150千瓦的第一台电子管计算机ENIAC只不过诞生于70多年前,所以,要不了多久,当我们回看当今的大数据世界时,会觉得它不过如此。 最后不得不提的是本书的严谨,光参考文献就100多处,我也相信它所列举的大量的实例都是真实的,尽管涉及太多行业和企业,因为这是一本介绍大数据时代的书,它首先得遵从大数据时代的信息规则吧。
这本书毫不犹豫给五星好评。大数据怎么理解?就是指海量的信息。信息又是什么?文字、图片、音频、视频等都是信息的常规表现形式,信息当然还有其他形式。 1,关于引言。 引言部分值得拜读。引言概括了本书的主要内容,读引言可以让读者抓住重点内容。 引言:一场生活、工作与思维的大变革。 大数据,变革公共卫生(谷歌搜索预测流感); 大数据,变革商业(Farecast预测机票价格); 大数据,变革思维(大数据时代,数据已经成为一种商业资本,可以用来激发新产品和新服务,大数据可以改变市场、组织机构、以及政府与公民的关系,创造新价值,创造经济利益;大数据时代,社会可以减弱对因果关系的渴求,仅需要关注相关关系,只需要知道”是什么”,不需要知道为什么,因果关系只是一种特殊的相关关系); 大数据,开启重大的时代转型(大数据以及撼动了世界的方方面面,从商业、科技、医疗、教育、到经济、人文等各个领域,大数据的科学价值和社会价值不可限量); 预测,大数据的核心(分析海量的数据来预测事件的可能性,比如识别潜在的犯罪分子); 大数据的精髓(改变了我们分析信息的模式,改变了我们理解和组建社会的方法:A,大数据不是从数据中抽样分析,而是分析所有的数据,或者说是”样本”=”总体”、B,大数据允许出现不准确的数据,错误的数据也可以变得有价值、C,由因果关系向相关关系转化时会释放出潜在的价值); 大数据,大挑战(如何保护个人隐私?大数据预测出错责任谁来承担?如何防止数据垄断独裁?)。 引言总结:大数据正在改变我们的生活以及理解世界的方式。寻找原因是一种现代社会的一神论,大数据推翻了这个论断。但我们又陷入了一个历史的困境,那就是我们活在一个”上帝已死”的时代。那么,从经验中得来的与证据相矛盾的直觉、信念和迷惘应该充当什么角色呢?当世界由探求因果关系变成挖掘相关关系,我们怎样才能既不损坏建立在因果推理基础之上的社会繁荣和人类前行的基石,又取得实际的进步呢?本书意在解释我们身在何处,我们从何而来,并且提供当下亟需的指导,以应对眼前的利益和危险。 2,正文精彩摘要。 2.1,大数据时代思维变革(A,首先,要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。B,其次,我们乐于接受数据的纷繁复杂,而不再追求精确性。C,最后,我们的思想发生了转变,不再探求难以捉摸的因果关系,转而关注事物的相关关系,因果关系只是特殊的相关关系。); 2.2,拥抱数据的不完美。当我们的视野局限在我们可以分析和能够确定的数据上时,我们对世界的整体理解就可能产生偏差和错误。大数据帮助我们进一步接近事实的真相。(宽容错误会给我们带来更多价值(谷歌的翻译之所以更好并不是因为它拥有一个更好的算法机制。和微软的班科和布里尔一样,这是因为谷歌翻译增加了很多各种各样的数据。从谷歌的例子来看,它之所以能比IBM的Candide系统多利用成千上万的数据,是因为它接受了有错误的数据。”略有瑕疵的答案不会伤了商家的胃口”。但是对于有些事情,快速获得一个大概的轮廓和发展脉络,就要比严格的精确性要重要得多。只要我们能够得到一个事物更完整的概念,我们就能接受模糊和不确定的存在。就像印象派的画风一样,近看画中的每一笔都感觉是混乱的,但是退后一步你就会发现这是一幅伟大的作品,因为你退后一步的时候就能看出画作的整体思路了。相比依赖于小数据和精确性的时代,大数据因为更强调数据的完整性和混杂性,帮助我们进一步接近事实的真相。“部分”和“确切”的吸引力是可以理解的。但是,当我们的视野局限在我们可以分析和能够确定的数据上时,我们对世界的整体理解就可能产生偏差和错误。不仅失去了去尽力收集一切数据的动力,也失去了从各个不同角度来观察事物的权利。所以,局限于狭隘的小数据中,我们可以自豪于对精确性的追求,但是就算我们可以分析得到细节中的细节,也依然会错过事物的全貌。大数据要求我们有所改变,我们必须能够接受混乱和不确定性。精确性似乎一直是我们生活的支撑,就像我们常说的“钉是钉,铆是铆”。但认为每个问题只有一个答案的想法是站不住脚的,不管我们承不承认。一旦我们承认了这个事实甚至拥护这个事实的话,我们离真相就又近了一步。这些思想上的重大转变导致了第三个变革,这个变革有望颠覆很多传统观念。这些传统观念更加基本,往往被认为是社会建立的根基:找到一切事情发生背后的原因。然而其实很多时候,寻找数据间的关联并利用这种关联就足够了。); 2.3,大数据价值链的3大构成(根据所提供价值的不同来源,分别出现了三种大数据公司。这三种来源是指:A,数据本身、技能与思维。第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据,却不一定有从数据中提取价值或者用数据催生创新思想的技能。最好的例子就是Twitter,它拥有海量数据这一点是毫无疑问的,但是它的数据都通过两个独立的公司授权给别人使用。B,第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或提出数据创新性用途的才能。比方说,沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司(Teradata)的分析来获得营销点子,天睿就是一家大数据分析公司。C,第三种是基于思维的公司。皮特·华登(PeteWarden),Jetpac的联合创始人,就是通过想法获得价值的一个例子。Jetpac通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。对于某些公司来说,数据和技能并不是成功的关键。让这些公司脱颖而出的是其创始人和员工的创新思维,他们有怎样挖掘数据的新价值的独特想法。到目前为止,前两种因素一直备受关注,因为在现今世界,技能依然欠缺,而数据则非常之多。近年来,一种新的职业出现了,那就是“数据科学家”。数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。与通过显微镜发现事物不同,数据科学家通过探寻数据库来得到新的发现。全球知名咨询管理公司麦肯锡,就曾极端地预测数据科学家是当今和未来稀缺的资源。如今的数据科学家们也喜欢用这个预测来提升自己的地位和工资水平。); 2.4,大数据应用案例(知道“是什么”就已经足够,不必非要弄清楚“为什么”。大数据的相关性将人们指向了比探讨因果关系更有前景的领域。这些相关性能让我们节省机票钱和预测流感爆发,并知道在一个资源有限的世界中应该检查哪些沙井盖和过度拥挤的建筑物。它可以帮助健康保险公司不做体检就能决定保险覆盖面,并降低提醒病人服药的成本。通过大数据的相关性,语言可以得到翻译,汽车可以在预测的基础上自行驾驶。沃尔玛可以了解飓风前应在门店准备哪种口味的蛋挞。); 2.5,大数据的负面影响(大数据同时也给我们带来了巨大的风险。它使得目前用以保护隐私的法律手段和核心技术失去了效果。无论大数据如何威胁到隐私保护,最让人们头疼的都是行为倾向问题。大数据预测的准确性越来越高,它能够预测行为的发生,在人们犯错之前,提前惩处。因为预测的结果几乎不可反驳,人们也就无法为自己开脱。但这种基于预测得出的惩罚不仅违背自由意志的原则,同时也否定了人们会突然改变选择的可能性。); 2.6,真理就是没有真理,人类是大数据的主人。我的意思是,人类可以无限接近真理,也只能无限接近。(“可解释性”正如在人工智能界所称的一样,对于不仅想知道“是什么”更想知道“为什么”的人类来说非常重要。大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。释放大数据的洞察力能够预见未来,提升效率,这将是大数据的价值和未来。我们的世界观正受到相关性优势的挑战。拥有知识曾意味着掌握过去,大数据可以帮助我们预测未来。让数据说话,当数据说话时会发生什么。大数据是一种资源,也是一种工具。它告知信息但不解释信息。它指导人们去理解,但有时也会引起误解,这取决于是否被正确使用。大数据的力量是那么耀眼,我们必须避免被它的光芒诱惑,并善于发现它固有的瑕疵。人们总是受到现有测量和认知工具的局限。我们明天使用的工具很可能比今天的强大数倍甚至上千倍,我们现在所拥有的知识较之明天可能就显得微不足道了。我们能收集和处理的数据只是世界上极其微小的一部分。这些信息不过是现实的投影——柏拉图洞穴上的阴影罢了。因为我们无法获得完美的信息,所以做出的预测本身就不可靠。但这也不代表预测就一定是错的,只是永远不能做到完善。这也并未否定大数据的判断,而只是让大数据发挥出了应有的作用。大数据提供的不是最终答案,只是参考答案,为我们提供暂时的帮助,以便等待更好的方法和答案出现。这也提醒我们在使用这个工具的时候,应当怀有谦恭之心,铭记人性之本。) 最后推荐看看浙江大学的《大数据时代》的思维导图 http://www.cad.zju.edu.cn/home/vagblog/wp-content/uploads/2014/06/%E8%AF%BB%E4%B9%A6%E5%88%86%E4%BA%AB-HXX.001.jpg
“数据”(data)这个词在拉丁文里是“已知”的意思,也可以理解为“事实”。如今,数据代表着对某件事物的描述,数据可以记录、分析和重组它。而“数据化”——是指通过计量和记录把一种现象转变为可制表分析的量化形式过程,为预测和计划奠定了基础。 几个世纪以来,人们一直用分类法和索引法来储存和检索数据资源。但进入信息时代,人类存储信息量的增长速度比世界经济的增长速度快4倍,而计算机数据处理能力的增长速度则比世界经济的增长速度快9倍。信息技术的极速发展让时代信息过载。大数据信息技术系统便在此背影下应运而生。大数据信息技术系统是指通过对数据进行分析和加工得出相应结论来确定现在和预测未来的一种工具。 大数据使得通过数据分析获得知识、商机和社会服务的能力向下转移,让更多的企业、机构或个体能够享受大数据红利,随之而来的是存储成本继续暴跌而分析工具越来越先进,采集和存储数据的数量和规模将爆发式地增长,使用数据的门槛降低直接导致数据的容错率提高和成本的降低,以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。 小数据时代执迷于精确性是信息缺乏时代和模拟时代的产物。而只有5%的数据是线性关系的结构化数据能适用于传统数据库,大数据时代则是接受混乱和不精确,对剩下的95%的非线性关系的非结构化数据进行数据处理和数据交叉复用。大数据时代的思维变革体现在三个方面:不是随机抽样而是全体数据,不是精确性而是混杂性,不是因果关系而是相关关系。 大数据强调“样本=总体”即样本数据趋近于总体(海量)数据,大数据让我们不再期待精确性也无法实现精确性,而是拥抱混杂与不确定性。重视相关即追索是什么,重视因果即追索为什么。大数据时代重视相关而非因果,通过数据分析明确是什么、会发生什么而捕捉现在以预测未来。 传统的数据库引擎要求数据高度精确和准确排列,传统的关系数据库是为数据稀缺的时代设计的,所以能够也需要仔细策划。在那个时代,人们遇到的问题无比清晰,所以数据库被设计用来有效地回答这些问题。相比依赖于小数据和精确性的时代,大数据因为更强调数据的完整性和混杂性,数据库设计是非关系型数据库,不预设场域并处理海量数据,打破了传统数据库关于记录和预设场域的成规,帮助我们进一步接近事实的真相。小数据是对部分的细节与精确的微观追求,大数据是对整体的混乱与不确定性的宏观把握。 大数据的核心是建立在相关关系分析法基础上的预测,而相关关系是指量化两个数据值之间的数理关系。大数据发展的核心动力则源自人类对世界进行测量、记录和分析世界的渴望。大数据信息技术对海量数据的处理突破了每个人获取信息数量的有限性和人脑对信息加工能力的有限性,大数据思维促进了社会向前发展的同时又嵌入到个体的思维里,是一场广泛而深远的思想及思考方式的革新,万事万物数据化也让人类能够更深入了解世界本质即信息。
读完这本书,有如下总结: 一、大数据思维是先行者,没有思维,就谈不上之后的其他关于大数据的一切行为; 二、思维、技术、大数据,是大数据的三大框架,互为支撑,又互相促进; 三、在充满未知的时代,大数据给了我们一个很大的确定性来建立关联度,让这个社会的相关性建立起来,服务于商业经济、政府管理、行为预测等事项; 四、允许不完美的存在,因为只有这样才能真正体现出合理的、完美的、完善的价值是什么! 五、个人或是集体需要从身边的事情做起,事无巨细地收集能收集到的所有数据,服务于自己或集体的需要; 六、不要小看身边的任何细微的数据,因为很有可能这会揭示某些事物的发展规律和运行规律; 七、大数据将会是后面发展的物联网、云计算、人工智能等技术的巨大数据支撑和技术支撑; 八、关注眼前,更要关注以后,因为大数据今后将会以更加智能的方式告诉我们生活、工作的可预测性是什么,在探索未知的道路上,我们一如既往地在努力着。 大数据,就在我们身边,改变生活和工作方式,甚至改变思维方式,都会让我们受益其中。 关于未来,你准备好了吗?