为数据而生：大数据创新实践

“总结起来，我认为大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、教育理念、生活方式和观念形态上的颠覆性变化的总和。它绝不仅仅是某些特定技术和需求的变化，而是代表一种新的理念。”

没有太多印象深刻的内容，触动较小

#读书 《为数据而生》  part1，大数据时代，用数据说话。这一章是全书最值得看的。周涛巧妙的引入大数据概念-我们每个人都是数据主动或被动创造者。（周涛举的 摄像头记录小孩成长视频；以及自己童年观看神雕侠侣的例子，太有才了！）形象介绍了什么是大数据-结构化与非结构化（讲得非常好），以及大数据的几个类型/地点、个人等，说明大数据的意义：驱动新工业革命。 总结他对大数据定义：非结构化、跨域关联。（细说跨域关联：与人和地点相似，针对一款游戏、一家中小企业、一个网站、一种产品，等等，都能够找到来自不同源头的数据，这些数据围绕一个个体关联起来，可以产生一加一远大于二的价值。进一步地，这些不同个体之间也能够产生关联，比如我们通过手机的GPS信号和签到信息，就能够知道哪些人去过哪些地方，从而把地点和人关联起来；通过销售记录能够知道哪些人购买过哪些产品，从而又把产品和人关联起来。） part2，分析。关联规则、预测。（2013 复杂网络大会 Linkprediction真对大规模社交网络的链路预测方法获得一等奖 ） part3，外化。两部分1.个人感觉全是例子，价值不大。外部数据对于解决问题的帮助，例子都是很新很好的成果。2.机器学习的引入：掌握了统计理论能帮助避免重大失误，机器学习能帮助得到一个还算不错的（不一定最佳）方案。 机器学习三板斧：特征、模型、融合。提取特征、建模解决问题（分类器n）、多模型融合提高精确度（boosting、随即森林等）（想起google机器翻译是融合了4.5亿个模型） part4，集成。不知这标题什么意思，讲了数据交易；介绍了两个数据比赛：数据城堡、kaggle；大数据创业公司的难处。本章讲的东西，我现阶段（2016年）不care。 结束语：八步成为大数据公司。略 整体而言，我个人感觉他的总结没有 大数据时代 这本书“实用”，但我也推荐。《时代》这书介绍了什么是大数据，有哪些种类，采用的处理技术等，更像是教科书。这本书，写得很有新意，很幽默，很多引入都非常巧妙，part1强烈推荐数据小白看看。其余部分，更多的是举例子，优点是周涛用很清晰的例子来阐述大数据的应用，大部分都是总结最新的paper，而且一句话解释论文核心很到位，这个功夫我要学习。缺点是理论性的总结不够。还有像part4，大数据公司，写的其实蛮好，但不是我现阶段关注的。

本书内容中方法技术精华部分不必多说，参看目录根据兴趣阅读即可。个人觉得，结束语是思维的精华，超越方法技术的精华，这一部分是很推荐看一看的。不仅总结了成为大数据企业的思路，更核心的是很好地概括了如何利用大数据这一工具更好地解决现实问题的思维方法。个人概括为三个层次。 基础层次上，数据资产、数据标准、数据管理（数据融通，关注业务，鲁棒性和可拓展性）、数据分析(非结构化数据分析的能力和大数据下机器学习/集成学习的能力)。 >>如何获得数据分析能力?外部合作➕内部团队培养。 中级层次上，数据流动共享，发挥外部价值:①对接外部数据，②发掘内部数据的外在价值(商业思维，洞察需求)，③通过数据开放计划实现数据价值最大化 高级层次上，数据产业战略投资(产业集成，技术集成，数据集成)。 >>技术集成以数据采集、存储、计算、分析和可视化的创新型工具为主要投资对象，提供具有普适性的解决方案。 >>数据集成以数据流动共享，发挥外部价值为理念，投资一批能够紧密合作、数据互补和可控性强的企业。 >>非数据密集型和信息技术密集型行业的企业更建议从产业和数据集成入手。 >>该战略投资有别于财物投资，需考量被投资企业与投资方的整合能力，以及所能提供俄数据的稀缺性、独立性、多源性、流动性和互补性。 其他的一些思考点，罗列如下:  >>>技术和商业的矛盾?每一个创业团队必须得配备数据挖掘和数据分析的能力，而能力本身又不能带来直接商业落地的价值。如何解决这一矛盾? 把从一种能力变成一种产品或者服务（更高效地实现技术需求），然后就是集中精力用钱和股票吸引能够洞察需求的人才、并培养这些人才的忠诚度和业务能力。 >>>关于因果关系和相关关系，简言之，相关关系帮我们更好地更好地探索因果关系，而探索因果关系才能把握事物本质，更好地预测。 >>>另外， "机器学习模型不是要消灭传统的专家知识和专家系统，而是可以方便地融合传统的专家知识和专家系统" >>>"技术可能不再是最大的难题，而是模型优劣如何取舍。大数据需要精通业务能力的数据分析师 >>>数据成为"新作物"，如内蒙古，宁夏，贵州，新疆，西藏等地，这让我们看到数据在促进开发西部地区、区域协调发展上的生命力。但目前，人们把数字作为资产的意识不足，数据发展受到数据发展思维和数据安全等因素的制约，数据开放共享任重道远.... >>>回到技术和市场的关系上，"技术迎合市场的可生存空间和价值有多大，市场如何为技术的创新提供长久的生存土壤？""大数据示范性应用落地难的问题，主要源于掌握大数据先进技术、了解大数据方面核心需求和拥有大量数据的三方是分离的。如何在资本和文化的催化作用下，让数据、技术、需求和人才这些大数据创新的要素融为一体?"这些问题很值得思考。

其实是推荐和一般之间，换算到5分满分会给到4.5分。 好评原因：文笔很好，阅读无障碍，属于早期科普读物，提供了例子和建议。 没满分原因：更适合学生、新手。并且因为是十年前的作品，部分内容到现在已经很普遍了。只怪自己上学的时候不爱看书，没读到这本。

最后读完《成为大数据企业》，终于理解为什么会有这么一本傲娇了50%，充斥作者认为看不懂的就是落后的鄙视，恨不得把作者拉出来打一顿的书。 名为科普，实则是希望成为想做事的人的引路明灯。做理论研究的心好像并没有改变[偷笑] 很科大，很周涛

周老师对大数据早期的参悟能力很有见地的 #观感一： 对于我这样刚入行的菜鸡，对如刚拿到的数据集无法下手，本书中的三板斧：清洗/建模/融合，这都是最最基础的，还有kaggle竞赛平台，github等等都是很常用的。还有作者一再强调的机器学习部分，在解决一些结构性问题简直不要太顺手，非结构性也可以通过相关转化成结构性得到解决 #观感二： 说了本文是在大数据初期写的，作者对基于用户行为轨迹的推荐真的是遍地开花TB JD ，需要的仅仅是时间去证明，在文章最后，基于企业的数据化，八步走的战略总是把主动写在前面，建议反复食用…

1.引证新颖，且引证性述说法让内容充实，行文逻辑性强，主题突出让读者阅读流畅。 2.通过周教授的各种实验案例了解到了许多不曾接触过的行业内部数据。 3.大数据来源于生活，从万物到千万事都在逐渐成指数的被记录。 4.用机器学习的方法会帮助我们分析数据，各种算法分析出来的数据报告，可以解决已有问题，找到新的商机。 5.找到数据的关联性是解决问题的关键，还可以外化解决行业外问题，所以分析行外数据有机会帮助到自己。 6.教育、金融、农业、医疗……将来的一切都将在大数据的采集、证析、融合下开辟出新天地。 7.技术商业型人才会逐日增多，未来国家也会会对人的价值观引导性的教育以平衡社会的财富分布。

读到本书的结尾，猛然觉得“不虚此行”，echo前文介绍的数据的价值和大数据时代新的创新实践机会：数据即石油毋庸置疑，从企业的角度来看数据的价值，今天企业的每个层级的角色或多或少都离不开数据，就分析决策而言，要么用于探索分析，要么用于验证分析；就服务而言，加工为信息后的数据则流入了企业的内外部生产中。这本书结尾就如何成为大数据企业整理的八步不但高度概括，而且全面细致，有论点有论据，从收集、建立标准到管理、应用（吸收与输出共享），再到最后的打通产业链、形成通用方案和统合效应，逻辑严密、层层递进，从一定程度上帮助我很好地总结How和Why大数据的问题，受益匪浅。

作者虽然是大数据的译者之一，但并没有领悟大数据思维的真谛。怀着满腔的热情写了此书，结果只是追名逐利，不会由此书得到什么创新思路。