易燃物汇聚 YouTube 有声书与书评
循序渐进学Spark 封面

循序渐进学Spark

小象学院 杨磊

1727人在读
20.1万字总字数
¥25定价

内容简介

本书以小象学院git项目方式管理。感谢姜冰钰、陈超、冼茂源等每一位内容贡献者,感谢他们花费大量时间,将自己对Spark的理解加上在实际工作、学习过程中的体会,融汇成丰富的内容。与企业不断涌现的对大数据技术的需求相比,大数据人才还存在很大缺口,对大数据技术充满期许的新人正在源源不断地加入这个领域。在小象学院的教学实践过程中,我们发现,一本能完整系统地介绍Spark各模块原理并兼顾使用实战的书,对于初入大数据领域的技术人员至关重要。于是,我们根据日常积累的经验,著成本书。

读者书评

★★☆☆☆

看的第二本spark的书,出版时间较新选的,马马虎虎,大量贴代码不说明的情况,没有详细介绍架构和设计思想,但是又写着核心代码分析,应用也没写多少,实在差强人意,不过总体架构的说明和最后的优化总结也算是一些亮点。

★★★☆☆

Spark基本概念概述 1⃣️Spark生态系统的主要组成部分,包括Spark SQL、Spark Streaming、MLlib和GraphX 2⃣️RDD是Spark的核心数据结构,通过RDD的依赖关系形成Spark的调度顺序。 3⃣️Spark是Hadoop MapReduce的演化和改进,并兼容了一些数据库的基本思想,可以说,Spark一开始就站在Hadoop与数据库这两个巨人的肩膀上 4⃣️Spark弹性数据集RDD有两种创建方式:从文件系统输入(如HDFS)和从已存在的RDD转换得到新的RDD。 5⃣️Spark的快速及容错等特性,让数据处理分析显得游刃有余 6⃣️Spark Core是整个BDAS的核心组件,是一种大数据分布式处理框架,不仅实现了MapReduce的算子map函数和reduce函数及计算模型,还提供如filter、join、groupByKey等更丰富的算子 7⃣️Spark采用了事件驱动的类库AKKA来启动任务,通过线程池复用线程来避免线程启动及切换产生的开销 8⃣️Spark是一种与Hadoop MapReduce类似的开源集群大数据计算分析框架 9⃣️Spark架构采用了分布式计算中的Master-Slave模型

☆☆☆☆☆

建议使用前两种存储级别即可。对于缓存到磁盘,从磁盘读取数据与数据重算在速度上是差不多的,而且会有大量的I/O ,故不建议缓存到磁盘。对于副本,由于RDD 内部有完善的容错机制,所以也是不必要的。

★☆☆☆☆

全篇都在堆代码,代码比文字还多。作者自己都没把spark整明白。

★★★★☆

本书逻辑比较流畅,配图也比较详细,刚刚接触spark,挑了好几本书,只有这个能够看到最后

★★★★☆

Spark入门学习不错的一本书,推荐一下

★☆☆☆☆

demo级的 没有综合性的案例

☆☆☆☆☆

整体不错。对RDD的思想介绍得不够详细。

书籍信息

作者小象学院 杨磊
出版社机械工业出版社
出版时间2017-04-01
ISBN9787111563327
分类计算机-数据库
格式EPUB
完结状态连载中
章节数55