
耿嘉安
本书对Spark内部高度抽象的数据结构RDD、分布式DAG调度器/驱动器,以及高效的基于Non-blockingIO分布式计算框架Akka/Netty等内核设计进行了深度剖析,不可多得,是适合大型分布式计算架构师和资深开源贡献者阅读的参考书。
hadoop相关部分源码甚少提及,但spark-core的主要流程还是解释得比较详细的,全部看完需要耐心和毅力,最好对照着代码看,否则会陷入细节之中无法串联起来,总之瑕不掩瑜吧……
比较偏细节,架构部分讲的比较少,需要自己进行总结,否则会陷入细节而忽略了整体。适合对照着看,查缺补漏。
讲spark core的代码很翔实,工程量比较大。但是对调优之类的经验总结缺乏
多位专家联袂推荐,360大数据专家撰写,剖析Spark 2.1.0架构与实现精髓。细化到方法级,提炼出多个流程图,立体呈现架构、环境、调度、存储、计算、部署、API七大核心设计。本书一共有10章内容,主要包括以下部分。 准备部分:介绍Spark的环境搭建和基本原理,有效降低了读者进入Spark世界的门槛,同时对Spark背景知识及整体设计能有宏观的认识。 基础部分:介绍Spark的基础设施(包括配置、RPC、度量等)、初始化、执行环境等内容,使读者深入理解RPC框架的设计、执行环境功能,是了解核心内容的前提。 核心部分:该部分是Spark最为核心的部分,涵盖存储体系、调度系统、计算引擎、部署模式等。读者将充分了解Spark的数据处理与实现细节,透视本质,是进行定制化、性能优化、精准排查的基础,学习和工作更加高效。 API部分:这部分主要对Spark的新老API进行对比,对新API进行简单介绍。
这本书更多的是过一遍源码,分析每个模块的架构以及流程,并未提及为什么这么做,以及这么做的优劣势等等,看完后并不能很好了解Spark的精髓。
更多的是代码的堆砌,连贯性比较差,不过用来当看源码的顺序索引也挺好
只见树木不见森林,不如另一本内核的分析有功力。代码讲解流水账
不谈优化 , 学不到什么东西
看源码可能有帮助,但是各种组件并没有很好串起来,只讲了是什么,没讲为什么
真的把要点都讲到了,对于源码阅读每个人标准都不一样,我觉得把核心部分讲全就不错了