
耿嘉安
本書對Spark內部高度抽象的數據結構RDD、分佈式DAG調度器/驅動器,以及高效的基於Non-blockingIO分佈式計算框架Akka/Netty等內核設計進行了深度剖析,不可多得,是適合大型分佈式計算架構師和資深開源貢獻者閱讀的參考書。
hadoop相關部分源碼甚少提及,但spark-core的主要流程還是解釋得比較詳細的,全部看完需要耐心和毅力,最好對照着代碼看,否則會陷入細節之中無法串聯起來,總之瑕不掩瑜吧……
比較偏細節,架構部分講的比較少,需要自己進行總結,否則會陷入細節而忽略了整體。適合對照着看,查缺補漏。
講spark core的代碼很翔實,工程量比較大。但是對調優之類的經驗總結缺乏
多位專家聯袂推薦,360大數據專家撰寫,剖析Spark 2.1.0架構與實現精髓。細化到方法級,提煉出多個流程圖,立體呈現架構、環境、調度、存儲、計算、部署、API七大核心設計。本書一共有10章內容,主要包括以下部分。 準備部分:介紹Spark的環境搭建和基本原理,有效降低了讀者進入Spark世界的門檻,同時對Spark背景知識及整體設計能有宏觀的認識。 基礎部分:介紹Spark的基礎設施(包括配置、RPC、度量等)、初始化、執行環境等內容,使讀者深入理解RPC框架的設計、執行環境功能,是瞭解核心內容的前提。 核心部分:該部分是Spark最爲核心的部分,涵蓋存儲體系、調度系統、計算引擎、部署模式等。讀者將充分了解Spark的數據處理與實現細節,透視本質,是進行定製化、性能優化、精準排查的基礎,學習和工作更加高效。 API部分:這部分主要對Spark的新老API進行對比,對新API進行簡單介紹。
這本書更多的是過一遍源碼,分析每個模塊的架構以及流程,並未提及爲什麼這麼做,以及這麼做的優劣勢等等,看完後並不能很好了解Spark的精髓。
更多的是代碼的堆砌,連貫性比較差,不過用來當看源碼的順序索引也挺好
只見樹木不見森林,不如另一本內核的分析有功力。代碼講解流水賬
不談優化 , 學不到什麼東西
看源碼可能有幫助,但是各種組件並沒有很好串起來,只講了是什麼,沒講爲什麼
真的把要點都講到了,對於源碼閱讀每個人標準都不一樣,我覺得把核心部分講全就不錯了