大數據處理框架Apache Spark設計與實現
許利傑 方亞芬
147人在讀
17.1萬字總字數
¥21.2定價
許利傑 方亞芬
近年來，以Apache Spark爲代表的大數據處理框架在學術界和工業界得到了廣泛的使用。本書以Apache Spark框架爲核心，總結了大數據處理框架的基礎知識、核心理論、典型的Spark應用，以及相關的性能和可靠性問題。本書分9章，主要包含四部分內容。第一部分 大數據處理框架的基礎知識（第1～2章）：介紹大數據處理框架的基本概念、系統架構、編程模型、相關的研究工作，並以一個典型的Spark應用爲例概述Spark應用的執行流程。第二部分 Spark大數據處理框架的核心理論（第3～4章）：介紹Spark框架將應用程序轉化爲邏輯處理流程，進而轉化爲可並行執行的物理執行計劃的一般過程及方法。第三部分 典型的Spark應用（第5章）：介紹迭代型的Spark機器學習應用和圖計算應用。第四部分 大數據處理框架性能和可靠性保障機制（第6～9章）：介紹Spark框架的Shuffle機制、數據緩存機制、錯誤容忍機制、內存管理機制等。
good，適合慢慢學習和去看的一本書，市面上spark的書中的最佳選擇
整體適合對spark基礎弱的同學，它把整個spark基礎知識都有系統講了一遍，但是需要提升的同學不適合，比如優化等思想提了，但是沒有講深，講完整。
強烈推薦的spark進階資料，小部分內容偏向學術綜述。在方法論級別將理論和具體的API使用相結合的資料少之又少，不僅僅講是什麼更講爲什麼。更好的是書中大量圖示讓讀者很容易領會作者想要表達的意思。還有專門的配套倉庫，便於實驗和理解（https://github.com/JerryLead/ApacheSparkBook/tree/master） 整體篇幅並不長，但是書中幾乎每一個章節都讓人印象深刻，每一個問題都是有的放矢，並娓娓道來（提出問題->給出思路->具體實現和解決方案）。每一個簡單的問題背後都有大量的思考和權衡。 收穫較大的章節有，邏輯處理中各個算子的比較和圖示，物理執行計劃中爲了解決重複計算和串聯操作引出寬窄依賴的概念，以及job劃分，stage劃分和task並行度的實現思路。典型spark迭代程序的特點和執行區別，shuffle存在的意義和設計思路，shuffle write和shuffle read框架的實現和細節，數據緩存的意義和實現機制，通過對數據和計算溯源的問題引出lineage的概念，爲什麼checkpoint會產生額外job等等 總之，這並不是一本一遍就能完全消化吸收的書，需要結合實踐場景進行反覆的揣摩和思考，收穫滿滿！
國外的經典書籍都是針對一個重要概念講細講透，國內作者沒這水平，只能多湊些知識點。這本書貌似想要向國外學習，可水平不夠，找了些知識點按重要概念的方式去講，還不如濃縮成幾十頁的小冊子
寫的非常好，書薄但內容精煉一頁內容就頂其他書一整章，架構圖流程圖畫的很用心，更有助於理解spark架構，是一本不可多得的好書