循序漸進學Spark

看的第二本spark的書，出版時間較新選的，馬馬虎虎，大量貼代碼不說明的情況，沒有詳細介紹架構和設計思想，但是又寫着核心代碼分析，應用也沒寫多少，實在差強人意，不過總體架構的說明和最後的優化總結也算是一些亮點。

Spark基本概念概述 1⃣️Spark生態系統的主要組成部分，包括Spark SQL、Spark Streaming、MLlib和GraphX 2⃣️RDD是Spark的核心數據結構，通過RDD的依賴關係形成Spark的調度順序。 3⃣️Spark是Hadoop MapReduce的演化和改進，併兼容了一些數據庫的基本思想，可以說，Spark一開始就站在Hadoop與數據庫這兩個巨人的肩膀上 4⃣️Spark彈性數據集RDD有兩種創建方式：從文件系統輸入（如HDFS）和從已存在的RDD轉換得到新的RDD。 5⃣️Spark的快速及容錯等特性，讓數據處理分析顯得遊刃有餘 6⃣️Spark Core是整個BDAS的核心組件，是一種大數據分佈式處理框架，不僅實現了MapReduce的算子map函數和reduce函數及計算模型，還提供如filter、join、groupByKey等更豐富的算子 7⃣️Spark採用了事件驅動的類庫AKKA來啓動任務，通過線程池複用線程來避免線程啓動及切換產生的開銷 8⃣️Spark是一種與Hadoop MapReduce類似的開源集羣大數據計算分析框架 9⃣️Spark架構採用了分佈式計算中的Master-Slave模型

建議使用前兩種存儲級別即可。對於緩存到磁盤，從磁盤讀取數據與數據重算在速度上是差不多的，而且會有大量的I/O ，故不建議緩存到磁盤。對於副本，由於RDD 內部有完善的容錯機制，所以也是不必要的。

全篇都在堆代碼，代碼比文字還多。作者自己都沒把spark整明白。

本書邏輯比較流暢，配圖也比較詳細，剛剛接觸spark，挑了好幾本書，只有這個能夠看到最後

Spark入門學習不錯的一本書，推薦一下

demo級的 沒有綜合性的案例

整體不錯。對RDD的思想介紹得不夠詳細。