
範東來
本書基於Spark發行版2.4.4寫作而成,包含大量的實例與一個完整項目,層次分明,循序漸進。全書分爲3部分,涵蓋了技術理論與實戰,讀者可以從實戰中鞏固學習到的知識。第一部分主要圍繞BDAS(伯克利數據分析棧),不僅介紹瞭如何開發Spark應用的基礎內容,還介紹了Structured Streaming、Spark機器學習、Spark圖挖掘、Spark深度學習等高級主題,此外還介紹了Alluxio系統。第二部分實現了一個企業背景調查系統,比較新穎的是,該系統借鑑了數據湖與Lambda架構的思想,涵蓋了批處理、流處理應用開發,並加入了一些開源組件來滿足需求,既是對本書第一部分很好的鞏固,又完整呈現了一個實時大數據應用的開發過程。第三部分是對全書的總結和展望。 本書適合準備學習Spark的開發人員和數據分析師,以及準備將Spark應用到實際項目中的開發人員和管理人員閱讀,也適合計算機相關專業的高年級本科生和研究生學習和參考,對於具有一定的Spark使用經驗並想進一步提升的數據科學從業者也是很好的參考資料。
Spark源自加州大學伯克利分校的AMP實驗室,經過開源社區的多年耕耘,目前已發展成大數據生態圈中最重要的技術之一。Spark的流行不僅在計算機從業人員中,而且一些業務人員、產品經理也經常用Spark進行數據分析,Spark的影響力可見一斑。書中心心念唸的Spark 3.0.0已經於2020年6月18日發佈了!
期待國內大廠能弄出一個純國產的,能替代 Spark
這本書出版很新,涵蓋以spark爲核心的大數據生態技術,可以供學習參考
就當一個spark學習目錄吧 東西是很全,但是每個知識點都講的太短,作者爲了講更多的東西把很多高深的知識點濃縮成幾百字,卷積網絡一點是一點沒看懂
工具指引:spark,機器學習,圖
只看了設計架構和sparksql,dataframe 等部分,對實時計算和圖論這塊沒有工作上的交集就忽略了。 整體上加深了對spark的進一步理解,尤其像我這種既是sql的深度用戶,同時也是 pandas 用戶,對於sparksql 和 dataframe 的簡約設計有天然的好感。 雖然現在工作更多還是以hql方式來處理批數據,但不妨礙後續通過web方式來執行hql + sparksql 混寫。
面向數據,一切都是數據,行爲是可運行的數據。 神: 1方法聲明 2 trait:方法聲明的集合 3 抽象類:方法聲明的集合加上部分方法的實現加數據 4 類:方法加數據 形: 1 方法實現 2 對象 形託於神
介紹很條理,包括spark的發展歷史,這些詳細梳理在官方的tutorial中是看不到的。 除了spark工具介紹,也對數據倉庫架構和數據湖架構做了比較,有一個簡單的例子介紹lambda架構
推薦閱讀,雖然對新手不友好,關於基礎部分一筆帶過。但是,觀其後面部分,能開闊思路,學習一些新的知識和相關的業務場景。
作者感覺有點說不清楚複雜的架構,好多地方都是看文章看了兩三遍沒看懂,看架構圖秒懂