基於Hadoop與Spark的大數據開發實戰

作爲大數據入門數據還是可以的，利用地鐵通勤時間看我了，大概花費一週時間。但沒有動手操作，現在只是想了解大數據底層技術，還不想直接轉爲大數據工程師。 之前聽大數據，停留在表層概念，看完此書，知道具體技術框架，發展歷史，實際開發過程。

一般，實在一般，我也暫時用不上

書內容不錯，就是代碼都給分詞了，看着費勁

基本就是官方文檔的翻譯+網上的技術文章洗稿的產物

瀏覽了一遍，三分之一是代碼，看的時候可以暫時略過，瞭解了大名鼎鼎的Apache基金會的分佈式計算框架Hadoop和內存計算框架Spark的概念和之間的關係，Hadoop是一個總的解決方案，而Spark目前來看是其中一個可替換Map Reduce的負責計算的模塊，兩者可以一起使用，不存在代替的問題。下一步要做的就是和業務結合起來，真正把這個成熟的技術用起來，提高工作中的效率。

主要都是概念，即使這樣也需要點基礎，否則裏面很多內容單靠自己理解太難了，最好只針對自己感興趣的部分瀏覽。不是特別深，適合有一定基礎的人，選擇性查漏補缺，打好基礎。

裏邊的包下載地址需要用戶名，密碼，cdh包，本想照着此書搞個本地環境，但是因爲包下載問題，不過裏邊好多的點都是提到了，可參考。最後我自己網搜了數篇博文用了一工作日本地大體搞了一套簡版，要說的是Hadoop生態坑好多，每個人搞完都有一套整理分享但不一定好用，所以知道大概自己去嘗試。好了接下來要結合公司的作業程序來編碼了

yarn是趨勢，hdp整體做好生態，storm/spark已經完成了使命，以後flink更實用。

Hadoop全家桶都過了一遍，挨個都認識了一下

還可以，有些概念區分的不是很清楚。