基于Hadoop与Spark的大数据开发实战

作为大数据入门数据还是可以的，利用地铁通勤时间看我了，大概花费一周时间。但没有动手操作，现在只是想了解大数据底层技术，还不想直接转为大数据工程师。 之前听大数据，停留在表层概念，看完此书，知道具体技术框架，发展历史，实际开发过程。

一般，实在一般，我也暂时用不上

书内容不错，就是代码都给分词了，看着费劲

基本就是官方文档的翻译+网上的技术文章洗稿的产物

浏览了一遍，三分之一是代码，看的时候可以暂时略过，了解了大名鼎鼎的Apache基金会的分布式计算框架Hadoop和内存计算框架Spark的概念和之间的关系，Hadoop是一个总的解决方案，而Spark目前来看是其中一个可替换Map Reduce的负责计算的模块，两者可以一起使用，不存在代替的问题。下一步要做的就是和业务结合起来，真正把这个成熟的技术用起来，提高工作中的效率。

主要都是概念，即使这样也需要点基础，否则里面很多内容单靠自己理解太难了，最好只针对自己感兴趣的部分浏览。不是特别深，适合有一定基础的人，选择性查漏补缺，打好基础。

里边的包下载地址需要用户名，密码，cdh包，本想照着此书搞个本地环境，但是因为包下载问题，不过里边好多的点都是提到了，可参考。最后我自己网搜了数篇博文用了一工作日本地大体搞了一套简版，要说的是Hadoop生态坑好多，每个人搞完都有一套整理分享但不一定好用，所以知道大概自己去尝试。好了接下来要结合公司的作业程序来编码了

yarn是趋势，hdp整体做好生态，storm/spark已经完成了使命，以后flink更实用。

Hadoop全家桶都过了一遍，挨个都认识了一下

还可以，有些概念区分的不是很清楚。