实战大数据（Hadoop+Spark+Flink）：从平台构建到交互式数据分析（离线/实时）

7个常用的大数据处理汇总下： 一、Hadoop是一个由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。 二、hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行 三、Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 四、Flink是一个框架和分布式的处理引擎，用于对无界和有界数据流进行状态计算。 ·有界的数据流就是有限量的静态数据，比如数据库里现在存好的数据，它就是有界的。 ·无界数据流就是有一个数据源给你不断的发送数据，比如一个传感器不断的向服务器发送状态信息，比如服务器的实时监控程序。 五、Flink框架可以说是实现真正意义上的实时流处理，大大降低了流计算的延迟，更能满足当下的大数据处理需求。 六、Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 七、Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。

前阶段概念性的东西比较多，可以提供参考。后面的内容过于陈旧，读者可以扩展深入挖掘。

2024.No43： 24年第18本技术书。可用于入门大数据（架构体系及技术栈），但如果想要深入学习某个技术组件，还是得去看官方文档或其他书籍。 另外，看的纸质书，很薄一本230页左右，居然还有大量代码片段。

微信读书上一堆大数据的书，但是对于入门来说看了也不知道在说啥。只有这本书真的帮助我入门

什么都又，什么都没讲清，口水书一本

六个小时，大体看完，想快速入门的推荐阅读。 这本书对hadoop，hbase，kafka，flume，spark，flink做了一些大体介绍，优点缺点，架构原理。同时有配置教程，可拿来快速入门。同时配了一个编程实战，但能学的东西有限，建议想深入学习技术的再找本书看看。

Hadoop 它不是一个具体工具，而是一个技术生态，它为解决大数据挖掘的问题而生，从底层往上依次是 HDFS，然后是 formats 还有 yarn。再往上层走就是一些计算相关的引擎，比如Spark，还有传统的 map reduce，那就是去调度他们的一些，像有 Hive，我有 spark QL。再往上层走就是一些 user interfaces 相关，当然纵向的一些框架还有最重要的一个是 ETL，那像一个 PDI 技术，或者是 Kettle，也就是后面改名叫 PDI 的一个任务框架。还有一个是 data insert scope from Yummy data insert 就是数据集市。除此之外，还有一些联机查询像 OLAP，这个是后续可以展开去学习的。很多大数据相关的书籍。Hadoop，它代表的是一种大数据在处理技术，它是一个广义的概念，它包含的应该是一整套为大数据分析、存储、采集一系列的技术组件，有一个统称。那现在比较流行的从底层开始，我们可以看到一个日志的收集系统，关系型数据库的收集器系统，一个是 ETL 相关的一些事情，然后再做一个数据的抽取，然后转换，然后做的的存储，存储交给 HTFS，然后再往上就是一个数仓。设计仓库的程度，那设计仓库的设计会用 Hive？然后再往上就是一些做数据计算，像数据计算的一些框架，最开始的 map reduce应该已经渐渐被淘汰了，现在有 spark，还有 Flink。然后等等再往上有一些联机的查询，数据分析工具 OLAP 能查询分析的技术和组件。又构成了一个大数据分析的完整的一个解决方案。

核心思想没干货，讲一堆配置水长度……

框架搭建流程介绍的很清晰了，而且还附有配置参数相关的代码，很棒哦

入门读物，很好理清技能树 可以用来当作入门读物，能够很好的理清一些技术之间的区别与联系，之后再找相关技术书籍深入学习。