實戰大數據（Hadoop+Spark+Flink）：從平臺構建到交互式數據分析（離線/實時）

7個常用的大數據處理匯總下： 一、Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構，實現了一個分佈式文件系統（ Distributed File System），其中一個組件是HDFS（Hadoop Distributed File System）。 二、hive是基於Hadoop的一個數據倉庫工具，用來進行數據提取、轉化、加載，這是一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制。 hive數據倉庫工具能將結構化的數據文件映射爲一張數據庫表，並提供SQL查詢功能，能將SQL語句轉變成MapReduce任務來執行 三、Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用並行框架，Spark，擁有Hadoop MapReduce所具有的優點；但不同於MapReduce的是——Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用於數據挖掘與機器學習等需要迭代的MapReduce的算法。 Spark 是一種與 Hadoop 相似的開源集羣計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啓用了內存分佈數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。 Spark 是在 Scala 語言中實現的，它將Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕鬆地操作分佈式數據集。 四、Flink是一個框架和分佈式的處理引擎，用於對無界和有界數據流進行狀態計算。 ·有界的數據流就是有限量的靜態數據，比如數據庫裏現在存好的數據，它就是有界的。 ·無界數據流就是有一個數據源給你不斷的發送數據，比如一個傳感器不斷的向服務器發送狀態信息，比如服務器的實時監控程序。 五、Flink框架可以說是實現真正意義上的實時流處理，大大降低了流計算的延遲，更能滿足當下的大數據處理需求。 六、Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方（可定製）的能力。 七、Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 kafka是一個分佈式的基於發佈/訂閱模式的消息隊列，主要應用於大數據實時處理領域。 Kafka是一個分佈式消息隊列。Kafka對消息保存時根據Topic進行歸類，發送消息者稱爲Producer，消息接受者稱爲Consumer，此外kafka集羣有多個kafka實例組成，每個實例(server)稱爲broker。

前階段概念性的東西比較多，可以提供參考。後面的內容過於陳舊，讀者可以擴展深入挖掘。

2024.No43： 24年第18本技術書。可用於入門大數據（架構體系及技術棧），但如果想要深入學習某個技術組件，還是得去看官方文檔或其他書籍。 另外，看的紙質書，很薄一本230頁左右，居然還有大量代碼片段。

微信讀書上一堆大數據的書，但是對於入門來說看了也不知道在說啥。只有這本書真的幫助我入門

什麼都又，什麼都沒講清，口水書一本

六個小時，大體看完，想快速入門的推薦閱讀。 這本書對hadoop，hbase，kafka，flume，spark，flink做了一些大體介紹，優點缺點，架構原理。同時有配置教程，可拿來快速入門。同時配了一個編程實戰，但能學的東西有限，建議想深入學習技術的再找本書看看。

Hadoop 它不是一個具體工具，而是一個技術生態，它爲解決大數據挖掘的問題而生，從底層往上依次是 HDFS，然後是 formats 還有 yarn。再往上層走就是一些計算相關的引擎，比如Spark，還有傳統的 map reduce，那就是去調度他們的一些，像有 Hive，我有 spark QL。再往上層走就是一些 user interfaces 相關，當然縱向的一些框架還有最重要的一個是 ETL，那像一個 PDI 技術，或者是 Kettle，也就是後面改名叫 PDI 的一個任務框架。還有一個是 data insert scope from Yummy data insert 就是數據集市。除此之外，還有一些聯機查詢像 OLAP，這個是後續可以展開去學習的。很多大數據相關的書籍。Hadoop，它代表的是一種大數據在處理技術，它是一個廣義的概念，它包含的應該是一整套爲大數據分析、存儲、採集一系列的技術組件，有一個統稱。那現在比較流行的從底層開始，我們可以看到一個日誌的收集系統，關係型數據庫的收集器系統，一個是 ETL 相關的一些事情，然後再做一個數據的抽取，然後轉換，然後做的的存儲，存儲交給 HTFS，然後再往上就是一個數倉。設計倉庫的程度，那設計倉庫的設計會用 Hive？然後再往上就是一些做數據計算，像數據計算的一些框架，最開始的 map reduce應該已經漸漸被淘汰了，現在有 spark，還有 Flink。然後等等再往上有一些聯機的查詢，數據分析工具 OLAP 能查詢分析的技術和組件。又構成了一個大數據分析的完整的一個解決方案。

核心思想沒幹貨，講一堆配置水長度……

框架搭建流程介紹的很清晰了，而且還附有配置參數相關的代碼，很棒哦

入門讀物，很好理清技能樹 可以用來當作入門讀物，能夠很好的理清一些技術之間的區別與聯繫，之後再找相關技術書籍深入學習。