
宋傑
本書從數據查詢、數據分析和迭代計算平臺3個方面對大數據處理平臺的體系結構、基本原理、主流技術、國內外研究進展和成果進行了全面、深入的闡述,對大數據實時處理平臺的架構和核心技術進行了展望。企業技術人員可參考本書選擇合適的技術構建大數據處理平臺或對現有平臺進行優化;高校院所的科研人員可參考本書瞭解大數據管理的基本原理和現有研究成果;學生讀者可通過學習本書全面瞭解大數據處理平臺。同時,本書也適用於對大數據技術擁有濃厚興趣的讀者。
針對Lambda架構組件的選型,數據流存儲可選用基於不可變日誌的分佈式消息系統Kafka;Batch層數據集的存儲可選用Hadoop的HDFS,或者是阿里雲的ODPS;Batch視圖的預計算可以選用MapReduce或Spark;Batch視圖自身結果數據的存儲可使用My SQL(查詢少量的最近結果數據),或HBase(查詢大量的歷史結果數據);Speed層增量數據的處理可選用Storm或Spark Streaming;實時視圖增量結果數據集爲了滿足實時更新的效率,可選用Redis的內存NoSQL。